最近の検索
検索オプション
「LLMでのトークンとは、テキストを処理するための最小単位です。人間が単語を言語の基本単位として考えるのに対し、LLMのモデルはトークンという単位でテキストを分割して処理します。そして、その分割を行うのがトークナイザー（Tokenizer）となります。トークンは単語よりも小さい単位で、英語では一般的に単語の一部やスペース、記号などもトークンになります。」
「トークン数の限界に近づくと、やり取りの古い情報を忘れてしまい、応答の質が低下します。そのため、会話履歴を扱う場合は、適切なトークン数が応答の品質につながります。」
『このプロンプト、何トークン？』知ってるとちょっと得する？！トークン数を意識したプロンプト作成 - uepon日々の備忘録 https://uepon.hatenadiary.com/entry/2025/03/21/021037
uepon日々の備忘録 · 『このプロンプト、何トークン？』知ってるとちょっと得する？！トークン数を意識したプロンプト作成 - uepon日々の備忘録最近はLLMを使ったシステム開発を行っているのですが、トークン（Token）数の限界なのか上手く生成ができないといったことがあります。 自分が大概無理なことを行っている事が多いのですが🙄ほんとうにどれくらいトークンを使っているのかが体感でわかっていないで 作業しているからだと思います。そこで、APIにアクセスをしなくてもプロンプトからトークン数をカウントする方法はあるのかなと 疑問に思い調べてみたというのが今回の内容です。