コンテキスト長(トークン)と、出力用に確保するトークン、システムプロンプトなどの固定分を入れると、LLMに一度に入力できるおおよその文字数とページ数を計算します。長い資料をそのまま入れられるかどうかの目安に使えます。
コンテキストウィンドウ 文字数換算ツール(何ページ入るか)
コンテキスト長(トークン)と換算率から、LLMに一度に入力できるおおよその文字数とページ数を計算します。
使い方
- 使うモデルのコンテキスト長(トークン)を入力します。初期値の128,000は例の値です。
- 出力用に確保するトークンと、システムプロンプトなどの固定分を入力します。
- 1トークンあたりの文字数と1ページあたりの文字数を入れて、入力できる文字数とページ数を確認します。
計算式
入力に使えるトークン = コンテキスト長 − 出力用 − 固定分
文字数 ≈ 入力に使えるトークン × 1トークンあたりの文字数
ページ数 ≈ 文字数 ÷ 1ページあたりの文字数
コンテキスト長は、入力と出力を合わせて一度に扱えるトークンの上限です。そのため、出力に使う分を先に差し引いて考えます。
計算例
初期値の「コンテキスト長128,000、出力用4,000、固定分1,000、1トークンあたり1.0文字、1ページ1,000字」で計算します。
- 入力に使えるトークン:128,000−4,000−1,000 = 123,000
- 文字数:123,000×1 = 約123,000字
- ページ数:123,000÷1,000 = 約123ページ
結果の見方
結果は「この条件なら、おおよそこれくらいの文章が一度に入る」という目安です。換算率を英語向け(4前後)にすると、同じトークン数でも入る文字数は多くなります。
上限いっぱいまで入れられても、それが最善とは限りません。長い入力の中ほどにある情報は読み落とされやすいと言われることがあり、料金や応答時間も増えます。必要な部分を選んで入れる、要約してから入れる、検索拡張生成(RAG)で関係する部分だけを取り出す、といった方法も検討しましょう。
コンテキスト長ごとの文字数の目安
出力用4,000・固定分1,000トークンを除き、1トークン1.0文字・1ページ1,000字とした場合の例です。
| コンテキスト長 | 入る文字数 | ページ数 |
|---|---|---|
| 8,000 | 約3,000字 | 約3ページ |
| 32,000 | 約27,000字 | 約27ページ |
| 128,000 | 約123,000字 | 約123ページ |
| 200,000 | 約195,000字 | 約195ページ |
短いコンテキスト長では、出力用と固定分の割合が大きくなることに注意してください。
手元の資料が入りきらない場合は、章ごとに分けて要約してから入れる、関係する部分だけを検索で取り出す、などの方法を組み合わせます。
資料を入れたあとに質問を何度も続ける場合は、そのやり取りの分も見込んで、入力する資料の量を少なめにしておきましょう。
出力用に確保するトークンも、長い要約や表を作らせたい場合は多めに設定しておくと、回答が途中で切れるのを防げます。
注意点
- 換算率による概算です。実際のトークン数はトークナイザーで確認してください。
- チャットで会話を続けると、過去のやり取りもコンテキストを消費します。
- 画像やファイルを添付する場合、それらもトークンとして数えられます。
- モデルによっては、入力できる長さと出力できる長さに別々の上限があります。仕様を確認してください。
コンテキスト長の文字数換算のよくある質問
Q. コンテキストウィンドウとは何ですか?
A. LLMが一度に扱える、入力と出力を合わせたトークン数の上限です。上限を超える部分は読み込めないか、エラーになります。
Q. 10万トークンは日本語で何文字くらいですか?
A. 1トークンあたりの文字数によって変わります。仮に1トークン=1文字とすると約10万字ですが、実際の値はトークナイザーで確かめてください。
Q. 上限ぎりぎりまで入れても大丈夫ですか?
A. 入れることはできても、出力の分が足りなくなったり、長い入力の一部が読み落とされやすくなったりすることがあります。余裕を持たせるのが安全です。
