文書の総文字数、チャンクサイズ、オーバーラップ、1トークンあたりの文字数、検索で使う上位k件を入れると、RAG(検索拡張生成)で作られるチャンクの数、埋め込みにかけるトークン数、プロンプトに入る検索結果のトークン数を計算します。
RAG チャンク数計算ツール(チャンクサイズ・オーバーラップ)
文書の総文字数・チャンクサイズ・オーバーラップ・上位k件から、チャンク数と埋め込み対象のトークン数、プロンプトに入るトークン数を計算します。
使い方
- 取り込む文書の総文字数を入力します。
- チャンクサイズとオーバーラップ(となりのチャンクと重ねる文字数)、1トークンあたりの文字数を入力します。換算率の初期値1.0は例の値です。
- 検索で上位何件をプロンプトに入れるか(k)を入れて、チャンク数とトークン数を確認します。
計算式
ずらし幅 = チャンクサイズ − オーバーラップ
チャンク数 = ⌈(総文字数 − チャンクサイズ) ÷ ずらし幅⌉ + 1
埋め込む文字数 = 総文字数 + (チャンク数 − 1) × オーバーラップ
プロンプトに入る量 ≈ k × チャンクサイズ ÷ 1トークンあたりの文字数
文書の先頭から、チャンクサイズの窓を「ずらし幅」ずつ動かして切り出すと考えます。総文字数がチャンクサイズ以下ならチャンクは1つです。
計算例
初期値の「総文字数1,000,000、チャンク800文字、オーバーラップ100文字、1トークン1.0文字、k=5」で計算します。
- ずらし幅:800−100 = 700
- チャンク数:⌈(1,000,000−800)÷700⌉+1 = 1,428+1 = 1,429
- 埋め込む文字数:1,000,000+1,428×100 = 1,142,800(約1,142,800トークン)
- オーバーラップによる増加:14.3%
- プロンプト:5×800÷1 = 4,000トークン
結果の見方
埋め込み対象のトークン数は、埋め込みモデルの利用料や処理時間の見積もりに使えます。オーバーラップを大きくすると、文の途中で切れても前後の文脈が残りやすくなる一方で、埋め込む量が増えます。
チャンクを小さくすると、質問に関係する部分をピンポイントで取り出しやすくなりますが、1つのチャンクに含まれる文脈が少なくなります。チャンクを大きくすると文脈は残りますが、プロンプトに入るトークンが増え、関係の薄い文章も混ざりやすくなります。いくつかの設定で試し、回答の質を比べて決めるのが一般的です。
チャンクサイズを変えたときの違い
総文字数1,000,000、オーバーラップはチャンクサイズの1/8、k=5、1トークン1.0文字とした例です。
| チャンクサイズ | チャンク数 | プロンプトに入る量 |
|---|---|---|
| 400(重ね50) | 2,857 | 2,000トークン |
| 800(重ね100) | 1,429 | 4,000トークン |
| 1,600(重ね200) | 715 | 8,000トークン |
チャンク数とプロンプトの量はトレードオフの関係にあります。
注意点
- 文字数で機械的に区切る場合の概算です。段落や見出しで区切る方式では、チャンクの長さがばらつき、数が変わります。
- チャンクサイズをトークンで指定するライブラリもあります。その場合は換算率で文字数に直して入力してください。
- プロンプトの量は、質問文やシステムプロンプトを含みません。コンテキスト長の計算ではそれらも足してください。
- オーバーラップはチャンクサイズより小さくする必要があります。
RAGのチャンク数のよくある質問
Q. RAGのチャンクサイズはどれくらいがよいですか?
A. 文書の種類や質問の内容によって変わるため、決まった正解はありません。数百〜千文字程度から始めて、回答の質を比べながら調整するのが一般的です。
Q. オーバーラップは必要ですか?
A. 文の途中でチャンクが切れても前後の文脈を残せるため、よく使われます。ただし大きくするほど埋め込む量と保存する量が増えます。
Q. チャンク数はどう計算しますか?
A. ずらし幅(チャンクサイズ−オーバーラップ)を使って、⌈(総文字数−チャンクサイズ)÷ずらし幅⌉+1 で求められます。
