RAGチャンク数計算ツール|埋め込み量

文書の総文字数、チャンクサイズ、オーバーラップ、1トークンあたりの文字数、検索で使う上位k件を入れると、RAG(検索拡張生成)で作られるチャンクの数、埋め込みにかけるトークン数、プロンプトに入る検索結果のトークン数を計算します。

RAG チャンク数計算ツール(チャンクサイズ・オーバーラップ)

文書の総文字数・チャンクサイズ・オーバーラップ・上位k件から、チャンク数と埋め込み対象のトークン数、プロンプトに入るトークン数を計算します。

使い方

  1. 取り込む文書の総文字数を入力します。
  2. チャンクサイズとオーバーラップ(となりのチャンクと重ねる文字数)、1トークンあたりの文字数を入力します。換算率の初期値1.0は例の値です。
  3. 検索で上位何件をプロンプトに入れるか(k)を入れて、チャンク数とトークン数を確認します。

計算式

ずらし幅 = チャンクサイズ − オーバーラップ
チャンク数 = ⌈(総文字数 − チャンクサイズ) ÷ ずらし幅⌉ + 1
埋め込む文字数 = 総文字数 + (チャンク数 − 1) × オーバーラップ
プロンプトに入る量 ≈ k × チャンクサイズ ÷ 1トークンあたりの文字数

文書の先頭から、チャンクサイズの窓を「ずらし幅」ずつ動かして切り出すと考えます。総文字数がチャンクサイズ以下ならチャンクは1つです。

計算例

初期値の「総文字数1,000,000、チャンク800文字、オーバーラップ100文字、1トークン1.0文字、k=5」で計算します。

  • ずらし幅:800−100 = 700
  • チャンク数:⌈(1,000,000−800)÷700⌉+1 = 1,428+1 = 1,429
  • 埋め込む文字数:1,000,000+1,428×100 = 1,142,800(約1,142,800トークン)
  • オーバーラップによる増加:14.3%
  • プロンプト:5×800÷1 = 4,000トークン

結果の見方

埋め込み対象のトークン数は、埋め込みモデルの利用料や処理時間の見積もりに使えます。オーバーラップを大きくすると、文の途中で切れても前後の文脈が残りやすくなる一方で、埋め込む量が増えます。

チャンクを小さくすると、質問に関係する部分をピンポイントで取り出しやすくなりますが、1つのチャンクに含まれる文脈が少なくなります。チャンクを大きくすると文脈は残りますが、プロンプトに入るトークンが増え、関係の薄い文章も混ざりやすくなります。いくつかの設定で試し、回答の質を比べて決めるのが一般的です。

チャンクサイズを変えたときの違い

総文字数1,000,000、オーバーラップはチャンクサイズの1/8、k=5、1トークン1.0文字とした例です。

チャンクサイズ チャンク数 プロンプトに入る量
400(重ね50) 2,857 2,000トークン
800(重ね100) 1,429 4,000トークン
1,600(重ね200) 715 8,000トークン

チャンク数とプロンプトの量はトレードオフの関係にあります。

注意点

  • 文字数で機械的に区切る場合の概算です。段落や見出しで区切る方式では、チャンクの長さがばらつき、数が変わります。
  • チャンクサイズをトークンで指定するライブラリもあります。その場合は換算率で文字数に直して入力してください。
  • プロンプトの量は、質問文やシステムプロンプトを含みません。コンテキスト長の計算ではそれらも足してください。
  • オーバーラップはチャンクサイズより小さくする必要があります。

RAGのチャンク数のよくある質問

Q. RAGのチャンクサイズはどれくらいがよいですか?

A. 文書の種類や質問の内容によって変わるため、決まった正解はありません。数百〜千文字程度から始めて、回答の質を比べながら調整するのが一般的です。

Q. オーバーラップは必要ですか?

A. 文の途中でチャンクが切れても前後の文脈を残せるため、よく使われます。ただし大きくするほど埋め込む量と保存する量が増えます。

Q. チャンク数はどう計算しますか?

A. ずらし幅(チャンクサイズ−オーバーラップ)を使って、⌈(総文字数−チャンクサイズ)÷ずらし幅⌉+1 で求められます。