プロンプトキャッシュ節約額計算ツール

入力単価とキャッシュの割引率・割増率、毎回共通のプレフィックスの長さ、リクエスト数、キャッシュの書き込み回数を入れると、プロンプトキャッシュの有無による入力コストの違いと節約額を計算します。単価や割引率は例の値なので、利用するサービスの値に置き換えてください。

プロンプトキャッシュ 節約額計算ツール(入力コスト比較)

入力単価・キャッシュの割引率と書き込み割増・共通部分の長さ・リクエスト数から、プロンプトキャッシュを使う場合と使わない場合の入力コストを比べます。

使い方

  1. 入力単価(100万トークンあたり)と、キャッシュ読み込みの割引率、書き込みの割増率を入力します。初期値は例の値です。
  2. 毎回同じ内容の共通プレフィックス(システムプロンプトや資料など)の長さと、リクエストごとに変わる部分の長さを入力します。
  3. リクエスト数とキャッシュの書き込み回数を入れて、コストの比較と節約額を確認します。

計算式

キャッシュなし = リクエスト数 × (共通部分 + 変わる部分) × 単価
キャッシュあり = 書き込み回数 × 共通部分 × 単価 × (1 + 割増率)
       + (リクエスト数 − 書き込み回数) × 共通部分 × 単価 × (1 − 割引率)
       + リクエスト数 × 変わる部分 × 単価

単価は100万トークンあたりの値なので、計算では100万で割って1トークンあたりにしています。書き込み回数は、キャッシュの有効期限が切れて作り直すたびに増えます。

計算例

初期値の「単価3、割引90%、割増25%、共通5,000トークン、変わる部分500トークン、1,000回、書き込み10回」で計算します。

  • キャッシュなし:1,000×5,500×3÷100万 = 16.5
  • 書き込み:10×5,000×3÷100万×1.25 = 0.1875
  • 読み込み:990×5,000×3÷100万×0.1 = 1.485
  • 変わる部分:1,000×500×3÷100万 = 1.5
  • キャッシュあり:約3.17、節約額は約13.33(節約率80.8%)

結果の見方

共通部分が長く、同じ内容を何度もくり返し送るほど、節約の効果は大きくなります。書き込みには割増がかかるため、書き込んだキャッシュがあまり読まれないと、かえって高くなることがあります。結果の説明には、書き込み1回につき何回読み込めば元が取れるかの目安を表示しています。

共通部分の長さによる節約率の違い

計算例と同じ条件(変わる部分500トークン、1,000回、書き込み10回)で、共通部分の長さだけを変えた場合の節約率です。

共通部分 節約率
1,000トークン 約59.2%
5,000トークン 約80.8%
20,000トークン 約86.8%

共通部分が長くなるほど、節約率は割引率(この例では90%)に近づきます。

実際の請求額と比べて、書き込み回数や読み込み回数の見積もりがずれていないかを確かめると、次の試算の精度が上がります。

注意点

  • 入力コストだけの概算で、出力のコストは含まれていません。
  • 単価、割引率、割増率、キャッシュの有効期間、キャッシュできる最小の長さは、サービスやモデルごとに異なり、変更されることもあります。最新の公式情報で確認してください。
  • キャッシュは基本的にプロンプトの先頭から一致している部分にだけ効きます。毎回変わる内容(日時など)を先頭近くに置くと、キャッシュが使われません。
  • リクエストの間隔が空くとキャッシュが切れ、書き込み回数が増えます。

プロンプトキャッシュの節約額のよくある質問

Q. プロンプトキャッシュとは何ですか?

A. 毎回同じ内容のプロンプトの先頭部分を、サービス側で一時的に保存して再利用する仕組みです。再利用された部分は通常より安い単価で処理されるのが一般的です。

Q. どんな使い方だと効果が大きいですか?

A. 長いシステムプロンプトや同じ資料を何度も送るチャットボット、同じ指示で大量の文章を処理する場合など、共通部分が長くくり返し使われる場合です。

Q. キャッシュを使うと逆に高くなることはありますか?

A. 書き込みに割増がある場合、書き込んだキャッシュがほとんど読まれないうちに期限切れになると、使わないより高くなることがあります。