APIレート制限計算ツール|RPM・TPM

RPM(1分あたりのリクエスト上限)と TPM(1分あたりのトークン上限)、1リクエストあたりの平均トークン数を入れると、実際に1分間に処理できる件数と、どちらの制限で頭打ちになるかを計算します。目標の件数を処理し終えるまでの時間もわかります。

APIレート制限 計算ツール(RPM・TPMから処理件数)

RPM・TPMの上限と1リクエストあたりのトークン数から、実際に処理できる件数とどちらの制限で頭打ちになるか、目標件数にかかる時間を計算します。

使い方

  1. 利用しているプランの RPM と TPM を入力します。初期値は例の値です。
  2. 1リクエストあたりの平均トークン数(入力+出力)を入力します。上限ぎりぎりを避けたい場合は安全マージンを設定します。
  3. 処理したい件数を入れて、実際の上限、1日の処理件数、かかる時間を確認します。

計算式

RPMによる上限 = RPM × (1 − 安全マージン)
TPMによる上限 = TPM × (1 − 安全マージン) ÷ 1リクエストのトークン
実際の上限 = 2つのうち小さいほう(件/分)
1日の処理件数 = 実際の上限 × 1,440
かかる時間(分)= 処理したい件数 ÷ 実際の上限

計算例

初期値の「RPM 500、TPM 200,000、1リクエスト2,000トークン、安全マージン0%、目標100,000件」で計算します。

  • RPMによる上限:500件/分
  • TPMによる上限:200,000÷2,000 = 100件/分
  • 実際の上限:小さいほうの100件/分(TPM で頭打ち)
  • 1日:100×1,440 = 144,000件
  • 目標100,000件:100,000÷100 = 1,000分(約16.7時間)

結果の見方

TPM で頭打ちになっている場合、リクエストを並列にしても速くはなりません。プロンプトを短くする、出力の上限を絞るなど、1件あたりのトークンを減らすと処理件数が増えます。RPM で頭打ちになっている場合は、複数の処理を1つのリクエストにまとめると件数を増やせる可能性があります。

大量の処理を急がない場合は、バッチ API を使うと通常のレート制限とは別の枠で処理できることがあります。

1リクエストのトークン数による違い

計算例と同じ上限(RPM 500、TPM 200,000)で、1リクエストの平均トークンだけを変えた場合です。

1リクエストのトークン 実際の上限 頭打ちになる制限
200 500件/分 RPM
400 500件/分 RPM・TPM 同時
1,000 200件/分 TPM
2,000 100件/分 TPM

TPM÷RPM(この例では400トークン)より1件のトークンが多いと、TPM で頭打ちになります。

処理を計画するときは、この境目のトークン数を先に求めておくと、どちらの対策が効くかがすぐにわかります。

実際の運用では、エラーからの再試行で少しずつ遅れが出ます。安全マージンを1〜2割にして計算しておくと、予定に余裕を持たせられます。

注意点

  • 概算です。サービスによっては、入力と出力で別々のトークン上限、1日あたりの上限、同時接続数の上限などがあります。仕様を確認してください。
  • 出力トークンの上限設定(最大出力トークン)の値で TPM を数えるサービスもあります。その場合は、実際の出力ではなく上限設定の値で計算してください。
  • 上限を超えるとエラーが返るため、待ってから再試行する仕組みを用意しておくと安全です。
  • 上限は利用実績やプランによって変わることがあります。

APIレート制限の計算のよくある質問

Q. RPMとTPMの違いは?

A. RPM は1分あたりに送れるリクエストの数、TPM は1分あたりに処理できるトークンの数の上限です。どちらか先に達した方で頭打ちになります。

Q. どちらの制限で止まるかはどう判断しますか?

A. TPM を1リクエストの平均トークンで割った値と RPM を比べます。小さい方が実際の上限で、その制限で頭打ちになります。

Q. レート制限を超えるとどうなりますか?

A. 一般的にはエラーが返り、その分は処理されません。少し待ってから再送する仕組みを用意し、安全マージンを持たせて計画するのがおすすめです。