入力と出力のトークン数、入力を処理する速度(プリフィル速度)、文字を生成する速度、通信などの固定遅延を入れると、最初の文字が出るまでの時間(TTFT)と応答全体の時間を計算します。速度の初期値は例の値なので、実測値に置き換えると精度が上がります。
LLM 応答時間計算ツール(TTFT・生成速度から)
入力・出力トークン数とプリフィル速度・生成速度・初回遅延から、最初の文字が出るまでの時間(TTFT)と応答全体の時間を計算します。
使い方
- 入力トークン数と出力トークン数を入力します。
- プリフィル速度(入力を読み込む速さ)と生成速度(出力を作る速さ)を、1秒あたりのトークン数で入力します。初期値は例の値です。
- 通信や待ち行列の時間を固定遅延として入れ、TTFT と応答全体の時間を確認します。
計算式
プリフィル時間 = 入力トークン ÷ プリフィル速度
TTFT = 固定遅延 + プリフィル時間
生成時間 = 出力トークン ÷ 生成速度
応答全体 = TTFT + 生成時間
LLM は、まず入力全体をまとめて処理し(プリフィル)、そのあと1トークンずつ出力を作ります(デコード)。プリフィルは並列に計算できるため速く、デコードは1トークンずつ進むため、1秒あたりのトークン数は小さくなるのが一般的です。
計算例
初期値の「入力2,000トークン、出力500トークン、プリフィル2,000トークン/秒、生成50トークン/秒、固定遅延0.3秒」で計算します。
- プリフィル:2,000÷2,000 = 1秒
- TTFT:0.3+1 = 1.3秒
- 生成:500÷50 = 10秒
- 応答全体:1.3+10 = 11.3秒(生成が全体の88.5%)
結果の見方
TTFT は、利用者が「反応があった」と感じるまでの時間です。ストリーミングで1文字ずつ表示する場合、体感の待ち時間は主に TTFT で決まります。応答全体の時間は、結果をまとめて受け取ってから処理するシステム(一括処理やツール連携など)で重要になります。
生成時間が大半を占める場合は、出力を短くするよう指示する、出力の上限を決める、などが効果的です。TTFT が長い場合は、プロンプトを短くする、共通部分をキャッシュする、などで改善できる可能性があります。
出力の長さによる応答時間の違い
計算例と同じ速度(TTFT 1.3秒、生成50トークン/秒)で、出力トークン数だけを変えた場合です。
| 出力トークン | 生成時間 | 応答全体 |
|---|---|---|
| 100 | 2秒 | 3.3秒 |
| 500 | 10秒 | 11.3秒 |
| 2,000 | 40秒 | 41.3秒 |
出力が長いほど、生成時間が応答時間の大部分を占めるようになります。
利用者を待たせたくない画面では、まず短い答えを返し、詳しい説明は必要なときだけ追加で生成する、という設計も考えられます。
同じ条件で何回か計測した速度を入れて、平均的な場合と遅い場合の両方を計算しておくと、画面の設計に役立ちます。
また、入力が長くなるほど TTFT ものびるため、資料を多く入れる使い方では入力トークン数も変えて試してみましょう。
注意点
- 概算です。速度は、モデルの大きさ、混雑状況、同時に処理しているリクエストの数、入力の長さによって変わります。
- 推論モデルのように、答えの前に考える過程のトークンを生成する場合は、そのトークンも出力トークンに含めてください。
- 速度は何回か測って平均や幅を見ておくと、見積もりが安定します。
- ネットワークの遅延は、利用者の場所や回線によって異なります。
LLMの応答時間のよくある質問
Q. TTFTとは何ですか?
A. Time To First Token の略で、リクエストを送ってから最初の出力トークンが返ってくるまでの時間です。チャットの体感速度に大きく影響します。
Q. LLMの応答時間はどう見積もりますか?
A. 固定遅延+入力トークン÷プリフィル速度で TTFT を求め、そこに出力トークン÷生成速度を足すと、応答全体のおおよその時間になります。
Q. 応答を速くするにはどうすればよいですか?
A. 出力を短くする、ストリーミング表示にする、入力を短くする、共通部分をキャッシュする、より小さく速いモデルを使う、などの方法があります。
