LLM応答時間計算ツール|TTFT

入力と出力のトークン数、入力を処理する速度(プリフィル速度)、文字を生成する速度、通信などの固定遅延を入れると、最初の文字が出るまでの時間(TTFT)と応答全体の時間を計算します。速度の初期値は例の値なので、実測値に置き換えると精度が上がります。

LLM 応答時間計算ツール(TTFT・生成速度から)

入力・出力トークン数とプリフィル速度・生成速度・初回遅延から、最初の文字が出るまでの時間(TTFT)と応答全体の時間を計算します。

使い方

  1. 入力トークン数と出力トークン数を入力します。
  2. プリフィル速度(入力を読み込む速さ)と生成速度(出力を作る速さ)を、1秒あたりのトークン数で入力します。初期値は例の値です。
  3. 通信や待ち行列の時間を固定遅延として入れ、TTFT と応答全体の時間を確認します。

計算式

プリフィル時間 = 入力トークン ÷ プリフィル速度
TTFT = 固定遅延 + プリフィル時間
生成時間 = 出力トークン ÷ 生成速度
応答全体 = TTFT + 生成時間

LLM は、まず入力全体をまとめて処理し(プリフィル)、そのあと1トークンずつ出力を作ります(デコード)。プリフィルは並列に計算できるため速く、デコードは1トークンずつ進むため、1秒あたりのトークン数は小さくなるのが一般的です。

計算例

初期値の「入力2,000トークン、出力500トークン、プリフィル2,000トークン/秒、生成50トークン/秒、固定遅延0.3秒」で計算します。

  • プリフィル:2,000÷2,000 = 1秒
  • TTFT:0.3+1 = 1.3秒
  • 生成:500÷50 = 10秒
  • 応答全体:1.3+10 = 11.3秒(生成が全体の88.5%)

結果の見方

TTFT は、利用者が「反応があった」と感じるまでの時間です。ストリーミングで1文字ずつ表示する場合、体感の待ち時間は主に TTFT で決まります。応答全体の時間は、結果をまとめて受け取ってから処理するシステム(一括処理やツール連携など)で重要になります。

生成時間が大半を占める場合は、出力を短くするよう指示する、出力の上限を決める、などが効果的です。TTFT が長い場合は、プロンプトを短くする、共通部分をキャッシュする、などで改善できる可能性があります。

出力の長さによる応答時間の違い

計算例と同じ速度(TTFT 1.3秒、生成50トークン/秒)で、出力トークン数だけを変えた場合です。

出力トークン 生成時間 応答全体
100 2秒 3.3秒
500 10秒 11.3秒
2,000 40秒 41.3秒

出力が長いほど、生成時間が応答時間の大部分を占めるようになります。

利用者を待たせたくない画面では、まず短い答えを返し、詳しい説明は必要なときだけ追加で生成する、という設計も考えられます。

同じ条件で何回か計測した速度を入れて、平均的な場合と遅い場合の両方を計算しておくと、画面の設計に役立ちます。

また、入力が長くなるほど TTFT ものびるため、資料を多く入れる使い方では入力トークン数も変えて試してみましょう。

注意点

  • 概算です。速度は、モデルの大きさ、混雑状況、同時に処理しているリクエストの数、入力の長さによって変わります。
  • 推論モデルのように、答えの前に考える過程のトークンを生成する場合は、そのトークンも出力トークンに含めてください。
  • 速度は何回か測って平均や幅を見ておくと、見積もりが安定します。
  • ネットワークの遅延は、利用者の場所や回線によって異なります。

LLMの応答時間のよくある質問

Q. TTFTとは何ですか?

A. Time To First Token の略で、リクエストを送ってから最初の出力トークンが返ってくるまでの時間です。チャットの体感速度に大きく影響します。

Q. LLMの応答時間はどう見積もりますか?

A. 固定遅延+入力トークン÷プリフィル速度で TTFT を求め、そこに出力トークン÷生成速度を足すと、応答全体のおおよその時間になります。

Q. 応答を速くするにはどうすればよいですか?

A. 出力を短くする、ストリーミング表示にする、入力を短くする、共通部分をキャッシュする、より小さく速いモデルを使う、などの方法があります。