KVキャッシュメモリ計算ツール|GQA対応

層数・KVヘッド数・ヘッド次元・系列長・バッチサイズ・精度を入れると、LLMの推論で使う KVキャッシュのメモリ量を計算します。クエリのヘッド数も入れると、GQA や MQA によってどれだけメモリが減るかを比べられます。

KVキャッシュ メモリ計算ツール(GQA・MQA対応)

層数・KVヘッド数・ヘッド次元・系列長・バッチサイズ・精度から、LLM推論時のKVキャッシュのメモリ量を計算します。

使い方

  1. モデルの層数・KVヘッド数・ヘッド次元を入力します。モデルの設定ファイルに書かれている値を使います。
  2. 系列長(入力と出力を合わせた最大トークン数)、バッチサイズ(同時に処理する数)、KVキャッシュの精度を選びます。
  3. 比較したい場合はクエリのヘッド数を入力し、合計メモリと削減率を確認します。

計算式

KVキャッシュ = 2 × L × H_kv × d_head × 系列長 × バッチ × バイト数

2 は K(キー)と V(バリュー)の2つ、L は層数、H_kv は KVヘッド数、d_head は1ヘッドの次元、バイト数は1要素あたりの大きさ(FP16 なら2)です。生成中は過去のトークンの K と V を保存しておくことで、毎回計算し直さずに済ませます。その保存領域が KVキャッシュです。

計算例

初期値の「32層、KVヘッド8、ヘッド次元128、系列長8,192、バッチ1、FP16、クエリのヘッド32」で計算します。

  • 1トークンあたり:2×32×8×128×2 = 131,072バイト(128KB)
  • 合計:131,072×8,192×1 = 1,073,741,824バイト = 1GB
  • KVヘッドを減らさない場合(32ヘッド):4GB。削減率は75%です。

表示は1GB=1024³バイトで換算しています。

結果の見方

KVキャッシュは系列長とバッチサイズに比例して増えます。長い文脈を扱ったり、同時に多くのリクエストを処理したりすると、モデルの重みと同じくらい、あるいはそれ以上のメモリを使うことがあります。

GQA(グループ化クエリ注意)は、複数のクエリヘッドで同じ K と V を共有する方式です。KVヘッドが1つだけの場合を MQA と呼びます。KVキャッシュは「KVヘッド数÷クエリヘッド数」の割合に減るため、長文や大量の同時処理に向いています。

系列長とバッチサイズによる変化

計算例と同じモデル(32層・KVヘッド8・ヘッド次元128・FP16)で、条件を変えたときの KVキャッシュです。

系列長 バッチ KVキャッシュ
4,096 1 0.5GB
8,192 1 1GB
32,768 1 4GB
8,192 8 8GB

どちらも比例して増えるため、長い文脈と多数の同時処理を両立させるには、多くのメモリが必要です。

同時処理数を決めるときは、GPUのメモリからモデルの重みを引いた残りを、1リクエストあたりの KVキャッシュで割ると、おおよその上限がわかります。

注意点

  • 実行ソフトによっては、ページ単位の管理領域や、あらかじめ最大長分を確保する仕組みのため、実際の使用量がこの値より大きくなります。
  • KVキャッシュを8bitや4bitに量子化できるかどうかは、実行ソフトによって異なります。
  • スライディングウィンドウ注意など、保存する範囲を限る仕組みを持つモデルでは、系列長の代わりにウィンドウ幅で計算します。
  • モデルの重みのメモリは別に必要です。合計は必要VRAM計算ツールで見積もれます。

KVキャッシュのメモリのよくある質問

Q. KVキャッシュとは何ですか?

A. 文章を1トークンずつ生成するときに、過去のトークンのキー(K)とバリュー(V)を保存しておく領域です。再計算を省けるため生成が速くなる一方で、メモリを使います。

Q. KVキャッシュのメモリはどう計算しますか?

A. 2×層数×KVヘッド数×ヘッド次元×系列長×バッチサイズ×1要素のバイト数です。2 は K と V の2つ分です。

Q. GQA と MQA の違いは?

A. GQA はクエリヘッドをいくつかのグループに分け、グループごとに K と V を共有します。MQA はすべてのクエリヘッドで1組の K と V を共有する方式で、KVキャッシュが最も小さくなります。