層数・KVヘッド数・ヘッド次元・系列長・バッチサイズ・精度を入れると、LLMの推論で使う KVキャッシュのメモリ量を計算します。クエリのヘッド数も入れると、GQA や MQA によってどれだけメモリが減るかを比べられます。
KVキャッシュ メモリ計算ツール(GQA・MQA対応)
層数・KVヘッド数・ヘッド次元・系列長・バッチサイズ・精度から、LLM推論時のKVキャッシュのメモリ量を計算します。
使い方
- モデルの層数・KVヘッド数・ヘッド次元を入力します。モデルの設定ファイルに書かれている値を使います。
- 系列長(入力と出力を合わせた最大トークン数)、バッチサイズ(同時に処理する数)、KVキャッシュの精度を選びます。
- 比較したい場合はクエリのヘッド数を入力し、合計メモリと削減率を確認します。
計算式
KVキャッシュ = 2 × L × H_kv × d_head × 系列長 × バッチ × バイト数
2 は K(キー)と V(バリュー)の2つ、L は層数、H_kv は KVヘッド数、d_head は1ヘッドの次元、バイト数は1要素あたりの大きさ(FP16 なら2)です。生成中は過去のトークンの K と V を保存しておくことで、毎回計算し直さずに済ませます。その保存領域が KVキャッシュです。
計算例
初期値の「32層、KVヘッド8、ヘッド次元128、系列長8,192、バッチ1、FP16、クエリのヘッド32」で計算します。
- 1トークンあたり:2×32×8×128×2 = 131,072バイト(128KB)
- 合計:131,072×8,192×1 = 1,073,741,824バイト = 1GB
- KVヘッドを減らさない場合(32ヘッド):4GB。削減率は75%です。
表示は1GB=1024³バイトで換算しています。
結果の見方
KVキャッシュは系列長とバッチサイズに比例して増えます。長い文脈を扱ったり、同時に多くのリクエストを処理したりすると、モデルの重みと同じくらい、あるいはそれ以上のメモリを使うことがあります。
GQA(グループ化クエリ注意)は、複数のクエリヘッドで同じ K と V を共有する方式です。KVヘッドが1つだけの場合を MQA と呼びます。KVキャッシュは「KVヘッド数÷クエリヘッド数」の割合に減るため、長文や大量の同時処理に向いています。
系列長とバッチサイズによる変化
計算例と同じモデル(32層・KVヘッド8・ヘッド次元128・FP16)で、条件を変えたときの KVキャッシュです。
| 系列長 | バッチ | KVキャッシュ |
|---|---|---|
| 4,096 | 1 | 0.5GB |
| 8,192 | 1 | 1GB |
| 32,768 | 1 | 4GB |
| 8,192 | 8 | 8GB |
どちらも比例して増えるため、長い文脈と多数の同時処理を両立させるには、多くのメモリが必要です。
同時処理数を決めるときは、GPUのメモリからモデルの重みを引いた残りを、1リクエストあたりの KVキャッシュで割ると、おおよその上限がわかります。
注意点
- 実行ソフトによっては、ページ単位の管理領域や、あらかじめ最大長分を確保する仕組みのため、実際の使用量がこの値より大きくなります。
- KVキャッシュを8bitや4bitに量子化できるかどうかは、実行ソフトによって異なります。
- スライディングウィンドウ注意など、保存する範囲を限る仕組みを持つモデルでは、系列長の代わりにウィンドウ幅で計算します。
- モデルの重みのメモリは別に必要です。合計は必要VRAM計算ツールで見積もれます。
KVキャッシュのメモリのよくある質問
Q. KVキャッシュとは何ですか?
A. 文章を1トークンずつ生成するときに、過去のトークンのキー(K)とバリュー(V)を保存しておく領域です。再計算を省けるため生成が速くなる一方で、メモリを使います。
Q. KVキャッシュのメモリはどう計算しますか?
A. 2×層数×KVヘッド数×ヘッド次元×系列長×バッチサイズ×1要素のバイト数です。2 は K と V の2つ分です。
Q. GQA と MQA の違いは?
A. GQA はクエリヘッドをいくつかのグループに分け、グループごとに K と V を共有します。MQA はすべてのクエリヘッドで1組の K と V を共有する方式で、KVキャッシュが最も小さくなります。
