パラメータ数(10億単位)と重みの精度、オーバーヘッド率を入れると、LLMを推論で動かすのに必要な VRAM のおおよその量を計算します。KVキャッシュの量を足したり、FP16・8bit・4bit の場合と比べたりできます。
LLM 必要VRAM計算ツール(量子化別・推論用の概算)
パラメータ数と量子化ビット数・オーバーヘッド率から、LLMを推論で動かすのに必要なGPUメモリ(VRAM)を概算します。
使い方
- モデルのパラメータ数を「B(10億)」単位で入力します。70億パラメータなら7です。
- 重みの精度(FP16、8bit、4bit など)とオーバーヘッド率を入力します。オーバーヘッド率の初期値20%は例の値です。
- 長い文脈を使う場合は KVキャッシュの量(GB)を入れ、合計と精度別の比較表を確認します。
計算式
重み = パラメータ数 × ビット数 ÷ 8(バイト)
必要VRAM ≈ 重み × (1 + オーバーヘッド率) + KVキャッシュ
1パラメータは FP16 なら16bit=2バイト、4bit量子化なら0.5バイトです。オーバーヘッドには、実行ソフトの作業領域や、量子化で使うスケール値などの上乗せ分をまとめて入れます。
計算例
初期値の「7B、FP16、オーバーヘッド20%、KVキャッシュ0」で計算します。
- 重み:7×10⁹×16÷8 = 14GB
- オーバーヘッド:14×20% = 2.8GB
- 必要VRAM:14+2.8+0 = 16.8GB
同じ条件で4bitにすると、重みは3.5GB、合計は4.2GBになります(比較表に表示されます)。ここでの1GBは10億バイトです。
結果の見方
精度のビット数を半分にすると、重みのメモリも半分になります。手元のGPUで動くかどうかは、合計の値が GPU のメモリ容量より十分小さいかで判断します。ぎりぎりの場合は、文脈の長さを短くする、より低いビット数の量子化を選ぶ、などで調整します。
量子化のビット数を下げるほど、答えの質が下がる可能性があります。どの程度変わるかはモデルや量子化の方式によるため、実際に試して確認するのが確実です。
パラメータ数と精度ごとの重みの大きさ
オーバーヘッドを含まない、重みだけの大きさです(1GB=10億バイト)。
| パラメータ数 | FP16 | 8bit | 4bit |
|---|---|---|---|
| 1B | 2GB | 1GB | 0.5GB |
| 7B | 14GB | 7GB | 3.5GB |
| 13B | 26GB | 13GB | 6.5GB |
| 70B | 140GB | 70GB | 35GB |
まずこの表で大まかな範囲をつかみ、ツールでオーバーヘッドとKVキャッシュを足して確認すると見積もりやすくなります。
複数のGPUにモデルを分けて載せる場合は、合計の値をGPUの枚数で割った量が1枚あたりの目安になります。ただし分割のための作業領域が加わるため、少し多めに見ておきましょう。
注意点
- あくまで概算です。実際の必要量は、実行ソフト・量子化形式・文脈の長さ・同時処理数によって変わります。
- 「4bit」と書かれた量子化形式でも、スケール値などのために平均のビット数は4より少し大きくなることがあります。その分はオーバーヘッド率で調整してください。
- 学習やファインチューニングでは、勾配やオプティマイザの状態のためにさらに多くのメモリが必要です。
- GPU の容量表示と、このツールの GB(10億バイト)は換算が少し異なる場合があります。
LLMの必要VRAMのよくある質問
Q. 7BのLLMを動かすには何GBのVRAMが必要ですか?
A. 重みだけで、FP16なら約14GB、8bitなら約7GB、4bitなら約3.5GBです。実際には作業領域やKVキャッシュが加わるため、それより多めに見積もります。
Q. 量子化するとどれくらいメモリが減りますか?
A. 重みのメモリはビット数に比例します。16bitから4bitにすると約4分の1です。ただし量子化の方式によって少し上乗せがあります。
Q. KVキャッシュはどのくらい見込めばよいですか?
A. 層数・KVヘッド数・系列長などで大きく変わります。KVキャッシュメモリ計算ツールで求めた値を入力すると、合計に加えられます。
