学習時メモリ計算ツール|Adam・混合精度

パラメータ数と精度(FP32 か混合精度か)、オプティマイザ(Adam、モーメンタム付きSGD、SGD)を選ぶと、学習時に必要なGPUメモリを重み・勾配・オプティマイザ状態に分けて計算します。推論より何倍のメモリが要るのかがわかります。

学習時メモリ計算ツール(重み・勾配・オプティマイザ状態)

パラメータ数・精度・オプティマイザから、モデルの学習に必要なGPUメモリ(重み・勾配・オプティマイザ状態)を概算します。

使い方

  1. モデルのパラメータ数を「B(10億)」単位で入力します。
  2. 精度(すべて FP32 か、16bit で計算して FP32 のマスター重みを持つ混合精度か)を選びます。
  3. オプティマイザを選び、1パラメータあたりのバイト数と合計メモリ、内訳の表を確認します。

計算式

必要メモリ ≈ パラメータ数 × (重み + 勾配 + マスター重み + オプティマイザ状態) バイト
  • FP32:重み4+勾配4バイト
  • 混合精度:重み2+勾配2+FP32のマスター重み4バイト
  • オプティマイザ状態(FP32):Adam は1次と2次のモーメントで8バイト、モーメンタム付きSGDは4バイト、SGDは0バイト

計算例

初期値の「1B、混合精度、Adam」で計算します。

  • 1パラメータあたり:重み2+勾配2+マスター重み4+オプティマイザ8 = 16バイト
  • 合計:1×10⁹×16バイト = 16GB
  • 推論用の重みだけなら2GBなので、学習には約8倍のメモリが必要です。

ここでの1GBは10億バイトです。

結果の見方

Adam は各パラメータに2つの状態を持つため、オプティマイザ状態だけで重みの数倍のメモリを使います。混合精度でも FP32 のマスター重みを持つため、Adam と組み合わせると1パラメータあたり16バイトになり、FP32 の場合と合計は同じになります。混合精度の主な利点は、メモリよりも計算の速さと、アクティベーションのメモリが小さくなる点にあります。

GPU 1枚に収まらない場合は、オプティマイザ状態や勾配を複数のGPUに分けて持つ方法、パラメータの一部だけを学習する LoRA などの方法が検討されます。

組み合わせごとの1パラメータあたりのバイト数

このツールで使っている値の一覧です。アクティベーションは含みません。

精度 オプティマイザ バイト/パラメータ
FP32 SGD 8
FP32 SGD+モーメンタム 12
FP32 Adam 16
混合精度 SGD 8
混合精度 Adam 16

たとえば7Bのモデルを混合精度とAdamで学習すると、7×16=112GBになり、重みだけ(14GB)の8倍ものメモリが必要になることがわかります。

求めた値はGPUを選ぶときの下限の目安です。アクティベーションの分も考えて、GPUのメモリ容量に十分な余裕があるかを確かめておきましょう。

メモリが足りないときは、バッチサイズを小さくして勾配を何回か分けて足し合わせる方法(勾配累積)もよく使われます。

注意点

  • この値にはアクティベーション(順伝播の中間結果)のメモリは含まれていません。アクティベーションはバッチサイズや系列長に比例し、こちらの方が大きくなることもあります。
  • フレームワークの作業領域や、メモリの断片化による無駄も別途かかります。
  • 8bit のオプティマイザなど、状態を小さく持つ方法を使うとオプティマイザ状態のバイト数は変わります。
  • LoRA のように一部のパラメータだけを学習する場合は、勾配とオプティマイザ状態は学習するパラメータの分だけになります。

学習時のメモリのよくある質問

Q. Adamで学習すると1パラメータあたり何バイト必要ですか?

A. 混合精度の場合、16bitの重み2+勾配2+FP32のマスター重み4+Adamの状態8で、合計16バイトがよく使われる目安です。アクティベーションは別です。

Q. 学習は推論の何倍のメモリが必要ですか?

A. 16bitの重みだけで推論する場合と比べると、混合精度+Adamでは重み・勾配・オプティマイザ状態だけで約8倍になります。さらにアクティベーションが加わります。

Q. アクティベーションのメモリを減らす方法は?

A. バッチサイズや系列長を小さくする、途中結果を保存せず必要なときに計算し直す手法(勾配チェックポイント)を使う、などの方法があります。