Transformerパラメータ数計算ツール

層数・d_model(隠れ次元)・FFN倍率またはd_ff・語彙数・埋め込みの共有の有無を入れると、Transformer(デコーダ型)のおおよそのパラメータ数を計算します。どの部分がパラメータの多くを占めるのかが、式と内訳からわかります。

Transformer パラメータ数計算ツール(層数・d_model・語彙数から概算)

層数・d_model・FFNの大きさ・語彙数から、Transformer(デコーダ型)のおおよそのパラメータ数を式つきで計算します。

使い方

  1. 層数と d_model を入力します。
  2. FFN の中間次元を、倍率(d_ff÷d_model)か d_ff の直接指定で入力し、FFN の形(通常の2行列か、ゲート付きの3行列か)を選びます。
  3. 語彙数と、入力埋め込みと出力層の重みを共有するかを選び、合計と内訳を確認します。

計算式

1層あたり ≈ 4·d² + m·d·d_ff
埋め込み = V·d(共有しない場合は 2·V·d)
合計 ≈ L × 1層あたり + 埋め込み

d は d_model、d_ff は FFN の中間次元、L は層数、V は語彙数です。4d² は注意機構の Q・K・V・出力の4つの d×d 行列、m·d·d_ff は FFN の行列(通常は m=2、ゲート付きは m=3)です。バイアス、LayerNorm、位置埋め込みは小さいため省いています。

計算例

初期値の「12層、d_model 768、FFN倍率4(d_ff 3,072)、通常のFFN、語彙数50,000、共有する」で計算します。

  • 注意機構:4×768² = 2,359,296
  • FFN:2×768×3,072 = 4,718,592
  • 層部分:12×7,077,888 = 84,934,656
  • 埋め込み:50,000×768 = 38,400,000
  • 合計:123,334,656(約1.23億)。埋め込みが全体の31.1%を占めます。

結果の見方

層の部分はおおよそ「層数×d_model²」に比例するため、d_model を2倍にすると層の部分は約4倍になります。大きなモデルほど層の部分が大半を占め、埋め込みの割合は小さくなります。逆に小さなモデルでは語彙数の影響が大きく、計算例のように埋め込みが3割を超えることもあります。

求めたパラメータ数は、必要VRAM計算ツールや学習計算量(6ND)計算ツールにそのまま使えます。

設定を変えたときの変化

計算例(12層・d_model 768・語彙数50,000)から1つだけ変えたときの概算です。

変更 概算パラメータ数
そのまま 約1.23億
層数を24に 約2.08億
d_model を1,536に 約4.17億
重み共有をしない 約1.62億

層数を2倍にすると層の部分だけが2倍に、d_model を2倍にすると層の部分が約4倍・埋め込みが2倍になります。

求めたパラメータ数に1パラメータあたりのバイト数をかけると、重みのメモリの目安になります。たとえば約1.23億パラメータを16bitで持つと、約0.25GBです。

注意点

  • あくまで概算です。バイアスや正規化層、位置埋め込みを含めないため、実際の値より少し小さめに出ます。
  • KVヘッドを減らす GQA や MQA の構造では、K と V の行列が小さくなるので、注意機構の部分は 4d² より少なくなります。
  • 専門家混合(MoE)のモデルは FFN を複数持つため、この式では計算できません。
  • エンコーダ・デコーダ型ではクロスアテンションの分が加わります。

Transformerのパラメータ数のよくある質問

Q. Transformerのパラメータ数の概算式は?

A. 1層あたり約 4d²+2·d·d_ff(d は d_model、d_ff は FFN の中間次元)で、これに層数をかけ、語彙数×d の埋め込みを足します。

Q. d_ff はふつう d_model の何倍ですか?

A. 通常の FFN では4倍がよく使われます。ゲート付きの FFN では行列が3つになるため、パラメータ数をそろえる目的で倍率を小さめにすることがあります。

Q. 埋め込みの重み共有とは何ですか?

A. 入力のトークン埋め込みと、出力でトークンの確率を出す層に同じ行列を使う方法です。語彙数×d_model 分のパラメータを節約できます。