層数・d_model(隠れ次元)・FFN倍率またはd_ff・語彙数・埋め込みの共有の有無を入れると、Transformer(デコーダ型)のおおよそのパラメータ数を計算します。どの部分がパラメータの多くを占めるのかが、式と内訳からわかります。
Transformer パラメータ数計算ツール(層数・d_model・語彙数から概算)
層数・d_model・FFNの大きさ・語彙数から、Transformer(デコーダ型)のおおよそのパラメータ数を式つきで計算します。
使い方
- 層数と d_model を入力します。
- FFN の中間次元を、倍率(d_ff÷d_model)か d_ff の直接指定で入力し、FFN の形(通常の2行列か、ゲート付きの3行列か)を選びます。
- 語彙数と、入力埋め込みと出力層の重みを共有するかを選び、合計と内訳を確認します。
計算式
1層あたり ≈ 4·d² + m·d·d_ff
埋め込み = V·d(共有しない場合は 2·V·d)
合計 ≈ L × 1層あたり + 埋め込み
d は d_model、d_ff は FFN の中間次元、L は層数、V は語彙数です。4d² は注意機構の Q・K・V・出力の4つの d×d 行列、m·d·d_ff は FFN の行列(通常は m=2、ゲート付きは m=3)です。バイアス、LayerNorm、位置埋め込みは小さいため省いています。
計算例
初期値の「12層、d_model 768、FFN倍率4(d_ff 3,072)、通常のFFN、語彙数50,000、共有する」で計算します。
- 注意機構:4×768² = 2,359,296
- FFN:2×768×3,072 = 4,718,592
- 層部分:12×7,077,888 = 84,934,656
- 埋め込み:50,000×768 = 38,400,000
- 合計:123,334,656(約1.23億)。埋め込みが全体の31.1%を占めます。
結果の見方
層の部分はおおよそ「層数×d_model²」に比例するため、d_model を2倍にすると層の部分は約4倍になります。大きなモデルほど層の部分が大半を占め、埋め込みの割合は小さくなります。逆に小さなモデルでは語彙数の影響が大きく、計算例のように埋め込みが3割を超えることもあります。
求めたパラメータ数は、必要VRAM計算ツールや学習計算量(6ND)計算ツールにそのまま使えます。
設定を変えたときの変化
計算例(12層・d_model 768・語彙数50,000)から1つだけ変えたときの概算です。
| 変更 | 概算パラメータ数 |
|---|---|
| そのまま | 約1.23億 |
| 層数を24に | 約2.08億 |
| d_model を1,536に | 約4.17億 |
| 重み共有をしない | 約1.62億 |
層数を2倍にすると層の部分だけが2倍に、d_model を2倍にすると層の部分が約4倍・埋め込みが2倍になります。
求めたパラメータ数に1パラメータあたりのバイト数をかけると、重みのメモリの目安になります。たとえば約1.23億パラメータを16bitで持つと、約0.25GBです。
注意点
- あくまで概算です。バイアスや正規化層、位置埋め込みを含めないため、実際の値より少し小さめに出ます。
- KVヘッドを減らす GQA や MQA の構造では、K と V の行列が小さくなるので、注意機構の部分は 4d² より少なくなります。
- 専門家混合(MoE)のモデルは FFN を複数持つため、この式では計算できません。
- エンコーダ・デコーダ型ではクロスアテンションの分が加わります。
Transformerのパラメータ数のよくある質問
Q. Transformerのパラメータ数の概算式は?
A. 1層あたり約 4d²+2·d·d_ff(d は d_model、d_ff は FFN の中間次元)で、これに層数をかけ、語彙数×d の埋め込みを足します。
Q. d_ff はふつう d_model の何倍ですか?
A. 通常の FFN では4倍がよく使われます。ゲート付きの FFN では行列が3つになるため、パラメータ数をそろえる目的で倍率を小さめにすることがあります。
Q. 埋め込みの重み共有とは何ですか?
A. 入力のトークン埋め込みと、出力でトークンの確率を出す層に同じ行列を使う方法です。語彙数×d_model 分のパラメータを節約できます。
