全結合層(Dense層・Linear層)の入力次元と出力次元、バイアスの有無、層数を入力すると、パラメータ数と重みのメモリ量(FP32・FP16・INT8)を計算します。モデルの大きさの見積もりや、設計の見直しに使えます。
全結合層 パラメータ数計算ツール(重み・バイアス・メモリ)
全結合層(Dense / Linear)の入力次元・出力次元・層数から、パラメータ数とFP32/FP16/INT8でのメモリ量を計算します。
使い方
- 1層目の入力次元(たとえば28×28画像を平らにしたなら784)と、各層の出力次元(ユニット数)を入力します。
- バイアスの有無と層数を選びます。2層目以降は「出力次元→出力次元」の同じ形が続くものとして計算します。
- パラメータ数と、精度ごとのメモリ量を確認します。層ごとの内訳は表に出ます。
計算式
全結合層は、入力ベクトルに重み行列をかけてバイアスを足す処理です。重み行列の大きさは「入力次元×出力次元」なので、1層のパラメータ数は次の式になります。
パラメータ数 = 入力次元 × 出力次元 + 出力次元(バイアスありの場合)
メモリ = パラメータ数 × 1個あたりのバイト数(FP32=4, FP16/BF16=2, INT8=1)
層を重ねる場合は、各層の値を足し合わせます。このツールでは、2層目以降の入力次元は前の層の出力次元と同じになります。
計算例
初期値の「入力784・出力256・バイアスあり・1層」で計算します。
- 重み:784×256 = 200,704
- バイアス:256
- 合計:200,960個(約20.1万)
- メモリ:200,960×4バイト = 785KB(FP32)、392.5KB(FP16)、196.25KB(INT8)
なお、メモリ表示は1KB=1024バイトで換算しています。
結果の見方
全結合層のパラメータ数は入力次元と出力次元の積で決まるため、両方を2倍にすると約4倍に増えます。画像を平らにしてそのまま全結合層につなぐと、入力次元が大きくなりパラメータが一気に増えるのはこのためです。畳み込み層やプーリングで次元を小さくしてから全結合層につなぐと、パラメータを抑えられます。
メモリの値は「重みを保存するのに必要な量」です。推論で必要なメモリの下限の目安として見てください。
次元ごとのパラメータ数の目安
バイアスありの1層で、入力次元と出力次元を変えたときのパラメータ数です。次元が2倍になるとおよそ4倍になることが確かめられます。
| 入力次元 | 出力次元 | パラメータ数 |
|---|---|---|
| 128 | 128 | 16,512 |
| 256 | 256 | 65,792 |
| 512 | 512 | 262,656 |
| 1,024 | 1,024 | 1,049,600 |
このように、モデルを設計するときは、どの層にパラメータが集中しているかを先に確かめておくと、無駄の少ない構成を考えやすくなります。
なお、同じパラメータ数でも、層を深くするか幅を広くするかで学習のしやすさや性能は変わります。このツールは大きさを比べるための道具として使い、構成の良し悪しは検証データで確かめましょう。
注意点
- 学習時は重みのほかに勾配やオプティマイザの状態、中間結果(アクティベーション)のメモリが必要です。学習時の見積もりは学習時メモリ計算ツールを使ってください。
- バッチ正規化や層正規化を入れる場合、そのパラメータ(スケールとシフト)は含まれていません。
- 層ごとに出力次元が違う場合は、層ごとに入力し直して合計してください。
- フレームワークの「総パラメータ数」表示には、学習しない値(固定した層など)が含まれる場合があります。
全結合層のパラメータ数のよくある質問
Q. 全結合層のパラメータ数はどう計算しますか?
A. 入力次元×出力次元で重みの数を求め、バイアスがある場合は出力次元の数を足します。たとえば入力784、出力256なら 784×256+256=200,960 です。
Q. バイアスなしにするとどれくらい減りますか?
A. 減るのは出力次元の数だけです。重みの数に比べるとごくわずかなので、全体のパラメータ数への影響は小さくなります。
Q. FP16にするとメモリは半分になりますか?
A. 重みの保存に必要な量は、1個あたり4バイトから2バイトになるので半分になります。ただし学習時の勾配やオプティマイザの状態などは別に考える必要があります。
