バッチ正規化とは？深層学習の学習を安定させる技術

バッチ正規化（Batch Normalization）は各層の入力を正規化するテクニックです。ミニバッチごとに平均0、分散1に標準化します。これにより学習が安定・高速化し、深いネットワークでも効率的に学習できるようになります。2015年の提案以降、ほぼ全てのCNNで使われています。

深いネットワークでは、ある層のパラメータが更新されると次の層の入力の分布が変わります。これを内部共変量シフト（Internal Covariate Shift）と呼びます。各層が常に変化する入力に適応し続けなければならないので学習が不安定になります。バッチ正規化は各層の入力分布を安定させることでこの問題を緩和します。

4つのステップです。1）ミニバッチの平均μを計算。2）ミニバッチの分散σ²を計算。3）平均0、分散1に正規化（x̂ = (x-μ)/√(σ²+ε)）。4）学習可能なパラメータγとβでスケール・シフト（y = γx̂ + β）。最後のステップにより、モデルが正規化の効果を調整できます。

正規化だけだと表現力が制限される可能性があるので、学習可能なパラメータでスケールとシフトを調整します。γ=σ、β=μに学習されれば元の分布に戻せるので、正規化が害になる場合はモデルが自動的に無効化できる仕組みです。

主なメリットは4つです。学習率を大きくできるので学習が速くなります。初期値に対するロバスト性が向上し、重みの初期化への依存が減ります。正則化効果があり、ミニバッチのランダム性がDropoutに似た効果を生みます。そして勾配消失/爆発を緩和して深いネットワークの学習を可能にします。

バッチサイズが小さいと不安定になります。少数のサンプルで平均・分散を推定するので統計量がブレます。また推論時は学習時に記録した移動平均・分散を使うため、学習と推論で挙動が異なる点に注意が必要です。RNNには不向きで、代わりにLayer Normalizationが使われます。