バッチ正規化とは？ディープラーニングの学習を安定させるBatch Normalization

それはディープラーニングの典型的な悩みだね。解決策の1つが「バッチ正規化（Batch Normalization、BN）」だよ。バッチ正規化とは、ニューラルネットワークの各レイヤーの入力を、ミニバッチ単位で平均0・分散1に正規化する手法なんだ。2015年にGoogleのIoffeとSzegedyが発表して以来、ほとんどすべてのCNN（畳み込みニューラルネットワーク）に組み込まれている基本技術だよ。

ニューラルネットワークでは、あるレイヤーのパラメータが更新されると、次のレイヤーへの入力分布が変わってしまうんだ。これを「内部共変量シフト（Internal Covariate Shift）」と呼ぶよ。バッチ正規化はこの入力分布の変動を抑えることで、各レイヤーが安定した分布のデータを受け取れるようにする。その結果、より大きな学習率を使えるようになり、学習が高速化し、初期値への依存も低減されるんだ。

いい質問だね。主な理由は2つあるよ。1つ目は、NLPでは入力テキストの長さがバラバラなので、パディング（空白埋め）が発生し、バッチ方向の統計量が不安定になること。2つ目は、テキスト生成のような自己回帰タスクでは、将来のトークンの情報を使えないため、バッチ全体の統計量を計算するBNが使いにくいことだ。Layer Normalizationは各サンプルの特徴量方向で正規化するから、これらの問題を回避できるんだよ。

推論時にmodel.eval()を呼ばないと、BN層がミニバッチの統計量を使い続けるため、入力データのバッチ構成によって出力が変わってしまうという問題が起きるよ。これはPyTorchでよくあるバグの原因だ。必ずmodel.eval()を呼んで、学習中に蓄積した移動平均の統計量を使うようにしよう。バッチ正規化は「設置して終わり」ではなく、学習と推論の切り替えまで意識することが重要だよ。