それはディープラーニングの典型的な悩みだね。解決策の1つが「バッチ正規化（Batch Normalization、BN）」だよ。バッチ正規化とは、ニューラルネットワークの各レイヤーの入力を、ミニバッチ単位で平均0・分散1に正規化する手法なんだ。2015年にGoogleのIoffeとSzegedyが発表して以来、ほとんどすべてのCNN（畳み込みニューラルネットワーク）に組み込まれている基本技術だよ。

ニューラルネットワークでは、あるレイヤーのパラメータが更新されると、次のレイヤーへの入力分布が変わってしまうんだ。これを「内部共変量シフト（Internal Covariate Shift）」と呼ぶよ。バッチ正規化はこの入力分布の変動を抑えることで、各レイヤーが安定した分布のデータを受け取れるようにする。その結果、より大きな学習率を使えるようになり、学習が高速化し、初期値への依存も低減されるんだ。

いい質問だね。主な理由は2つあるよ。1つ目は、NLPでは入力テキストの長さがバラバラなので、パディング（空白埋め）が発生し、バッチ方向の統計量が不安定になること。2つ目は、テキスト生成のような自己回帰タスクでは、将来のトークンの情報を使えないため、バッチ全体の統計量を計算するBNが使いにくいことだ。Layer Normalizationは各サンプルの特徴量方向で正規化するから、これらの問題を回避できるんだよ。

推論時にmodel.eval()を呼ばないと、BN層がミニバッチの統計量を使い続けるため、入力データのバッチ構成によって出力が変わってしまうという問題が起きるよ。これはPyTorchでよくあるバグの原因だ。必ずmodel.eval()を呼んで、学習中に蓄積した移動平均の統計量を使うようにしよう。バッチ正規化は「設置して終わり」ではなく、学習と推論の切り替えまで意識することが重要だよ。

バッチ正規化（Batch Normalization）は各層の入力を正規化するテクニックです。ミニバッチごとに平均0、分散1に標準化します。これにより学習が安定・高速化し、深いネットワークでも効率的に学習できるようになります。2015年の提案以降、ほぼ全てのCNNで使われています。

深いネットワークでは、ある層のパラメータが更新されると次の層の入力の分布が変わります。これを内部共変量シフト（Internal Covariate Shift）と呼びます。各層が常に変化する入力に適応し続けなければならないので学習が不安定になります。バッチ正規化は各層の入力分布を安定させることでこの問題を緩和します。

4つのステップです。1）ミニバッチの平均μを計算。2）ミニバッチの分散σ²を計算。3）平均0、分散1に正規化（x̂ = (x-μ)/√(σ²+ε)）。4）学習可能なパラメータγとβでスケール・シフト（y = γx̂ + β）。最後のステップにより、モデルが正規化の効果を調整できます。

正規化だけだと表現力が制限される可能性があるので、学習可能なパラメータでスケールとシフトを調整します。γ=σ、β=μに学習されれば元の分布に戻せるので、正規化が害になる場合はモデルが自動的に無効化できる仕組みです。

主なメリットは4つです。学習率を大きくできるので学習が速くなります。初期値に対するロバスト性が向上し、重みの初期化への依存が減ります。正則化効果があり、ミニバッチのランダム性がDropoutに似た効果を生みます。そして勾配消失/爆発を緩和して深いネットワークの学習を可能にします。

バッチサイズが小さいと不安定になります。少数のサンプルで平均・分散を推定するので統計量がブレます。また推論時は学習時に記録した移動平均・分散を使うため、学習と推論で挙動が異なる点に注意が必要です。RNNには不向きで、代わりにLayer Normalizationが使われます。