バッチ正規化とは？ディープラーニングの学習を安定させるBatch Normalization

KerasでBatchNormalization有無を比較する：MNISTでの学習速度実験

バッチ正規化（Batch Normalization）が学習速度と精度に与える効果を、MNISTデータセットで実験的に確認します。同一アーキテクチャでBatchNormの有無だけを変えて比較します。

import tensorflow as tf
from tensorflow.keras import layers, Sequential
import matplotlib.pyplot as plt

# データ準備
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train = x_train.reshape(-1, 784).astype("float32") / 255.0
x_test = x_test.reshape(-1, 784).astype("float32") / 255.0

# --- BatchNormなしのモデル ---
model_no_bn = Sequential([
    layers.Input(shape=(784,)),
    layers.Dense(512, activation="relu"),
    layers.Dense(256, activation="relu"),
    layers.Dense(128, activation="relu"),
    layers.Dense(10, activation="softmax")
], name="without_batchnorm")

# --- BatchNormありのモデル ---
model_with_bn = Sequential([
    layers.Input(shape=(784,)),
    layers.Dense(512),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.Dense(256),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.Dense(128),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.Dense(10, activation="softmax")
], name="with_batchnorm")

# 同じ条件でコンパイル
for model in [model_no_bn, model_with_bn]:
    model.compile(
        optimizer=tf.keras.optimizers.SGD(learning_rate=0.1),
        loss="sparse_categorical_crossentropy",
        metrics=["accuracy"]
    )

# 学習の実行
print("=== BatchNormなし ===")
history_no_bn = model_no_bn.fit(
    x_train, y_train, epochs=20, batch_size=128,
    validation_data=(x_test, y_test), verbose=0
)
print(f"最終精度: {history_no_bn.history['val_accuracy'][-1]:.4f}")

print("=== BatchNormあり ===")
history_with_bn = model_with_bn.fit(
    x_train, y_train, epochs=20, batch_size=128,
    validation_data=(x_test, y_test), verbose=0
)
print(f"最終精度: {history_with_bn.history['val_accuracy'][-1]:.4f}")

# パラメータ数の比較
print(f"\nBNなし パラメータ: {model_no_bn.count_params():,}")
print(f"BNあり パラメータ: {model_with_bn.count_params():,}")

# 学習曲線の比較プロット
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 精度の推移
axes[0].plot(history_no_bn.history["val_accuracy"], label="Without BN", linewidth=2)
axes[0].plot(history_with_bn.history["val_accuracy"], label="With BN", linewidth=2)
axes[0].set_xlabel("Epoch")
axes[0].set_ylabel("Validation Accuracy")
axes[0].set_title("BatchNorm Effect on Accuracy")
axes[0].legend()
axes[0].grid(True, alpha=0.3)

# 損失の推移
axes[1].plot(history_no_bn.history["val_loss"], label="Without BN", linewidth=2)
axes[1].plot(history_with_bn.history["val_loss"], label="With BN", linewidth=2)
axes[1].set_xlabel("Epoch")
axes[1].set_ylabel("Validation Loss")
axes[1].set_title("BatchNorm Effect on Loss")
axes[1].legend()
axes[1].grid(True, alpha=0.3)

plt.tight_layout()
plt.savefig("batchnorm_comparison.png", dpi=150)
plt.show()

この実験から得られる知見は3つあります。第一に、BatchNormありモデルは初期エポックから高い精度に到達し、収束までのエポック数が大幅に短縮されます。第二に、SGDの学習率0.1という比較的大きな値でもBatchNormがあれば安定して学習できるため、学習率のチューニングが容易になります。第三に、BatchNormは各層の入力分布を正規化するため内部共変量シフトが軽減され、Dense→BatchNorm→Activationの順で配置するのが一般的なベストプラクティスです。パラメータ数の増加はごくわずか（層あたりgammaとbetaの2つ）ですが、学習効率の改善は劇的です。