過学習（オーバーフィッティング）とは？原因と対策を徹底解説

過学習の検出とEarlyStoppingの実装

学習曲線（train/validation loss）を描くと過学習が視覚的にわかります。EarlyStoppingコールバックで自動的に学習を止める方法も確認しましょう。

import numpy as np
from tensorflow.keras import layers, models
from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.datasets import boston_housing
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt

# 回帰用データ（ボストン住宅価格）
(X_train, y_train), (X_test, y_test) = boston_housing.load_data()
mean, std = X_train.mean(axis=0), X_train.std(axis=0)
X_train = (X_train - mean) / std
X_test = (X_test - mean) / std

# わざと過学習しやすいモデル（パラメータ過多）
model = models.Sequential([
    layers.Dense(256, activation="relu", input_shape=(13,)),
    layers.Dense(256, activation="relu"),
    layers.Dense(256, activation="relu"),
    layers.Dense(1),
])
model.compile(optimizer="adam", loss="mse")

# EarlyStopping: val_lossが5エポック改善しなければ停止
early_stop = EarlyStopping(
    monitor="val_loss",
    patience=5,
    restore_best_weights=True,
)

history = model.fit(
    X_train, y_train,
    epochs=200,
    batch_size=32,
    validation_split=0.2,
    callbacks=[early_stop],
    verbose=0,
)

# 学習曲線の可視化
plt.figure(figsize=(8, 4))
plt.plot(history.history["loss"], label="train loss")
plt.plot(history.history["val_loss"], label="val loss")
plt.axvline(len(history.history["loss"]) - 1, color="red",
            linestyle="--", label="EarlyStopping")
plt.xlabel("Epoch")
plt.ylabel("MSE")
plt.legend()
plt.title("Train vs Validation Loss")
plt.savefig("learning_curve.png")
print(f"停止エポック: {len(history.history['loss'])}")
print(f"テスト損失: {model.evaluate(X_test, y_test, verbose=0):.2f}")

train lossが下がり続けるのにval_lossが上がり始めたら過学習のサインです。EarlyStoppingは「いつ学習を止めるか」を自動判断してくれる最も手軽な正則化手法で、patience（我慢するエポック数）を適切に設定するだけで使えます。