過学習（オーバーフィッティング）とは？原因と対策を徹底解説

過学習とは、訓練データに対しては高い精度を出すのに、未知のデータには全然当たらないという状態です。モデルがデータの本質的なパターンではなく、ノイズや偶然のパターンまで覚えてしまっているんです。

まさにその通りです！過去問を丸暗記して模試では高得点だけど、初見の問題が解けないのと同じ状態です。機械学習ではこの「初見の問題に対応できる力」を「汎化性能」と呼びます。

主な原因は3つあります。1つ目はモデルが複雑すぎること。パラメータ数がデータ量に対して多すぎると、ノイズまで覚えてしまいます。2つ目は訓練データが少ないこと。サンプルが少ないと偏ったパターンを学習しやすくなります。3つ目は学習回数が多すぎることです。

学習曲線（Learning Curve）を見るのが一番わかりやすいです。エポックが進むにつれて訓練損失は下がり続けるのにバリデーション損失が上がり始めたら、それが過学習の兆候です。訓練精度とテスト精度の差が大きい場合も過学習を疑います。

対策は大きく分けて4つのアプローチがあります。データを増やす（データ拡張含む）、モデルを単純化する（層やパラメータを減らす）、正則化を使う（L1/L2正則化、ドロップアウト）、早期停止（Early Stopping）で最適なタイミングで学習を止める方法です。

ドロップアウトは学習時にランダムにニューロンを無効化する手法です。例えばドロップアウト率0.5なら、各学習ステップで半分のニューロンがランダムに使われません。これにより特定のニューロンへの依存を防ぎ、汎化性能が向上します。ディープラーニングでは必須のテクニックです。

これは機械学習の根本的な概念です。バイアスはモデルの予測が平均的にどれだけずれているか、バリアンスはデータが変わったときに予測がどれだけブレるかを表します。単純なモデルはバイアスが高くバリアンスが低い、複雑なモデルはその逆です。

その通りです。バイアスとバリアンスの合計が最小になるスイートスポットを見つけることが、良いモデルを作る本質です。交差検証でテスト精度を確認しながら、正則化の強さやモデルの複雑さを調整していきましょう。