交差検証（Cross Validation）とは？モデル評価の基本手法

交差検証はデータを複数のグループに分けて、学習と評価を繰り返す手法です。一つのテストデータだけで評価すると偏った結果になることがありますが、交差検証を使えばモデルの汎化性能をより正確に測定できます。

ホールドアウト法（データを訓練用とテスト用に1回だけ分割）だと、分割の仕方によって結果がブレるんです。たまたまテストデータに簡単なサンプルが集まれば高い精度が出ますし、逆も然りです。交差検証はこの問題を解決します。

例えば5分割交差検証の場合を説明しますね。データを5つの等しいグループ（Fold）に分割します。1回目はFold1をテスト、Fold2〜5で学習。2回目はFold2をテスト、残りで学習。これを5回繰り返し、5回分の評価スコアを平均します。

一般的にはk=5またはk=10がよく使われます。kが大きいほど各Foldの訓練データが多くなり評価が安定しますが、計算コストも増えます。データが少ない場合はk=10、データが多い場合はk=5で十分です。

はい、データの性質に応じて使い分ける必要があります。Stratified k-Foldはクラスの比率を保つ分割で、不均衡データに有効です。Time Series Splitは時系列データ用で、未来のデータが学習に混入するのを防ぎます。Group k-Foldは同じグループのデータが訓練とテストに分かれないよう制御します。

大きな問題が起きます。普通のk-Foldだと未来のデータで学習して過去を予測するというリーク（データ漏洩）が発生します。時系列データでは必ずTime Series SplitやWalk-Forward Validationを使いましょう。

最も重要なのは前処理を交差検証のループ内で行うことです。例えば標準化やエンコーディングをデータ全体に適用してからCVすると、テストデータの情報が学習に漏れてしまいます。scikit-learnのPipelineを使えばこの問題を防げます。

交差検証はハイパーパラメータ選択の基準として使います。GridSearchCVやRandomizedSearchCVは内部で交差検証を使って最適なパラメータを選んでいます。ただし、最終的なモデル評価は別のテストデータで行うのがベストプラクティスです。