不均衡データの扱い方：SMOTE・アンダーサンプリングなどの対処法

不均衡データとは、クラス間でサンプル数が大きく偏っているデータのことです。例えばクレジットカードの不正検知では、正常取引が99.9%で不正が0.1%ということがよくあります。このまま学習すると、モデルは「全部正常」と予測するだけで精度99.9%になってしまいます。

はい。精度（Accuracy）は高くても、本当に検出したい少数クラス（不正）を全く見つけられないのが問題です。不正検知の目的は不正を見つけることなのに、「全部正常」と答えるモデルでは意味がありません。不均衡データでは精度以外の評価指標が重要です。

最も基本的なのはリサンプリングです。大きく分けて2つの方向があります。オーバーサンプリングは少数クラスのサンプルを増やす方法、アンダーサンプリングは多数クラスのサンプルを減らす方法です。両方を組み合わせることもあります。

SMOTE（Synthetic Minority Over-sampling Technique）は少数クラスの合成サンプルを生成するオーバーサンプリング手法です。既存のサンプル間を線形補間して新しいサンプルを作ります。単純な複製と違い、決定境界付近に多様なサンプルを生成できるのが利点です。

はい。コスト敏感学習（Cost-sensitive Learning）という方法があります。少数クラスの誤分類に大きなペナルティを設定して、モデルが少数クラスを重視するようにします。scikit-learnでは多くの分類器にclass_weightパラメータがあり、「balanced」を指定するだけで自動調整できます。

はい、最もお手軽な方法です。内部的にはサンプル数の逆数に比例した重みを各クラスに割り当てます。XGBoostやLightGBMではscale_pos_weightパラメータで同様の調整ができます。これはデータを変更しないので、リサンプリングより手軽で安全です。

Accuracyは使わないのが鉄則です。代わりにF1スコア（PrecisionとRecallのバランス）、PR-AUC（Precision-Recall曲線下の面積）、ROC-AUCを使います。特に不均衡が激しい場合はPR-AUCが最適です。

ROC-AUCは真陽性率と偽陽性率のトレードオフを見る指標で、クラスの比率に影響されにくい性質があります。一方PR-AUCは適合率と再現率のトレードオフで、少数クラスの検出性能をより正確に反映します。不均衡が99:1以上のケースではPR-AUCを優先しましょう。