決定木の分割を評価する指標を計算します。親ノードと分割後の子ノードのクラスごとの件数を入れると、ジニ不純度、エントロピー、情報利得、ジニ減少量、情報利得比(C4.5)を表示します。分割候補を比べて、どれが良い分割かを数値で確かめられます。
ジニ不純度・情報利得 計算ツール(決定木の分割評価)
親ノードと分割後の子ノードのクラス件数から、ジニ不純度・エントロピー・情報利得・ジニ減少量を計算します。
使い方
- 1行目に親ノードのクラスごとの件数を、空白で区切って入れます(例:10 10)。
- 2行目以降に、分割後の子ノードの件数を1行に1ノードずつ入れます。子ノードの合計は親ノードと一致させます。
- 情報利得とジニ減少量、ノードごとの表を確認します。
計算式
ジニ不純度 G = 1 − Σ_k p_k²
エントロピー E = −Σ_k p_k × log₂ p_k
子の加重平均 = Σ_j (n_j / N) × 子jの値
情報利得 = E(親) − 子の加重平均エントロピー
ジニ減少量 = G(親) − 子の加重平均ジニ
情報利得比 = 情報利得 ÷ (−Σ_j (n_j/N) log₂(n_j/N))
p_kはノード内のクラスkの割合、n_jは子ノードjの件数、Nは親ノードの件数です。
計算例
サンプルの親 (10, 10)、子1 (8, 2)、子2 (2, 8) で計算します。
- 親:ジニ = 1 − (0.5² + 0.5²) = 0.5、エントロピー = 1 bit。
- 子1・子2:ジニ = 1 − (0.8² + 0.2²) = 0.32、エントロピー = 0.7219 bit。重みはどちらも0.5。
- 加重平均はジニ0.32、エントロピー0.7219。情報利得 = 1 − 0.7219 = 0.2781、ジニ減少量 = 0.5 − 0.32 = 0.18。
| ノード | 件数 | ジニ不純度 | エントロピー | 重み |
|---|---|---|---|---|
| 親 | 20 | 0.5 | 1 | – |
| 子1 | 10 | 0.32 | 0.7219 | 0.5 |
| 子2 | 10 | 0.32 | 0.7219 | 0.5 |
子ノードが半分ずつなので分割情報量は1となり、情報利得比も0.2781です。
結果の見方
- ジニ不純度とエントロピーは、1つのクラスだけのノードで0、クラスが均等に混ざったノードで最大です。2クラスならジニの最大は0.5、エントロピーの最大は1 bitです。
- 情報利得やジニ減少量は、分割によって不純度がどれだけ下がったかを表します。決定木は分割候補の中で、この値が最も大きいものを選びます。
- 値そのものより、同じ親ノードに対する別の分割候補と比べて使います。
- 情報利得は枝の数が多い分割ほど大きくなりやすい性質があります。情報利得比はこれを分割情報量で割って補正した指標です。
たとえば同じ親 (10, 10) を (10, 0) と (0, 10) に分けられれば、子ノードの不純度は0になり、ジニ減少量は0.5、情報利得は1 bitと最大になります。逆に (5, 5) と (5, 5) に分けると、どちらも0です。
注意点
- 子ノードのクラスごとの合計が親ノードと一致しないとエラーになります。分割前後でデータが増減していないか確認してください。
- エントロピーは底2で計算しています。自然対数で計算するライブラリの値とは定数倍だけ異なります。
- scikit-learnの特徴量重要度は、ジニ減少量にノードの件数割合を掛けて合計したものです。このツールの値と比べるときは件数の重みに注意しましょう。
また、決定木を深くしすぎると、件数の少ないノードでも不純度が0になるまで分割され、過学習を起こしやすくなります。最小サンプル数や深さの上限、剪定で調整しましょう。
ジニ不純度・情報利得のよくある質問
Q. ジニ不純度とエントロピーはどちらを使えばよいですか?
A. 多くの場合、選ばれる分割はほとんど同じです。ジニ不純度は対数を使わないので計算が少し軽く、scikit-learnの既定値になっています。
Q. 情報利得が0になるのはどんなときですか?
A. 分割後の子ノードのクラスの割合が、すべて親ノードと同じときです。この分割はクラスを見分けるのに役立っていません。
Q. 情報利得比はなぜ必要なのですか?
A. 情報利得は、IDのように値の種類が多い特徴量で細かく分けるほど大きくなり、意味のない分割を選びやすくなります。分割情報量で割ることでこの偏りを抑えます。
