2つの確率分布PとQから、KLダイバージェンスを両方向(KL(P‖Q)とKL(Q‖P))で計算し、対称なJSダイバージェンスとJS距離もあわせて表示します。各クラスの項を表で確認できるので、どの部分の違いが値を大きくしているかがわかります。
KLダイバージェンス 計算ツール(JSダイバージェンス付き)
2つの確率分布P・Qから、KL(P‖Q)・KL(Q‖P)・JSダイバージェンスを計算し、非対称性を確かめられます。
使い方
- 「分布 P」と「分布 Q」に、同じ個数・同じ順番で確率を入れます。
- 対数の底(自然対数またはlog2)を選びます。
- KLの両方向、JSダイバージェンス、各クラスの項の表を確認します。
計算式
KL(P‖Q) = Σ_i P_i × log(P_i / Q_i)
M = (P + Q) / 2
JS(P, Q) = ½ KL(P‖M) + ½ KL(Q‖M)
JS距離 = √JS
P_i、Q_iはクラスiの確率です。P_i = 0 の項は0とします。P_iが正なのにQ_iが0のときは、KL(P‖Q)は無限大になります。
計算例
サンプルの P = (0.4, 0.4, 0.2)、Q = (0.3, 0.3, 0.4)、自然対数で計算します。
- KL(P‖Q)の項:0.4 × log(0.4/0.3) = 0.115073 が2つ、0.2 × log(0.2/0.4) = −0.138629。合計 0.091516 nat。
- KL(Q‖P)の項:0.3 × log(0.3/0.4) = −0.086305 が2つ、0.4 × log(0.4/0.2) = 0.277259。合計 0.10465 nat。
- M = (0.35, 0.35, 0.3) として、JS = 0.024157 nat、JS距離 = 0.155426。
| # | P | Q | P log(P/Q) | Q log(Q/P) |
|---|---|---|---|---|
| 1 | 0.4 | 0.3 | 0.115073 | −0.086305 |
| 2 | 0.4 | 0.3 | 0.115073 | −0.086305 |
| 3 | 0.2 | 0.4 | −0.138629 | 0.277259 |
個々の項は負になることもありますが、合計は必ず0以上です。
結果の見方
- KLは0以上で、PとQが完全に同じときだけ0になります。値が大きいほど分布の違いが大きいことを表します。
- KL(P‖Q)とKL(Q‖P)は一般に一致しません。例でも0.0915と0.1047で違います。距離のように「どちらから見ても同じ」ではない点に注意しましょう。
- KL(P‖Q)は「本当の分布がPなのに、Qを使って符号化したときに余分にかかる情報量」と解釈できます。交差エントロピー H(P, Q) から H(P) を引いた値と同じです。
- JSダイバージェンスは対称で、自然対数なら0〜ln 2(約0.693)、log2なら0〜1の範囲に収まります。√JSは距離の性質を満たします。
機械学習では、変分オートエンコーダの損失や、モデルの出力分布の変化を測る指標としてKLダイバージェンスが使われます。
注意点
- 合計が1から1%以上ずれているとエラーになります。1%以内のずれは自動で割り直します。
- Qに0があるとKL(P‖Q)が無限大になりやすいので、実データでは小さな値を足す(スムージング)ことがあります。JSダイバージェンスは0があっても有限です。
- scipyのjensenshannon関数はJS距離(平方根)を返します。JSダイバージェンスと比べるときは2乗してください。
PとQは同じクラスを同じ順番で並べてください。順番が違うと、まったく別の値になります。
KLダイバージェンスのよくある質問
Q. KLダイバージェンスはなぜ非対称なのですか?
A. 重みとして使う分布が違うからです。KL(P‖Q)はPの確率で重み付けしてlog(P/Q)を平均し、KL(Q‖P)はQの確率で重み付けします。そのため一般に値が一致しません。
Q. KLダイバージェンスとJSダイバージェンスはどう使い分けますか?
A. どちらかの分布を基準にした違いを測りたいときはKL、2つの分布を対等に比べたいときや0を含む分布を扱うときはJSが便利です。
Q. KLダイバージェンスが無限大になるのはどんなときですか?
A. Pでは確率が正なのに、Qでは確率が0のクラスがあるときです。log(P_i/0)が無限大になるためです。
