交差エントロピー計算ツール|損失を確認

正解の確率分布と予測の確率分布から、交差エントロピーH(p, q)を計算します。正解はone-hotでも確率分布でもかまいません。正解分布自身のエントロピーと、その差であるKLダイバージェンスも表示するので、損失の意味を分解して理解できます。

交差エントロピー 計算ツール(クロスエントロピー誤差)

正解の確率分布(one-hotでも可)と予測分布から交差エントロピーを計算します。エントロピーとKLダイバージェンスも表示します。

使い方

  1. 「正解の分布」に、正解クラスを1、それ以外を0にしたone-hotの列(または合計1の確率)を入れます。
  2. 「予測の分布」に、モデルが出力した確率を同じ順番・同じ個数で入れます。
  3. 対数の底(自然対数またはlog2)を選び、交差エントロピーと各クラスの項を確認します。

計算式

H(p, q) = −Σ_i p_i × log q_i
H(p)    = −Σ_i p_i × log p_i
KL(p‖q) = H(p, q) − H(p)

p_iは正解の確率、q_iは予測の確率です。p_i = 0 の項は0として扱います。底がeなら単位はnat、2ならbitです。機械学習のライブラリは通常、自然対数を使います。

計算例

サンプルの正解 (0, 1, 0)、予測 (0.2, 0.7, 0.1)、自然対数で計算します。

  1. 正解が0のクラス1とクラス3の項は0です。
  2. クラス2の項は −1 × log 0.7 = 0.356675。
  3. 合計すると H(p, q) = 0.356675 nat。one-hotなので H(p) = 0 で、KL(p‖q) も0.356675 natです。
クラス 正解 p 予測 q −p log q
1 0 0.2 0
2 1 0.7 0.356675
3 0 0.1 0

結果の見方

  • 正解がone-hotのとき、交差エントロピーは「−log(正解クラスの予測確率)」だけで決まります。正解クラスの確率が1なら0、0.5なら約0.693、0.1なら約2.303と、外れるほど急に大きくなります。
  • 何も学習していないモデルがk個のクラスに均等な確率を出すと、損失は log k になります。3クラスなら約1.099です。学習の初期値の目安になります。
  • 正解が確率分布(ラベルスムージングなど)のときは、最小値が0ではなく H(p) になります。予測が正解とずれている分はKL(p‖q)として表示されます。

交差エントロピーは予測が正解にどれだけ近いかを表すので、学習が進むにつれて下がっていくのが正常です。検証データの値だけが上がり始めたら、過学習を疑いましょう。

二値分類では正解 (1, 0) と予測 (q, 1 − q) を入れれば、二値交差エントロピー −log q を確かめられます。

注意点

  • 正解側が正なのに予測確率が0のクラスがあると、log 0 となり値は無限大です。実際の実装では確率を非常に小さな値でクリップして計算するのが一般的です。
  • 入力の合計が1から1%以上ずれているとエラーになります。1%以内のずれは合計1になるよう自動で割り直します。
  • log2で計算した値は、自然対数の値を ln 2(約0.693)で割ったものです。ライブラリの損失と比べるときは底をそろえてください。
  • データセット全体の損失は、各サンプルの交差エントロピーの平均です。このツールは1サンプル分を計算します。

正解の分布と予測の分布は、クラスの順番をそろえて入力してください。順番がずれると、別のクラスの確率で計算されてしまい、正しい損失になりません。予測の確率は、ソフトマックスなどを通した後の値を入れます。

交差エントロピーのよくある質問

Q. 交差エントロピーと対数損失(Log Loss)は同じですか?

A. 分類問題では同じものです。各サンプルの交差エントロピーを平均した値が、対数損失やクロスエントロピー誤差と呼ばれます。2値分類では二値交差エントロピーとも呼ばれます。

Q. 交差エントロピーの値はいくつなら良いですか?

A. 絶対的な基準はありません。クラス数kのとき、均等な予測の損失 log k より十分小さいかどうか、検証データで他のモデルより小さいかどうかで判断します。

Q. 予測確率に0があると計算できないのはなぜですか?

A. 正解クラスの予測確率が0だと log 0 が負の無限大になり、損失が無限大になるからです。実装では1e-15のような小さな値で下限を設けて計算します。