情報エントロピー計算ツール|bit・nat

確率の列、または件数(度数)の列から、情報エントロピーをbitとnatの両方で計算します。最大エントロピー log₂k に対する比率とパープレキシティも表示するので、分布がどれくらい偏っているか、どれくらい予測しにくいかを数値で比べられます。

情報エントロピー 計算ツール(bit・nat)

確率の列または度数の列から、情報エントロピー(bit と nat)と、最大エントロピーに対する比率を計算します。

使い方

  1. 確率(合計1)または件数の列を、空白・カンマ・改行で区切って入れます。
  2. 「入力の種類」で確率か度数かを選びます。度数を選ぶと合計で割って確率に直します。
  3. bitとnatのエントロピー、最大エントロピー比、各項の表を確認します。

計算式

H = −Σ_i p_i × log₂ p_i        (単位 bit)
H_nat = H × ln 2                 (単位 nat)
最大エントロピー = log₂ k,比率 = H / log₂ k
パープレキシティ = 2^H

p_iは各値の確率、kは入力した値の個数(確率0のものも含む)です。p_i = 0 の項は0として扱います。

計算例

サンプルの確率 (0.5, 0.25, 0.125, 0.125) で計算します。

  1. 各項 −p log₂ p は (0.5, 0.5, 0.375, 0.375)。合計で H = 1.75 bit。
  2. natに直すと 1.75 × ln 2 = 1.213008 nat。
  3. 4種類なので最大エントロピーは log₂4 = 2 bit。比率は 1.75 ÷ 2 = 87.5%。パープレキシティは 2^1.75 = 3.3636。
# 確率 p −p log₂ p
1 0.5 0.5
2 0.25 0.5
3 0.125 0.375
4 0.125 0.375

この分布は、はい・いいえで答える質問を平均1.75回すれば当てられる、と解釈できます。

結果の見方

  • エントロピーは「結果を知ったときに得られる情報量の平均」で、不確実さの大きさを表します。1つの値しか起こらないなら0です。
  • すべての値が等確率のとき最大で、k種類なら log₂k bit です。最大エントロピー比が100%に近いほど均等、0%に近いほど一部に偏っています。
  • パープレキシティは「実質的に何種類から選んでいるのと同じくらい迷うか」を表します。例では4種類ですが、偏りがあるため実質約3.36種類分の迷いです。言語モデルの評価にも使われる考え方です。

たとえば公平なコイン (0.5, 0.5) は1 bit、表が90%のコイン (0.9, 0.1) は約0.469 bitです。偏ったコインは結果を予想しやすいので、得られる情報が少なくなります。

決定木では、ノードのエントロピーが下がるような分割ほど良い分割と考えます。

注意点

  • 確率モードでは合計が1から1%以上ずれているとエラーになります。件数をそのまま入れたいときは度数モードを選んでください。
  • 最大エントロピーの計算には、確率0の値も個数kに含めます。比較したい分布どうしで、カテゴリの数をそろえてください。
  • bitは底2、natは自然対数です。決定木の情報利得では底2、機械学習の損失では自然対数がよく使われます。
  • 少ないデータから求めた度数のエントロピーは、真の値より小さく出やすい傾向があります。

このツールは入力された分布そのもののエントロピーを計算します。条件付きエントロピーや相互情報量を求めたい場合は、条件ごとの分布に分けて計算し、件数の割合で重み付けしてください。

情報エントロピーのよくある質問

Q. エントロピーのbitとnatの違いは何ですか?

A. 対数の底の違いです。底2ならbit、自然対数ならnatで、1 nat は約1.443 bit です。どちらも同じ量を別の単位で表しているだけです。

Q. エントロピーの最大値はいくつですか?

A. k種類の値がすべて等確率のときに最大で、log₂k bit です。2種類なら1 bit、4種類なら2 bitになります。

Q. 件数のデータからエントロピーを計算できますか?

A. できます。「入力の種類」で度数を選ぶと、各件数を合計で割って確率に直してから計算します。