確率の列、または件数(度数)の列から、情報エントロピーをbitとnatの両方で計算します。最大エントロピー log₂k に対する比率とパープレキシティも表示するので、分布がどれくらい偏っているか、どれくらい予測しにくいかを数値で比べられます。
情報エントロピー 計算ツール(bit・nat)
確率の列または度数の列から、情報エントロピー(bit と nat)と、最大エントロピーに対する比率を計算します。
使い方
- 確率(合計1)または件数の列を、空白・カンマ・改行で区切って入れます。
- 「入力の種類」で確率か度数かを選びます。度数を選ぶと合計で割って確率に直します。
- bitとnatのエントロピー、最大エントロピー比、各項の表を確認します。
計算式
H = −Σ_i p_i × log₂ p_i (単位 bit)
H_nat = H × ln 2 (単位 nat)
最大エントロピー = log₂ k,比率 = H / log₂ k
パープレキシティ = 2^H
p_iは各値の確率、kは入力した値の個数(確率0のものも含む)です。p_i = 0 の項は0として扱います。
計算例
サンプルの確率 (0.5, 0.25, 0.125, 0.125) で計算します。
- 各項 −p log₂ p は (0.5, 0.5, 0.375, 0.375)。合計で H = 1.75 bit。
- natに直すと 1.75 × ln 2 = 1.213008 nat。
- 4種類なので最大エントロピーは log₂4 = 2 bit。比率は 1.75 ÷ 2 = 87.5%。パープレキシティは 2^1.75 = 3.3636。
| # | 確率 p | −p log₂ p |
|---|---|---|
| 1 | 0.5 | 0.5 |
| 2 | 0.25 | 0.5 |
| 3 | 0.125 | 0.375 |
| 4 | 0.125 | 0.375 |
この分布は、はい・いいえで答える質問を平均1.75回すれば当てられる、と解釈できます。
結果の見方
- エントロピーは「結果を知ったときに得られる情報量の平均」で、不確実さの大きさを表します。1つの値しか起こらないなら0です。
- すべての値が等確率のとき最大で、k種類なら log₂k bit です。最大エントロピー比が100%に近いほど均等、0%に近いほど一部に偏っています。
- パープレキシティは「実質的に何種類から選んでいるのと同じくらい迷うか」を表します。例では4種類ですが、偏りがあるため実質約3.36種類分の迷いです。言語モデルの評価にも使われる考え方です。
たとえば公平なコイン (0.5, 0.5) は1 bit、表が90%のコイン (0.9, 0.1) は約0.469 bitです。偏ったコインは結果を予想しやすいので、得られる情報が少なくなります。
決定木では、ノードのエントロピーが下がるような分割ほど良い分割と考えます。
注意点
- 確率モードでは合計が1から1%以上ずれているとエラーになります。件数をそのまま入れたいときは度数モードを選んでください。
- 最大エントロピーの計算には、確率0の値も個数kに含めます。比較したい分布どうしで、カテゴリの数をそろえてください。
- bitは底2、natは自然対数です。決定木の情報利得では底2、機械学習の損失では自然対数がよく使われます。
- 少ないデータから求めた度数のエントロピーは、真の値より小さく出やすい傾向があります。
このツールは入力された分布そのもののエントロピーを計算します。条件付きエントロピーや相互情報量を求めたい場合は、条件ごとの分布に分けて計算し、件数の割合で重み付けしてください。
情報エントロピーのよくある質問
Q. エントロピーのbitとnatの違いは何ですか?
A. 対数の底の違いです。底2ならbit、自然対数ならnatで、1 nat は約1.443 bit です。どちらも同じ量を別の単位で表しているだけです。
Q. エントロピーの最大値はいくつですか?
A. k種類の値がすべて等確率のときに最大で、log₂k bit です。2種類なら1 bit、4種類なら2 bitになります。
Q. 件数のデータからエントロピーを計算できますか?
A. できます。「入力の種類」で度数を選ぶと、各件数を合計で割って確率に直してから計算します。
