ソフトマックス関数計算ツール|温度付き

ニューラルネットの出力(ロジット)を並べて入力すると、ソフトマックス関数で合計1の確率に変換します。温度Tを変えたときの確率の尖り方や、最大値を引く数値安定化の手順、エントロピーとlog-sum-expもあわせて確認できます。

ソフトマックス関数 計算ツール(温度付き)

ロジット(スコア)の列と温度Tから、ソフトマックス関数で各クラスの確率を計算します。数値安定化の手順も表示します。

使い方

  1. 「ロジット(スコア)の列」に各クラスのスコアを2個以上、空白・カンマ・改行で区切って入れます。
  2. 「温度 T」を入れます。通常は1です。
  3. 最大確率のカードと、各クラスの exp と確率の表を確認します。

計算式

p_i = exp(z_i / T) / Σ_j exp(z_j / T)
    = exp(z_i / T − m) / Σ_j exp(z_j / T − m)   (m = max(z_j / T))

z_iはクラスiのロジット、Tは温度、p_iはクラスiの確率です。分子と分母に同じ exp(−m) を掛けても値は変わらないので、最大値mを引いてから計算します。こうするとexpの中身が0以下になり、大きなロジットでもオーバーフローしません。

計算例

サンプルの z = (2.0, 1.0, 0.1)、T = 1 で計算します。

  1. 温度で割っても値は同じ(T = 1)。最大値は2なので、2を引くと (0, −1, −1.9)。
  2. exp を取ると (1, 0.367879, 0.149569)。合計は1.517448。
  3. 各値を合計で割ると、確率は (65.9%, 24.24%, 9.86%)。
クラス ロジット z/T − max exp 確率
1 2 0 1 65.9%
2 1 −1 0.367879 24.24%
3 0.1 −1.9 0.149569 9.86%

このときのエントロピーは0.8467 nat、log-sum-expは2.417です。log-sum-expは「最大値2 + log(1.517448)」で求められます。

結果の見方

  • 確率の大小の順番はロジットの順番と同じです。ソフトマックスは順位を変えず、差の大きさを確率に直します。
  • ロジットの差が1あると、確率の比はe倍(約2.72倍)になります。例ではクラス1とクラス2の比が 65.9 ÷ 24.24 ≒ 2.72 です。
  • 温度Tを1より小さくすると最大クラスに確率が集中し、大きくすると均等に近づきます。文章生成の「temperature」も同じ考え方です。
  • エントロピーは確率の散らばり具合です。0に近いほど1つのクラスに自信を持った予測、log(クラス数)に近いほど迷っている予測です。

2クラスのソフトマックスで、ロジットを (z, 0) とするとクラス1の確率は 1 / (1 + e^(−z)) となり、シグモイド関数と一致します。シグモイドはソフトマックスの特別な場合と考えられます。

注意点

  • すべてのロジットに同じ数を足しても結果は変わりません。ロジットの絶対値そのものには意味がないので、差に注目しましょう。
  • ソフトマックスの確率は「モデルの確信度」であり、実際に当たる確率と一致するとは限りません。過信を補正したい場合は温度スケーリングなどの校正を行います。
  • 学習時の損失は、ソフトマックスと交差エントロピーをまとめて計算する関数を使うのが一般的です。別々に計算すると log(0) で数値が不安定になることがあります。

入力したロジットの数がそのままクラス数になります。順番を入れ替えると、確率も同じ順番で入れ替わります。

ソフトマックス関数のよくある質問

Q. ソフトマックス関数でなぜ最大値を引くのですか?

A. exp は入力が大きいとすぐに非常に大きな値になり、コンピュータで表せる範囲を超えてしまうためです。最大値を引いても確率は数学的に同じなので、安全に計算できます。

Q. 温度Tを変えると何が起きますか?

A. ロジットをTで割ってからソフトマックスを計算します。Tが小さいとロジットの差が拡大されて最大クラスの確率が1に近づき、Tが大きいと差が縮んで確率が均等に近づきます。

Q. ソフトマックスの出力の合計は必ず1になりますか?

A. はい。各値を全体の合計で割っているので、丸め誤差を除けば必ず合計1になり、すべての値は0より大きくなります。