ニューラルネットの出力(ロジット)を並べて入力すると、ソフトマックス関数で合計1の確率に変換します。温度Tを変えたときの確率の尖り方や、最大値を引く数値安定化の手順、エントロピーとlog-sum-expもあわせて確認できます。
ソフトマックス関数 計算ツール(温度付き)
ロジット(スコア)の列と温度Tから、ソフトマックス関数で各クラスの確率を計算します。数値安定化の手順も表示します。
使い方
- 「ロジット(スコア)の列」に各クラスのスコアを2個以上、空白・カンマ・改行で区切って入れます。
- 「温度 T」を入れます。通常は1です。
- 最大確率のカードと、各クラスの exp と確率の表を確認します。
計算式
p_i = exp(z_i / T) / Σ_j exp(z_j / T)
= exp(z_i / T − m) / Σ_j exp(z_j / T − m) (m = max(z_j / T))
z_iはクラスiのロジット、Tは温度、p_iはクラスiの確率です。分子と分母に同じ exp(−m) を掛けても値は変わらないので、最大値mを引いてから計算します。こうするとexpの中身が0以下になり、大きなロジットでもオーバーフローしません。
計算例
サンプルの z = (2.0, 1.0, 0.1)、T = 1 で計算します。
- 温度で割っても値は同じ(T = 1)。最大値は2なので、2を引くと (0, −1, −1.9)。
- exp を取ると (1, 0.367879, 0.149569)。合計は1.517448。
- 各値を合計で割ると、確率は (65.9%, 24.24%, 9.86%)。
| クラス | ロジット | z/T − max | exp | 確率 |
|---|---|---|---|---|
| 1 | 2 | 0 | 1 | 65.9% |
| 2 | 1 | −1 | 0.367879 | 24.24% |
| 3 | 0.1 | −1.9 | 0.149569 | 9.86% |
このときのエントロピーは0.8467 nat、log-sum-expは2.417です。log-sum-expは「最大値2 + log(1.517448)」で求められます。
結果の見方
- 確率の大小の順番はロジットの順番と同じです。ソフトマックスは順位を変えず、差の大きさを確率に直します。
- ロジットの差が1あると、確率の比はe倍(約2.72倍)になります。例ではクラス1とクラス2の比が 65.9 ÷ 24.24 ≒ 2.72 です。
- 温度Tを1より小さくすると最大クラスに確率が集中し、大きくすると均等に近づきます。文章生成の「temperature」も同じ考え方です。
- エントロピーは確率の散らばり具合です。0に近いほど1つのクラスに自信を持った予測、log(クラス数)に近いほど迷っている予測です。
2クラスのソフトマックスで、ロジットを (z, 0) とするとクラス1の確率は 1 / (1 + e^(−z)) となり、シグモイド関数と一致します。シグモイドはソフトマックスの特別な場合と考えられます。
注意点
- すべてのロジットに同じ数を足しても結果は変わりません。ロジットの絶対値そのものには意味がないので、差に注目しましょう。
- ソフトマックスの確率は「モデルの確信度」であり、実際に当たる確率と一致するとは限りません。過信を補正したい場合は温度スケーリングなどの校正を行います。
- 学習時の損失は、ソフトマックスと交差エントロピーをまとめて計算する関数を使うのが一般的です。別々に計算すると log(0) で数値が不安定になることがあります。
入力したロジットの数がそのままクラス数になります。順番を入れ替えると、確率も同じ順番で入れ替わります。
ソフトマックス関数のよくある質問
Q. ソフトマックス関数でなぜ最大値を引くのですか?
A. exp は入力が大きいとすぐに非常に大きな値になり、コンピュータで表せる範囲を超えてしまうためです。最大値を引いても確率は数学的に同じなので、安全に計算できます。
Q. 温度Tを変えると何が起きますか?
A. ロジットをTで割ってからソフトマックスを計算します。Tが小さいとロジットの差が拡大されて最大クラスの確率が1に近づき、Tが大きいと差が縮んで確率が均等に近づきます。
Q. ソフトマックスの出力の合計は必ず1になりますか?
A. はい。各値を全体の合計で割っているので、丸め誤差を除けば必ず合計1になり、すべての値は0より大きくなります。
