多クラスF1計算ツール|マクロ・マイクロ・重み付き

多クラス分類の混同行列(行=正解、列=予測)を貼り付けると、クラスごとの適合率・再現率・F1スコアと、マクロF1・マイクロF1・重み付きF1・正解率をまとめて計算します。どのクラスが苦手か、平均の取り方で結果がどう変わるかを表で確認できます。

多クラス分類 F1スコア計算ツール(マクロ・マイクロ・重み付き)

多クラスの混同行列を貼り付けると、クラスごとの適合率・再現率・F1と、マクロF1・マイクロF1・重み付きF1・正解率を計算します。

使い方

  1. 混同行列を、1行に1クラス分ずつ、数値をスペースかカンマで区切って入力します。行が正解のクラス、列が予測したクラスです。改行で次のクラスに進みます。
  2. 必要に応じて、クラス名をカンマ区切りで入力します(空欄なら「クラス1, 2, …」と表示)。
  3. 「計算する」を押すと、マクロF1などの集計値と、クラスごとの指標の表が表示されます。

計算式

適合率ᵢ = Mᵢᵢ ÷ (列iの合計)
再現率ᵢ = Mᵢᵢ ÷ (行iの合計)
F1ᵢ    = 2 × 適合率ᵢ × 再現率ᵢ ÷ (適合率ᵢ + 再現率ᵢ)
マクロF1     = F1ᵢ の単純平均
重み付きF1   = Σ F1ᵢ × (行iの合計) ÷ 総件数
マイクロF1   = 対角の合計 ÷ 総件数(= 正解率)

Mᵢᵢ は混同行列の対角成分(クラスiを正しく予測した件数)です。マクロF1は、クラスごとのF1を平均する方式(scikit-learn と同じ)で、マクロ適合率とマクロ再現率からF1を求める方式とは値が異なります。

計算例

サンプルの3クラス(犬・猫・鳥)の混同行列 [50 3 2 / 5 40 5 / 2 8 35] で計算します。

クラス 適合率 再現率 F1 正解件数
犬 87.7% 90.9% 0.8929 55
猫 78.4% 80% 0.7921 50
鳥 83.3% 77.8% 0.8046 45

たとえば犬の適合率は 50 ÷ 57、再現率は 50 ÷ 55 です。3クラスのF1の平均でマクロF1 ≒ 0.8298、正解件数で重み付けした重み付きF1 ≒ 0.8328 です。対角の合計は125なので、マイクロF1 = 正解率 = 125 ÷ 150 ≒ 0.8333 になります。

結果の見方

  • マクロF1はすべてのクラスを同じ重さで扱うため、件数の少ないクラスの出来も反映されます。
  • マイクロF1と重み付きF1は件数の多いクラスの影響を強く受けます。マイクロF1がマクロF1より明らかに高いときは、少数クラスが苦手な傾向があります。
  • 表でF1が最も低いクラスを確認し、混同行列のどのクラスと取り違えているかを見ると、改善の手がかりになります。

どの平均を報告するか

論文やコンペでは、評価に使う平均方法があらかじめ決められていることが多いので、まずそれに合わせます。自分で選ぶ場合は、クラスの件数に偏りがあるならマクロF1、全体の件数を重視するならマイクロF1(正解率)を中心に見て、クラスごとの表もあわせて示すのがおすすめです。

また、F1スコアは適合率と再現率を同じ重さで扱う指標です。見逃しを特に避けたいクラスがある場合は、そのクラスの再現率を個別に確認するなど、目的に合わせた見方も大切です。

注意点

  • 行と列の向き(行=正解、列=予測)を逆にすると、適合率と再現率が入れ替わります。
  • 予測が1件もないクラスの適合率は0として扱います。正解にも予測にも1件も出てこないクラスは平均から除外します。
  • 1件に1つのラベルを付ける分類では、マイクロF1は正解率と同じ値になります。

多クラスF1(マクロ/マイクロ)のよくある質問

Q. マクロF1とマイクロF1はどちらを使うべきですか?

A. クラスの件数に偏りがあり、少数クラスも同じように重視したい場合はマクロF1が向いています。全体として何件正しく分類できたかを見たい場合はマイクロF1を使います。

Q. マイクロF1が正解率と同じになるのはなぜですか?

A. 1件に1つのラベルを付ける分類では、全クラス合算の偽陽性と偽陰性の件数が等しくなるため、マイクロ適合率・マイクロ再現率・マイクロF1がすべて正解率と一致します。

Q. scikit-learnのf1_scoreと同じ結果になりますか?

A. average="macro"、"micro"、"weighted" と同じ計算方法です(予測が0件のクラスの適合率は0として扱います)。