正解ラベル(1/0)と予測確率の列を貼り付けると、確率予測の正確さを表すBrierスコアを計算します。全件に陽性率を答えるだけの基準予測と比べたBrierスキルスコアもあわせて表示するので、モデルの確率がどれだけ役に立っているかを確認できます。
Brierスコア 計算ツール(確率予測の精度)
正解ラベル(1/0)と予測確率の列から、確率予測の正確さを表すBrierスコアと、基準予測との比較(スキルスコア)を計算します。
使い方
- 「正解ラベル」に陽性なら1、陰性なら0を上から順に入力します。
- 「予測確率」に陽性である確率を0〜1の小数で同じ順番に入力します。
- 「計算する」を押すと、Brierスコア・基準予測の値・Brierスキルスコアと、行ごとの二乗誤差が表示されます。
計算式
Brierスコア = (1/n) × Σ (pᵢ − yᵢ)²
基準 = ȳ × (1 − ȳ)
Brierスキルスコア = 1 − Brierスコア ÷ 基準
pᵢ は予測確率、yᵢ は正解ラベル(1か0)、n はデータ数、ȳ は正解ラベルの平均(陽性率)です。基準は、全件に陽性率 ȳ を答えた場合のBrierスコアです。
計算例
サンプルの正解 1, 0, 1, 1, 0, 0 と予測確率 0.9, 0.2, 0.7, 0.4, 0.1, 0.6 で計算します。
| # | 正解 | 予測確率 | (p − y)² |
|---|---|---|---|
| 1 | 1 | 0.9 | 0.01 |
| 2 | 0 | 0.2 | 0.04 |
| 3 | 1 | 0.7 | 0.09 |
| 4 | 1 | 0.4 | 0.36 |
| 5 | 0 | 0.1 | 0.01 |
| 6 | 0 | 0.6 | 0.36 |
合計 0.87 を6で割り、Brierスコア = 0.145 です。陽性率は50%なので基準は 0.5 × 0.5 = 0.25、スキルスコアは 1 − 0.145 ÷ 0.25 = 0.42 になります。
結果の見方
- Brierスコアは0が完璧で、小さいほどよい指標です。二値分類では最大1です。
- スキルスコアがプラスなら基準予測より良く、0以下なら陽性率を答えるだけの予測と比べて優位性がありません。1に近いほど優れています。
- Log Lossに比べて、自信を持って外した予測への罰が穏やかです。極端な外れ1件に結果が左右されにくい特徴があります。
Brierスコアが使われる場面
Brierスコアは、もともと天気予報の降水確率を評価するために考案された指標です。「降水確率70%」の予報が、実際に雨が降った日・降らなかった日とどれだけ合っていたかを測ります。現在では、機械学習の分類モデルが出す確率の評価や、確率の補正(キャリブレーション)の前後比較にも使われています。
確率を意思決定に使う場面、たとえば「確率が30%以上なら対応する」といった運用では、確率そのものの正確さが重要です。正解率だけでなく、Brierスコアで確率の質も確認しておくと安心です。
また、Brierスコアは「信頼性(確率と実際の頻度のずれ)」「分解能(予測がどれだけ事例を見分けられるか)」「不確実性(データそのものの難しさ)」の3つに分解できることが知られており、どこに改善の余地があるかを考える手がかりになります。
注意点
- 陽性がとても少ないデータでは、どんな予測でもBrierスコアが小さく出やすくなります。スキルスコアや基準と比べて判断しましょう。
- Brierスコアだけでは、確率が全体的に高すぎる・低すぎるといった偏り(キャリブレーションのずれ)の向きはわかりません。
- 正解がすべて同じラベルの場合は基準が0になるため、スキルスコアは計算できません。
- 予測確率は0〜1の小数で入力します(%ではありません)。
Brierスコアのよくある質問
Q. BrierスコアとLog Lossの違いは何ですか?
A. どちらも確率予測の評価指標ですが、Brierスコアは二乗誤差、Log Lossは対数を使います。Log Lossは自信を持って外した予測をより強く罰します。
Q. Brierスコアはいくつなら良いですか?
A. 陽性率によって基準が変わります。全件に陽性率を答えた場合の値(このツールで表示)と比べ、スキルスコアがプラスかどうかで判断するのが目安です。
Q. BrierスコアはMSEと同じですか?
A. 正解ラベル(1/0)と予測確率のMSEを計算したものと同じです。確率予測の評価に使うときにBrierスコアと呼びます。
