2人の評価者が同じ対象を「はい/いいえ」で判定した結果を、2×2の一致表(a, b, c, d)で入力すると、偶然の一致を差し引いたコーエンのκ係数と一致率を計算します。アノテーション(ラベル付け)の品質確認や、診断・審査の評価者間信頼性の確認に使えます。
コーエンのκ係数 計算ツール(2人の評価者の一致度)
2人の評価者の判定を2×2の一致表で入力すると、偶然の一致を差し引いたコーエンのκ係数と一致率を計算します。
使い方
- 2人(AとB)が同じ対象をそれぞれ「はい/いいえ」で判定した結果を集計します。
- a(2人とも「はい」)、b(Aだけ「はい」)、c(Bだけ「はい」)、d(2人とも「いいえ」)の件数を入力します。
- 入力すると、κ係数・Landis & Kochの目安・一致率・偶然の一致率と、一致表が表示されます。
計算式
N = a + b + c + d
Po = (a + d) / N
Pe = [ (a+b)(a+c) + (c+d)(b+d) ] / N²
κ = (Po − Pe) / (1 − Pe)
Po は実際の一致率、Pe は2人がそれぞれの割合でランダムに判定したときに偶然一致する確率です。κは、偶然を超えた一致が、取りうる最大の範囲のうちどれだけあるかを表します。
計算例
初期値の a = 40、b = 10、c = 5、d = 45 で計算します。
- N = 100、一致率 Po = (40 + 45) ÷ 100 = 0.85
- Aの「はい」は50件、Bの「はい」は45件なので、Pe = (50 × 45 + 50 × 55) ÷ 100² = 0.5
- κ = (0.85 − 0.5) ÷ (1 − 0.5) = 0.7
一致率は85%ですが、そのうち50%は偶然でも起こる一致です。κ = 0.7 は、Landis & Kochの目安では「かなりの一致(substantial)」にあたります。
結果の見方
| κの値 | Landis & Koch(1977)の目安 |
|---|---|
| 0未満 | 一致していない(poor) |
| 0〜0.20 | わずかな一致(slight) |
| 0.21〜0.40 | まずまずの一致(fair) |
| 0.41〜0.60 | 中程度の一致(moderate) |
| 0.61〜0.80 | かなりの一致(substantial) |
| 0.81〜1.00 | ほぼ完全な一致(almost perfect) |
この区分は慣習的な目安で、医療や審査など分野によって求められる水準は異なります。
機械学習での使いどころ
教師データを作るとき、複数の作業者が同じデータにラベルを付けて一致度を確認することがあります。κ係数が低い場合は、ラベル付けの基準があいまいな可能性があるため、判断基準を明確にしてから作業をやり直すと、モデルの精度向上につながります。モデルの予測と人の判定の一致度を見るときにも使えます。
κ係数を報告するときは、一致率・評価の件数・カテゴリの割合もあわせて示すと、読み手が結果を正しく解釈しやすくなります。件数が少ないとκは大きくぶれるため、数十件以上で確認するのが望ましいです。
注意点
- 「はい」が極端に多い(または少ない)データでは、一致率が高くてもκが低く出ることがあります(κのパラドックス)。一致率と並べて報告しましょう。
- このツールは2人・2カテゴリ用です。3人以上の評価者にはフライスのκ、順序のあるカテゴリには重み付きκなど、別の指標を使います。
- 2人とも全件を同じカテゴリに判定した場合はPe = 1となり、κは計算できません。
コーエンのκ係数のよくある質問
Q. κ係数と一致率はどう違いますか?
A. 一致率は単純に判定が同じだった割合です。κ係数は、そこから偶然でも起こる一致を差し引いて評価するため、より厳しい値になります。
Q. κ係数はいくつ以上あればよいですか?
A. Landis & Kochの目安では0.61以上が「かなりの一致」とされます。ただし必要な水準は分野や用途によって異なります。
Q. 3人以上の評価者の一致度も計算できますか?
A. このツールは2人用です。3人以上の場合はフライスのκ係数など、別の指標を使います。
