Precision@k計算ツール|Recall@kも同時に計算

推薦システムや検索結果の上位から順に「関連あり(1)/なし(0)」を並べ、全関連件数とkを入力すると、Precision@k(上位k件の当たりの割合)とRecall@k(当たり全体のうち上位k件で拾えた割合)を計算します。順位ごとの推移表で、kを変えたときの変化も確認できます。

Precision@k・Recall@k 計算ツール(推薦・検索の評価)

推薦・検索結果の上位から並べた「関連あり(1)/なし(0)」と全関連件数から、Precision@kとRecall@kを計算します。

使い方

  1. 推薦・検索結果を上位から順に見て、関連があれば1、なければ0を入力します。
  2. 「全関連件数」に、正解(関連あり)のアイテムが全部で何件あるかを入力します。結果に出てこなかったものも含めます。
  3. 評価に使う上位件数kを入力すると、Precision@k・Recall@k・F1@kと、順位ごとの推移表が表示されます。

計算式

Precision@k = (上位k件のうち関連ありの件数) ÷ k
Recall@k    = (上位k件のうち関連ありの件数) ÷ 全関連件数

Precision@kは「上位k件を見たユーザーがどれだけ当たりに出会えるか」、Recall@kは「当たり全体のうち上位k件でどれだけカバーできたか」を表します。F1@kは両者の調和平均です。

計算例

サンプルの関連 1, 0, 1, 1, 0, 0, 1, 0, 0, 0、全関連件数5、k = 5 で計算します。

順位 関連 累積の関連あり Precision@i Recall@i
1 あり 1 100% 20%
2 – 1 50% 20%
3 あり 2 66.7% 40%
4 あり 3 75% 60%
5 – 3 60% 60%

上位5件のうち関連ありは3件なので、Precision@5 = 3 ÷ 5 = 60%、Recall@5 = 3 ÷ 5 = 60% です。表を下に見ていくと、k = 10 では Precision 40%、Recall 80% になります。

結果の見方

  • kを大きくすると、Recall@kは上がる(または変わらない)一方、Precision@kは下がりやすくなります。
  • 画面に表示できる件数が決まっている場合は、その件数をkにするとユーザー体験に近い評価になります。
  • Precision@kもRecall@kも、上位k件の中の並び順は考慮しません。順位まで評価したい場合はnDCGやMAPを使います。

オフライン評価と実際の効果

Precision@kやRecall@kは、過去の行動データなどを使って推薦の精度を測るオフライン評価でよく使われます。ただし、オフラインで値が高くても、実際のクリック率や満足度が上がるとは限りません。新しいアイテムとの出会いやすさなど、ほかの観点もあわせて検討しましょう。

また、ユーザーごとに全関連件数が大きく異なる場合、Recall@kはユーザー間で比べにくくなります。その場合は、Precision@kやnDCG@kを中心に見るなど、目的に合った指標を選ぶとよいでしょう。複数の指標を並べて比べることで、推薦の傾向がより正確にわかります。

注意点

  • 結果の件数がkより少ない場合、足りない分は「関連なし」としてkで割っています。件数で割る定義もあるので、比べるときは定義をそろえましょう。
  • 全関連件数は結果に出ていないものも含めた数です。わからない場合はRecall@kの値は参考程度にしてください。
  • 複数のクエリやユーザーで評価するときは、それぞれのPrecision@kを計算して平均します。

Precision@k・Recall@kのよくある質問

Q. Precision@kとRecall@kはどう使い分けますか?

A. 上位に当たりが並ぶことを重視するならPrecision@k、当たりの取りこぼしを減らしたいならRecall@kを重視します。両方を並べて見るのが一般的です。

Q. kはいくつにすればよいですか?

A. 画面に一度に表示される件数や、ユーザーが実際に見る件数に合わせるのが目安です。5や10がよく使われます。

Q. Precision@kで順位の違いは評価できますか?

A. できません。上位k件の中で当たりが1位でも5位でも同じ値になります。順位まで評価したい場合はnDCGやMAPを使います。