複数のクエリ(検索や質問)について「最初の正解が何位に出たか」を入力すると、その逆数の平均であるMRR(Mean Reciprocal Rank、平均逆順位)を計算します。1位で正解した割合や正解なしのクエリ数も表示するので、検索システムやRAGの検索部分の評価に使えます。
MRR(平均逆順位)計算ツール
複数のクエリについて「最初の正解が何位に出たか」を入力すると、逆数の平均であるMRR(Mean Reciprocal Rank)を計算します。
使い方
- クエリごとに、検索結果の中で最初に正解が出た順位を入力します。1位なら1、3位なら3です。
- 正解が1件も出なかったクエリは0を入力します。
- 「計算する」を押すと、MRR・クエリ数・1位で正解した割合・正解なしのクエリ数と、クエリごとの逆順位の表が表示されます。
計算式
逆順位 RRᵢ = 1 ÷ rankᵢ(正解なしは 0)
MRR = (1/Q) × Σ RRᵢ
rankᵢ は i 番目のクエリで最初に正解が出た順位、Q はクエリの数です。1位なら1、2位なら0.5、3位なら約0.333と、順位が下がるほど小さな値になります。
計算例
サンプルの順位 1, 3, 2, 0, 1, 5(6クエリ)で計算します。
| クエリ | 最初の正解の順位 | 逆順位 |
|---|---|---|
| 1 | 1位 | 1 |
| 2 | 3位 | 0.3333 |
| 3 | 2位 | 0.5 |
| 4 | 正解なし | 0 |
| 5 | 1位 | 1 |
| 6 | 5位 | 0.2 |
逆順位の合計は約 3.0333 で、6で割ると MRR ≒ 0.5056 です。1位で正解したクエリは6件中2件(33.3%)、正解なしは1件でした。
結果の見方
- MRRは0〜1の値で、1に近いほど正解が上位に出ていることを表します。全クエリで1位に正解が出ればMRRは1です。
- 1 ÷ MRR を「平均的な最初の正解の順位」の目安として読むこともあります。サンプルでは約2位です。ただし平均の取り方が違うため、あくまで目安です。
- 1位と2位の差(1と0.5)は大きく、5位と6位の差は小さいため、上位の改善がMRRを大きく動かします。
RAGや検索の評価での使い方
RAG(検索拡張生成)では、質問に答えるために必要な文書が検索結果の上位に入っているかどうかが、回答の質を大きく左右します。評価用の質問と正解文書の組をいくつか用意し、質問ごとに正解文書が何位に出たかを記録すれば、このツールでMRRを計算できます。検索方法や埋め込みモデルを変えたときに、MRRがどう変わるかを比べると、改善の効果を数字で確認できます。
あわせて「上位k件に正解が入った割合」(Hit Rate@k、Recall@k)も見ると、生成モデルに渡す文書の件数を決める参考になります。MRRが高くても正解なしのクエリが多い場合は、検索の対象範囲や文書の分割方法を見直すとよいでしょう。
MRRを比べるときは、同じ評価用の質問セットを使うことが前提です。質問の難しさが違えば、MRRの値も変わってしまいます。また、評価用の質問は実際の利用者の質問に近いものを選ぶと、運用時の性能に近い結果になります。
クエリ数が少ないとMRRは大きくぶれるため、数十件以上の質問で評価するのが目安です。
注意点
- MRRは最初の正解だけを見ます。2件目以降の正解の並びも評価したい場合は、MAPやnDCGを使います。
- 上位何件までを見るか(例:10位まで)を決めている場合、それより下の正解は「正解なし(0)」として入力します。
- 順位は1以上の整数(正解なしは0)で入力してください。
MRR(平均逆順位)のよくある質問
Q. MRRとMAPの違いは何ですか?
A. MRRは各クエリで最初に出た正解の順位だけを使います。MAPは正解が複数あるとき、すべての正解の順位を考慮します。正解が1つだけのタスクではMRRがよく使われます。
Q. 正解が出なかったクエリはどう扱いますか?
A. 逆順位を0として平均に含めます。このツールでは順位に0を入力してください。
Q. MRRはどんな場面で使われますか?
A. 検索エンジン、質問応答、RAGの文書検索など、「最初に正しい答えがどれだけ上に出るか」が重要な場面で使われます。
