検索・推薦結果の上位から並べた「関連あり(1)/なし(0)」の列からAverage Precision(AP)を、複数クエリのAPの列からMAP(Mean Average Precision)を計算します。APモードではkと全関連件数も指定でき、ランキングの評価に使えます。
MAP(平均適合率の平均)・Average Precision 計算ツール
1クエリの関連あり(1)/なし(0)の列からAverage Precisionを、複数クエリのAPの列からMAPを計算します。モードは切り替えられます。
使い方
- 「計算モード」で、1クエリのAPを求めるか、複数クエリのMAPを求めるかを選びます。
- APモードでは、結果を上位から順に見て関連ありなら1、なしなら0を入力します。必要ならkと全関連件数も入力します。MAPモードでは、各クエリのAP(0〜1)を入力します。
- 「計算する」を押すと、APまたはMAPと、順位ごとの計算の表が表示されます。
計算式
AP = Σ (relᵢ × Precision@i) ÷ 割る数
MAP = (1/Q) × Σ APq
relᵢ は i 位が関連ありなら1、なしなら0、Precision@i は i 位までの適合率です。つまり、関連ありが出た順位ごとの適合率を足し合わせます。割る数は、全関連件数を空欄にした場合は評価範囲内の関連あり件数(scikit-learn の average_precision_score と同じ)、入力した場合は min(全関連件数, k) です。Q はクエリ数です。
計算例
サンプルの関連 1, 0, 1, 0, 0, 1 で、k と全関連件数は空欄のままAPを計算します。
| 順位 | 関連 | Precision@i | APに加える値 |
|---|---|---|---|
| 1 | あり | 100% | 1 |
| 2 | – | 50% | – |
| 3 | あり | 66.7% | 0.6667 |
| 4 | – | 50% | – |
| 5 | – | 40% | – |
| 6 | あり | 50% | 0.5 |
加える値の合計は 1 + 0.6667 + 0.5 ≒ 2.1667 です。関連ありの件数3で割って、AP ≒ 0.7222 になります。
結果の見方
- APは0〜1の値で、関連アイテムが上位に集まっているほど1に近づきます。
- MAPは複数クエリのAPの平均で、検索システム全体の性能を1つの数字で表します。APが低いクエリを調べると、苦手な検索パターンを見つけやすくなります。
- 関連ありかなしかの2値で評価する指標です。関連度に段階がある場合はnDCGが向いています。
MAPとほかのランキング指標
MRRは最初の正解だけを見ますが、MAPは正解が複数あるとき、すべての正解の順位を評価に含めます。そのため、関連文書が多い検索タスクや、推薦結果の全体的な並びを評価したいときに向いています。
一方、関連度に「とても関連」「少し関連」のような段階がある場合、MAPはそれを区別できません。その場合はnDCGを使うか、MAPとnDCGを並べて評価します。また、MAPはクエリごとのAPの単純平均なので、関連アイテムが少ないクエリも多いクエリも同じ重さで扱われます。クエリによって関連件数が大きく違う場合は、その点を踏まえて結果を解釈しましょう。評価に使うクエリの数が少ないとMAPは大きくぶれるため、十分な数のクエリで評価することも大切です。
注意点
- APの「割る数」には複数の定義があります。結果に出てこなかった関連アイテムも考慮したい場合は、全関連件数を入力してください。
- 物体検出で使われるmAP(クラスごとのAPの平均)とは、計算の前提が異なります。物体検出のmAPはIoUのしきい値や補間の方法を含みます。
- MAPモードでは、APの値を0〜1の小数で入力します。
MAP・Average Precisionのよくある質問
Q. APとMAPの違いは何ですか?
A. APは1つのクエリについてのランキングの評価値で、MAPは複数のクエリのAPを平均したものです。
Q. MAP@kとは何ですか?
A. 上位k件だけを使ってAPを計算し、それを平均したものです。このツールではAPモードでkを指定して計算できます。
Q. 物体検出のmAPと同じものですか?
A. 考え方は似ていますが同じではありません。物体検出のmAPは、IoUのしきい値で正解を判定し、クラスごとのAPを平均します。
