nDCG計算ツール|DCG・IDCG・nDCG@kを計算

検索・推薦結果の上位から並べた関連度(0以上の数値)とkを入力すると、DCG・IDCG・nDCG@kを計算します。ゲインは「2^rel − 1」と「relそのまま」の2方式から選べます。順位ごとの寄与も表示するので、ランキングのどこで点を落としているかがわかります。

nDCG@k 計算ツール(DCG・IDCGも表示)

検索・推薦結果の上位から並べた関連度とkから、DCG・IDCG・nDCG@kを計算します。ゲインは 2^rel−1 と rel を選べます。

使い方

  1. 結果を上位から順に見て、関連度を入力します。たとえば 3=とても関連、2=関連、1=少し関連、0=無関係 のように段階をつけます。
  2. 評価に使う上位件数kを入力します。
  3. ゲインの計算方法を選ぶと、nDCG@k・DCG@k・IDCG@kと、順位ごとの寄与の表が表示されます。

計算式

DCG@k  = Σ(i=1〜k) gain(relᵢ) ÷ log₂(i + 1)
IDCG@k = 関連度を高い順に並べ替えたときの DCG@k
nDCG@k = DCG@k ÷ IDCG@k
gain(rel) = 2^rel − 1 または rel

relᵢ は i 位の関連度です。下の順位ほど log₂(i + 1) で割り引かれるため、関連度の高いアイテムが上位にあるほどDCGが大きくなります。IDCGは入力した関連度を理想の順に並べ替えたときの値で、nDCGは0〜1の範囲になります。

計算例

サンプルの関連度 3, 2, 3, 0, 1, 2、k = 5、ゲイン 2^rel − 1 で計算します。

順位 関連度 ゲイン log₂(順位+1) 寄与
1 3 7 1 7
2 2 3 1.585 1.8928
3 3 7 2 3.5
4 0 0 2.3219 0
5 1 1 2.585 0.3869

DCG@5 ≒ 12.7796 です。理想の並び(3, 3, 2, 2, 1)で計算した IDCG@5 ≒ 14.5954 で割ると、nDCG@5 ≒ 0.8756 になります。

結果の見方

  • nDCGは1に近いほど、理想の並び順に近いことを表します。
  • 関連度の高いアイテムが下位にあるほど値が下がります。表の寄与を見ると、どの順位で点を落としているかがわかります。
  • 複数のクエリで評価するときは、クエリごとのnDCGを平均します。

nDCGが使われる場面

nDCGは、検索エンジンや推薦システムのランキング評価で広く使われています。関連度を「とても関連」「少し関連」のように段階で付けられるため、0か1かだけでは表せない細かな評価ができます。上位の順位ほど重視されるので、ユーザーが上から順に結果を見る状況に合った指標です。

関連度は、人が判定したラベルを使うことが一般的ですが、クリックや購入などの行動データから付けることもあります。どちらの場合も、関連度の付け方の基準をそろえておかないと、nDCGを比べても意味がなくなる点に注意が必要です。評価用のデータは、関連度の付け方を文書にまとめておくと再現しやすくなります。

注意点

  • ゲインの方式によって値が変わります。2^rel − 1 は高い関連度をより強く評価する方式で、rel そのままの方式は scikit-learn の ndcg_score と同じです。比べるときは方式をそろえましょう。
  • IDCGは入力した関連度を並べ替えて求めています。結果に出てこなかった関連アイテムは考慮されないため、取りこぼしは評価に反映されません。
  • 入力件数がkより少ない場合は、入力件数をkとして計算します。
  • 関連度がすべて0の場合は IDCG が0になり、nDCGは計算できません。

nDCG(ランキング評価)のよくある質問

Q. nDCGとDCGの違いは何ですか?

A. DCGは関連度と順位から求めた合計点で、クエリによって大きさが変わります。nDCGはDCGを理想の並びの値で割って0〜1にそろえたもので、クエリ間で比べやすくなります。

Q. ゲインは2^rel−1とrelのどちらを使えばよいですか?

A. とても関連の高いアイテムを特に重視したいなら2^rel−1、関連度を素直に足し合わせたいならrelを使います。論文や他の結果と比べるときは同じ方式にしてください。

Q. 関連度が0と1だけの場合も使えますか?

A. 使えます。0と1だけの場合は、2^rel−1 と rel のどちらの方式でも同じ値になります。