Jaccard係数計算ツール|Dice係数も同時計算

2つの集合をカンマや改行で区切って入力すると、Jaccard係数・Dice係数・Simpson係数と共通要素を計算します。タグやキーワード、購入商品の重なり具合を0〜1の数値で比べたいときに使えます。重複した要素は自動で1つにまとめます。

Jaccard係数 計算ツール(Dice係数・共通要素)

2つの集合(キーワードやタグの一覧)から、Jaccard係数・Dice係数・Simpson係数と共通要素を計算します。

使い方

  1. 集合Aと集合Bに、要素をカンマ(,)・読点(、)・改行のいずれかで区切って入力します。
  2. 英字の大文字と小文字を同じものとして扱いたい場合は「区別しない」を選びます。
  3. 「計算する」を押すと、各係数と共通要素、要素ごとの所属表が表示されます。

計算式

Jaccard係数 = |A∩B| ÷ |A∪B|
Dice係数    = 2|A∩B| ÷ (|A| + |B|)
Simpson係数 = |A∩B| ÷ min(|A|, |B|)

|A| は集合Aの要素数、A∩B は両方に含まれる要素(共通部分)、A∪B はどちらかに含まれる要素(和集合)です。和集合の大きさは |A| + |B| − |A∩B| で求められます。

よく使われる場面

Jaccard係数は、2人のユーザーが購入した商品の重なり、2つの記事に付いたタグの重なり、検索結果の上位に出たURLの重なりなど、「含まれているかどうか」だけを比べたい場面でよく使われます。推薦システムでは、似た好みのユーザーを探す協調フィルタリングの類似度として使われることもあります。また、文章を数文字ずつのまとまり(n-gram)に分けて集合にすれば、文章の重複チェックやほぼ同じ文書の検出にも応用できます。

計算例

サンプルの集合A「機械学習, 統計, Python, データ分析」と集合B「Python, 統計, R, 可視化, データ分析」で計算します。

  • 要素数は |A| = 4、|B| = 5、共通要素は「統計」「Python」「データ分析」の3つです。
  • 和集合は 4 + 5 − 3 = 6 個です。
  • Jaccard係数 = 3 ÷ 6 = 0.5
  • Dice係数 = 6 ÷ 9 = 0.6667
  • Simpson係数 = 3 ÷ min(4, 5) = 0.75

結果の見方

どの係数も0〜1の値をとり、1に近いほど2つの集合がよく重なっています。0は共通要素がまったくないこと、1は2つの集合が同じであることを表します。

係数 特徴
Jaccard係数 和集合に占める共通部分の割合。もっとも基本的な指標です。
Dice係数 共通部分を2倍に数えるため、Jaccard係数以上の値になります(D = 2J/(1+J))。
Simpson係数 小さいほうの集合がどれだけ含まれているかを見ます。片方がもう片方に含まれていれば1です。

何点以上なら「似ている」という決まった基準はありません。同じデータの中で複数の組み合わせを比べ、相対的に判断するのが一般的です。

注意点

  • 集合として扱うため、同じ要素を何回書いても1つと数えます。出現回数まで考えたい場合は、コサイン類似度など別の指標を使います。
  • 前後の空白は取り除きますが、「Python」と「python」、全角と半角は別の要素です。英字の大小は「区別しない」で揃えられます。
  • 要素の中の空白は区切りとして扱いません。「機械 学習」は1つの要素になります。
  • 集合の大きさが大きく違うと、Jaccard係数は小さくなりやすくなります。包含関係を見たいときはSimpson係数もあわせて確認しましょう。
  • 要素の順番は結果に影響しません。

Jaccard係数・Dice係数のよくある質問

Q. Jaccard係数とDice係数はどちらを使えばよいですか?

A. どちらも順位は同じになるため、比較の目的ならどちらでもかまいません。文献や既存の分析に合わせるのが無難です。Dice係数のほうが値が大きめに出ます。

Q. Jaccard距離とは何ですか?

A. 1 − Jaccard係数 で求める値で、0なら同じ集合、1なら共通要素がない集合を表します。クラスタリングなどで距離として使われます。

Q. 文章どうしの類似度にも使えますか?

A. 文章を単語や文字のまとまり(n-gram)の集合に分ければ使えます。ただし語順や出現回数は無視されるため、目的に応じてTF-IDFとコサイン類似度なども検討してください。