複数の文書(1行=1文書)と対象語から、文書ごとのTF・IDF・TF-IDFを表で計算します。ある単語がどの文書を特徴づけているかを確かめたり、TF-IDFの計算手順を手元の例で確認したりするのに使えます。
TF-IDF 計算ツール(TF・IDF・TF-IDFの表)
複数の文書と対象語から、文書ごとのTF・IDF・TF-IDFを表で計算します。IDFは通常版とsmooth版を選べます。
使い方
- 文書を1行に1つずつ入力します。単語は空白で区切ってください(日本語は分かち書きにします)。
- 対象語を1語入力し、TFの定義とIDFの定義を選びます。
- IDFと、文書ごとの出現回数・TF・TF-IDFの表が表示されます。
計算式
TF(既定) = 文書中の出現回数 ÷ 文書の単語数
TF(回数) = 文書中の出現回数
IDF(通常) = log(N ÷ df)
IDF(smooth)= log((1 + N) ÷ (1 + df)) + 1
TF-IDF = TF × IDF
N は文書の数、df は対象語を含む文書の数です。log は自然対数です。smooth版は scikit-learn の TfidfVectorizer の既定と同じ式で、df が0でも計算できます。
TFとIDFの役割
TFは「その文書の中でどれだけよく出てくるか」、IDFは「ほかの文書にはどれだけ出てこないか」を表します。「が」「の」のようにどの文書にも出る語はIDFが小さくなり、特定の文書にだけ多く出る語はTF-IDFが大きくなります。この性質を使って、文書の重要語の抽出、検索での文書の順位付け、文書をベクトルにして分類やクラスタリングを行う前処理などに使われます。単語ごとのTF-IDFを並べたベクトルどうしのコサイン類似度で、文書の似ている度合いを測ることもできます。
計算例
サンプルの4文書「犬 が 好き」「猫 が 好き」「犬 と 猫 が 好き」「犬 が 走る 犬 が 吠える」で、対象語「犬」、TFは出現回数÷単語数、IDFは通常版とします。
- 「犬」を含む文書は文書1・3・4の3つなので、df = 3、N = 4 です。
- IDF = log(4 ÷ 3) = 0.2877
| 文書 | 単語数 | 出現回数 | TF | TF-IDF |
|---|---|---|---|---|
| 文書1 | 3 | 1 | 0.3333 | 0.0959 |
| 文書2 | 3 | 0 | 0 | 0 |
| 文書3 | 5 | 1 | 0.2 | 0.0575 |
| 文書4 | 6 | 2 | 0.3333 | 0.0959 |
文書1と文書4が同じ0.0959で最大です。文書4は「犬」が2回出ますが、単語数も多いためTFは文書1と同じになります。
結果の見方
- TF-IDFが大きい文書ほど、その語がその文書の特徴をよく表しています。
- 多くの文書に出てくる語ほどIDFが小さくなります。通常版では、すべての文書に出る語のIDFは0です。
- 値そのものより、同じ条件で計算した文書どうし・単語どうしの比較に使います。
注意点
- TFやIDFの定義には複数の流派があり、ツールや教科書によって値が変わります。比べるときは定義をそろえてください。
- scikit-learn の TfidfVectorizer は、TFに出現回数を使い、さらに文書ごとにL2正規化します。このツールの値は正規化前の値です。
- 英字は小文字にそろえて比べます。日本語は分かち書きの仕方で結果が変わるので、形態素解析の結果などを貼り付けるのがおすすめです。
- 通常版のIDFは、対象語がどの文書にも含まれないと計算できません。その場合はsmooth版を選んでください。
- 対象語は1語だけ指定できます。複数の語を調べたい場合は、1語ずつ入れ替えて計算してください。
TF-IDFのよくある質問
Q. TF-IDFのlogの底は何ですか?
A. このツールは自然対数を使っています。scikit-learn も自然対数です。底を変えると値は定数倍になりますが、文書どうしの大小関係は変わりません。
Q. smooth版のIDFはなぜ+1するのですか?
A. すべての文書に出る語でもIDFが0にならないようにするためです。分母と分子の1は、df=0のときの0除算を防ぐ役割があります。
Q. 日本語の文章をそのまま入れてもよいですか?
A. 単語の区切りが必要なので、空白で単語を区切ってから入力してください。区切りのない文章は1つの単語として扱われます。
