テキストマイニングとは？自然言語処理で大量テキストから知見を抽出

scikit-learnのCountVectorizerとTfidfVectorizerでテキストの数値化を行い、WordCloudで頻出語を可視化するまでの一連の流れを示します。

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import numpy as np

# サンプル文書（日本語は分かち書き済みを想定）
documents = [
    "機械 学習 は データ から パターン を 学習 する 技術 です",
    "深層 学習 は ニューラル ネットワーク を 多層 に した 機械 学習 の 手法 です",
    "自然 言語 処理 は テキスト データ を AI で 分析 する 分野 です",
    "画像 認識 は 深層 学習 の 代表的 な 応用 分野 です",
    "強化 学習 は 報酬 を 最大化 する 行動 を 学習 する 手法 です",
]

# =============================
# Step 1: Bag-of-Words（単語の出現回数）
# =============================
count_vec = CountVectorizer()
bow_matrix = count_vec.fit_transform(documents)

print("=== Bag-of-Words ===")
print(f"文書数: {bow_matrix.shape[0]}, 語彙数: {bow_matrix.shape[1]}")
vocab = count_vec.get_feature_names_out()
print(f"語彙（先頭10語）: {list(vocab[:10])}")

# =============================
# Step 2: TF-IDF（重要度で重み付け）
# =============================
tfidf_vec = TfidfVectorizer()
tfidf_matrix = tfidf_vec.fit_transform(documents)

print("\n=== TF-IDF 上位キーワード（文書ごと） ===")
feature_names = tfidf_vec.get_feature_names_out()
for i, doc in enumerate(documents[:3]):
    scores = tfidf_matrix[i].toarray().flatten()
    top_indices = scores.argsort()[::-1][:5]
    keywords = [(feature_names[j], round(scores[j], 3)) for j in top_indices]
    print(f"文書{i+1}: {keywords}")

# =============================
# Step 3: WordCloud（頻出語の可視化）
# =============================
all_text = " ".join(documents)

# TF-IDFスコアを集計して重みに使用
tfidf_scores = tfidf_matrix.toarray().sum(axis=0)
word_weights = dict(zip(feature_names, tfidf_scores))

wc = WordCloud(
    font_path="/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc",
    width=800,
    height=400,
    background_color="white",
    colormap="viridis",
    max_words=50,
)
wc.generate_from_frequencies(word_weights)

plt.figure(figsize=(10, 5))
plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.title("TF-IDF Weighted Word Cloud")
plt.tight_layout()
plt.show()

Bag-of-Wordsは「どの単語が何回出たか」を数えるだけですが、TF-IDFは「その文書に特徴的な単語ほど高スコア」になる重み付けを行います。「です」「の」のように全文書に出現する語のスコアは下がり、「強化」「報酬」のように特定文書にだけ出現する語のスコアが上がります。日本語の場合はMeCabやJanomeで事前に分かち書きする前処理が必要です。