Bag-of-Words

「言葉の袋」とは、文章を分析するための技法の一つで、英語では「バッグ・オブ・ワーズ」と呼ばれます。まるで袋に言葉を詰め込むように、文章の中にどんな言葉が、何回ずつ出てきているかだけを数えます。言葉の並び順は気にしません。例えば、「今日は良い天気です。明日は雨です。」と「明日は雨です。今日は良い天気です。」という二つの文章は、言葉の並び順は違いますが、「今日」「は」「良い」「天気」「です」「明日」「雨」といった言葉とその出現回数は同じです。つまり、「言葉の袋」というやり方で見ると、この二つの文章は全く同じものとして扱われます。 このやり方の長所は、計算の手間が少ないことです。コンピューターにとって、言葉の順番まで考えながら文章を扱うのは大変な作業です。しかし、「言葉の袋」のように、ただ言葉の種類と数を数えるだけなら、比較的簡単に処理できます。そのため、たくさんの文章を素早く分析したい時に役立ちます。例えば、あるテーマについて書かれた大量の記事から、そのテーマの特徴となる言葉を抽出したり、大量のメールの中から迷惑メールを自動で見分けたりするのに使われます。 一方で、このやり方には、言葉の並び順を無視してしまうという欠点があります。日本語では、「私はご飯を食べました」と「ご飯は私を食べました」では、言葉は同じでも、意味は全く違います。しかし、「言葉の袋」では、この二つの文章は同じものと見なされてしまいます。つまり、文章の細かい意味や文脈までは捉えきれないのです。このように、「言葉の袋」は便利な手法ですが、それだけで文章の全てを理解することはできません。文章の内容をより深く理解するためには、言葉の並び順や文脈といった、他の情報も合わせて考える必要があるのです。