言語モデル

計算機は数字を扱うのが得意ですが、言葉のような記号をそのまま理解することはできません。そこで、言葉を計算機が理解できる数字に変換する必要があります。この数字による表現方法の一つに、局所表現というものがあります。局所表現とは、言葉をベクトルと呼ばれる数字の列に変換する手法です。ベクトルとは、複数の数字をまとめたもので、例えば、身長、体重、年齢といった複数の情報を一つのまとまりとして扱うことができます。 局所表現では、それぞれの言葉に固有の番号を割り当て、その番号に対応する場所に１を、それ以外の場所には０を配置したベクトルを作成します。これを「one-hotベクトル」と呼びます。例えば、「りんご」「みかん」「ぶどう」の三つの言葉を扱う場合、「りんご」には１番、「みかん」には２番、「ぶどう」には３番を割り当てます。すると、「りんご」は「１、０、０」、「みかん」は「０、１、０」、「ぶどう」は「０、０、１」というベクトルで表現されます。このように、それぞれの言葉は他の言葉とは独立したベクトルで表現されます。これが局所表現の特徴です。 しかし、局所表現には言葉の意味や関係性を捉えられないという欠点があります。「りんご」と「みかん」はどちらも果物ですが、それぞれのベクトルを見ると、全く関連性がないように見えます。また、扱う言葉の種類が増えると、ベクトルの次元数も増え、計算機の負担が大きくなります。そこで、これらの欠点を補うために、分散表現と呼ばれる別の表現方法が開発されました。分散表現では、言葉の意味や関係性を捉えることができ、より少ない次元数で表現することができます。これは、局所表現とは異なり、それぞれの言葉が複数の要素を組み合わせて表現されるためです。例えば、「りんご」は「甘さ」「赤色」「果物」といった要素の組み合わせで表現され、「みかん」も同様に「甘さ」「オレンジ色」「果物」といった要素の組み合わせで表現されるかもしれません。このように、共通の要素を持つ言葉はベクトル空間上で近い位置に配置されるため、言葉の意味や関係性を捉えることができます。 つまり、局所表現と分散表現は、それぞれ言葉の表現方法として異なる特徴を持っています。どちらの方法が適しているかは、扱うタスクやデータの性質によって異なります。