トークナイゼーションとは？LLMのテキスト処理の基本を解説

いい質問だね。LLMは人間のようにテキストをそのまま読むことができないんだ。トークナイゼーション（Tokenization）とは、テキストを「トークン」と呼ばれる小さな単位に分割する処理のことだよ。英語の場合、1トークンは大体1単語の4分の3くらいの長さで、「Hello」は1トークン、「unbelievable」は3トークンに分割されるんだ。

その通り。現代のLLMの多くは「サブワード分割」という手法を使い、頻出する部分文字列をトークンとして扱うんだ。例えば「playing」は「play」+「ing」の2トークンに分割される。こうすることで、語彙数を抑えながらも未知の単語にも対応できるんだよ。英語の100万単語を全て覚えるのは非効率だけど、3〜5万のサブワードトークンがあれば大半のテキストをカバーできるんだ。

鋭い指摘だね。日本語は英語と比べて1文字あたりのトークン消費量が多いというのは事実だよ。英語では「Hello」が1トークンだけど、日本語の「こんにちは」は3〜5トークンになることがある。これはBPEの学習データに英語が多く含まれているため、英語のサブワードが効率的に圧縮される一方、日本語は漢字・ひらがな・カタカナの文字種が多く、効率が下がるんだ。GPT-4のcl100kトークナイザーでは改善が進んだけど、それでも同じ意味を表現するのに日本語は英語の1.5〜2倍のトークンを消費する傾向があるよ。

OpenAIのモデルなら「tiktoken」というPythonライブラリで正確にトークン数を計算できるよ。pip install tiktokenでインストールして、encoding.encode(text)でテキストをトークン列に変換すれば、そのリストの長さがトークン数になる。OpenAIの公式サイトにも「Tokenizer」というWebツールがあって、ブラウザ上でトークン分割を可視化できるよ。LLMを業務で活用するなら、トークナイゼーションへの理解は必須の基礎知識だから、ぜひ実際に試してみてね。