トークン数概算ツール|日本語・英語対応

文章を貼り付けると、日本語の文字と英数字・記号を分けて数え、それぞれの「1トークンあたりの文字数」で割って、おおよそのトークン数を計算します。換算率の初期値は例の値です。API料金やコンテキスト長のざっくりした見積もりに使えます。

トークン数 概算ツール(日本語・英語の文字数から)

テキストを貼り付けると、文字数・単語数と、指定した換算率から日本語・英語それぞれのおおよそのトークン数を計算します。

使い方

  1. トークン数を知りたい文章をテキスト欄に貼り付けます。
  2. 日本語と英数字・記号それぞれの「1トークンあたりの文字数」を入力します。初期値の1.0と4は例の値です。
  3. 概算トークン数、文字数、英単語数を確認します。

計算式

概算トークン数 = 日本語の文字数 ÷ 日本語の換算率 + 英数字・記号の文字数 ÷ 英語の換算率

日本語の文字には、ひらがな・カタカナ・漢字・全角の記号を数えます。それ以外の文字(半角の英数字・記号・空白)は英数字・記号として数えます。改行は数えません。英単語数は、半角英数字のまとまりの数です。

計算例

サンプルの文章(日本語1文と英語1文)で、換算率を日本語1.0・英語4で計算します。

  • 文字数(改行除く):116文字
  • 日本語の文字:41文字 → 41÷1 = 41トークン
  • 英数字・記号(空白込み):75文字 → 75÷4 = 18.75トークン
  • 合計:約59.8トークン(表示は切り上げて約60)。英単語数は12です。

結果の見方

トークンは、LLM が文章を扱うときの単位です。API の料金やコンテキスト長はトークン数で決まるため、文章の長さをトークンに直しておくと見積もりがしやすくなります。

英語では1単語が1トークン前後、日本語では1文字が1トークン前後になることが多いと言われますが、実際の値はモデルのトークナイザーによって大きく変わります。手元で正確に数えた文章があれば、その結果から換算率を逆算して入力すると、このツールの精度を上げられます。

換算率を自分で決める方法

このツールの精度を上げるには、手元で正確に数えた文章から換算率を求める方法が便利です。

  1. ふだん扱う文章の一部を、使うモデルのトークナイザーで数えます。
  2. その文章をこのツールに貼り付け、日本語の文字数を確認します。
  3. 「日本語の文字数÷トークン数」を換算率として入力します。

英語が多い文章では、英数字・記号の換算率も同じように求めます。一度決めておけば、似た種類の文章のトークン数をすばやく見積もれます。

見積もった値は、コンテキスト長やAPI料金の計算に使えます。料金を見積もる場合は、入力だけでなく出力のトークンも忘れずに足してください。

文章の種類が変わると換算率も変わるため、ときどき実際のトークン数と比べて、ずれが大きくないか確かめておくと安心です。

特に、表や箇条書き、プログラムのコードが多い文章は、ふつうの文章と換算率が大きく違うことがあります。

注意点

  • この値は換算率による概算です。正確なトークン数は、使うモデルのトークナイザー(公式のトークン計算機能やライブラリ)で確認してください。
  • 同じ日本語でも、漢字が多い文章とひらがなが多い文章では換算率が変わります。
  • API では、システムプロンプトや会話の履歴、ツールの定義などもトークンとして数えられます。
  • 絵文字や珍しい記号は、1文字が複数トークンになることがあります。

トークン数の概算のよくある質問

Q. 日本語は1文字何トークンですか?

A. モデルのトークナイザーによって異なります。1文字が1トークン前後になることが多いと言われますが、正確な値は実際にトークナイザーで数えて確かめてください。

Q. 英語は何文字で1トークンですか?

A. 空白を含めて4文字前後が目安としてよく使われます。ただし単語や記号の種類によって変わります。

Q. 正確なトークン数を知るには?

A. 使うモデルの提供元が公開しているトークン計算機能やライブラリで数えるのが確実です。API の応答に含まれる使用トークン数でも確認できます。