OpenAI トークンカウンター

動作のしくみ

• ダウンロードされるのは選んだエンコーディングだけで、数メガバイトの独立したチャンクとして読み込まれます。その後のカウントはブラウザ内で行われ、テキストはどこにも送信されません。
• トークン境界の表示では、トークンを │ で区切り、改行を ↵、タブを → で示します。エンコーディングが複数のバイトトークンに分割する中国語の文字や絵文字は 1 回だけ表示され、何トークン使ったかが小さな上付き数字で添えられます。
• <|endoftext|> のような文字列は拒否せず普通のテキストとして数えます。メッセージ内に現れた場合に API がそう扱うためです。
• トークン ID の表示では、モデルが実際に受け取る数値 ID を一覧にします。どちらの表示も先頭 20,000 トークンまでですが、カウントは常にテキスト全体が対象です。

よくある質問

Claude、Gemini、Llama、DeepSeek でも正確な数になりますか？

いいえ。ベンダーごとに独自のトークナイザーを学習させているため、同じテキストでもトークン数はそれぞれ異なります。英語のテキストなら、o200k_base のカウントはほかの最新モデルに対してもおおむね妥当な見積もりで、差は通常 10〜20% 程度ですが、中国語やコードではさらにずれることがあります。正確な数が必要なら、Anthropic の count_tokens や Gemini の countTokens など、ベンダー自身のカウント用エンドポイントを使ってください。

どのエンコーディングを選べばよいですか？

GPT-4o、GPT-4.1、GPT-5、o1/o3/o4 推論モデルなど、現行の OpenAI モデルなら o200k_base です。GPT-4、GPT-4 Turbo、GPT-3.5 Turbo、および text-embedding-3 と ada-002 の埋め込みモデルなら cl100k_base です。o200k_base は語彙数が 2 倍あるため、同じ英語以外のテキストでも、たいてい目に見えて少ないトークン数で済みます。

チャットのリクエストが、ここに表示される数より多くトークンを使うのはなぜですか？

API は各メッセージを独自の書式トークンで包むためです。メッセージごとに約 3 トークン、さらに返答の準備に 3 トークンが加わり、関数やツールの定義も数に含まれます。このツールが数えるのは貼り付けたテキストで、プロンプトを削るときに必要なのはこの数です。リクエスト全体を見積もるなら、メッセージごとにその数トークンを足してください。

中国語の 1 文字が 2〜3 トークンと数えられることがあるのはなぜですか？

バイトペアエンコーディングは UTF-8 のバイト単位で動作し、中国語の 1 文字は 3 バイトだからです。よく使われる文字や単語には専用のトークンがありますが、あまり使われない文字はバイト単位の断片に分割され、断片ひとつひとつが 1 トークンになります。境界表示の ⁽²⁾ のような上付き数字は、まさにそうした文字を示しています。

別の呼び方

• トークン数 カウント
• OpenAI トークナイザー
• GPT トークン数 計算
• tiktoken オンライン
• o200k_base
• token counter