OpenAI-Token-Zähler

So arbeitet es

• Heruntergeladen wird nur die gewählte Kodierung, als eigener Chunk von einigen Megabyte; danach wird im Browser gezählt, und der Text wird nirgendwohin gesendet.
• Die Ansicht der Token-Grenzen trennt Tokens mit │ und zeigt Zeilenumbrüche als ↵ und Tabulatoren als →. Ein chinesisches Zeichen oder Emoji, das die Kodierung in mehrere Byte-Tokens zerlegt, erscheint nur einmal, mit einer kleinen hochgestellten Zahl, wie viele Tokens es gekostet hat.
• Zeichenfolgen wie <|endoftext|> werden als gewöhnlicher Text gezählt statt abgelehnt – so behandelt die API sie auch, wenn sie in einer Nachricht vorkommen.
• Die Ansicht der Token-IDs listet die Zahlen auf, die das Modell tatsächlich erhält; beide Ansichten zeigen die ersten 20.000 Tokens, die Zählung umfasst immer den ganzen Text.

Häufige Fragen

Ist die Zählung auch für Claude, Gemini, Llama oder DeepSeek exakt?

Nein. Jeder Anbieter trainiert seinen eigenen Tokenizer, derselbe Text ergibt also bei jedem eine andere Anzahl Tokens. Für englischen Text ist die o200k_base-Zählung eine brauchbare Schätzung für andere aktuelle Modelle, meist auf 10–20 % genau, bei Chinesisch oder Code kann sie weiter danebenliegen. Für einen exakten Wert nutzen Sie den Zähl-Endpunkt des Anbieters, etwa count_tokens von Anthropic oder countTokens von Gemini.

Welche Kodierung soll ich wählen?

o200k_base für alles Aktuelle von OpenAI: GPT-4o, GPT-4.1, GPT-5 und die Reasoning-Modelle o1/o3/o4. cl100k_base für GPT-4, GPT-4 Turbo, GPT-3.5 Turbo sowie die Embedding-Modelle text-embedding-3 und ada-002. o200k_base hat das doppelte Vokabular, derselbe nicht-englische Text braucht damit meist spürbar weniger Tokens.

Warum verbraucht eine Chat-Anfrage mehr Tokens, als hier angezeigt wird?

Weil die API jede Nachricht in einige eigene Formatierungs-Tokens verpackt – etwa drei pro Nachricht plus drei, um die Antwort einzuleiten – und Funktions- bzw. Tool-Definitionen ebenfalls mitzählen. Dieses Tool zählt den eingefügten Text, genau das, was Sie zum Kürzen eines Prompts brauchen; für eine vollständige Anfrage rechnen Sie diese paar Tokens pro Nachricht hinzu.

Warum zählt ein chinesisches Zeichen manchmal als zwei oder drei Tokens?

Byte-Pair-Encodings arbeiten mit UTF-8-Bytes, und ein chinesisches Zeichen besteht aus drei Bytes. Häufige Zeichen und Wörter haben eigene Tokens, ein selteneres Zeichen wird dagegen in Byte-Stücke zerlegt, und jedes Stück ist ein Token. Die hochgestellte Zahl in der Grenzansicht, etwa ⁽²⁾, markiert genau diese Zeichen.

Auch bekannt als

• Token Zähler
• Tokens zählen
• OpenAI Tokenizer
• tiktoken online
• GPT Token Rechner
• o200k_base