Claude Tokenizer 2026: Warum dieselben Texte mehr kosten

Robin Werner, Consultant für GenAI bei Pexon Consulting | 8 Min. Lesezeit | 22.09.2026

TL;DR: Claude Tokenizer in fünf Sätzen

Seit Claude Opus 4.7 nutzt Anthropic einen neuen Tokenizer, der für denselben Text rund 30 % mehr Tokens erzeugt. Das gilt auch für Opus 5, Sonnet 5 und Fable. Wer von einem älteren Modell wechselt, zahlt also mehr, selbst bei gleichem Preis je Token. Anthropic bietet einen kostenlosen Endpunkt zum Zählen. Nutzen Sie ihn vor jedem Wechsel.

Das Problem: Die Rechnung steigt, obwohl sich nichts geändert hat

Ein Szenario, das wir mehrfach gesehen haben: Ein Team stellt eine laufende Anwendung von Sonnet 4.5 auf ein neueres Modell um. Der Preis je Token ist vergleichbar, die Prompts sind dieselben, die Nutzerzahl auch. Trotzdem steigt die Monatsrechnung spürbar, und niemand weiß warum.

Die Antwort steht in der Anthropic-Doku zum Token Counting: Claude 4.7 und neuere Modelle nutzen einen neueren Tokenizer, und derselbe Eingabetext erzeugt etwa 30 % mehr Tokens als bei früheren Modellen. Anthropic fügt ausdrücklich hinzu, dass der genaue Anstieg vom Inhalt und von der Art der Arbeitslast abhängt.

Für die Kostenplanung ist das ein doppelter Effekt. Ein Modell, das je Token doppelt so teuer ist, kostet pro Aufgabe nicht das Doppelte, sondern grob das 2,6-Fache. Wer Budgets nur mit der Preistabelle plant, liegt zu niedrig.

Besonders tückisch ist das bei Anwendungen, die still im Hintergrund laufen: nächtliche Auswertungen, Klassifizierung eingehender E-Mails, Zusammenfassungen für Dashboards. Dort schaut niemand täglich auf den Verbrauch, und der Anstieg fällt erst beim Monatsabschluss oder beim Chargeback an die Fachbereiche auf.

Was ein Tokenizer ist und warum er den Preis bestimmt

Ein Tokenizer zerlegt Text in Einheiten, die das Modell verarbeitet. Das sind meist Wortteile, nicht ganze Wörter. Abgerechnet wird bei allen Anbietern nach diesen Einheiten, nicht nach Wörtern oder Zeichen.

Anthropic nennt in der Modellübersicht eine hilfreiche Faustregel: 1 Mio. Tokens entsprechen mit dem aktuellen Tokenizer etwa 555.000 Wörtern oder 2,5 Mio. Zeichen. Modelle vor diesem Tokenizer brachten in 1 Mio. Tokens etwa 750.000 Wörter unter. Diese Zahlen beziehen sich auf englischen Text. Deutscher Text mit langen zusammengesetzten Wörtern zerfällt in der Regel in mehr Tokens pro Wort. Wie viele genau, zeigt nur eine Zählung mit Ihren eigenen Texten.

Drei Folgen, die oft übersehen werden:

1. Kontextfenster: Ein Dokument, das bei Sonnet 4.5 knapp hineinpasste, kann beim neuen Modell zu groß sein.
2. Rate Limits: Limits in Tokens pro Minute sind schneller erreicht.
3. Chargeback: Wer Kosten an Fachbereiche weiterverrechnet, verrechnet nach dem Wechsel mehr, ohne dass sich die Nutzung geändert hat.

Tokens zählen: kostenlos und vor dem Senden

Anthropic bietet mit count_tokens einen eigenen Endpunkt, der die Eingabe-Tokens einer Nachricht vorab zählt. Laut Doku ist er kostenlos, hat eigene Rate Limits und steht auf der Claude API, Claude Platform on AWS, Amazon Bedrock, Google Cloud und Microsoft Foundry als GA bereit.

So vergleichen Sie denselben Prompt unter zwei Modellen:

import anthropic

client = anthropic.Anthropic()
nachricht = [{"role": "user", "content": open("typischer_prompt.txt").read()}]

for modell in ["claude-haiku-4-5", "claude-sonnet-5"]:
    ergebnis = client.messages.count_tokens(model=modell, messages=nachricht)
    print(modell, ergebnis.input_tokens)

Zwei Hinweise aus der Doku, die wichtig sind:

• Die Zahl ist eine Schätzung. Die tatsächlich abgerechneten Tokens können leicht abweichen.
• Server-Tools wie Web Search, Code Execution oder der MCP-Connector führen beim Zählen zu einem Fehler. Für solche Anfragen zeigt erst das usage-Feld der echten Antwort den Verbrauch.

Anthropic empfiehlt ausdrücklich, Prompts gegen das Modell neu zu zählen, das Sie künftig nutzen wollen, statt alte Zählungen weiterzuverwenden. Wir würden das noch schärfer formulieren: Eine Kostenschätzung für einen Modellwechsel ohne Neuzählung ist geraten.

Versteckte Tokens: Denken, Verlauf und Cache

Der Tokenizer ist nicht der einzige Grund, warum Rechnungen nach einem Modellwechsel steigen. Drei weitere Effekte sehen wir in Projekten regelmäßig, und alle drei stehen in der Anthropic-Doku.

Denk-Tokens aus früheren Runden. Neuere Modelle arbeiten mit adaptivem Denken. Die Doku beschreibt es so: Denkblöcke aus früheren Antworten zählen bei Modellen, die alle früheren Runden behalten, als Eingabe-Tokens. Das betrifft ab Opus 4.5 und Sonnet 4.6 die neueren Modelle, bei älteren Modellen und Haiku wird nur die letzte Runde behalten. In langen Dialogen oder Agentenläufen wächst die Eingabe dadurch mit jeder Runde. Die Denk-Tokens der aktuellen Antwort zählen in jedem Fall.

Der Standard für effort. Bei Opus 5, Sonnet 5 und Fable 5.1 steht der Parameter effort standardmäßig auf high. Wer ihn nicht setzt, lässt das Modell tief nachdenken, auch bei Aufgaben, die das nicht brauchen. Haiku 4.5 kennt diesen Parameter nicht, er fehlt also in altem Code.

Cache richtig nutzen. Prompt Caching ist der stärkste Hebel gegen steigende Eingabekosten. Ein Cache-Treffer kostet 10 % des Eingabepreises, bei Fable 5.1 und Mythos 5.1 sogar nur 2,5 %. Wichtig: count_tokens berücksichtigt den Cache nicht. Die Zählung zeigt also die Tokens ohne Cache, die tatsächliche Rechnung kann deutlich niedriger liegen, wenn große Teile des Prompts gleich bleiben.

Unsere Erfahrung: Wer diese drei Punkte nicht mitrechnet, schätzt die Kosten eines Modellwechsels systematisch falsch, mal zu hoch, meist zu niedrig. Deshalb messen wir im Audit nicht einzelne Prompts, sondern echte Verläufe.

So rechnen Sie einen Modellwechsel richtig

Die Formel für eine belastbare Schätzung hat drei Faktoren, nicht einen:

Kosten neu = Kosten alt x Preisfaktor x Tokenfaktor x Längenfaktor

Preisfaktor  = Preis je Token neu / Preis je Token alt
Tokenfaktor  = gezählte Tokens neu / gezählte Tokens alt   (count_tokens)
Längenfaktor = Antwortlänge neu / Antwortlänge alt         (aus einem Testlauf)

Den Tokenfaktor liefert count_tokens in Minuten. Den Längenfaktor liefert nur ein Testlauf mit echten Anfragen, denn neuere Modelle antworten nicht zwingend gleich lang. Beim Wechsel von Haiku 4.5 auf Sonnet 5 ergeben Preis- und Tokenfaktor zusammen schon grob 2,6, bevor die Antwortlänge überhaupt betrachtet wird. Was dieser Wechsel sonst bedeutet, beschreibt unser Beitrag zum Lebensende von Claude Haiku 4.5.

Die Gegenmittel sind bekannt und belegt: Prompt Caching senkt die Kosten für wiederkehrende Teile auf 10 % des Eingabepreises, Batch-Verarbeitung halbiert den Preis, und kürzere Systemprompts wirken bei jedem Aufruf. Welche davon bei Ihnen zählt, hängt davon ab, wo die Tokens tatsächlich entstehen.

Häufig gestellte Fragen

Was ist der Claude Tokenizer?

Der Claude Tokenizer zerlegt Text in Tokens, nach denen Anthropic abrechnet. Seit Claude Opus 4.7 nutzt Anthropic einen neueren Tokenizer. Er gilt für alle neueren Modelle, darunter Opus 5, Sonnet 5, Fable 5 und Fable 5.1, und erzeugt für denselben Text rund 30 % mehr Tokens.

Wie zähle ich Tokens für Claude?

Über den Endpunkt count_tokens der Messages API, in Python mit client.messages.count_tokens(...). Er ist kostenlos, zählt unter dem Tokenizer des angegebenen Modells und ist auf der Claude API, Bedrock, Google Cloud und Foundry verfügbar. Das Ergebnis ist eine Schätzung.

Warum ist Claude teurer geworden, obwohl der Preis gleich ist?

Weil neuere Modelle für denselben Text mehr Tokens zählen. Bei gleichem Preis je Token steigen dadurch die Kosten je Anfrage um rund 30 %, je nach Inhalt mehr oder weniger. Wer zusätzlich auf ein teureres Modell wechselt, zahlt beide Effekte.

Wie viele Wörter sind 1 Mio. Tokens bei Claude?

Laut Anthropic etwa 555.000 englische Wörter oder 2,5 Mio. Zeichen mit dem aktuellen Tokenizer. Bei Modellen vor Claude 4.7 waren es etwa 750.000 Wörter. Deutscher Text ergibt meist mehr Tokens pro Wort, eine eigene Zählung ist genauer als jede Faustregel.

Muss ich meine Kostenplanung nach einem Modellwechsel anpassen?

Ja. Anthropic rät ausdrücklich, alte Tokenzahlen nicht für Kosten- oder Kontextschätzungen neuer Modelle zu verwenden. Zählen Sie typische Prompts mit dem neuen Modell neu und prüfen Sie die Antwortlängen in einem Testlauf, bevor Sie Budgets festlegen.

Nächster Schritt

Verwandte Themen