Was ist ein Token?
ModelleEin Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt - meist ein Wortteil, ein Zeichen oder eine Silbe. Modelle verarbeiten keinen Text, sondern Token: Sie bestimmen, wie viel Text in ein Kontextfenster passt und wie aufwendig eine Antwort ist.
Kurz vorwegEin Modell verarbeitet keine Wörter, sondern Token - wer das versteht, nutzt Kontextfenster richtig. Zum KI-Beratungsgespräch
Token: Definition
Sprachmodelle wie GPT, Claude oder Llama arbeiten nicht mit Buchstaben oder ganzen Wörtern, sondern mit Tokens: kleinen Textbausteinen, die ein Tokenizer aus dem Eingabetext schneidet. Ein Token ist dabei keine feste Größe - ein häufiges Wort wie "der" kann ein Token sein, ein seltenes Fachwort wird in mehrere Token zerlegt.
Die Zerlegung folgt Regeln, die beim Training des Modells gelernt werden. Typisch sind drei Fälle: ein ganzes Wort ("Token"), ein Wortteil ("Token" plus "isierung") oder ein einzelnes Zeichen bei unbekannten Wörtern. Für deutsche Texte gilt: Ein Wort entspricht im Durchschnitt 1,5 bis 2 Tokens, weil zusammengesetzte Wörter wie "Kontextfenster" aufgeteilt werden.
Tokens sind die Einheit, in der ein Modell rechnet: Das Kontextfenster misst, wie viele Token eine Anfrage samt Antwort umfassen darf. Wer lange Dokumente verarbeitet oder viele Zwischenschritte braucht, erreicht das Fensterende schneller - und wer Texte knapp und präzise hält, nutzt den Platz effizienter. Auch die Länge von Antworten wird in Token gemessen: Je länger ein Modell antwortet, desto mehr Verarbeitung ist nötig - und desto eher stößt eine Unterhaltung an die Grenze des Fensters.
- Zweck
- Kleinste Verarbeitungseinheit, in die ein Sprachmodell Text zerlegt
- Kernidee
- Modelle verstehen keine Wörter, sondern Token - die Zerlegung übernimmt der Tokenizer
- Typische Größe
- Ein deutsches Wort entspricht im Durchschnitt 1,5 bis 2 Tokens
- Zusammenhang
- Kontextfenster und Antwortlänge werden in Tokens gemessen
Wie funktioniert Tokenisierung?
Die Zerlegung von Text in Token läuft in jedem Sprachmodell nach demselben Muster ab:
- Text zerlegenDer Tokenizer schneidet den Eingabetext in kleine Einheiten - Wörter, Wortteile oder Zeichen. Die Zerlegung ist deterministisch: Derselbe Text ergibt immer dieselbe Tokenfolge.
- Token-IDs zuordnenJedes Token aus dem Vokabular des Modells bekommt eine eindeutige ID. Das Modell arbeitet mit diesen Zahlen, nicht mit dem sichtbaren Text.
- Kontext aufbauenDie Token-IDs der Anfrage bilden den Anfang des Kontextfensters. Das Modell ergänzt Schritt für Schritt neue Token, bis die Antwort vollständig ist.
- ZurückübersetzenJedes erzeugte Token wird über das Vokabular zurück in Text übersetzt - Wort für Wort entsteht so die sichtbare Antwort.
Wie viele Tokens braucht ein Text?
- kurze und klare Sätze formuliert
- auf Füllwörter und Wiederholungen verzichtet
- zusammengesetzte Fachbegriffe vermeidet oder erklärt
- wiederkehrende Passagen wiederverwendet statt neu zu schreiben
- lange Dokumente komplett übergeben werden
- ausführliche Antworten erzeugt werden
- seltene Fachbegriffe im Text mehrfach vorkommen
Token vs. Wörter: Worin liegt der Unterschied?
Die Unterscheidung ist zentral, weil Token und Wort nicht dasselbe sind:
| Kriterium | Token | Wörter |
|---|---|---|
| Zerlegung | automatisch durch den Tokenizer, abhängig vom Vokabular des Modells | fest durch die Sprache vorgegeben |
| Deutscher Text | 1 Wort entspricht etwa 1,5 bis 2 Tokens | 1 Wort ist genau 1 Wort |
| Kontextfenster | wird in Tokens gemessen | hat keine technische Rolle |
| Antwortlänge | jedes erzeugte Token zählt in die Antwort | keine direkte Wirkung |
Typische Fehler im Umgang mit Tokens
Diese Fehler sieht man in der Praxis am häufigsten - alle sind vermeidbar:
- Token-Limit mit Textmenge verwechseln: nicht die Zeichen zählen, sondern die Token - deutsche Fachtexte brauchen mehr Token als dieselbe Aussage auf Englisch
- Den Tokenizer nicht kennen: jedes Modell hat ein eigenes Vokabular, dieselbe Eingabe ergibt unterschiedlich viele Token
- Kontextfresser ignorieren: lange Anhänge oder komplette Dokumente füllen das Fenster, bevor die eigentliche Frage beantwortet ist
- Antwortlänge nicht begrenzen: ohne Vorgabe formuliert das Modell ausführlich - und erreicht das Fensterende schneller
In der Praxis rechnet man bei deutschen Texten grob mit 1,5 bis 2 Tokens pro Wort. Für eine Seite Dokument sind das etwa 500 bis 800 Tokens. Wer viel Text verarbeitet, sollte vorab prüfen, wie der Tokenizer des jeweiligen Modells zerlegt - die Tokenizer unterscheiden sich zwischen den Modellen. Und wer Antworten kurz und präzise hält, nutzt das Kontextfenster nicht nur besser, sondern hält auch die Verarbeitung schlank.
„Ein Token ist ein Wort.“ Nein: Ein Token ist die Einheit, in die ein Tokenizer Text zerlegt - und die hängt vom Modell ab. Ein Wort kann ein Token sein, ein Wortteil oder ein einzelnes Zeichen. Deutsche zusammengesetzte Wörter werden fast immer aufgeteilt, deshalb braucht derselbe Satz je nach Modell unterschiedlich viele Tokens.
Häufige Fragen zu Token
Was ist der Unterschied zwischen Token und Wort?
Ein Wort ist eine sprachliche Einheit, ein Token die technische Verarbeitungseinheit eines Modells. Ein häufiges Wort kann genau ein Token sein; ein zusammengesetztes Wort wie Kontextfenster wird meist in zwei oder drei Token zerlegt. Entscheidend ist der Tokenizer des Modells - nicht die Grammatik.
Wie viele Tokens hat ein deutscher Text?
Richtwert: Ein Wort entspricht im Deutschen etwa 1,5 bis 2 Tokens, weil viele zusammengesetzte Wörter aufgeteilt werden. Eine DIN-A4-Seite sind grob 500 bis 800 Tokens. Die genaue Zahl hängt vom Vokabular des jeweiligen Modells ab.
Warum ist das Kontextfenster in Tokens angegeben?
Weil das Modell in Tokens rechnet: Jede Anfrage und jede Antwort belegt Platz im Kontextfenster, gemessen in Tokens. Das Fenster begrenzt, wie viel Text auf einmal verarbeitet werden kann - lange Dokumente oder ausführliche Antworten erreichen die Grenze schneller.
Ob Token-Limits oder Kontextfenster Ihr KI-Projekt ausbremsen - wir zeigen Ihnen, wie Texte und Abläufe effizient verarbeitet werden.
Zum KI-Beratungsgespräch