Sprachmodelle lesen keine Wörter und keine Buchstaben, sondern Token. Dieser unscheinbare Zwischenschritt erklärt fast alles, was Einsteiger an LLMs verwirrt: warum die Abrechnung in seltsamen Einheiten erfolgt, warum deutscher Text teurer ist als englischer, warum ein Modell die Anzahl der Buchstaben in einem Wort manchmal falsch zählt. Wer Tokens versteht, plant Prompts und Budgets deutlich präziser.
Was ein Token ist
Ein Token ist ein Textbaustein, der irgendwo zwischen einem Buchstaben und einem ganzen Wort liegt. Häufige Wörter wie "und" oder "Haus" werden oft als ein einziges Token dargestellt. Seltenere oder lange Wörter zerfallen in mehrere Teile. Das deutsche Wort "Donaudampfschifffahrtsgesellschaft" wird zum Beispiel in viele kleine Stücke zerlegt, während das englische "ship" ein einziges Token sein kann. Modelle rechnen intern ausschließlich mit diesen Bausteinen und ihren Zahlencodes, nicht mit dem rohen Text.
Wie ein Tokenizer arbeitet
Der Tokenizer ist das Bauteil, das Text in Token zerlegt und wieder zusammensetzt. Die meisten modernen Modelle nutzen Verfahren aus der Familie der "Subword"-Zerlegung. Die Idee dahinter: Häufige Zeichenfolgen bekommen ein eigenes Token, seltene werden aus kleineren Stücken zusammengesetzt. So bleibt das Vokabular handhabbar groß, und das Modell kann trotzdem jedes denkbare Wort darstellen, auch erfundene oder Tippfehler.
Wichtig ist: Jeder Modellanbieter hat seinen eigenen Tokenizer. Derselbe Satz kann bei Claude, GPT und Gemini zu leicht unterschiedlich vielen Token führen. Für grobe Planung spielt das kaum eine Rolle, für exakte Budgets sollte man den Tokenizer des jeweiligen Modells verwenden.
Warum Deutsch mehr Token kostet
Die meisten Tokenizer wurden überwiegend mit englischem Text trainiert. Englische Wörter sind dort gut abgedeckt und brauchen wenige Token. Deutsche Texte schneiden schlechter ab, aus drei Gründen:
- Komposita: Lange zusammengesetzte Wörter werden in viele Teile zerlegt.
- Umlaute und ß: Sonderzeichen führen oft zu zusätzlichen Token.
- Geringere Trainingsabdeckung: Seltenere Wortformen werden feiner zerstückelt.
Praktisch heißt das: Während im Englischen rund vier Zeichen ein Token ergeben, sind es im Deutschen eher drei bis dreieinhalb. Ein deutscher Text verbraucht also für denselben Inhalt spürbar mehr Token und kostet entsprechend mehr. Wer das überschlagen will, kann seinen Text mit dem Token-Schätzer für Text grob durchrechnen.
Warum Token die Kosten bestimmen
LLM-APIs rechnen pro Token ab, getrennt nach Eingabe und Ausgabe. Ausgabe-Token sind dabei in der Regel mehrfach teurer, weil das Erzeugen rechenintensiver ist als das Lesen. Für die Kostenplanung zählt also nicht die Anzahl der Wörter, sondern die Anzahl der Token in Ein- und Ausgabe. Wer ein Mengengerüst aus Anfragen, Eingabe- und Ausgabelängen hat, kann mit dem LLM-API-Kosten-Rechner direkt sehen, welcher Betrag pro Monat zusammenkommt und welcher Anteil auf die Ausgabe entfällt.
Was Token-Wissen im Alltag bringt
Ein paar praktische Konsequenzen aus dem Tokenisierungs-Verständnis:
- Knappe, präzise Prompts sparen Eingabe-Token und damit Geld.
- Begrenzt man die Antwortlänge bewusst, sinken die teureren Ausgabe-Token.
- Bei Buchstaben- oder Silbenaufgaben irren Modelle leichter, weil sie Token statt Zeichen sehen. Solche Aufgaben sollte man explizit und kleinschrittig formulieren.
- Strukturierte Eingaben mit klaren Abschnitten helfen mehr als ein großer Textblock.
Weitere Grundlagenartikel zu Sprachmodellen findest du in unseren News, die gesammelten KI-Rechner in den Webtools.
Wie aus Token ein Wort wird
Hinter dem Begriff steckt ein einfacher Kreislauf. Beim Einlesen wandelt der Tokenizer den Text in eine Folge von Zahlencodes um, denn das Modell rechnet ausschließlich mit Zahlen, nicht mit Buchstaben. Jeder dieser Codes steht für ein Token aus dem festen Vokabular des Modells. Bei der Ausgabe läuft es umgekehrt: Das Modell sagt das nächste Token in Form eines Zahlencodes voraus, und der Tokenizer setzt diese Codes wieder zu lesbarem Text zusammen. Dieser Hin- und Rückweg erklärt, warum die Anzahl der Token, nicht der Wörter, die maßgebliche Größe für Kontextfenster und Abrechnung ist.
Das Vokabular umfasst je nach Modell mehrere zehntausend bis über hunderttausend Token. Häufige Wörter und Wortteile bekommen einen eigenen Eintrag, seltene werden aus kleineren Stücken zusammengesetzt. Genau diese Mischung macht den Tokenizer so flexibel: Er kommt mit jedem erdenklichen Wort zurecht, auch mit Tippfehlern, Fachbegriffen oder Fantasienamen, ohne sie als unbekannt abzulehnen.
Code und Sonderzeichen verbrauchen mehr
Nicht nur Deutsch ist token-intensiv. Auch Quellcode, Tabellen und stark formatierter Text verbrauchen pro Zeichen oft mehr Token als gewöhnlicher Fließtext. Einrückungen, Klammern, Sonderzeichen und Variablennamen zerfallen häufig in viele kleine Token. Wer große Mengen Code oder Daten an ein Modell schickt, sollte das bei der Kontext- und Kostenplanung berücksichtigen, denn die naive Schätzung aus Wortzahlen unterschätzt den Verbrauch hier deutlich. Eine grobe Token-Schätzung anhand der Zeichenzahl ist in solchen Fällen verlässlicher als das Zählen von Wörtern.
Häufige Fragen
Wie viele Token hat ein Wort?
Im Englischen liegt ein Wort grob bei 1,3 Token, im Deutschen wegen Komposita oft höher. Eine verlässliche Faustregel ist daher der Zeichen- statt der Wortzähler: rund 3 bis 3,5 Zeichen pro Token im Deutschen.
Zählen Leerzeichen und Satzzeichen als Token?
Ja. Leerzeichen sind bei vielen Tokenizern Teil des nächsten Tokens, und Satzzeichen können eigene Token bilden. Auch Formatierung wie Zeilenumbrüche verbraucht Token.
Warum zählt ein Modell manchmal Buchstaben falsch?
Weil es Wörter als Token sieht, nicht als einzelne Zeichen. Die Buchstabenstruktur innerhalb eines Tokens ist dem Modell nicht direkt zugänglich, deshalb sind reine Zähl- und Buchstabenaufgaben fehleranfällig.
Ist der Tokenizer bei allen Modellen gleich?
Nein. Jeder Anbieter nutzt einen eigenen Tokenizer, und selbst innerhalb einer Familie kann er sich zwischen Generationen ändern. Für exakte Token-Zahlen sollte man stets das Werkzeug des konkreten Modells verwenden.