Token
Die kleinste Einheit, in die ein Sprachmodell Text zerlegt, z. B. ein Wort, ein Wortteil oder ein Satzzeichen.
Definition
Sprachmodelle lesen und schreiben nicht Buchstaben oder ganze Wörter, sondern Token. Häufige kurze Wörter sind oft ein Token, lange oder seltene Wörter werden in mehrere Teile zerlegt. Wie viele Zeichen ein Token im Schnitt umfasst, hängt vom Modell und von der Sprache ab, derselbe Text kann in verschiedenen Sprachen unterschiedlich viele Token ergeben. Token sind die Maßeinheit für vieles: Das Kontextfenster, die Länge einer Antwort und oft auch der Preis werden in Token gerechnet. Auch Bilder werden bei multimodalen Modellen in Token zerlegt. Nicht verwechseln: Ein Zugangs-Token beim Anmelden ist etwas ganz anderes.
Beispiel
Ein Beispiel aus dem Unterricht: Die Klasse gibt das Wort „Schmetterlingsflügel“ in eine Tokenizer-Demo ein, wie sie manche Anbieter online bereitstellen. Die Schüler sehen, dass das lange Wort in mehrere Stücke zerfällt. So wird klar, warum lange Texte schnell viele Token verbrauchen.
Weiterführend
Zuletzt aktualisiert: 18. Oktober 2026