Tokenisierung
Das Zerlegen eines Textes in Token, bevor ein Sprachmodell ihn verarbeiten kann.
Definition
Bei der Tokenisierung übersetzt ein Tokenizer den Text in eine Folge von Token und diese in Zahlen, mit denen das Modell rechnet. Verschiedene Modelle nutzen oft verschiedene Tokenizer, deshalb kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Token ergeben. Token-Angaben verschiedener Anbieter lassen sich daher nicht direkt vergleichen. Auch die Sprache spielt eine Rolle: Übersetzungen desselben Textes können sehr unterschiedlich viele Token ergeben. Für dich ist das wichtig, weil Längengrenzen und Kosten in Token gemessen werden und nicht in Wörtern. Multimodale Modelle tokenisieren auch Bilder, z. B. in kleine Bildausschnitte.
Beispiel
Ein Beispiel für die Sekundarstufe: Die Schüler geben denselben kurzen Text auf Deutsch und auf Englisch in eine Tokenizer-Demo ein und vergleichen die Zahl der Token. Danach besprechen sie, warum die Zahlen abweichen und was das für lange Texte bedeutet.
Weiterführend
Zuletzt aktualisiert: 18. Oktober 2026