Transformer-Architektur
Die Transformer-Architektur ist die technische Grundlage moderner KI-Sprachmodelle wie ChatGPT.
Definition
Die Transformer-Architektur ist ein spezielles Verfahren, das es KI-Modellen ermöglicht, Zusammenhänge in Texten besonders gut zu erkennen. Forscher bei Google haben sie 2017 in einem Fachartikel vorgestellt. Ihr Kern ist ein Aufmerksamkeitsmechanismus. Für jedes Wort oder jeden Wortteil berechnet das Modell, welche anderen Teile des Textes für seine Bedeutung wichtig sind. Die Eingabe wird dabei gleichzeitig statt Wort für Wort verarbeitet. Deshalb lassen sich Transformer schneller trainieren als ältere Netze. Die Antwort entsteht trotzdem Stück für Stück. Die Architektur bildet die Basis für bekannte Tools wie ChatGPT oder Google Gemini. Das T in GPT steht für Transformer. Du musst die Technik nicht im Detail verstehen, aber es hilft zu wissen, dass diese Architektur der Grund ist, warum heutige KI so gut mit Sprache umgehen kann.
Beispiel
Wenn du ein KI-Tool bittest, aus Stichpunkten einen vollständigen Entwicklungsbericht zu schreiben, nutzt es die Transformer-Architektur, um den Kontext deiner Eingaben zu verstehen.
Verwandte Begriffe
Weiterführend
Zuletzt aktualisiert: 25. Oktober 2026