KI News KI-Glossar › Grundlagen
Transformer
Kurz gesagt: Die Bauart fast aller heutigen Sprachmodelle – ihr Kern ist ein Mechanismus namens „Aufmerksamkeit“.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Der Transformer ist eine Architektur für neuronale Netze, die Google-Forschende 2017 im Aufsatz „Attention Is All You Need“ vorgestellt haben. Fast alle bekannten Sprachmodelle – das „T“ in GPT steht dafür – bauen darauf auf.
Die Idee: Aufmerksamkeit
Für jedes Token berechnet das Modell, wie stark es mit jedem anderen Token im Text zusammenhängt. So erkennt es etwa, worauf sich ein „sie“ drei Sätze später bezieht. Weil diese Berechnungen parallel laufen können, lassen sich Transformer sehr effizient auf Grafikchips trainieren – eine Voraussetzung für die heutigen Riesenmodelle.
Die Schattenseite
Der Rechenaufwand der Aufmerksamkeit wächst stark mit der Textlänge. Das ist ein Grund, warum ein großes Kontextfenster teuer ist. Forschung an Alternativen – etwa Diffusions-Sprachmodellen oder Mischformen – setzt genau hier an.
Hängt zusammen mit
Large Language Model (LLM)
Das Sprachmodell hinter ChatGPT, Claude, Gemini & Co. – ein Textvorhersage-System im Riesenformat.
Diffusions-Sprachmodell
Sprachmodelle, die einen ganzen Textblock auf einmal entwerfen und schrittweise schärfen – statt Wort für Wort zu schreiben.
Kontextfenster
Wie viel Text ein Modell auf einmal „im Blick“ hat – das Kurzzeitgedächtnis der KI.