KI News KI-Glossar › Grundlagen
Pretraining (Vortraining)
Kurz gesagt: Die erste, teuerste Trainingsphase: Das Modell lernt aus riesigen Textmengen, das nächste Wort vorherzusagen.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Beim Pretraining bekommt ein Sprachmodell gewaltige Mengen Text – Webseiten, Bücher, Code, Fachartikel – und lernt eine einzige Aufgabe: das jeweils nächste Token vorherzusagen. Niemand muss dafür Beispiele beschriften; der Text selbst liefert die richtige Antwort.
Was dabei entsteht
Ein Rohmodell, das Sprache, Fakten und Muster erstaunlich gut beherrscht, aber noch kein guter Gesprächspartner ist. Fragt man es etwas, setzt es den Text womöglich einfach fort, statt zu antworten.
Was danach kommt
- Nachtraining mit Beispielgesprächen (Fine-Tuning),
- Feedback von Menschen oder Prüfmodellen (RLHF),
- zunehmend bestärkendes Lernen auf überprüfbaren Aufgaben wie Mathe und Code – Grundlage der Reasoning-Modelle.
Warum das wichtig ist
Das Pretraining verschlingt den Großteil der Rechenleistung und legt den Wissensstand fest. Was in den Daten fehlt oder verzerrt ist, steckt später im Modell.
Hängt zusammen mit
Basismodell (Foundation Model)
Ein großes, breit trainiertes Modell, auf dem viele Produkte und Spezialversionen aufbauen.
RLHF (Lernen aus menschlichem Feedback)
Menschen bewerten Antworten, das Modell lernt daraus, was hilfreich und erwünscht ist – der Schliff nach dem Training.
Wissensstand (Knowledge Cutoff)
Der Stichtag, bis zu dem ein Modell Trainingsdaten gesehen hat – alles danach kennt es nur über Suche oder Dokumente.