KI News KI-Glossar › Technik & Kosten
Scaling Laws (Skalierungsgesetze)
Kurz gesagt: Die Beobachtung, dass Modelle vorhersagbar besser werden, je mehr Daten, Parameter und Rechenleistung man investiert.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Scaling Laws beschreiben einen erstaunlich regelmäßigen Zusammenhang: Erhöht man die Zahl der Parameter, die Menge der Trainingsdaten und die Rechenleistung, sinkt der Vorhersagefehler eines Sprachmodells (der sogenannte Loss) nach einer berechenbaren Potenzkurve. Ein OpenAI-Team um Jared Kaplan beschrieb das im Januar 2020 systematisch (arXiv 2001.08361). Ein DeepMind-Team um Jordan Hoffmann zeigte 2022 mit dem Modell „Chinchilla“, dass große Modelle damals mit zu wenig Daten trainiert waren: Bei festem Rechenbudget sollten Modellgröße und Trainingsdaten gleichmäßig wachsen. Chinchilla mit 70 Mrd. Parametern und rund viermal so vielen Trainingsdaten schlug das viermal größere Gopher (arXiv 2203.15556).
Warum das so folgenreich ist
Die Gesetze machten KI-Fortschritt planbar – und rechtfertigten riesige Investitionen in Chips und Rechenzentren (GPUs & KI-Rechenzentren, KI-Blase).
Die Grenzen
- Die Kurven flachen ab: Jede weitere Verbesserung kostet immer mehr.
- Gute Texte aus dem Netz werden knapp – ein Grund für synthetische Daten.
- Ein besserer Wert bei der Wortvorhersage heißt nicht automatisch, dass ein Modell im Alltag nützlicher wird.
Inzwischen setzen Labore zusätzlich auf mehr Rechenaufwand bei der Antwort (Reasoning-Modelle) und effizientere Bauarten (Mixture of Experts).
Hängt zusammen mit
Parameter & Gewichte
Die Milliarden Zahlen, in denen das Gelernte eines Modells steckt – und warum ihre Zahl allein wenig über die Qualität sagt.
GPUs & KI-Rechenzentren
Die Spezialchips und Hallen, in denen KI trainiert und betrieben wird – der größte Kostenblock der Branche.
Training & Inferenz
Einmal lernen, millionenfach anwenden – die zwei Phasen im Leben eines KI-Modells.