KI News Kompakt

KI-Glossar › Technik & Kosten

Training & Inferenz

Einmal lernen, millionenfach anwenden – die zwei Phasen im Leben eines KI-Modells.

Training ist die Phase, in der ein Modell aus riesigen Datenmengen lernt. Sie dauert Wochen bis Monate, braucht tausende Spezialchips und kostet bei Spitzenmodellen sehr viel Geld.

Inferenz ist die Nutzung danach: Jede einzelne Anfrage, jede Antwort. Einzeln billig, in der Masse aber der größte laufende Kostenblock der Anbieter.

Warum das für Preise wichtig ist

Wenn Anbieter die Inferenz effizienter machen – etwa durch besseres Caching, kleinere Modelle oder Mixture of Experts –, können sie Preise pro Token senken. Ein Teil der Preisschlachten der letzten Monate wird genau so begründet.

Mehr dazu im Podcast

Hängt zusammen mit

Mixture of Experts (MoE)

Ein Modell aus vielen Spezialisten, von denen pro Wort nur wenige arbeiten – groß, aber sparsam.

Token

Die Recheneinheit von Sprachmodellen – und die Einheit, in der KI-Anbieter abrechnen.

Fine-Tuning

Ein fertiges Modell mit eigenen Beispielen nachschärfen – für Tonfall, Format oder Spezialaufgaben.