KI-Glossar › Technik & Kosten

Destillation

Kurz gesagt: Ein kleines Modell lernt von einem großen – und wird so fast so gut, aber viel billiger im Betrieb.

Stand: 08.11.2026 · Redaktion KI News Kompakt

Bei der Destillation (Knowledge Distillation) dient ein großes Modell als „Lehrer“. Ein kleineres „Schüler“-Modell wird darauf trainiert, die Antworten des Lehrers nachzuahmen – oft nicht nur die fertige Antwort, sondern auch, welche Alternativen der Lehrer für wie wahrscheinlich hielt. Das Verfahren wurde in der KI-Forschung schon Mitte der 2010er-Jahre bekannt.

Warum das so verbreitet ist

• Der Schüler erreicht einen großen Teil der Leistung bei einem Bruchteil der Rechenkosten (Inferenz).
• So entstehen viele der günstigen „Mini“- und „Flash“-Modelle (Kleines Sprachmodell).
• Die Lehrer-Antworten sind eine Form synthetischer Daten.

Der Streitpunkt

Destillation funktioniert auch über fremde Modelle: Man stellt einem Konkurrenzmodell über die API massenhaft Fragen und trainiert mit den Antworten. Die Nutzungsbedingungen großer Anbieter verbieten das meist ausdrücklich. Ob und wie Firmen das bei Konkurrenten tun, lässt sich von außen allerdings kaum belegen – entsprechende Vorwürfe sind deshalb oft schwer zu prüfen.

Hängt zusammen mit