KI News KI-Glossar › Technik & Kosten
Mixture of Experts (MoE)
Ein Modell aus vielen Spezialisten, von denen pro Wort nur wenige arbeiten – groß, aber sparsam.
Ein Mixture-of-Experts-Modell besteht aus vielen Teilnetzen, den „Experten“. Ein Verteiler entscheidet für jedes Token, welche wenigen Experten rechnen. Der Rest bleibt still.
Warum das so beliebt ist
Das Modell kann insgesamt riesig sein – bis zu über einer Billion Parametern –, verbraucht pro Schritt aber nur die Rechenleistung eines viel kleineren Modells. Das senkt die Kosten der Inferenz.
Der Haken
Gespeichert werden müssen trotzdem alle Experten. Deshalb braucht MoE viel Arbeitsspeicher – ein Grund, warum Forschung zu Quantisierung und zum Auslagern selten genutzter Experten gerade so wichtig ist.
Mehr dazu im Podcast
- Folge 2: Preisschlacht – erscheint am Di, 29. Sep. 2026
- Folge 7: Spitzen-KI auf dem Laptop – erscheint am Fr, 9. Okt. 2026
Hängt zusammen mit
Lokale KI & Quantisierung
Wie große Sprachmodelle auf Laptop oder Handy laufen – ohne Cloud.
Training & Inferenz
Einmal lernen, millionenfach anwenden – die zwei Phasen im Leben eines KI-Modells.
Open-Weight-Modell
Ein KI-Modell, dessen Gewichte frei herunterladbar sind – und das man selbst betreiben kann.