KI News KI-Glossar › Technik & Kosten
Lokale KI & Quantisierung
Kurz gesagt: Wie große Sprachmodelle auf Laptop oder Handy laufen – ohne Cloud.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Lokale KI heißt: Das Modell läuft auf deinem eigenen Gerät. Deine Daten verlassen den Rechner nicht, und es fallen keine Gebühren pro Anfrage an. Kostenlose Programme wie LM Studio oder Ollama machen das auch ohne Programmierkenntnisse möglich.
Der Trick: Quantisierung
Normalerweise speichert ein Modell jede seiner Zahlen mit 16 Bit. Bei der Quantisierung werden sie gröber gespeichert – mit 8, 4 oder sogar weniger als 2 Bit. Das Modell braucht dann nur einen Bruchteil des Speichers. Der Preis: Mit jeder Stufe kann die Qualität leiden, und wie stark, zeigen oft erst unabhängige Tests.
Mixture of Experts
Viele neue Modelle bestehen aus vielen „Experten“, von denen pro Wort nur wenige rechnen. Ein Modell mit hunderten Milliarden Parametern nutzt so pro Schritt nur einen kleinen Teil – ein Grund, warum auch sehr große Modelle auf gut ausgestatteten Laptops laufen können.
Mehr dazu im Podcast
Hängt zusammen mit
Open-Weight-Modell
Ein KI-Modell, dessen Gewichte frei herunterladbar sind – und das man selbst betreiben kann.
Mixture of Experts (MoE)
Ein Modell aus vielen Spezialisten, von denen pro Wort nur wenige arbeiten – groß, aber sparsam.
Training & Inferenz
Einmal lernen, millionenfach anwenden – die zwei Phasen im Leben eines KI-Modells.