Alle Folgen › Folge 7
Spitzen-KI auf dem LaptopBrauchen wir die Cloud noch?
Ein Modell mit 550 Milliarden Parametern passt auf ein MacBook mit 128 GB – das zeigt die Gruppe um Tim Dettmers. Paul und Paula erklären, was Quantisierung damit zu tun hat, warum der Arbeitsspeicher der Flaschenhals ist und wann sich KI auf dem eigenen Rechner schon lohnt.
Kurz erklärt
Open-Weight-Modell
Ein KI-Modell, dessen Gewichte frei herunterladbar sind – und das man selbst betreiben kann.
Lokale KI & Quantisierung
Wie große Sprachmodelle auf Laptop oder Handy laufen – ohne Cloud.
Large Language Model (LLM)
Das Sprachmodell hinter ChatGPT, Claude, Gemini & Co. – ein Textvorhersage-System im Riesenformat.
Training & Inferenz
Einmal lernen, millionenfach anwenden – die zwei Phasen im Leben eines KI-Modells.
Benchmark
Standardisierte Tests, mit denen Hersteller ihre Modelle vergleichen – und warum man ihnen nicht blind trauen sollte.
Mixture of Experts (MoE)
Ein Modell aus vielen Spezialisten, von denen pro Wort nur wenige arbeiten – groß, aber sparsam.
Quellen zu dieser Folge
Jede Aussage der Folge haben wir vor der Aufnahme an diesen Quellen geprüft. Angaben von Herstellern kennzeichnen wir in der Folge als solche.
- Blogbeitrag „dlab Open Source Week: Frontier AI on Your Own Hardware“ am 21.09.
timdettmers.com - Veröffentlichungen ab 22.09. („from tomorrow … two open-source projects and four papers“; Termin um einen Tag verschoben)
blog.buildfastwithai.com - Dettmers: Assistant Professor an der Carnegie Mellon University, Research Scientist am Allen Institute for AI (Ai2)
timdettmers.com - bitsandbytes stammt von Dettmers (verbreitete Quantisierungs-Bibliothek)
github.com - Arbeitspapier „Runtime Dynamic Compression of Mixture of Experts“: 550B-Klasse passt in 96 GB, 125B-Klasse in 24 GB
timdettmers.com - bitsandbytes 2 (bnb2) startet als private Beta für eine begrenzte Zahl von Leuten
x.com - DeepSeek-V4.1-Flash: 552 Mrd. Parameter, MoE, offene Gewichte auf Hugging Face
api-docs.deepseek.comkaitchup.substack.com - Aktiv: 8 Mrd. Parameter (Eingabe), 16 Mrd. (Ausgabe) → Skript: „acht bis sechzehn Milliarden“
ibtimes.sg - Günstigstes MacBook Pro mit 128 GB: 14 Zoll M5 Max (18/40) ab 4.824 € + 1.250 € für 128 GB = 6.074 € → „gut sechstausend Euro“
computerbase.de - Vollausstattung 16 Zoll, 128 GB, 8 TB, Nanotextur: 8.679 € → „knapp achttausendsiebenhundert“
appleinsider.com - Ternär = Gewichte nur −1, 0, +1 (1,58 Bit)
prismml.com - Ternary Bonsai 2 27B, Basis Qwen3.8 27B, veröffentlicht 18.09.
huggingface.comarktechpost.com - Start 01.09.2026
perplexity.aimacstories.netmarktechpost.com