KI News Themen › Folge 7
Spitzen-KI auf dem Laptop: Wie DeepSeek V4.1 auf ein MacBook passen soll
Stand: 6. Oktober 2026 · Redaktion KI News Kompakt · zur Folge 7
Kurz gesagt: Tim Dettmers will ein Modell mit 550 Milliarden Parametern auf einem MacBook betreiben. Was Quantisierung leistet und wo lokale KI an Grenzen stößt.
Die wichtigsten Punkte
- Tim Dettmers kündigte am 21. September 2026 an, dass sich DeepSeek V4.1 mit rund 550 Milliarden Parametern auf einem MacBook mit 128 Gigabyte Arbeitsspeicher betreiben lässt.
- Sein Arbeitspapier verkleinert das Modell durch Quantisierung und das gezielte Entfernen und Austauschen von Experten von über 1.000 auf 96 Gigabyte.
- Eine Geschwindigkeit für DeepSeek auf dem Laptop nennen weder Blog noch Papier, die Qualität wurde vor allem mit einem einzigen Testverfahren gemessen.
- PrismMLs Ternary Bonsai 2 schrumpft ein 27-Milliarden-Modell auf knapp 6 Gigabyte, bei langen Agenten-Aufgaben bleiben laut MarkTechPost aber nur rund 75 Prozent der Leistung.
- Perplexity verbindet seit dem 1. September 2026 Cloud und lokales Modell und hält sensible Inhalte auf dem Mac.
Was passiert ist
Am 21. September 2026 kündigte Tim Dettmers, Professor an der Carnegie Mellon University und Forscher am Allen Institute for AI, in seinem Blog eine Open-Source-Woche seiner Arbeitsgruppe dlab an. Dettmers ist Urheber von bitsandbytes, einer weit verbreiteten Software, mit der sich KI-Modelle verkleinern lassen. Seine zentrale Aussage: Mit einem MacBook mit 128 Gigabyte Arbeitsspeicher lasse sich DeepSeek V4.1 betreiben, ein frei verfügbares Modell mit rund 550 Milliarden Parametern.
Zum Vergleich: Bei der üblichen Speicherung mit 16 Bit pro Parameter belegt ein solches Modell gut 1 Terabyte. Ein typischer Laptop mit 16 Gigabyte Arbeitsspeicher hätte nur rund ein Sechzigstel davon zur Verfügung.
Die Hintergründe: Quantisierung und Experten
Möglich wird das durch Quantisierung, also durch kräftiges Runden. Statt 16 Bit pro Parameter speichert man nur noch 2, 1,5 oder weniger Bit. Das ist vergleichbar mit einem Foto, das mit sehr wenigen Farben gespeichert wird: Die Datei schrumpft, das Motiv bleibt erkennbar. Die Schwierigkeit besteht darin, dass das Modell dabei möglichst wenig an Qualität verliert.
Dettmers' Arbeitspapier kombiniert mehrere Ansätze:
- Die Bits werden nach Empfindlichkeit der einzelnen Modellschichten verteilt.
- Das Modell nutzt das Prinzip Mixture of Experts: Pro Wort arbeiten nur wenige Spezialisten. Bei DeepSeek V4.1 sind laut DeepSeek nur 8 bis 16 Milliarden Parameter gleichzeitig aktiv.
- Wenig gefragte Experten werden entfernt und bei Bedarf zur Laufzeit ausgetauscht.
Laut Arbeitspapier passt ein Modell der 550-Milliarden-Klasse so in 96 Gigabyte. Entscheidend ist der Arbeitsspeicher, weil der Chip für jedes Wort die benötigten Parameter aus dem Speicher lesen muss; passt das Modell nicht hinein, wird es sehr langsam. Bei Apple-Rechnern teilen sich Prozessor und Grafikchip einen gemeinsamen Speicher, weshalb MacBooks in solchen Demonstrationen häufig vorkommen.
Die Einordnung: viel Versprechen, wenig Messung
Die genannten 450 Token pro Sekunde beziehen sich nicht auf DeepSeek, sondern auf das kleinere Qwen 3.6 mit 35 Milliarden Parametern, gerundet auf 1,5 Bit, auf dem Mac. Zur Geschwindigkeit von DeepSeek auf dem Laptop nennen weder Blog noch Papier eine Zahl. Weitere Einschränkungen:
- Die neue Software bitsandbytes 2 startet laut Dettmers als geschlossene Beta für wenige Personen.
- Die Qualität wurde hauptsächlich mit einem einzigen Testverfahren gemessen; Dettmers räumt selbst ein, dass die Community das oft für unzureichend hält.
- Bei einem der 4 getesteten Modelle, GLM 5.3, funktionierte das Verfahren laut Papier nicht gut.
- Unabhängige Nachtests lagen zum Stand der Recherche nicht vor.
Hinzu kommt der Preis: Das günstigste MacBook Pro mit 128 Gigabyte kostet laut ComputerBase gut 6.000 Euro, voll ausgestattet knapp 8.700 Euro.
Zwei Ansätze für normale Rechner
Alltagstauglicher sind zwei andere Entwicklungen. Das Start-up PrismML veröffentlichte am 18. September 2026 Ternary Bonsai 2. Bei diesem dreiwertigen Verfahren kennt jeder Parameter nur die Werte minus 1, 0 und plus 1. Das Modell auf Basis von Qwen 3.8 mit 27 Milliarden Parametern braucht so knapp 6 statt rund 54 Gigabyte. Laut PrismML bleiben im Schnitt 98,2 Prozent der Leistung erhalten; MarkTechPost weist darauf hin, dass es bei langen Agenten-Aufgaben nur rund 75 Prozent sind.
Perplexity führte am 1. September 2026 „Hybrid Compute“ ein, für zahlende Kunden mit Apple-Mac und mindestens 24 Gigabyte Arbeitsspeicher. Die Cloud übernimmt das aufwendige Schlussfolgern und die Websuche, ein lokales Modell die privaten Dateien. Eine Datenschutz-Schranke erkennt sensible Inhalte und hält sie auf dem Gerät oder formuliert die Anfrage so um, dass sie draußen bleiben. Dieser gemischte Ansatz deutet an, dass die Zukunft weniger in „Cloud oder Laptop“ liegt als in einer Arbeitsteilung.
Was heißt das für dich
Lokale KI bietet Datenschutz, weil Daten den Rechner nicht verlassen, funktioniert offline und kann bei intensiver Nutzung Kosten sparen. Dagegen stehen teure Hardware, oft geringere Geschwindigkeit, Stromkosten auf der eigenen Rechnung, reale Qualitätseinbußen durch das Runden und die Pflicht, sich selbst um Updates und Sicherheit zu kümmern.
- Lohnend ist lokale KI vor allem bei vertraulichen Texten, viel Arbeit unterwegs oder aus Neugier.
- Für den Einstieg reicht oft der vorhandene Rechner: Kostenlose Programme wie LM Studio oder Ollama laden Modelle herunter; Modelle mit 5 bis 6 Gigabyte laufen auf vielen aktuellen Laptops.
- Sinnvoller Test: eine Alltagsaufgabe wie eine Zusammenfassung lokal und mit einem Cloud-Chatbot vergleichen.
- Stark geschrumpften Modellen bei wichtigen Aufgaben nicht blind vertrauen.
Stand: 6. Oktober 2026.
Zum Anhören: Folge 7 – Spitzen-KI auf dem Laptop – Brauchen wir die Cloud noch?, rund zehn Minuten, mit Transkript und allen Quellen.
Häufige Fragen
Was ist Quantisierung bei KI-Modellen?
Quantisierung bedeutet, die Parameter eines Modells mit weniger Bit zu speichern, etwa 2 statt 16. Das Modell wird dadurch deutlich kleiner, kann aber an Qualität verlieren.
Brauche ich für lokale KI einen teuren Rechner?
Für sehr große Modelle ja, das günstigste MacBook Pro mit 128 Gigabyte kostet laut ComputerBase gut 6.000 Euro. Kleinere Modelle mit 5 bis 6 Gigabyte laufen dagegen auf vielen aktuellen Laptops, etwa mit LM Studio oder Ollama.
Ersetzt lokale KI die Cloud?
Eher nicht vollständig. Ansätze wie Perplexitys Hybrid Compute teilen die Arbeit auf: Die Cloud übernimmt aufwendiges Schlussfolgern und Websuche, ein lokales Modell die privaten Daten.
Begriffe aus dem Artikel
Lokale KI & Quantisierung
Wie große Sprachmodelle auf Laptop oder Handy laufen – ohne Cloud.
On-Device-KI
KI, die direkt auf Handy, Laptop oder Smart-Speaker rechnet – schneller, privater, aber begrenzter als die Cloud.
Parameter & Gewichte
Die Milliarden Zahlen, in denen das Gelernte eines Modells steckt – und warum ihre Zahl allein wenig über die Qualität sagt.
Mixture of Experts (MoE)
Ein Modell aus vielen Spezialisten, von denen pro Wort nur wenige arbeiten – groß, aber sparsam.
Open-Weight-Modell
Ein KI-Modell, dessen Gewichte frei herunterladbar sind – und das man selbst betreiben kann.