Diffusions-SprachmodelleSchreiben ohne Wort für Wort

Die Folge zum Nachlesen

Transkript der gesendeten Folge in Lesefassung.

Paula: 1068 Token pro Sekunde. So schnell soll ein neues Sprachmodell schreiben – eine eng beschriebene Seite in weniger als einer Sekunde.

Paul: Und zwar nicht Wort für Wort, sondern alles auf einmal. Wie ein Foto, das langsam scharf wird.

Paula: Die Zahl stammt vom Hersteller. Was unabhängige Messungen zeigen, ist eine andere Geschichte.

Paul: KI News Kompakt – Folge 26. Ich bin Paul.

Paula: Und ich bin Paula. Heute: Diffusions-Sprachmodelle – warum eine andere Bauweise KI schneller machen soll, und was davon belegt ist.

Paul: Am 19. Oktober hat die Firma Inception aus Kalifornien ihr Modell Mercury drei vorgestellt. Chef ist Stefano Ermon, Professor in Stanford. Er forscht seit Jahren an der Technik hinter Bildgeneratoren wie Midjourney oder Stable Diffusion. Geld kam unter anderem von Microsoft und Nvidia.

Paula: Bevor wir zum Neuen kommen: Wie schreiben die Modelle, die wir kennen?

Paul: Stück für Stück. Ein Token ist ein Wortschnipsel. ChatGPT, Claude, Gemini rechnen ein Token aus, hängen es an, dann das nächste. Für jedes Stück läuft einmal das ganze Modell durch.

Paula: Wie die Wortvorschläge auf der Handytastatur. Nur sehr, sehr oft hintereinander.

Paul: Gutes Bild. Und das Hintereinander ist die Bremse. Das 200. Wort kann erst kommen, wenn das 199. steht.

Paula: Und ein Diffusionsmodell?

Paul: Das fängt mit einem Block voller Platzhalter an. Bei Googles Modell DiffusionGemma sind das 256 Stück. Dann ersetzt es in mehreren Durchgängen Platzhalter durch passende Wörter, überall gleichzeitig. Also — wie beim Kreuzworträtsel: Erst die sicheren Wörter, und die helfen dann bei den — hm, bei den schweren.

Paula: Und wenn ein Wort falsch war?

Paul: Dann fliegt es im nächsten Durchgang wieder raus, so beschreibt es Google. Das ist das Prinzip der Bildgeneratoren: Erst Rauschen, dann schrittweise schärfen.

Paula: Und warum ist das schneller?

Paul: Weil pro Durchgang viele Wörter entstehen statt eins. Grafikchips rechnen gern parallel. Beim Wort-für-Wort-Schreiben warten sie meist nur auf Daten aus dem Speicher.

Paula: Gut. Was verspricht Inception konkret?

Paul: 1068 Token pro Sekunde auf Nvidia-Chips. Vier- bis achtmal so schnell wie GPT-6 Luna und Claude Haiku fünf Punkt fünf. In der Mehrzahl von zwölf Tests besser als beide. Und ein Arbeitsgedächtnis von einer Million Token – da passt ein ganzer Stapel Bücher rein.

Paula: Alles aus der eigenen Pressemitteilung.

Paul: Alles. Die unabhängige Messfirma Artificial Analysis führte Mercury drei am 1. November noch nicht in ihrer Liste. Aber OpenRouter, ein Vermittlungsdienst für Entwickler, zeigt live, wie schnell echte Anfragen beantwortet werden.

Paula: Und?

Paul: 299.

Paula: 299. Also nicht mal ein Drittel der Werbezahl.

Paul: Der mittlere Wert, Stand 1. November. Jetzt der Vergleich: Claude Haiku fünf Punkt fünf schafft dort direkt bei Anthropic rund 166, GPT-6 Luna bei OpenAI rund 67.

Paula: Moment. Dann ist Mercury im echten Betrieb trotzdem schneller als beide.

Paul: Knapp doppelt so schnell wie Haiku, gut viermal so schnell wie Luna. Mit dem Hinweis: OpenRouter misst echte Anfragen ganz unterschiedlicher Länge, keine Laborbedingungen.

Paula: Okay, da war ich zu hart. Schnell ist es wirklich. Nur nicht so schnell wie auf dem Plakat.

Paul: Bleibt die Frage, ob es auch gut ist.

Paula: Genau. Was sagen die Tester?

Paul: Das Portal The Neuron hat Mercury drei am 20. Oktober ausprobiert. Acht Abrufe, zusammen gut vier Cent. Ein kleines Spiel programmieren: klappte. Eine Geschichte mit 250 Wörtern: zu lang. Bei einer Wirtschaftsfrage hat es Gewinn pro Tasse mit Gewinnspanne verwechselt.

Paula: Acht Stichproben sind kein Test.

Paul: Sagt der Autor auch selbst. Gründlicher war das Testportal Spring Prompt. Beim Bauen von Präsentationen: Platz 18 von 24 Modellen. GPT-6 Luna lag bei solchen Aufgaben klar vorne.

Paula: Und wo glänzt es?

Paul: Bei kurzen, klaren Aufgaben. Ein kleines Spiel war in 8 Sekunden fertig, die Vergleichsmodelle brauchten rund 50. Aber mit eingeschaltetem Nachdenken hat es Schnellschach-Partien auf Zeit verloren —

Paula: Weil schnelles Tippen nicht schnelles Denken ist.

Paul: Genau das ist der Punkt. Viele Token pro Sekunde helfen wenig, wenn das Modell sehr viele Token zum Nachdenken braucht.

Paula: Ist Inception allein mit der Idee?

Paul: Nein. Google zeigte schon im Mai 2025 eine Forschungs-Demo, Gemini Diffusion. Im Juni 2026 kam DiffusionGemma, frei verfügbar. Laut Google über 700 Token pro Sekunde auf einer Gaming-Grafikkarte.

Paula: Das passt zu Folge sieben, Spitzen-KI auf dem eigenen Rechner.

Paul: Genau. Aber Google sagt selbst: experimentell. Bei den meisten Tests liegt DiffusionGemma hinter dem normalen Gemma-Modell gleicher Größe.

Paula: Und was kostet Mercury?

Paul: Zehn Cent je Million Eingabe-Token, 35 Cent je Million Ausgabe-Token.

Paula: Zehn Cent – das war in Folge zwei, bei der Preisschlacht, der Preis von GPT-6 Luna.

Paul: Richtig. Nur: Bei Mercury ist das ein Startrabatt von 50 %, ohne Enddatum. Regulär sind es 20 und 70 Cent. Beim Eingabe-Token dann doppelt so viel wie Luna oder Haiku.

Paula: Und der Strom? Schneller heißt ja nicht automatisch sparsamer.

Paul: Der Hersteller sagt: effizienter. Unabhängige Energiemessungen haben wir nicht gefunden. Und bei DiffusionGemma kann sich der Vorteil laut Fachportal The Decoder in vollen Rechenzentren sogar umkehren.

Paula: Wozu braucht man das Tempo dann überhaupt?

Paul: Für Agenten. Die arbeiten in vielen kleinen Schritten, und jede Wartezeit addiert sich. Fürs Programmieren, wo ein Modell Lücken mitten im Code füllt. Und für Sprachassistenten, wo jede Sekunde Pause unnatürlich wirkt.

Paula: Mhm.

Paul: Bei der Chat-Frage zwischendurch merkst du dagegen kaum einen Unterschied.

Paula: Was heißt das also für dich? Lies eine Tempo-Angabe wie den Spritverbrauch im Prospekt: als Bestwert unter Idealbedingungen.

Paul: Und im Alltag?

Paula: Schnelle Modelle für kurze, klare Aufgaben – Texte umformulieren, Daten sortieren, Code-Schnipsel. Für Analysen und Entscheidungen lohnt sich weiter das gründlichere Modell. Denn eine falsche Antwort in einer Sekunde ist nicht schneller, sondern nur früher falsch.

Kurzmeldungen

Paul: Und dann noch die Kurzmeldungen. Erstens: In England hilft eine KI bei Bauanträgen. Am 30. Oktober hat die britische Regierung den Test auf 15 Kommunen ausgeweitet.

Paula: Was macht die KI?

Paul: Das Werkzeug heißt PlanAssist, entwickelt mit Google DeepMind auf Basis von Gemini. Es prüft, ob die Unterlagen vollständig sind, gleicht Anträge mit örtlichen Planungsregeln und Denkmalschutz ab und schreibt einen Entwurf für die Bewertung. In ersten Tests sank die Zeit für einzelne Prüfschritte um bis zu 58 %.

Paula: Sagt die Regierung – und gemeint sind einzelne Schritte, nicht ganze Verfahren. Entscheiden müssen weiter Fachleute im Amt. Fachmedien wollen erst Methodik und Fehlerzahlen sehen, bevor das Werkzeug bis Ende 2027 allen Kommunen angeboten wird.

Paul: Zweitens: Elon Musks KI-Firma x AI muss sich in den USA wegen Luftverschmutzung vor Gericht verantworten. Ein Bundesgericht in Mississippi hat am 30. Oktober den Antrag abgelehnt, die Klage abzuweisen.

Paula: Worum geht es?

Paul: Um ein Gaskraftwerk, das das Rechenzentrum Colossus zwei in Memphis mit Strom versorgt. Laut Klage der Bürgerrechtsorganisation NAACP laufen dort Dutzende Gasturbinen ohne Genehmigung. x AI argumentierte, die Turbinen seien mobil und deshalb ausgenommen. Das Gericht sah das anders.

Paula: Entschieden ist damit nur, dass verhandelt wird – nicht, wer am Ende recht bekommt. Aber der Fall zeigt: Der Strom für KI-Rechenzentren kommt irgendwoher. Und die Abgase auch.

Paul: Das war KI News Kompakt. Neue Folgen gibt es montags bis freitags.

Paula: Bleibt neugierig – und bleibt kritisch.