KI News KI-Glossar › Technik & Kosten
Latenz & Durchsatz
Kurz gesagt: Wie lange eine KI bis zur ersten Antwort braucht – und wie schnell sie danach schreibt. Entscheidend für Sprache und Agenten.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Zwei Kennzahlen bestimmen, wie schnell sich ein Modell anfühlt:
- Latenz: die Wartezeit, bis die Antwort beginnt („Time to First Token“).
- Durchsatz: wie viele Tokens pro Sekunde danach kommen.
Ein Beispiel aus der Praxis
Das Diffusions-Sprachmodell Mercury 3 schaffte auf der Plattform OpenRouter laut Messung vom 1. November 2026 rund 299 Token pro Sekunde, bei einer Latenz von etwa 1,1 Sekunden – deutlich weniger als die 1.068 Token pro Sekunde, die der Hersteller angibt.
Warum das zählt
- Gespräche: Am Telefon wirken schon kurze Pausen unnatürlich (Voice Agents).
- Agenten: Wer hunderte Schritte nacheinander macht, addiert jede Wartezeit.
- Nachdenken: Reasoning-Modelle brauchen viele Tokens, bevor die Antwort startet – hoher Durchsatz hilft dann wenig.
Hinweis: Tempo hängt stark vom Anbieter, der Auslastung und der Hardware ab. Herstellerzahlen sind Bestwerte, nicht der Alltag.
Mehr dazu im Podcast
Hängt zusammen mit
Token
Die Recheneinheit von Sprachmodellen – und die Einheit, in der KI-Anbieter abrechnen.
KI-Telefonie & Voice Agents
KI, die selbst anruft oder ans Telefon geht – vom Tischreservieren bis zum Kundenservice.
Diffusions-Sprachmodell
Sprachmodelle, die einen ganzen Textblock auf einmal entwerfen und schrittweise schärfen – statt Wort für Wort zu schreiben.