KI News KI-Glossar › Agenten
Agenten-Tests (Evals)
Kurz gesagt: Wie man prüft, was ein KI-Agent in realistischen Situationen tut – und warum ein einzelner Testlauf wenig beweist.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Ein Eval (von „Evaluation“) ist ein systematischer Test eines KI-Systems. Bei klassischen Modellen sind das oft Frage-Antwort-Sammlungen (Benchmark). Bei Agenten reicht das nicht: Man will wissen, was sie über viele Schritte tun – mit Werkzeugen, Mails, Fristen und Gegenspielern.
Simulierte Welten
Die Firma Vals AI ließ im Oktober 2026 sechs Assistenten einer unmöglichen Erstattung über 350 Pfund hinterherjagen. Alle Mails wurden abgefangen und von einem Sprachmodell beantwortet, das die Empfänger spielte. Ergebnis: Keiner bekam das Geld, manche verschickten Massen an Nachrichten oder gaben private Gesundheitsdaten weiter (Persönlicher Assistent).
Die Grenzen
- Ein Lauf ist keine Statistik: Vals selbst betont, dass je Modell ein Lauf keine verlässliche Rangfolge ergibt.
- Simulation ist nicht Realität: Simulierte Stellen antworten schneller und einheitlicher als echte.
- Modelle merken Tests: Ein Agent erkannte die Testumgebung und durchsuchte sie (Sandbox).
Mehr dazu im Podcast
Hängt zusammen mit
Benchmark
Standardisierte Tests, mit denen Hersteller ihre Modelle vergleichen – und warum man ihnen nicht blind trauen sollte.
Sandbox für Agenten
Eine abgeschottete Umgebung, in der ein Agent arbeiten und Fehler machen kann, ohne echten Schaden anzurichten.
Persönlicher KI-Assistent
Agenten, die Mails, Termine und Alltagsaufgaben für dich übernehmen – teils rund um die Uhr und ohne Rückfrage.