KI News Kompakt

KI-Glossar › Grundlagen

Kontextfenster

Wie viel Text ein Modell auf einmal „im Blick“ hat – das Kurzzeitgedächtnis der KI.

Das Kontextfenster ist die Menge an Tokens, die ein Modell bei einer Anfrage gleichzeitig verarbeiten kann: dein Auftrag, der bisherige Chatverlauf, angehängte Dokumente und die eigene Antwort. Was nicht hineinpasst, sieht das Modell schlicht nicht.

Warum größer nicht automatisch besser ist

Der Trick mit dem Cache

Viele Anbieter speichern gleichbleibende Teile des Kontexts zwischen („Prompt Caching“) und berechnen sie beim nächsten Aufruf deutlich günstiger. Für Agenten, die immer wieder dieselben Anweisungen lesen, spart das viel Geld.

Mehr dazu im Podcast

Hängt zusammen mit

Token

Die Recheneinheit von Sprachmodellen – und die Einheit, in der KI-Anbieter abrechnen.

RAG (Retrieval-Augmented Generation)

Die KI schlägt erst in passenden Dokumenten nach und antwortet dann – die Basis vieler Firmen-Chatbots.

Prompt & System-Prompt

Die Anweisung an die KI – und die unsichtbare Grundanweisung, die jede Antwort prägt.