KI News KI-Glossar › Marketing & Vertrieb
KI-Crawler & robots.txt
Kurz gesagt: Programme, die Websites für KI-Training, KI-Suche und Agenten abgrasen – und wie Seitenbetreiber sie steuern können.
Stand: 08.11.2026 · Redaktion KI News Kompakt
Crawler sind Programme, die Websites automatisch abrufen. Früher vor allem für Suchmaschinen, heute zunehmend für KI: zum Training, für Antworten in der KI-Suche und für Agenten. Über die Datei robots.txt können Betreiber festlegen, welcher Crawler was darf.
Die Feinheiten
- Viele Anbieter haben mehrere Crawler. Bei Google sperrt der Eintrag Google-Extended Training und Gemini, nicht aber die normale Suche. Meta unterscheidet etwa zwischen einem Crawler für KI-Training und einem für Linkvorschauen.
- Cloudflare, das vor rund 20 % der Websites steht, lässt seit September 2026 Suche, Training und Agenten getrennt steuern.
- robots.txt ist eine Bitte, kein Schloss: Wer sich nicht daran hält, wird nicht technisch gestoppt.
Rechtlicher Hintergrund
Nach § 44b Urheberrechtsgesetz ist automatisiertes Auslesen (Text und Data Mining) erlaubt, wenn der Rechteinhaber keinen maschinenlesbaren Vorbehalt erklärt hat – robots.txt gilt als ein solcher Weg. Siehe auch Urheberrecht & KI (Stand: November 2026, keine Rechtsberatung).
Mehr dazu im Podcast
Hängt zusammen mit
KI-Lizenzen & Bezahlung für Inhalte
Wie Verlage und Websites Geld dafür bekommen sollen, dass KI ihre Inhalte nutzt – von Einzeldeals bis Pay per Crawl.
Urheberrecht & KI-Training
Darf KI mit geschützten Texten, Bildern und Songs trainiert werden? Was das Gesetz sagt und wie Gerichte bisher urteilen.
Zero Click & GEO
Wenn KI-Antworten die Suche beenden, bevor jemand auf eine Website klickt – und was Marketing daraus macht.