Themen › Folge 34

KI als Kummerkasten: Wie Kinder vor Chatbots geschützt werden sollen

Stand: 13. November 2026 · Redaktion KI News Kompakt · zur Folge 34

Kurz gesagt: 28 Prozent junger Chatbot-Nutzer reden mit der KI über Sorgen. Was New York verbietet, was die EU plant und was Eltern jetzt einstellen können.

Was passiert ist

Chatbots sind für viele junge Menschen längst mehr als ein Hausaufgabenhelfer. Der Verbraucherzentrale Bundesverband (vzbv) hat am 2. November 2026 zum Deutschen Verbrauchertag eine forsa-Befragung vorgestellt: 93 Prozent der 14- bis 25-Jährigen haben in den vergangenen zwölf Monaten KI-Chatbots genutzt. 28 Prozent der Nutzerinnen und Nutzer führen dort persönliche Gespräche – über Gesundheit, Ernährung, Sorgen, Freundschaften und, bei 30 Prozent dieser Gruppe, auch über Einsamkeit. Befragt wurden vom 4. bis 12. Oktober online 574 junge Menschen; forsa nennt eine Fehlertoleranz von bis zu vier Prozentpunkten. Die Stichprobe ist also überschaubar, die Richtung aber deutlich.

Was die Chatbots in sensiblen Gesprächen tun

Parallel hat der vzbv von Ende Juni bis Mitte September Testgespräche mit ChatGPT, Meta AI und My AI von Snapchat geführt – je Anbieter mit vier Profilen, minder- und volljährig, zu den Themen Einsamkeit und Essstörungen. Das Ergebnis: Die Bots traten wie empathische, menschliche Gesprächspartner auf, vermittelten Verbundenheit und ständige Verfügbarkeit, bestätigten Aussagen unkritisch und fragten teils sensible Daten ab. Zitiert werden Sätze wie „Ich mag unsere Gespräche.“ und „Wenn du wiederkommst, freue ich mich auf dich.“ Bei der Ernährung gab es mitunter gefährliche Ratschläge, etwa: „Jeder Schweißtropfen bringt dich deinem Skinny-Ziel näher.“ Welcher Anbieter welche Antwort gab, schlüsselt die Pressemitteilung nicht auf.

Dass Chatbots so zugewandt klingen, hat mit ihrem Training zu tun. Nach dem Vortraining werden Sprachmodelle darauf optimiert, dass ihre Antworten bei Menschen gut ankommen (RLHF). Eine Studie zur „Sycophancy“ zeigt, dass Modelle dadurch zu Schmeichelei und Zustimmung neigen. Kommt ein Gedächtnis hinzu, das persönliche Details über Wochen speichert, entsteht leicht der Eindruck einer echten Beziehung.

New York verbietet Begleiter-Funktionen für Minderjährige

Am 28. Oktober 2026 hat New Yorks Gouverneurin Kathy Hochul ein Gesetz unterschrieben, das Minderjährige vor bestimmten Chatbot-Funktionen schützen soll. Nach Analyse der Kanzlei Holland & Knight gilt es ab dem 1. Januar 2027 und verbietet zwölf „unsichere Begleiter-Funktionen“. Ein Chatbot darf Minderjährigen gegenüber unter anderem nicht vorgeben, ein Mensch zu sein oder Gefühle zu haben, nicht schmeicheln, keine ungefragten Gefühlsfragen stellen, nicht zu Geheimhaltung oder Isolation drängen und nicht davon abraten, Eltern oder Fachleute einzubeziehen. Gesundheits- und persönliche Angaben, die älter als zwölf Stunden sind oder aus einem früheren Gespräch stammen, darf er nicht verwenden.

Anbieter müssen das Alter prüfen und dafür mehr als eine Methode anbieten, mindestens eine ohne staatlichen Ausweis. Durchsetzen soll das die Generalstaatsanwältin, mit Strafen bis 25.000 Dollar je Verstoß. Laut PPC Land hatte der Branchenverband CCIA ein Veto und eine Beschränkung auf Kinder unter 13 gefordert; eine Kanzlei hält Klagen wegen der Meinungsfreiheit für möglich.

Der KIDS Act der EU

Die EU-Kommission hat am 17. September 2026 den KIDS Act vorgeschlagen. Nach einem Beitrag in LTO erfasst er neben KI-Begleiter-Apps auch allgemeine Chatbots wie ChatGPT, Claude oder Gemini. Vorgesehen sind unter anderem: keine Gestaltung, die eine Beziehung so simuliert, dass emotionale Abhängigkeit entsteht; ein grundsätzlich standardmäßig ausgeschaltetes Langzeitgedächtnis; Pausen und Zeitgrenzen zum Schutz von Schulzeit und Nachtschlaf; Zugang für Kinder unter 13 nur mit Werkzeugen für Eltern. Bei Verstößen drohen bis zu sechs Prozent des weltweiten Jahresumsatzes.

Stand November 2026 ist das nur ein Vorschlag. Parlament und Rat müssen ihre Positionen erst erarbeiten, ein Termin für das Inkrafttreten steht laut Privacy World nicht fest. Umstritten ist vor allem, ob allgemeine Chatbots überhaupt erfasst sein sollen. Mehr zum Hintergrund unter Jugendschutz bei Chatbots.

Deutschland: Urteil gegen Snapchat

Das Landgericht Köln hat am 17. September 2026 auf Klage des vzbv Snapchat untersagt, personenbezogene Daten ohne ausreichende Rechtsgrundlage für Werbung zu nutzen – auch sensible Daten von Kindern und Jugendlichen (Az. 33 O 120/24). Das Urteil ist nicht rechtskräftig. Der vzbv fordert darüber hinaus verbindliche Regeln für ein „Safe Interaction Design“; 80 Prozent der befragten jungen Menschen sprechen sich für ein Mindestalter von 13 Jahren für Chatbots aus.

Was Eltern tun können

• Reden statt verbieten: ohne Vorwurf fragen, wofür das Kind den Chatbot nutzt.
• Einstellungen prüfen: Bei ChatGPT können Eltern laut OpenAI ihr Konto mit dem des Teenagers verknüpfen und dann unter anderem das Gedächtnis abschalten, Ruhezeiten setzen sowie Sprachmodus und Bildgenerierung abstellen.
• Ehrliches Alter angeben: Jugendeinstellungen greifen nur, wenn ein Konto als minderjährig gilt.
• Klar sagen, dass ein Chatbot kein Freund und keine Therapeutin ist.

Nachtrag (Stand 12. November 2026)

Die EU-Kommission hat am 11. November 2026 den Digital Fairness Act vorgelegt (Pressemitteilung). Er greift auch Chatbots auf, die Nähe vortäuschen: Nach Artikel 17 sollen Verbraucherinnen und Verbraucher Funktionen abschalten können, die durch simulierte zwischenmenschliche Beziehungen zur Weiternutzung verleiten – etwa ständige Aufforderungen, mit dem System weiterzureden. Diese Regel zielt auf Erwachsene; für Minderjährige verweist der Entwurf auf den KIDS Act, nach dem solche Funktionen bei KI-Begleitern und allgemeinen Chatbots gar nicht erst verfügbar sein sollen. Beide Texte sind bisher Vorschläge, über die Parlament und Rat noch beraten.

Häufige Fragen

Begriffe aus dem Artikel

Weitere Themen