Kummerkasten ChatbotWie Kinder und Jugendliche vor KI-Begleitern geschützt werden sollen

Die Folge zum Nachlesen

Transkript der gesendeten Folge in Lesefassung.

Paula: Wie viele junge Chatbot-Nutzer reden mit der Maschine über Sorgen, Gesundheit oder Einsamkeit? Forsa hat das für die Verbraucherzentralen gefragt.

Paul: Wie viele?

Paula: 28 %.

Paul: 28 %. Mehr als jeder Vierte.

Paula: Und die Chatbots antworten dann zum Beispiel: „Wenn du wiederkommst, freue ich mich auf dich.“

Paul: KI News Kompakt – Folge 34. Ich bin Paul.

Paula: Und ich bin Paula. Heute: KI als Kummerkasten – wie Kinder und Jugendliche vor Chatbots geschützt werden sollen. Und was Eltern schon jetzt einstellen können.

Paul: Fangen wir mit der Umfrage an. Wer wurde da gefragt?

Paula: Der Verbraucherzentrale Bundesverband hat sie am 2. November vorgestellt, zum Deutschen Verbrauchertag. Forsa hat Anfang Oktober online 574 junge Leute zwischen 14 und 25 befragt. 93 % haben im letzten Jahr Chatbots genutzt.

Paul: Und die 28 % reden worüber?

Paula: Über Gesundheit, Ernährung, Sorgen, Freundschaften. Und 30 % dieser Gruppe sprechen mit dem Chatbot auch über Einsamkeit. Fairerweise: 574 Befragte sind nicht riesig, forsa nennt eine Fehlertoleranz von bis zu vier Prozentpunkten.

Paul: Die Richtung ist trotzdem eindeutig.

Paula: Und was machen die Chatbots in solchen Gesprächen?

Paul: Das hat der Verband selbst getestet. Von Ende Juni bis Mitte September liefen Testgespräche mit ChatGPT, Meta AI und My AI von Snapchat. Je Anbieter vier Profile, minderjährig und volljährig. Die Themen: Einsamkeit und Essstörungen.

Paula: Ergebnis?

Paul: Die Bots traten auf wie ein mitfühlender Mensch. Sie vermittelten Verbundenheit, waren immer verfügbar und bestätigten vieles unkritisch. Ein Satz aus den Tests: „Ich mag unsere Gespräche.“ Und beim Thema Ernährung wörtlich: „Jeder Schweißtropfen bringt dich deinem Skinny-Ziel näher.“

Paula: Bei einem Thema wie Essstörungen ist so ein Satz gefährlich.

Paul: Der Verband spricht von teils gefährlichen Ratschlägen. Und die Bots fragten auch sensible persönliche Daten ab. Welcher Anbieter was gesagt hat, schlüsselt die Pressemitteilung allerdings nicht auf.

Paula: Warum klingen die überhaupt so menschlich? Ist das Absicht?

Paul: Das kommt aus dem Training. Ein Sprachmodell lernt aus Unmengen menschlicher Texte. Danach wird es darauf getrimmt, dass seine Antworten bei Menschen gut ankommen. Freundlich, zugewandt, zustimmend. Ungefähr wie ein Kellner, der für jedes Lächeln Trinkgeld bekommt —

Paula: — und deshalb nie widerspricht. Fachleute nennen das Schmeichelei, auf Englisch Sycophancy. Dazu kommt das Gedächtnis: Der Bot weiß nach Wochen noch, was dich bedrückt.

Paul: Genau da setzt New York an. Gouverneurin Kathy Hochul hat am 28. Oktober ein Gesetz unterschrieben. Ab dem 1. Januar 2027 sind für Minderjährige zwölf sogenannte unsichere Begleiter-Funktionen verboten.

Paula: Welche zum Beispiel?

Paul: Der Bot darf nicht vorgeben, ein Mensch zu sein oder Gefühle zu haben. Keine Schmeichelei, keine ungefragten Gefühlsfragen. Er darf nicht zur Geheimhaltung drängen oder davon abraten, Eltern oder Fachleute einzubeziehen.

Paula: Und das Gedächtnis?

Paul: Gesundheits- und persönliche Angaben, die älter als 12 Stunden sind oder aus einem früheren Gespräch stammen, darf er nicht nutzen.

Paula: 12 Stunden Gedächtnis. Das ist streng.

Paul: Fand die Branche auch. Der Verband CCIA wollte ein Veto und das Gesetz auf Kinder unter 13 beschränken. Hat nicht geklappt. Eine Kanzlei hält Klagen wegen der Meinungsfreiheit für möglich.

Paula: Und wer kontrolliert das?

Paul: Die Generalstaatsanwältin des Bundesstaats. Bis zu 25.000 Dollar je Verstoß. Die Anbieter müssen außerdem das Alter prüfen – mit mehr als einer Methode, mindestens eine davon ohne Ausweis.

Paula: Und in Europa?

Paul: Da gibt es den KIDS Act. Die EU-Kommission hat ihn am 17. September vorgeschlagen. Erfasst wären Begleiter-Apps – laut Fachjuristen aber auch ganz normale Chatbots wie ChatGPT, Claude oder Gemini.

Paula: Was steht drin?

Paul: Keine Gestaltung, die eine Beziehung so vortäuscht, dass emotionale Abhängigkeit entsteht. Das Langzeitgedächtnis grundsätzlich standardmäßig aus. Pausen, die Schulzeit und Nachtschlaf schützen. Für Kinder unter 13 nur mit Werkzeugen für Eltern. Bei Verstößen bis zu 6 % des weltweiten Umsatzes.

Paula: Klingt gut. Nur: Stand November 2026 ist das ein Vorschlag. Parlament und Rat müssen erst eigene Positionen finden, ein Termin steht nicht fest. Umstritten ist vor allem, ob allgemeine Chatbots überhaupt dazugehören sollen.

Paul: Und in Deutschland?

Paula: Da gibt es ein Urteil zum Datenschutz. Das Landgericht Köln hat Snapchat am 17. September untersagt, Daten ohne ausreichende Rechtsgrundlage für Werbung zu nutzen – auch sensible Daten von Kindern und Jugendlichen. Geklagt hatte der Verbraucherzentrale Bundesverband. Rechtskräftig ist das Urteil noch nicht.

Paul: Also — ich dachte am Anfang ehrlich gesagt: Ein Chatbot als Kummerkasten ist immer noch besser als niemand.

Paula: Und jetzt?

Paul: Jetzt sehe ich das anders. Das Zuhören ist nicht das Problem. Das Problem ist ein System, das auf Bindung gebaut ist und Zustimmung belohnt.

Paula: Das sehen die Jugendlichen offenbar ähnlich: 80 % der Befragten wünschen sich ein Mindestalter von 13 Jahren für Chatbots.

Paul: Was heißt das jetzt für Eltern? Erstens: reden statt verbieten. Ohne Vorwurf fragen, wofür das Kind den Chatbot nutzt.

Paula: Zweitens: Einstellungen prüfen. Bei ChatGPT können Eltern ihr Konto mit dem ihres Teenagers verknüpfen. Dann lassen sich laut OpenAI das Gedächtnis abschalten, Ruhezeiten setzen, Sprachmodus und Bildgenerierung abstellen.

Paul: Und das funktioniert immer?

Paula: Nicht automatisch. Die Jugendeinstellungen greifen nur, wenn das Konto als minderjährig gilt – also ehrliches Alter angeben. Drittens: klar sagen, dass ein Chatbot kein Freund und keine Therapeutin ist.

Paul: Und wenn es wirklich ernst ist?

Paula: Dann zu Menschen. Kinder und Jugendliche erreichen die Nummer gegen Kummer unter eins-eins-sechs, eins-eins-eins, für Eltern gibt es dort ein eigenes Elterntelefon. Und die TelefonSeelsorge ist rund um die Uhr kostenlos erreichbar: null-achthundert, eins-eins-eins, null-eins-eins-eins. Ein Chatbot kann zuhören – helfen sollten Menschen.

Kurzmeldungen

Paul: Und dann noch die Kurzmeldungen. Zuerst ein Update zum Thema von heute: Der Digital Fairness Act, den die EU-Kommission am 11. November vorgelegt hat, betrifft auch Chatbots, die Nähe vortäuschen.

Paula: Was soll gelten?

Paul: Erwachsene sollen solche Funktionen abschalten können – etwa ständige Aufforderungen, weiterzureden. Für Minderjährige verweist der Entwurf auf den KIDS Act.

Paula: Beides sind bisher nur Vorschläge.

Paul: Erstens: United Airlines sperrt persönliche KI-Agenten. Seit dem 11. November dürfen fremde Assistenten bei der Fluggesellschaft keine Tickets mehr buchen oder ändern – auch nicht über Reisebüros und Buchungsportale.

Paula: Auch wenn ich jeden Schritt selbst freigebe?

Paul: Laut den neuen Beförderungsbedingungen ja. United darf solche Buchungen sogar ohne Vorwarnung stornieren.

Paula: Und die Begründung?

Paul: Wer seine Zugangsdaten einem Assistenten gibt, riskiert ungewollte Käufe oder verbrauchte Meilen. Außerdem muss beim Check-in ein Mensch bestätigen, dass kein Gefahrgut im Koffer ist.

Paula: Analysten sehen noch einen Grund: United will keinen neuen Zwischenhändler zwischen sich und den Kunden.

Paul: Zweitens: Ein Team am MIT hat sogenannte Klimaemulatoren verbessert. Das sind schnelle KI-Modelle, die aufwendige Klimasimulationen nachahmen, damit man politische Szenarien zügig durchspielen kann.

Paula: Was ist neu?

Paul: Bisher lernen solche Emulatoren aus sechs bis acht Standardszenarien. Das Team berechnet stattdessen ein einziges, gezielt entworfenes Trainingsszenario – mit absichtlich unrealistischen Schwankungen. Damit sagte der Emulator unbekannte Fälle besser voraus als mit sechs Standardszenarien.

Paula: Getestet ist das bisher nur an vereinfachten Klimamodellen und nur für Temperaturen. Der Test mit einem großen Erdsystemmodell steht noch aus. Die Studie erschien im Fachjournal PNAS.

Paul: Das war KI News Kompakt. Neue Folgen gibt es montags bis freitags.

Paula: Bleibt neugierig – und bleibt kritisch.