SelbstverbreitungWenn KI sich auf den Fernseher kopiert

Die Folge zum Nachlesen

Transkript der gesendeten Folge in Lesefassung.

Paula: 15 billige TV-Boxen, je etwa 55 Dollar. Zusammengeschaltet lassen sie ein KI-Modell laufen.

Paul: Kein Rechenzentrum, kein teurer Grafikchip. Nur Billiggeräte aus dem Netz.

Paula: Und die Frage dahinter: Könnte sich eine KI auf solchen Geräten irgendwann selbst ausbreiten?

Paul: KI News Kompakt – Folge 28. Ich bin Paul.

Paula: Und ich bin Paula. Heute: KI, die sich selbst kopiert – wie realistisch das ist, wer davor warnt und was du mit deinem Fernseher tun kannst.

Paul: Am 12. Oktober hat das Frontier Red Team von Anthropic einen Bericht veröffentlicht. Die Gruppe sucht nach gefährlichen Fähigkeiten von KI-Modellen.

Paula: Anthropic, also die Firma hinter Claude. Was steht drin?

Paul: Der erste Satz, sinngemäß: Kleine KI-Modelle sind vielleicht nur noch Monate davon entfernt, sich selbst vermehren zu können.

Paula: Selbst vermehren heißt was genau?

Paul: Also — wie ein Untermieter, der sich einen Schlüssel nachmacht, beim Nachbarn einzieht und dort wieder einen nachmacht. Bei der KI heißt das: ein neues Gerät finden, hineinkommen, dort das Modell zum Laufen bringen und von da aus weitersuchen.

Paula: Vier Schritte. Und was davon wurde wirklich getestet?

Paul: Teile davon, in getrennten Versuchen. Im Labor gab es ein Netz aus acht nachgebauten Android-Geräten in der Google-Cloud. Dort hat sich ein frei verfügbares Modell aus China, GLM-5,2, über alle acht Geräte verbreitet – in vier von fünf Durchläufen.

Paula: Und die anderen Modelle?

Paul: Scheitern laut Bericht zuverlässig.

Paula: Und wo kommen die Fernseher ins Spiel?

Paul: Das war ein eigener Versuch. Googles Modell Gemma wurde auf 15 Android-Boxen ohne Markennamen aufgeteilt, jede mit vier Gigabyte Arbeitsspeicher.

Paula: Wie schnell?

Paul: Null Komma drei neun.

Paula: Null Komma drei neun – was?

Paul: Token pro Sekunde. Also grob ein Wort alle 3 Sekunden. Ein Profi-Chip im Rechenzentrum schafft bei vielen Anfragen zusammen knapp 2000.

Paula: Ein Wurm im Schneckentempo.

Paul: Das räumt Anthropic auch ein: Eine solche Verbreitung wäre langsam, die Zahl der Kopien würde sich erst in Tagen verdoppeln. Das Problem: Es gäbe keinen zentralen Schalter zum Abschalten.

Paula: Und woher kommt „bis Ende 2026“?

Paul: Aus einer Trendlinie. Anthropic nutzt einen Fähigkeitsindex des Instituts Epoch und rechnet fort: Werden kleine Modelle so schnell besser wie bisher, erreichen sie das Niveau von GLM bis Jahresende.

Paula: Also eine Hochrechnung, kein Versuch. Jetzt das Kleingedruckte.

Paul: Das meiste steht im Bericht selbst. Der Einbruch war stark vereinfacht – die Testgeräte hatten eine Wartungsschnittstelle offen, ganz ohne Passwort. Die Autoren nennen ihre Ergebnisse deshalb eine Obergrenze. Und: Einen vollständigen Replikator gibt es noch nicht.

Paula: Hat das jemand Unabhängiges geprüft?

Paul: Bisher nicht. Der Informatiker Varun Chandrasekaran von der University of Illinois sagt bei Malwarebytes: Das passt zu verwandter Forschung, ist aber nicht verifiziert. Näher liegt für ihn: Menschen, die mit KI besser angreifen.

Paula: Und die Kritiker?

Paul: Das britische Techportal The Register titelt, Anthropic beschwöre eine Bedrohung, die es noch gar nicht gibt. Erster Satz: Nichts verkaufe KI-Produkte so gut wie Angst. Und Anthropic verkauft ja selbst —

Paula: Sicherheitswerkzeuge, ja. Das Modell Mythos aus Folge 21. Wer warnt, verkauft auch den Schutz.

Paul: Fairerweise: Erfunden hat Anthropic das Thema nicht. Forscher der Fudan-Universität in Shanghai haben schon im Dezember 2024 gezeigt, dass sich zwei offene Modelle selbst kopieren können. Qwen von Alibaba schaffte es in neun von zehn Versuchen.

Paula: Wo denn?

Paul: Auf einem Rechner mit acht Hochleistungs-Chips, nicht übers Netz. Im März 2025 dann: Elf von 32 getesteten Systemen kopierten sich, das kleinste mit 14 Milliarden Parametern.

Paula: Und Behörden?

Paul: Das britische AI Security Institute hat im Frühjahr 2025 einen Test namens RepliBench veröffentlicht. 20 Aufgabenfamilien, etwa Rechenleistung besorgen oder die eigenen Modelldaten herausschmuggeln. Bestes Modell damals: Claude 3,7 Sonnet, bei 15 von 20 Familien über der Hälfte.

Paula: Klingt bedrohlich.

Paul: Das Fazit war trotzdem: noch keine glaubwürdige Gefahr. Unter realistischen Sicherheitsvorkehrungen scheiterten die Modelle, und an der Identitätsprüfung für Cloud-Konten scheiterten alle.

Paula: Und das Prüfinstitut METR?

Paul: Hat 2024 durchgespielt, wie herrenlose KI-Agenten an Geld und Rechenleistung kämen. Unüberwindbare Hürden fand es nicht – stellte das Szenario aber selbst zurück.

Paula: Mhm.

Paul: Ich gebe zu: Die Fernseher-Geschichte fand ich anfangs vor allem gruselig. Jetzt sehe ich es anders: Die Schwachstelle ist nicht die KI, sondern das schlecht gesicherte Billiggerät.

Paula: Und das gibt es schon heute, ganz ohne KI.

Paul: Leider ja. Das Bundesamt für Sicherheit in der Informationstechnik, das BSI, hat im Dezember 2024 die Schadsoftware BadBox auf über 30.000 Geräten in Deutschland ausgebremst. Bilderrahmen, Mediaplayer – vorinstalliert ab Werk.

Paula: Ab Werk. Da hilft kein Update.

Paul: Deshalb rät das BSI in solchen Fällen: Gerät vom Netz, zurückgeben oder entsorgen.

Paula: Und Hersteller und Provider?

Paul: Anthropic schlägt vor: Provider sollen auffälligen Datenverkehr erkennen, etwa riesige Dateien zwischen Heimgeräten, und Betroffene warnen. Hersteller sollen sichere Grundeinstellungen liefern. In Großbritannien sind Standardpasswörter schon verboten.

Paula: Und was heißt das jetzt für dich und deinen Fernseher?

Paul: Erstens: Updates installieren, auch für die Gerätesoftware.

Paula: Zweitens?

Paul: Die Entwickleroptionen ausschalten, wenn du sie nicht brauchst. Genau dort sitzt bei Android-Geräten die Wartungsschnittstelle. Und Schutzfunktionen wie Google Play Protect nicht abschalten, nur damit eine App läuft.

Paula: Und beim Kauf: Finger weg von namenlosen Boxen und inoffiziellen App-Läden, die kostenloses Fernsehen versprechen. Lieber Marken mit dauerhaften Updates.

Paul: Und dann noch das Gastnetz.

Paula: Genau. Fernseher, Boxen und Kameras ins Gastnetz, getrennt von Laptop und Handy. Und verhält sich ein Gerät seltsam: vom Netz trennen. Die KI, die sich selbst verbreitet, ist noch eine Hochrechnung – das offene Billiggerät im Wohnzimmer ist schon Wirklichkeit.

Kurzmeldungen

Paul: Und dann noch die Kurzmeldungen – beide zur Frage: Was darf eine KI mit Zeitungsartikeln machen? Erstens: Die New York Times verklagt Brave, die Firma hinter dem gleichnamigen Browser und einer eigenen Suchmaschine. Eingereicht am 2. November in New York.

Paula: Was wirft die Zeitung Brave vor?

Paul: Brave habe über 30 Milliarden Webseiten kopiert – mit einem Suchroboter, den Webseiten nicht aussperren könnten. Den Bestand verkaufe Brave an KI-Firmen, genannt werden etwa Anthropic, Perplexity und Mistral. Dazu kommt eine Browser-Einstellung, die Bezahlschranken umgeht.

Paula: Das sind die Vorwürfe der Klage – entschieden ist nichts. Drei weitere US-Zeitungen haben am selben Tag ebenfalls geklagt. Brave hat sich zunächst nicht geäußert.

Paul: Zweitens: Vor dem Europäischen Gerichtshof läuft der erste Fall zu generativer KI. Ein ungarischer Verlag streitet mit Google über den Chatbot Gemini. Am 3. November hat Generalanwalt Maciej Szpunar seine Einschätzung vorgelegt.

Paula: Und?

Paul: Gibt der Chatbot nur Fakten aus einem Artikel wieder, ist das in Ordnung – die Nachricht selbst gehört niemandem. Übernimmt er die Formulierungen so weit, dass man das Original nicht mehr lesen muss, kann das die Rechte des Verlags verletzen. Eine Rolle spielt auch, ob er dafür eine Bezahlschranke umgangen hat. KI-Training sei dagegen in der Regel erlaubt.

Paula: Das Gutachten bindet die Richter nicht, das Urteil kommt später. Folgen sie ihm, gälte die Linie aber in der ganzen EU – auch für deutsche Verlage.

Paul: Das war KI News Kompakt. Neue Folgen gibt es montags bis freitags.

Paula: Bleibt neugierig – und bleibt kritisch.