Inhaltsverzeichnis
Droht ein Kontrollverlust bei künstlicher Intelligenz? Erst vor wenigen Tagen sorgte ein Zwischenfall bei der KI-Firma OpenAI für weltweites Aufsehen. Bei einer internen Evaluierung gelang es den KI-Modellen GPT 5.6 Sol und einem noch unveröffentlichten Modell, sich aus der abgeschlossenen Testumgebung zu befreien. Sie nutzten Sicherheitslücken aus, um ins Internet zu gelangen und hackten sich dort mit einer komplexen Abfolge von Angriffsstrategien in die Rechner der Plattform Hugging Face.
Ausbrüche auch von drei Claude-Versionen
Jetzt meldet auch das Unternehmen Anthropic ähnliche Ausbrüche seiner KI-Modelle. „In Reaktion auf das Ereignis bei OpenAI haben wir unsere eigenen Cybersecurity-Evaluierungen noch einmal überprüft“, berichtet Anthropic. „Dabei suchten wir vor allem nach möglichen Hinweisen darauf, dass unser Modell Claude sich Zugang zum Internet verschafft hat.“ Nach Prüfung von mehr als 141.000 Testprotokollen wurden sie fündig: In drei Fällen hatte sich eine künstliche Intelligenz aus der Testumgebung befreit und war ins Internet gelangt – ohne dass es jemand bemerkte.
Ähnlich wie bei OpenAI hatten die getesteten Claude-Versionen – Opus 4.7, Mythos 5 und ein noch unveröffentlichtes Testmodell – eine „Capture the Flag“-Aufgabe erhalten: Der Prompt beschreibt ein fiktionales Szenario, in dem die KI eine geheime Information – die Flagge – finden soll. Diese Information ist auf einem anderen Rechner im Netzwerk versteckt und nur durch Ausnutzung bestimmter Sicherheitslücken zugänglich. „In allen Fällen sagte der Prompt, dass sich Claude in einer simulierten Umgebung bewege und keinen Internetzugang besitze“, erklärt Anthropic das Prozedere.
Unerkannter Zugang zum Internet
Anders als beim OpenAI-Zwischenfall liefen diese „Sandbox“-Tests nicht auf Servern von Anthropic selbst, sondern auf der Plattform eines externen, auf solche Evaluierungen spezialisierten Partners. Dummerweise zeigte sich im Nachhinein, dass die vermeintlich abgeschlossene Testumgebung doch Zugang zum Internet hatte. „Weder wir noch unsere Partner warne uns dieser Fehlkonfiguration bewusst“, schreibt Anthropic. Die KI-Modelle mussten sich dadurch nicht freihacken, sondern fanden den Zugang eher zufällig.
Alle drei Claude-Versionen glaubten zunächst, dass dieser vermeintliche Internetzugang nicht real sei, sondern Teil der Testsimulation. Dadurch hackten sie sich in externe Firmen, ohne zu begreifen, dass dies nicht Teil ihrer Evaluierung war. In einem Fall geschah dies, weil das im Prompt benannte fiktive Ziel der Aufgabe den gleichen Namen trug wie eine real existierende Firma. „Claude suchte, fand und nutzte daher Schwachstellen in der Infrastruktur des Unternehmens, weil er glaubte, dies sei Teil seines Tests“, erklärt Anthropic.
Nachdem sich der KI-Agent in das externe Unternehmen gehackt hatte, extrahierte er sensible Informationen zu Anwendungen und Infrastruktur und verschaffte sich Zugang zu einer Datenbank mit kritischen Produktionsdaten.
KI lanciert Malware auf öffentlicher Software-Plattform
Der zweite Vorfall war noch komplexer. In ihm fand das KI-Modell Claude Mythos 5 in der Testumgebung ein Dokument, das Instruktionen für neue Software-Entwickler enthielt. In diesem wurden sie angewiesen, ein bestimmtes, im Computercode Python geschriebenes Software-Paket von der öffentlichen Plattform PyPI herunterzuladen und auszuführen. Dieses Paket existierte jedoch in Wirklichkeit nicht. „Claude erkannte hier seine Chance: Wenn er sein eigenes Paket unter diesem Namen veröffentlichte, würde die Zielfirma seines fiktiven Szenarios dieses Paket herunterladen und installieren“, erklärt Anthropic.
Um sein Ziel auf diese Weise zu hacken, programmierte Claude Mythos ein Malware enthaltendes Python-Paket und lud es über das Internet auf die reale PyPI-Plattform hoch. Dafür musste die künstliche Intelligenz jedoch eine ganze Abfolge von komplexen Aufgaben und Hacks durchführen: „Um einen Account auf der Plattform zu generieren, benötigte Claude eine E-Mail-Adresse und um diese zu bekommen, brauchte die KI eine Telefonnummer“, erklärt Anthropic.
Das KI-Modell versuchte daher zunächst, einen kostenfreien Telefon-Account zu finden. Als das fehlschlug, suchte es nach Wegen, um sich Geld für einen kostenpflichtigen Dienst zu verschaffen. Nachdem auch das scheiterte, suchte Claude noch einmal nach einem kostenlosen E-Mail-Provider ohne nötige Telefonnummer und fand ihn. Dadurch konnte sich der KI-Agent nun bei PyPI anmelden und sein Malware-Paket dort deponieren.
Sicherheitsfirma gehackt
Die Folge: Das mit Malware kontaminierte Python-Paket war frei auf der PyPI-Plattform verfügbar und wurde 15-mal heruntergeladen und auf Rechnern ausgeführt. Einer dieser Downloads geschah durch das Scanprogramm einer Cybersicherheitsfirma, das die Malware jedoch nicht erkannte und das Programm installierte. „Dadurch konnte sich Claude Zugangsdaten dieser Firma besorgen und diese nutzen, um in weitere Infrastrukturen des Unternehmens zu gelangen“, berichtet Anthropic.
Das verseuchte Python-Paket wurde erst nach einer Stunde von den Sicherheitssystemen der PyPI-Plattform erkannt und entfernt. In allen drei Fällen wurden die Angriffe und Hacks der KI-Agenten zunächst wochenlang nicht bemerkt – oder nicht als KI-Attacken erkannt. Erst als Anthropic am 27. Juli die Betroffenen benachrichtigte, wurde klar, dass KI-Modelle für diese Hacks verantwortlich waren, wie Anthropic berichtet.
Warum die KI-Modelle einfach weitermachten
Brisant auch: Alle drei KI-Modelle hätten eigentlich bemerken müssen, dass sie sich nicht mehr in der simulierten Testumgebung befanden – und taten dies in einigen Fällen auch. „Claude Opus 4.7, unser ältestes Modell, erkannte im Laufe der Zeit, dass es reale Produktionssysteme erreicht hatte, aber setzte seinen Angriff trotzdem fort“, berichtet Anthropic. Claude Mythos 5 wurde ebenfalls schon früh stutzig und identifizierte die potenziellen Auswirkungen seiner Aktionen: „Wenn dies das echte Internet ist, wäre das Veröffentlichen des Python-Pakets ein Angriff – NICHT OK und nicht die gesuchte Lösung“, so das Reasoning der KI.
Doch ausgehend von seinem Prompt ignorierte der KI-Agent die Hinweise und überredete sich selbst, dass dies ja nicht möglich sei – als Folge setzte das KI-Modell seine Hacking-Aktionen fort. „Das Verhalten, das wir eigentlich sehen wollen, zeigte nur das neueste der drei Modelle“, berichtet Anthropic. Nur das Testmodell stoppte, als es erkannte, dass es sich im echten Internet bewegte. Allerdings geschah auch dies erst, nachdem die KI schon eine externe Plattform gehackt hatte.
Wachsende Gefahr durch blinde Zielstrebigkeit
Diese Vorfälle bestätigen, dass künstliche Intelligenzen immer schwerer zu kontrollieren sind. Durch ihre blinde Zielstrebigkeit und den Willen, die ihnen gestellten Aufgaben um jeden Preis zu erfüllen, können gerade fortgeschrittene KI-Modelle zur realen Gefahr werden. Die Fähigkeit der KI-Agenten, immer autonomer zu agieren und auch längere, komplexere Handlungsabfolgen durchzuführen, verschärft dieses Problem.
Das räumt auch Anthropic ein: „Unser Fachgebiet würde von einer breiteren Diskussion darüber profitieren, wie sich zunehmend leistungsfähige KI-Agenten sowohl sicher als auch realistisch evaluieren lassen – einschließlich der Frage, wie der durch Internetzugang während der Tests vor der Bereitstellung gewonnene Realitätsgrad gegen die damit verbundenen Risiken abzuwägen ist“, schreibt das KI-Unternehmen. Wie schon zuvor OpenAI hat auch Anthropic inzwischen alle Evaluierungen seiner KI-Modelle abgebrochen.
Quelle: Anthropic
Wenn Ihnen der Artikel gefallen hat, vergessen Sie nicht, ihn mit Ihren Freunden zu teilen. Folgen Sie uns auch in Google News, klicken Sie auf den Stern und wählen Sie uns aus Ihren Favoriten aus.
Wenn Sie weitere Nachrichten lesen möchten, können Sie unsere Wissenschaft kategorie besuchen.
