KI-Agent bricht aus und wird zum Hacker

Mit zunehmenden Fortschritten der künstlichen Intelligenz werden auch ihre Schattenseiten deutlicher. Denn die neuesten Frontier-Modelle können uns nicht nur Arbeit abnehmen, Probleme lösen oder Software programmieren – sie werden such zum Sicherheitsrisiko. Erst kürzlich sorgte das KI-Modell Claude Mythos Preview für Aufsehen, weil es zahlreiche Sicherheitslücken in gängiger Server- und Routersoftware entdeckte und ausnutzen konnte. Seither haben KI-Hersteller ihren öffentlich zugänglichen KI-Agenten und Sprachmodellen strengere Beschränkungen auferlegt. Dies soll es erschweren, diese KI-Systeme zum Hacken einzusetzen.

Jetzt gibt es einen neuen Vorfall: Während eines internen Benchmark-Tests bei OpenAI hat sich ein KI-Agent aus der geschlossenen Testumgebung freigehackt und anschließend das Internet genutzt, um sein Ziel mithilfe von Hacking zu erreichen.

Was war das für ein Test?

Basis des Experiments war das sogenannte ExploitGym, eine speziell für die Cybersicherheit entwickelte Testbatterie für KI-Modelle. Diese agieren in einer geschlossenen Umgebung – eine Sandbox – und sollen dort vorhandene Sicherheitslücken erkennen und nutzen, um die Aufgabe zu erfüllen. „Unsere Tests laufen in einer hochgradig isolierten Umgebung, deren Netzwerkzugang auf eine weitere interne Plattform beschränkt ist“, erklärt OpenAI.

Um ihre Aufgabe zu lösen, müssen die KI-Modelle Schwachstellen in ihrer Sandbox erkennen und diese nutzen, um auf die zweite Plattform zu gelangen und dort vordefinierte Datenpakete zu deponieren. In früheren Tests mit ExploitGym hatten Claude Mythos Preview und GPT-5.5 in dieser Benchmark 157 beziehungsweise 120 von 898 Aufgaben gelöst.

Wie sich der KI-Agent aus der „Sandbox“ befreite

Doch im aktuellen Test schossen die getesteten KI-Systeme GPT‑5.6 Sol und ein noch unveröffentlichtes Modell offenbar weit über das Ziel hinaus – wie eine andere, vom Hack betroffene US-Firma feststellen musste. „Wir haben einen unautorisierten Zugriff auf einige interne Datensätze und auf mehrere von unseren Diensten verwendete Zugangsdaten identifiziert“, berichtete die Internetplattform Hugging Face am 16. Juli. Zunächst war jedoch unklar, wer der Hacker war.

Künstliche Intelligenz ist nicht mehr nur ein Werkzeug für Cyberkriminelle – sie kann auch autonom zum Hacker werden. — © Peach_iStock/ iStock

Doch wenig später stellte sich heraus: Der Angreifer war ein beim Benchmark-Test aus der OpenAI-Sandbox ausgebrochene KI-Agent. Nachdem dieses KI-Modell über die eigentlich vorhandenen Schwachstellen in der Testumgebung nicht weiterkam, wählte es eine andere Strategie: „Unsere KI-Modelle verbrachten erhebliche Computerzeit damit, einen Zugang zum Internet zu suchen, um die ihnen gestellte Aufgabe zu lösen“, berichtet OpenAI. Dafür führte die KI eine komplexe Abfolge von Aktionen aus, durch die ihr schließlich der Ausbruch gelang.

Lösungssuche durch Hack in fremde Datenplattform

Nachdem der KI-Agent Internetzugang hatte, folgte der eigentliche Hack. Er suchte im Internet Informationen darüber, wo es Lösungen für die ExploitGym-Benchmark finden könnte – mit Erfolg: „Das KI-Modell fand heraus, dass Hugging Face Modelle, Datensätze und Lösungen für ExploitGym auf seiner Plattform gespeichert hat und versuchte dann erfolgreich, an diese geheimen Informationen zu gelangen“, so OpenAI.

Dafür kombinierte der KI-Agent tausende teils sehr unterschiedliche Einzelaktionen. Er nutzte Sicherheitslücken aus, um sich Zugangsdaten zu verschaffen, dann verwendete er diese Daten, um in den geschützten Bereich mit den gesuchten Daten zu gelangen. Die künstliche Intelligenz injizierte dabei auch sich selbst verbreitende Befehle und Kontrollcodes in die neue Umgebung. Zwar schlugen die ebenfalls auf künstlicher Intelligenz beruhenden Schutzsysteme von Hugging Face an. Den Angriff aufhalten konnten sie aber nur bedingt.

„Der Angreifer war durch keinerlei Weisungen eingeschränkt“, berichtet die Plattform in ihrer Mitteilung. „Unsere eigenen Maßnahmen wurden aber durch die Guardrails unserer eigenen KI-Modelle behindert.“ Tatsächlich hat inzwischen auch OpenAI bestätigt, dass die im Benchmark-Test eingesetzten KI-Modelle keine der normalerweise wirksamen Kontrollinstanzen besaßen.

„Keine bloß theoretische Bedrohung mehr“

Nach Ansicht des gehackten Unternehmens unterstreicht dieser Vorfall eindrücklich die Gefahren agentischer KI: „Autonome, KI-getriebene Cyberangriffe sind keine bloße Theorie mehr“, schreibt Hugging Face. „Dieser Fall entspricht genau dem Szenario eines agentischen Angreifers, das die IT-Industrie prognostiziert hat.“ Demnach ist künstliche Intelligenz nicht nur ein Werkzeug, mit dem Menschen leichter Cyberangriffe durchführen können – auch die KI selbst kann zum Hacker werden und autonom ganze Hacking-Kampagnen durchzuführen.

Dieses Risiko räumt auch OpenAI ein: „Der Vorfall macht klar, dass die fortgeschrittenen KI-Modelle selbst ohne Zugriff auf Quellcodes neuartige Angriffswege in Systemen der realen Welt entdecken und ausnutzen können“, schreibt der KI-Hersteller. Daher sei es wichtig, auch entsprechend stärkere Sicherheitsmaßnahmen und Abwehrwerkzeuge zu entwickeln.

Geht KI für ihr Ziel über Leichen?

Gleichzeitig illustriert dies eine weitere Schattenseite der künstlichen Intelligenz: Sie neigt dazu, eine Aufgabe um jeden Preis zu Ende zu bringen – selbst wenn sie dafür gegen Regeln verstoßen muss. Diese „blinde Zielstrebigkeit“ hatten IT-Forscher bereits im Mai 2026 in einem Experiment aufgedeckt. Auch OpenAI wertet den aktuellen Vorfall als Ausdruck dieses Verhaltens: „Alles deutet darauf hin, dass diese KI-Modelle so darauf fokussiert waren, unbedingt eine Lösung für ExploitGym zu finden, dass sie dafür extreme Maßnahmen einsetzten“, konstatiert das Unternehmen.

Was das bedeutet, erklärt der IT-Forscher Paul Röttger von der University of Oxford: „Dieser Vorfall zeigt sehr deutlich zwei konkrete Risiken fähiger KI: Erstens greifen KI-Modelle, wenn wir ihnen ein Ziel setzen, potenziell zu allen möglichen Mitteln, um dieses Ziel zu erreichen. Zweitens sind die fähigsten KI-Modelle heute sehr gut darin, Sicherheitslücken in Software zu finden und auszunutzen. Beide Risiken sind nicht neu, aber sie sind bisher noch nie in dieser Deutlichkeit gemeinsam aufgetreten“, kommentiert der Forscher den Vorfall.

Allerdings stellt sich die Frage, warum OpenAI seinen Benchmark-Test nicht genau deshalb besser abgesichert hat. Das sieht auch Jonas Geiping vom Max-Planck-Institut für Intelligente Systeme in Tübingen so: „Dass ein Modell aus seiner Testumgebung ausbricht, ist zwar gute PR. Es stellt sich aber die Frage, warum die Testumgebung nicht zuvor mit dem KI-Modell selbst auf Schwachstellen untersucht wurde. Das halte ich für eine Nachlässigkeit“, kommentiert der Cybersicherheitsexperte.

Quelle: OpenAI, Hugging Face, Science Media Center