Bei einem internen Sicherheitstest von OpenAI hat ein KI-Modell eigenständig Schwachstellen gesucht, verkettet und ausgenutzt, bis es Zugriff auf die Produktionsinfrastruktur von Hugging Face hatte. Für Rechts- und Datenschutzabteilungen zeigt der Vorfall, dass KI-Risiken längst keine theoretische Diskussion mehr sind.
Was im Juli 2026 geschah
Am 16. Juli 2026 meldete Hugging Face einen KI-Sicherheitsvorfall in Teilen seiner Produktionsinfrastruktur. Ungewöhnlich war nicht der Einbruch selbst, sondern wer ihn ausführte: ein autonomes KI-Agentensystem, das über einen manipulierten Datensatz zwei Schwachstellen in der Datenverarbeitung von Hugging Face ausnutzte, um Code auf einem Verarbeitungsserver auszuführen. Von dort aus verschaffte sich das System schrittweise weitere Zugriffsrechte, sammelte Zugangsdaten und bewegte sich über rund vier Tage durch mehrere interne Cluster, ohne, dass ein Mensch die einzelnen Schritte steuerte.
Wenige Tage später bestätigte OpenAI seinen Anteil an dem Vorfall. Ausgelöst wurde er durch eine interne Bewertung der Cyber-Fähigkeiten mehrerer eigener Modelle, darunter GPT-5.6 Sol und ein noch nicht veröffentlichtes, leistungsfähigeres Modell, dessen Zugriff seither gesperrt wurde. Für diesen Test waren die üblichen Schutzmechanismen bewusst deaktiviert, damit die tatsächliche Fähigkeit der Modelle gemessen werden konnte. Die Modelle nutzten diesen Spielraum, um eine Zero-Day-Schwachstelle in einer intern genutzten Paketverwaltungssoftware zu identifizieren, sich über mehrere Rechteausweitungen bis zu einem Server mit Internetzugang vorzuarbeiten und anschließend gezielt nach Wegen zu suchen, Testlösungen aus der Infrastruktur von Hugging Face zu beziehen. Dabei verketteten sie gestohlene Zugangsdaten und weitere Schwachstellen, bis sie Remote-Code-Ausführung auf den Servern von Hugging Face erreichten.
Nach heutigem Kenntnisstand griff das System auf fünf interne Datensätze zu, die im Zusammenhang mit dem Testverfahren standen, erlangte administrativen Zugriff auf interne Systeme, sichtete einzelne Code-Repositories und nutzte eine erbeutete Zugangsdaten-Kombination, um externe Systeme mit dem Firmennetz zu verbinden. Öffentliche Modelle, Datensätze und die Software-Lieferkette von Hugging Face waren dagegen nachweislich nicht betroffen.
Ein neuer Angriffstyp: KI als eigenständige Akteurin
Was diesen Fall von klassischen Sicherheitsvorfällen unterscheidet, ist der Grad der Autonomie. Das Angriffssystem führte nach Angaben von Hugging Face mehrere Tausend einzelne Aktionen über wechselnde, kurzlebige Testumgebungen aus und organisierte seine Steuerungsinfrastruktur selbstständig neu, sobald sie entdeckt wurde. Menschliches Eingreifen war für den weiteren Ablauf nicht mehr erforderlich, lediglich für den Start der Evaluation. Beide Unternehmen bezeichnen dies unabhängig voneinander als einen der ersten dokumentierten Vorfälle dieser Art. Für Sicherheitsverantwortliche bedeutet das eine Verschiebung der Bedrohungslage: Wenn Systeme komplexe Angriffsketten eigenständig entwickeln und über Tage hinweg durchhalten können, verändert sich sowohl das Tempo als auch die Reichweite möglicher Angriffe erheblich.
Rechtliche Einordnung: Wer muss jetzt was prüfen?
Für Unternehmen, die KI-Systeme oder KI-Anbieter einsetzen, wirft ein solcher KI-Sicherheitsvorfall mehrere praktische Fragen auf, die sich nicht auf die reine IT-Sicherheit beschränken.
- Meldepflichten nach der DSGVO: Sind personenbezogene Daten betroffen, greifen die Fristen aus Art. 33 und 34 DSGVO gegenüber Aufsichtsbehörde und betroffenen Personen, unabhängig davon, ob der Angriff von einem Menschen oder einem KI-System ausging.
- NIS2-Pflichten: Betreiber wichtiger oder besonders wichtiger Einrichtungen müssen erhebliche Sicherheitsvorfälle innerhalb der gesetzlichen Fristen melden. Das betrifft auch Unternehmen, die KI-Infrastrukturanbieter wie Hugging Face in ihre Prozesse eingebunden haben.
- Meldepflichten nach der KI-Verordnung: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen der KI-Behörde schwerwiegende Vorfälle melden, wenn ihre Modelle daran beteiligt waren.
- Vertragliche Absicherung: Wer KI-Dienste oder KI-Infrastruktur einsetzt, sollte prüfen, ob Verträge konkrete Melde-, Auskunfts- und Prüfungsrechte für solche Szenarien enthalten, auch für Vorfälle, die vom Modell des Anbieters selbst ausgehen.
Wer diese Punkte heute nicht im eigenen Vendor-Management verankert hat, sollte das nach diesem Vorfall nachholen.
Chancen und Grenzen: KI als Verteidigungswerkzeug
Bemerkenswert ist, dass Hugging Face den Angriff selbst mit KI-gestützter Analyse aufgeklärt hat. Mehr als 17.000 protokollierte Aktionen wurden mit Sprachmodellen ausgewertet, um die Zeitachse zu rekonstruieren und betroffene Zugangsdaten zu identifizieren. Dabei zeigte sich ein Problem, das auch für Compliance-Verantwortliche relevant ist: Die ersten Versuche mit kommerziellen KI-Diensten scheiterten, weil deren Sicherheitsfilter die Analyse der eigenen Angriffsdaten blockierten, da sie nicht zwischen einem Angreifer und einem Ermittlungsteam unterscheiden konnten. Hugging Face wich deshalb auf ein offenes Modell in eigener Infrastruktur aus. Die Lehre daraus betrifft jede Organisation, die im Ernstfall auf KI-gestützte Reaktionsfähigkeit setzen möchte: Ein bereits geprüftes, im eigenen Haus betreibbares Modell sollte vor einem Vorfall bereitstehen und nicht erst währenddessen ausgewählt werden.
Wie KLTO Sie unterstützt
Bei KLTO unterstützen wir Rechts- und Datenschutzabteilungen dabei, für genau solche Szenarien einen strukturierten, wiederholbaren Prozess aufzusetzen – bevor ein Vorfall eintritt. Dazu gehören ein Prüfraster für die operative Durchsicht von KI-Vendor-Verträgen auf Melde-, Auskunfts- und Prüfungsklauseln, ein strukturierter Einordnungsprozess für KI-Anwendungsfälle entlang der Kategorien der KI-Verordnung sowie Workflows zur Pflege und Aktualisierung von KI-Richtlinien, die auch autonome, agentenbasierte Systeme berücksichtigen.
Prozesssicherheit bei KI-Vendor-Verträgen?
Lassen Sie sich von KLTO zeigen, wie ein strukturierter, wiederholbarer Prüfprozess für KI-Vendor-Verträge aussehen kann.
Jetzt Beratungstermin vereinbaren: info@klto.io
Sie möchten wissen, wie gut Ihr Unternehmen auf KI-bezogene Sicherheitsvorfälle vorbereitet ist? Sprechen Sie mit uns, wir schauen uns Ihre aktuelle Vertrags- und Governance-Struktur gemeinsam an.
KLTO | Ein Beitrag von Johanna Speich