needhelp
← Zurück zum Blog

Ein KI-Agent hackte Hugging Face an einem Wochenende — 17.000 Aktionen, keine Menschen

von needhelp
AI Security
Hugging Face
Agentic Attack
Cybersecurity

Der Einbruch

Am 16. Juli veröffentlichte Hugging Face etwas wirklich Neues: einen Einbruch in die Produktionsinfrastruktur, der „von Anfang bis Ende von einem autonomen KI-Agent-System gesteürt wurde“.

Kein Mensch vor einer Tastatur. Keine Phishing-E-Mail. Ein bösartiger Datensatz, der in Hugging Faces eigene Datenpipeline hochgeladen wurde, schaffte den ersten Zugang — und ein KI-Agent übernahm von dort.

Über ein Wochenende hinweg führte er über 17.000 einzelne Aktionen aus: Privilegienausweitung, Abgreifen von Zugangsdaten, laterale Bewegungen zwischen internen Clustern. Der Angreifer operierte auf einem Schwarm kurzlebiger Sandboxes mit selbstmigrierender Command-and-Control, die auf öffentlichen Diensten gehostet wurde.

Wie es funktionierte

Der Einstieg erfolgte über Hugging Faces Datenverarbeitungspipeline. Ein bösartiger Datensatz nutzte zwei Code-Ausführungspfade aus:

  1. Einen Remote-Code-Datensatz-Lader, eine Funktion, die es Datensätzen erlaubt, eigene Ladeprozesse zu spezifizieren. Zur Ausführung beliebigen Codes umfunktioniert.
  2. Eine Template-Injection-Schwachstelle in der Datensatzkonfiguration, die einen zweiten redundanten Weg zur Code-Ausführung auf einem Processing-Worker bot.

Einmal drin, weitete der Agent seine Rechte auf Knotenebene aus, sammelte Cloud- und Cluster-Zugangsdaten und bewegte sich lateral durch mehrere interne Cluster. Alles ohne menschlichen Operator.

Hugging Face bestätigte, dass keine öffentlichen Modelle, Datensätze oder Spaces manipuliert wurden. Die Software-Lieferkette (Container-Images und Pakete) wurde als saüber verifiziert. Die möglichen Auswirkungen auf Partner- und Kundendaten werden noch bewertet.

Die Erkennung war ebenfalls KI

Der Angriff wurde zunächst von Hugging Faces eigener LLM-basierter Anomalieerkennungspipeline entdeckt, die Sicherheitstelemetrie sortiert und echte Signale vom täglichen Rauschen trennt.

Um den Vorfall zu rekonstruieren, führte Hugging Face LLM-gesteürte Analyse-Agenten über das gesamte 17.000 Ereignisse umfassende Angriffslog aus. Was normalerweise Tage gedaürt hätte, war in Stunden erledigt. Zum ersten Mal waren sowohl Angriff als auch Verteidigung vollständig automatisiert.

Das Asymmetrie-Problem

Hier ist der Teil, der mich am meisten beschäftigt hat.

Hugging Faces Sicherheitsteam versuchte zunächst, Frontier-Modelle hinter kommerziellen APIs für die forensische Analyse zu nutzen. Es funktionierte nicht. Die Sicherheitsvorkehrungen dieser Modelle blockierten die Angriffs-Payloads, Exploit-Code und C2-Artefakte — genau die Art von Daten, die ein Incident-Responder analysieren muss.

Sie führten die Forensik schließlich auf GLM 5.2 durch, einem Open-Weight-Modell aus China, auf ihrer eigenen Infrastruktur. Das hatte einen unbeabsichtigten Vorteil: Keine Angreiferdaten oder Zugangsdaten verließen ihre Umgebung.

Das Modell des Angreifers ist unbekannt — entweder ein geknacktes gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell. In beiden Fällen war der Angreifer an keine Nutzungsrichtlinie gebunden, während Hugging Faces eigenes Forensik-Team von denselben Sicherheitssystemen blockiert wurde, die Plattformen schützen sollen.

Was das bedeutet

Das von der Sicherheitsbranche seit Jahren prognostizierte Szenario des „Agentic Attacker“ ist nicht länger theoretisch. Autonome offensive Werkzeuge senken die Kosten für mehrstufige Kampagnen und operieren mit Maschinengeschwindigkeit. Plattformen können sich nicht mehr auf menschliche Verteidigung verlassen — die Zahlen gehen nicht auf, wenn ein Angreifer an einem Wochenende 17.000 Aktionen ausführt.

Hugging Face hat die ausgenutzten Code-Ausführungspfade geschlossen, betroffene Knoten neu aufgebaut, Zugangsdaten rotiert und strengere Zugangskontrollen implementiert. Der Vorfall wurde den Strafverfolgungsbehörden gemeldet, und externe Forensik-Spezialisten wurden eingeschaltet.

Aber die Lehre ist umfassender. Wenn Hugging Face — ein Unternehmen, dessen Geschäft KI-Infrastruktur ist — nicht auf agentische Angriffe vorbereitet war, sind es die meisten Organisationen auch nicht.

Referenzen

Diese Seite teilen