needhelp
← Back to blog

Un AI Agent Ha Hackerato Hugging Face in un Weekend — 17.000 Azioni, Zero Umani

by needhelp
Sicurezza AI
Hugging Face
Attacco Agentico
Cybersicurezza

La Violazione

Il 16 luglio, Hugging Face ha rivelato qualcosa di genuinamente nuovo: un’intrusione nella sua infrastruttura di produzione che è stata “guidata, end-to-end, da un sistema AI agent autonomo.”

Nessun umano ha digitato comandi. Nessuna email di phishing è stata inviata. Un dataset malevolo caricato nella pipeline di Hugging Face ha fatto il lavoro, e un AI agent ha preso il controllo da lì.

In un weekend, ha registrato oltre 17.000 azioni individuali — escalation di privilegi, raccolta di credenziali e movimento laterale attraverso cluster interni. L’attaccante operava su uno sciame di sandbox a vita breve con comando e controllo auto-migrante su servizi pubblici.

Come Ha Funzionato

L’ingresso era attraverso la pipeline di elaborazione dati di Hugging Face — il nastro trasportatore che assimila i dataset caricati dagli utenti. Un dataset malevolo ha sfruttato due percorsi di esecuzione del codice:

  1. Un loader di dataset con codice remoto, una funzionalità pensata per permettere ai dataset di specificare logica di caricamento personalizzata. Armato per eseguire codice arbitrario.
  2. Una falla di template injection nella gestione della configurazione dei dataset, fornendo una seconda via ridondante per l’esecuzione del codice su un worker di elaborazione.

Una volta che l’agente aveva un punto d’appoggio, ha escalato a livello di nodo, raccolto credenziali cloud e cluster, e si è spostato lateralmente in diversi cluster interni. Il tutto senza un operatore umano.

Hugging Face ha confermato che nessun modello pubblico, dataset o Spaces è stato manomesso. La supply chain software (immagini container e pacchetti) è stata verificata pulita. Stanno ancora valutando il potenziale impatto sui dati di partner e clienti.

Anche il Rilevamento Era AI

L’attacco è stato inizialmente scoperto dalla pipeline di rilevamento anomalie basata su LLM di Hugging Face, che tria la telemetria di sicurezza e distingue i veri segnali dal rumore.

Per ricostruire l’accaduto, Hugging Face ha eseguito agenti di analisi basati su LLM sull’intero log di 17.000 eventi dell’attaccante. Quello che normalmente avrebbe richiesto giorni è stato fatto in ore. Per la prima volta, sia l’offesa che la difesa erano completamente automatizzate.

Il Problema dell’Asimmetria

Ecco la parte che mi ha tenuto sveglio a leggere.

Il team di sicurezza di Hugging Face ha provato a usare modelli frontier dietro API commerciali per l’analisi forense. Non ha funzionato. Le barriere di sicurezza su quei modelli bloccavano i payload dell’attacco, il codice exploit e gli artefatti C2 — esattamente il tipo di dati di cui un incident responder ha bisogno per fare analisi.

Hanno finito per eseguire le analisi forensi su GLM 5.2, un modello open-weight cinese, sulla propria infrastruttura. Questo ha avuto un beneficio non intenzionale: nessun dato dell’attaccante o credenziale ha lasciato il loro ambiente.

Il modello dell’attaccante è sconosciuto — potrebbe essere un modello hosted jailbroken o un open-weight senza restrizioni. In ogni caso, l’attaccante non era vincolato da alcuna policy di utilizzo, mentre il team forense di Hugging Face era bloccato proprio dai sistemi di sicurezza pensati per proteggere le piattaforme. Come dice il loro post: “la lezione pratica per i difensori: tieni pronto un modello capace che puoi eseguire sulla tua infrastruttura, verificato e pronto prima di un incidente.”

Cosa Significa

Lo scenario dell’“attaccante agentico” che il settore della sicurezza prevedeva non è più teorico. Gli strumenti offensivi autonomi riducono il costo dell’esecuzione di campagne multi-stadio e operano a velocità macchina. Le piattaforme non possono più affidarsi alla difesa human-in-the-loop — i numeri non tornano quando un attaccante esegue 17.000 azioni in un weekend.

Hugging Face ha chiuso i percorsi di esecuzione del codice sfruttati, ricostruito i nodi colpiti, ruotato le credenziali e implementato controlli di ammissione più severi. Hanno segnalato l’incidente alle forze dell’ordine e stanno lavorando con specialisti forensi esterni.

Ma il messaggio è più ampio. Se Hugging Face — un’azienda la cui intera attività è l’infrastruttura AI — non era protetta contro attacchi agentici, la maggior parte delle organizzazioni non lo è.

References

Share this page