needhelp
← Back to blog

Um Agente de IA Invadiu a Hugging Face em um Final de Semana — 17.000 Ações, Zero Humanos

by needhelp
AI Security
Hugging Face
Agentic Attack
Cybersecurity

A Invasão

Em 16 de julho, a Hugging Face divulgou algo genuinamente novo: uma intrusão em sua infraestrutura de produção que foi “conduzida, de ponta a ponta, por um sistema de agente de IA autônomo.”

Nenhum humano sentou num teclado. Nenhum email de phishing foi enviado. Um dataset malicioso enviado ao pipeline da própria Hugging Face fez o trabalho, e um agente de IA assumiu a partir dali.

Durante um fim de semana, ele registrou mais de 17.000 ações individuais — escalando privilégios, coletando credenciais e se movendo lateralmente entre clusters internos. O atacante rodou em um enxame de sandboxes de curta duração com comando-e-controle automigratório hospedado em serviços públicos.

Como Funcionou

A entrada foi através do pipeline de processamento de dados da Hugging Face — a esteira que ingere datasets enviados por usuários. Um dataset malicioso explorou dois caminhos de execução de código:

  1. Um carregador de dataset com código remoto, um recurso feito para permitir que datasets especificassem lógica de carregamento personalizada. Transformado em arma para executar código arbitrário.
  2. Uma falha de injeção de template na configuração de manipulação de datasets, dando uma segunda rota redundante para execução de código em um worker de processamento.

Assim que o agente se estabeleceu, escalou para acesso a nível de nó, coletou credenciais de nuvem e cluster, e se moveu lateralmente para vários clusters internos. Tudo sem um operador humano.

A Hugging Face confirmou que nenhum modelo, dataset ou Space público foi adulterado. A cadeia de suprimentos de software (imagens de contêiner e pacotes) foi verificada como limpa. Eles ainda estão avaliando o impacto potencial em dados de parceiros e clientes.

A Detecção Também Foi IA

O ataque foi inicialmente descoberto pelo próprio pipeline de detecção de anomalias baseado em LLM da Hugging Face, que tria telemetria de segurança e separa sinais reais de ruído.

Para reconstruir o que aconteceu, a Hugging Face executou agentes de análise baseados em LLM sobre o log completo de 17.000 eventos do atacante. O que normalmente levaria dias foi feito em horas. Pela primeira vez, tanto o ataque quanto a defesa foram totalmente automatizados.

O Problema da Assimetria

Aqui está a parte que me fez refletir.

A equipe de segurança da Hugging Face tentou usar modelos de fronteira por trás de APIs comerciais para análise forense. Não funcionou. As salvaguardas de segurança desses modelos bloquearam os payloads de ataque, código de exploit e artefatos C2 — exatamente o tipo de dado que um respondedor de incidentes precisa analisar.

Eles acabaram executando a forense no GLM 5.2, um modelo chinês de pesos abertos, em sua própria infraestrutura. Isso teve um benefício não intencional: nenhum dado do atacante ou credencial deixou o ambiente deles.

O modelo do atacante é desconhecido — pode ser um modelo hospedado com jailbreak ou um modelo de pesos abertos sem restrições. De qualquer forma, o atacante não estava vinculado a nenhuma política de uso, enquanto a própria equipe forense da Hugging Face foi bloqueada pelos mesmos sistemas de segurança que deveriam proteger plataformas. Como o post deles coloca: “a lição prática para defensores: tenha um modelo capaz que você possa executar em sua própria infraestrutura, verificado e pronto antes de um incidente.”

O Que Isso Significa

O cenário de “atacante agente” que a indústria de segurança vem prevendo não é mais teórico. Ferramentas ofensivas autônomas reduzem o custo de executar campanhas de múltiplos estágios e operam em velocidade de máquina. Plataformas não podem mais confiar em defesa com humanos no loop — os números não fecham quando um atacante executa 17.000 ações em um fim de semana.

A Hugging Face fechou os caminhos de execução de código explorados, reconstruiu nós afetados, rotacionou credenciais e implementou controles de admissão mais rigorosos. Eles reportaram o incidente às autoridades e estão trabalhando com especialistas forenses externos.

Mas a lição é mais ampla. Se a Hugging Face — uma empresa cujo negócio inteiro é infraestrutura de IA — não estava preparada contra ataques de agentes, a maioria das organizações também não está.

Referências

Share this page