needhelp
← Back to blog

AI 에이전트가 주말 동안 Hugging Face를 해킹했다 — 17,000개 액션, 인간 제로

by needhelp
AI 보안
Hugging Face
에이전틱 공격
사이버 보안

침해 사고

7월 16일, Hugging Face가 진정으로 새로운 사건을 공개했다: 프로덕션 인프라에 대한 침입이 “end-to-end로 자율 AI 에이전트 시스템에 의해 주도”됐다.

키보드 앞에 앉은 인간은 없었다. 피싱 이메일도 발송되지 않았다. Hugging Face 자체 파이프라인에 업로드된 악성 데이터셋이 작업을 수행했고, AI 에이전트가 그 다음부터接管했다.

주말 동안 17,000개가 넘는 개별 액션을 기록했다 — 권한 상승, 자격 증명 수집, 내부 클러스터 간 측면 이동. 공격자는 짧은 수명의 샌드박스 swarm에서 실행됐으며, 공개 서비스에 self-migrating C2를 배치했다.

작동 방식

진입점은 Hugging Face의 데이터 처리 파이프라인 — 사용자가 업로드한 데이터셋을 수집하는 conveyor belt였다. 악성 데이터셋이 두 가지 코드 실행 경로를 악용했다:

  1. 원격 코드 데이터셋 로더: 데이터셋이 커스텀 로딩 로직을 지정할 수 있는 기능. 임의 코드 실행에 무기화됨.
  2. 데이터셋 설정 처리의 템플릿 인젝션 결함: 프로세싱 워커에서 코드 실행을 위한 두 번째 중복 경로 제공.

에이전트가 거점을 확보한 후, 노드 수준 접근 권한으로 상승하고, 클라우드 및 클러스터 자격 증명을 수집한 뒤 여러 내부 클러스터로 측면 이동했다. 모두 인간 운영자 없이.

Hugging Face는 공개 모델, 데이터셋, Spaces가 변조되지 않았음을 확인했다. 소프트웨어 공급망(컨테이너 이미지 및 패키지)도 깨끗함이 검증됐다. 파트너 및 고객 데이터에 대한 잠재적 영향은 여전히 평가 중이다.

탐지도 AI였다

공격은 Hugging Face 자체 LLM 기반 이상 탐지 파이프라인에 의해 처음 발견됐다. 이 파이프라인은 보안 원격 측정을 분류하고 실제 신호를 노이즈에서 걸러낸다.

무슨 일이 일어났는지 재구성하기 위해 Hugging Face는 전체 17,000개 이벤트 공격자 액션 로그에 대해 LLM 기반 분석 에이전트를 실행했다. 보통 며칠이 걸릴 작업이 몇 시간 만에 끝났다. 사상 처음으로 공격과 방어 모두 완전히 자동화됐다.

비대칭성 문제

여기서 흥미로웠던 부분이다.

Hugging Face의 보안 팀은 포렌식 분석에 상용 API 뒤의 frontier 모델을 사용하려 했다. 작동하지 않았다. 그 모델들의 안전 guardrail이 공격 payload, exploit 코드, C2 아티팩트를 차단했다 — 정확히 사고 대응자가 분석해야 하는 데이터다.

결국 자체 인프라에서 GLM 5.2(오픈웨이트 중국 모델)로 포렌식을 수행했다. 의도치 않은 이점이 있었다: 공격자 데이터나 자격 증명이 환경을 벗어나지 않았다.

공격자의 모델은 알려지지 않았다 — jailbreak된 호스팅 모델이거나 제한 없는 오픈웨이트 모델일 수 있다. 어느 쪽이든 공격자는 사용 정책에 구속되지 않은 반면, Hugging Face의 포렌식 팀은 플랫폼을 보호하기 위한 안전 시스템에 의해 차단됐다. 그들의 포스트가 말하듯: “방어자를 위한 실질적 교훈: 사고 발생 전에 자체 인프라에서 실행할 수 있는 유능한 모델을 준비하라.”

의미하는 바

보안 업계가 예측해온 “에이전틱 공격자” 시나리오가 더 이상 이론이 아니다. 자율 공격 도구는 다단계 캠페인 실행 비용을 낮추고 기계 속도로 작동한다. 플랫폼은 더 이상 인간 개입 방어에 의존할 수 없다 — 공격자가 주말 동안 17,000개 액션을 실행하는데 숫자가 맞지 않는다.

Hugging Face는 악용된 코드 실행 경로를 차단하고, 영향받은 노드를 재구축했으며, 자격 증명을 교체하고, 더 엄격한 승인 통제를 배포했다. 법 집행 기관에 신고했고 외부 포렌식 전문가와 협력 중이다.

하지만 더 큰 시사점이 있다. Hugging Face — AI 인프라가 전부인 회사 — 조차 에이전틱 공격에 대비되어 있지 않았다면, 대부분의 조직도 마찬가지일 것이다.

References

Share this page