needhelp
← Back to blog

Agen AI Meretas Hugging Face dalam SeAkhir Pekan — 17.000 Aksi, Nol Manusia

by needhelp
Keamanan AI
Hugging Face
Serangan Agen
Keamanan Siber

Peretasan

Pada 16 Juli, Hugging Face mengungkapkan sesuatu yang benar-benar baru: intrusi ke infrastruktur produksi mereka yang “didorong dari awal hingga akhir oleh sistem agen AI otonom.”

Tidak ada manusia di depan keyboard. Tidak ada email phishing yang dikirim. Dataset berbahaya yang diunggah ke pipeline Hugging Face sendiri berhasil mendapatkan akses awal, dan agen AI mengambil alih dari sana.

Selama akhir pekan, ia mengeksekusi lebih dari 17.000 aksi individu — meningkatkan hak akses, mengumpulkan kredensial, dan bergerak lateral di seluruh cluster internal. Penyerang beroperasi di atas segerombolan sandbox berumur pendek, dengan command-and-control yang bisa bermigrasi sendiri yang ditempatkan di layanan publik.

Cara kerjanya

Masuk melalui pipeline pemrosesan dataset Hugging Face. Dataset berbahaya mengeksploitasi dua jalur eksekusi kode:

  1. Pemuat dataset kode jarak jauh, sebuah fitur yang memungkinkan dataset menentukan logika pemuatan kustom. Dipersenjatai untuk mengeksekusi kode arbitrer.
  2. Kerentanan injeksi template dalam konfigurasi dataset, memberikan jalur redundan kedua untuk mengeksekusi kode pada worker pemrosesan.

Setelah masuk, agen meningkat ke akses tingkat node, mengumpulkan kredensial cloud dan cluster, dan bergerak lateral ke beberapa cluster internal. Semua tanpa operator manusia.

Hugging Face mengonfirmasi tidak ada model, dataset, atau Spaces publik yang dirusak. Rantai pasokan perangkat lunak (gambar kontainer dan paket) telah terverifikasi bersih. Dampak potensial pada data mitra dan pelanggan masih dalam penilaian.

Deteksi juga oleh AI

Serangan pertama kali terdeteksi oleh pipeline deteksi anomali berbasis LLM milik Hugging Face sendiri, yang melakukan triase pada telemetri keamanan dan memisahkan sinyal nyata dari kebisingan sehari-hari.

Untuk merekonstruksi apa yang terjadi, Hugging Face menjalankan agen analisis berbasis LLM pada seluruh log peristiwa serangan sebanyak 17.000 kejadian. Apa yang biasanya memakan waktu berhari-hari selesai dalam hitungan jam. Untuk pertama kalinya, baik serangan maupun pertahanan sepenuhnya otomatis.

Masalah asimetri

Inilah bagian yang membuat saya terus membaca.

Tim keamanan Hugging Face pertama-tama mencoba menggunakan model frontier di belakang API komersial untuk analisis forensik. Itu tidak berhasil. Pengaman model-model tersebut memblokir muatan serangan, kode eksploitasi, dan artefak C2 — persis jenis data yang perlu dianalisis oleh responden insiden.

Mereka akhirnya menjalankan analisis forensik pada GLM 5.2, model buatan China dengan bobot terbuka, di infrastruktur mereka sendiri. Ini memiliki manfaat tak terduga: tidak ada data penyerang atau kredensial yang meninggalkan lingkungan mereka.

Model penyerang tidak diketahui — baik model yang di-host yang di-jailbreak atau model bobot terbuka tanpa batasan. Either way, penyerang tidak terikat oleh kebijakan penggunaan apa pun, sementara tim forensik Hugging Face sendiri diblokir oleh sistem keamanan yang sama yang dirancang untuk melindungi platform.

Apa artinya

Skenario “penyerang agen” yang telah diprediksi oleh industri keamanan selama bertahun-tahun tidak lagi teoretis. Alat ofensif otonom menurunkan biaya menjalankan kampanye multitahap dan beroperasi dengan kecepatan mesin. Platform tidak bisa lagi mengandalkan pertahanan manusia — angka-angka tidak masuk akal ketika penyerang mengeksekusi 17.000 aksi dalam satu akhir pekan.

Hugging Face telah menutup jalur eksekusi kode yang dieksploitasi, membangun ulang node yang terkena dampak, merotasi kredensial, dan menerapkan kontrol penerimaan yang lebih ketat. Insiden telah dilaporkan ke penegak hukum dan mereka bekerja dengan spesialis forensik eksternal.

Tapi pelajarannya lebih luas. Jika Hugging Face — perusahaan yang bisnisnya adalah infrastruktur AI — tidak siap menghadapi serangan agen, maka sebagian besar organisasi juga tidak siap.

Referensi

Share this page