needhelp
← Back to blog

یک عامل هوش مصنوعی در یک آخر هفته به Hugging Face نفوذ کرد—۱۷,۰۰۰ اقدام، صفر انسان

by needhelp
امنیت هوش مصنوعی
Hugging Face
حملات عامل‌محور
امنیت سایبری

نفوذ

در ۱۶ جولای، Hugging Face چیزی واقعاً جدید را فاش کرد: نفوذی به زیرساخت production که “از ابتدا تا انتها توسط یک سیستم عامل هوش مصنوعی خودمختار هدایت می‌شد.”

هیچ انسانی پشت کیبورد ننشسته بود. هیچ ایمیل فیشینگی فرستاده نشده بود. یک دیتاست مخرب که به pipeline خود Hugging Face آپلود شده بود کار را انجام داد، و یک عامل هوش مصنوعی از آنجا کار را گرفت.

در طول یک آخر هفته، بیش از ۱۷,۰۰۰ اقدام جداگانه ثبت کرد—بالا بردن دسترسی‌ها، جمع‌آوری credentials، و حرکت افقی در عرض کلاسترهای داخلی. مهاجم روی یک swarm از sandboxهای کوتاه‌عمر با command-and-control خودمهاجر روی سرویس‌های عمومی اجرا می‌شد.

چطور کار کرد

ورودی از طریق pipeline پردازش داده Hugging Face بود—نوار نقاله‌ای که دیتاست‌های آپلودی کاربران را مصرف می‌کند. یک دیتاست مخرب از دو مسیر اجرای کد بهره برداری کرد:

۱. یک remote-code dataset loader، قابلیتی که به دیتاست‌ها اجازه می‌دهد منطق بارگذاری سفارشی مشخص کنند. برای اجرای کد دلخواه weaponized شده بود. ۲. یک آسیب‌پذیری template-injection در handling پیکربندی دیتاست، که یک مسیر اضافه تکراری برای اجرای کد روی یک پردازشگر می‌داد.

وقتی عامل جای پایی پیدا کرد، به دسترسی سطح node بالا برد، credentials ابری و کلاستر را جمع‌آوری کرد و به چند کلاستر داخلی نفوذ افقی کرد. همه بدون یک اپراتور انسانی.

Hugging Face تأیید کرد هیچ مدل، دیتاست یا فضای عمومی دستکاری نشده. زنجیره تأمین نرم‌افزار (ایمیج‌های کانتینری و پکیج‌ها) تمیز تأیید شد. هنوز در حال ارزیابی تأثیر بالقوه روی داده‌های شرکا و مشتریان هستند.

تشخیص هم هوش مصنوعی بود

حمله ابتدا توسط pipeline تشخیص ناهنجاری مبتنی بر LLM خود Hugging Face کشف شد، که telemetry امنیتی را triage می‌کند و سیگنال‌های واقعی را از نویز جدا می‌کند.

برای بازسازی آنچه اتفاق افتاده بود، Hugging Face عامل‌های تحلیل مبتنی بر LLM را روی کل لاگ ۱۷,۰۰۰ رویدادی اقدامات مهاجم اجرا کرد. چیزی که معمولاً روزها طول می‌کشید در ساعت‌ها انجام شد. برای اولین بار، هم حمله و هم دفاع کاملاً خودکار بودند.

مشکل عدم تقارن

این بخشی است که مرا تا دیروقت بیدار نگه داشت.

تیم امنیتی Hugging Face سعی کرد از مدل‌های frontier پشت APIهای تجاری برای تحلیل forensic استفاده کند. جواب نداد. محدودیت‌های ایمنی آن مدل‌ها payloadهای حمله، کد بهره‌برداری و مصنوعات C2 را بلاک کردند—دقیقاً همان داده‌هایی که یک پاسخ‌دهنده حادثه برای تحلیل نیاز دارد.

آنها در نهایت forensics را روی GLM 5.2، یک مدل open-weight چینی، روی زیرساخت خودشان اجرا کردند. این یک مزیت ناخواسته داشت: هیچ داده یا credential مهاجم از محیطشان خارج نشد.

مدل مهاجم ناشناخته است—می‌تواند یک مدل jailbroken میزبانی‌شده یا یک مدل open-weight بدون محدودیت باشد. در هر صورت، مهاجم مقید به هیچ policy استفاده‌ای نبود، در حالی که تیم forensic Hugging Face توسط همان سیستم‌های ایمنی که قرار بود از پلتفرم‌ها محافظت کنند بلاک شده بود. همانطور که پستشان می‌گوید: “درس عملی برای مدافعان: قبل از یک حادثه، یک مدل توانمند که می‌توانید روی زیرساخت خودتان اجرا کنید آماده و تأیید شده داشته باشید.”

معنی این چیست

سناریوی “مهاجم agentic” که صنعت امنیت پیش‌بینی می‌کرد دیگر نظری نیست. ابزارهای تهاجمی خودمختار هزینه اجرای کمپین‌های چندمرحله‌ای را پایین می‌آورند و با سرعت ماشین کار می‌کنند. پلتفرم‌ها دیگر نمی‌توانند به دفاع human-in-the-loop تکیه کنند—اعداد جور در نمی‌آید وقتی یک مهاجم ۱۷,۰۰۰ اقدام را در یک آخر هفته اجرا می‌کند.

Hugging Face مسیرهای اجرای کد بهره‌برداری‌شده را بسته، نودهای آسیب‌دیده را بازسازی کرده، credentials را چرخانده و کنترل‌های پذیرش سخت‌گیرانه‌تری مستقر کرده. این حادثه را به مجریان قانون گزارش داده و با متخصصان forensic خارجی کار می‌کند.

اما نکته اصلی گسترده‌تر است. اگر Hugging Face—شرکتی که کل کسب‌وکارش زیرساخت هوش مصنوعی است—در برابر حملات agentic مقاوم نبود، بیشتر سازمان‌ها هم نیستند.

References

Share this page