همه مدلهای بزرگ هوش مصنوعی در معیار برنامهنویسی جهنمی متا صفر زدند
در ۷ می ۲۰۲۶، تحقیقات هوش مصنوعی متا یک بمب در جامعه یادگیری ماشین منفجر کرد. معیار تازه منتشرشده ProgramBench—یک دیتاست طراحیشده برای سنجش توانایی واقعی مهندسی نرمافزار به جای پازلهای برنامهنویسی اسباببازی—نتیجهای به قدری تند تولید کرد که دارد گفتگو درباره هوش مصنوعی و آینده کدنویسی را از نو شکل میدهد: هر مدل بزرگ هوش مصنوعی صفر زد.
نه نمره پایین. نه نمره ناامیدکننده. صفر مطلق در معنادارترین دسته معیار: بازسازی معماری در سطح ماژول.
ProgramBench چیست؟
ProgramBench یک کلون LeetCode دیگر نیست. محققان متا عمداً آن را طراحی کردند تا چیزی را اندازه بگیرد که «هوش مهندسی» مینامند—توانایی درک، بازآرایی و بازسازی نرمافزار در سطح کل ماژولها، نه توابع تکی. این معیار از سه طبقه تشکیل شده:
- طبقه ۱ — تکمیل تابع (FC): با توجه به signature تابع و docstring، بدنه را کامل کنید. این شبیه وظایف autocomplete است که Copilot و ChatGPT روزانه انجام میدهند.
- طبقه ۲ — بازسازی ماژول (MR): با توجه به یک codebase چندفایلی تا حدی ویرایششده (با ساختار ماژول، importها و رابطهای دستنخورده)، پیادهسازیهای گمشده را بازسازی کنید. این نیاز به فهم الگوهای معماری، گراف وابستگی و دغدغههای بینبخشی دارد.
- طبقه ۳ — برنامهریزی طراحی سیستم (SDP): با توجه به یک مشخصات سطح بالا، یک تجزیه ماژول منسجم، تعریف رابط و طرح وابستگی تولید کنید. این کار معماری است.
مدلها در طبقه ۱ قابل قبول عمل کردند. Claude Opus 4.7 به ۷۸٪ در تکمیل تابع رسید. GPT-5.5 به ۷۴٪. حتی مدلهای متنباز مثل DeepSeek-V3 نمرات محترمی در محدوده ۶۰-۷۰٪ کسب کردند.
طبقه ۳ یک کاهش شدید دید. GPT-5.5 در برنامهریزی طراحی سیستم ۲۳٪ زد. Claude Opus 4.7 به ۳۱٪ رسید. اما این اعداد، هرچند ضعیف، تیتر نبودند.
طبقه ۲ — بازسازی ماژول — جایی است که هر مدل صفر زد.
صفری که در جهان پیچید
حقیقت خام این است: وقتی با یک codebase چندفایلی تا حدی ویرایششده مواجه شدند و خواسته شد مؤلفههای گمشده را پر کنند، هیچ مدلی—از GPT-5.5 تا Claude Opus 4.7 تا Gemini 2.5 Pro تا DeepSeek-V3—نتوانست یک پاسخ صحیح در کل مجموعه معیار تولید کند.
| طبقه معیار | GPT-5.5 | Claude Opus 4.7 | Gemini 2.5 Pro | DeepSeek-V3 | Llama 4 |
|---|---|---|---|---|---|
| تکمیل تابع | ۷۴٪ | ۷۸٪ | ۷۱٪ | ۶۷٪ | ۶۲٪ |
| بازسازی ماژول | ۰٪ | ۰٪ | ۰٪ | ۰٪ | ۰٪ |
| برنامهریزی طراحی سیستم | ۲۳٪ | ۳۱٪ | ۱۹٪ | ۱۴٪ | ۹٪ |
منبع: Meta AI Research, ProgramBench Technical Report (May 2026)
وظایف بازسازی ماژول مبهم نبودند. آنها شامل الگوهای واقعی بودند: یک کلاینت API با نرخ محدود با منطق retry و circuit breaking، یک لایه کش با ابطال چندسطحی، و یک مدل حوزه event-sourced با تراکنشهای جبرانی. اینها دقیقاً همان نوع مؤلفههایی هستند که مهندسان نرمافزار میانی هر روز طراحی و پیادهسازی میکنند.
چرا مدلها اینقدر کامل شکست میخورند؟
حالت شکست آموزشی است. مدلها خطاهای نحوی یا کد آشکاراً خراب تولید نکردند. آنها کد بهظاهر قابل قبولی تولید کردند که از نظر معماری اشتباه بود—کدی که کامپایل میشد، اجرا میشد و در نگاه اول درست به نظر میرسید، اما invariants طراحی بنیادین را نقض میکرد، کوپلینگ پنهان بین مؤلفههای جدا شده ایجاد میکرد و دغدغههای بینبخشی مثل انتشار خطا، مرزهای تراکنش و تضمینهای سازگاری را نادیده میگرفت.
این یک حقیقت عمیق درباره نحوه کار LLMهای فعلی را آشکار میکند. آنها تطبیقدهنده الگوهایی هستند که روی پنجرههای زمینه محلی آموزش دیدهاند—در تکمیل چند خط بعدی یک تابع درخشانند، اما اساساً ناتوان از استدلال درباره چگونگی تناسب آن خطوط در یک سیستم از مؤلفههای بههممتصل. یک codebase یک دنباله از tokenها نیست. یک گراف از وابستگیها، محدودیتها و invariantهاست. معماریهای فعلی آن گراف را مدل نمیکنند.
محققان متا یک تمایز مفید وضع کردند: مدلها هوش نحوی (توانایی تولید کد خوشفرم) دارند اما فاقد هوش معماری (توانایی تولید یک سیستم خوشفرم) هستند. شکاف بین این دو عظیم است.
هوش مهندسی: مرز بعدی
اصطلاح «هوش مهندسی» در گفتمان عملی به عنوان جانشین «AGI» در حال محبوبیت است. این نیست که آیا یک مدل میتواند یک تابع بازگشتی فیبوناچی بنویسد یا یک پازل برنامهنویسی پویا را حل کند—هر مدل بزرگی این مانع را سالها پیش پشت سر گذاشت. هوش مهندسی درباره این است که آیا یک مدل میتواند:
- بفهمد چرا یک انتزاع خاص در یک codebase وجود دارد
- تشخیص دهد کی یک تغییر در یک ماژول invariantها را در ماژول دیگر میشکند
- سیستمهایی طراحی کند که تحت محدودیتهای واقعی maintainable، testable و resilient باشند
- تصمیمات trade-off بین عملکرد، وضوح و درستی بگیرد
ProgramBench نشان میدهد که هیچکدام از مدلهای امروزی حتی یک شکل ابتدایی از هوش مهندسی ندارند. آنها ابزارهایی برای شتاب هستند—نوشتن کدهای تکراری، تولید موارد تست، توضیح کد—اما نمیتوانند درباره نرمافزار به عنوان یک سیستم استدلال کنند.
این برای مهندسان نرمافزار چه معنایی دارد
برای میلیونها توسعهدهندهای که انقلاب هوش مصنوعی را با ترکیبی از هیجان و اضطراب تماشا میکنند، ProgramBench یک نقطه داده روشنگر ارائه میدهد. هوش مصنوعی به دنبال شغل شما نیست—نه آن بخشی که شامل فکر کردن درباره معماری، گرفتن تصمیمات طراحی و تضمین درستی سیستمها در همه شرایط است. کاری که هوش مصنوعی انجام میدهد فشردهسازی انتهای پایینی توزیع مهارت است: وظایفی که زمانی از توسعهدهندگان تازهکار میخواست صدها خط کد تکراری تایپ کنند حالا در ثانیهها انجام میشود.
شغل یک مهندس نرمافزار به سمتی در حال تکامل است که شاید همیشه در هسته بوده: طراحی سیستمها، نه تایپ کد. تایپ هرگز بخش سخت نبود. ProgramBench آن را به سختگیرانهترین شکل ممکن ثابت کرد.
مسابقه حالا برای ساخت اولین مدلی است که میتواند بالای صفر در بازسازی ماژول نمره بگیرد. هرکس آن مشکل را بشکند، نه تنها یک موتور autocomplete بهتر ساخته—بلکه ماشینی ساخته که واقعاً میتواند نرمافزار مهندسی کند.