Semua Model AI Besar Skor Nol di Benchmark Pemrograman Neraka Milik Meta

Pada 7 Mei 2026, Meta AI Research menjatuhkan bom di komunitas machine learning. Benchmark ProgramBench yang baru dirilis — dataset yang dirancang untuk menguji kemampuan rekayasa perangkat lunak yang sesungguhnya — menghasilkan hasil yang begitu gamblang sehingga telah membentuk ulang percakapan tentang AI dan masa depan coding: setiap model AI besar mencetak nol.

Bukan skor rendah. Bukan skor mengecewakan. Nol mutlak pada kategori paling bermakna dari benchmark: rekonstruksi modul tingkat arsitektur.

Apa Itu ProgramBench?

ProgramBench bukan klon LeetCode lain. Peneliti Meta sengaja merancangnya untuk mengukur apa yang mereka sebut “Engineering Intelligence” — kemampuan untuk memahami, merefaktor, dan merekonstruksi perangkat lunak di tingkat seluruh modul, bukan fungsi individu. Benchmark terdiri dari tiga tingkat:

• Tier 1 — Function Completion (FC): Diberikan signature fungsi dan docstring, lengkapi bodinya.
• Tier 2 — Module Reconstruction (MR): Diberikan codebase multi-file yang sebagian disunting, rekonstruksi implementasi yang hilang.
• Tier 3 — System Design Planning (SDP): Diberikan spesifikasi tingkat tinggi, hasilkan dekomposisi modul yang koheren.

Model berkinerja cukup di Tier 1. Claude Opus 4.7 mencapai 78% pada function completion. Tapi Tier 2 — Module Reconstruction — adalah di mana setiap model mencetak nol.

Nol yang Didengar Seluruh Dunia

Ini kebenaran mentahnya: ketika dihadapkan pada codebase multi-file yang sebagian disunting dan diminta mengisi komponen yang hilang, tidak ada model — dari GPT-5.5 hingga Claude Opus 4.7 hingga Gemini 2.5 Pro hingga DeepSeek-V3 — yang bisa menghasilkan satu jawaban benar di seluruh suite benchmark.

Tugas rekonstruksi modul tidaklah tidak jelas. Mereka melibatkan pola dunia nyata: klien API rate-limited dengan retry logic dan circuit breaking, caching layer dengan invalidasi multi-level.

Kenapa Model Gagal Total?

Mode kegagalannya instruktif. Model tidak menghasilkan syntax error atau kode yang jelas rusak. Mereka menghasilkan kode yang terlihat masuk akal tapi salah secara arsitektural — kode yang dikompilasi, berjalan, dan tampak benar pada pandangan pertama, tapi melanggar invariant desain fundamental, memperkenalkan coupling tersembunyi antara komponen yang dipisahkan.

Ini mengungkap kebenaran mendalam tentang cara LLM saat ini bekerja. Mereka adalah pattern matcher yang dilatih pada jendela konteks lokal — brilian dalam menyelesaikan beberapa baris berikutnya dari suatu fungsi, tapi secara fundamental tidak mampu bernalar tentang bagaimana baris-baris itu cocok ke dalam sistem komponen yang saling terhubung.

Engineering Intelligence: Frontier Berikutnya

ProgramBench menunjukkan bahwa tidak ada model hari ini yang memiliki bentuk rudimenter dari Engineering Intelligence. Mereka adalah alat untuk akselerasi — menulis boilerplate, menghasilkan test case, menjelaskan kode — tapi mereka tidak bisa bernalar tentang perangkat lunak sebagai suatu sistem.

Arti Ini bagi Software Engineer

AI tidak akan mengambil pekerjaan Anda — bukan bagian yang melibatkan pemikiran tentang arsitektur, membuat trade-off desain, dan memastikan sistem benar dalam semua kondisi. Yang dilakukan AI adalah mengompres ujung bawah distribusi keterampilan: tugas yang dulu membutuhkan developer junior mengetik ratusan baris boilerplate kini ditangani dalam hitungan detik.

Pekerjaan software engineer berevolusi ke arah apa yang sebenarnya selalu menjadi intinya: merancang sistem, bukan mengetik kode. Mengetik tidak pernah menjadi bagian sulit. ProgramBench baru saja membuktikannya dengan cara paling ketat yang mungkin.