AI Models ชั้นนำทั้งหมดได้ศูนย์คะแนนบน Programming Benchmark สุดโหดของ Meta

เมื่อวันที่ 7 พฤษภาคม 2026 Meta AI Research ปล่อยระเบิดใส่ชุมชน machine learning ProgramBench benchmark ที่เพิ่งออก — ชุดข้อมูลที่ออกแบบมาเพื่อวัดความสามารถทางวิศวกรรมซอฟต์แวร์จริง ไม่ใช่ puzzle เขียนโปรแกรมเด็กเล่น — ให้ผลลัพธ์ที่ชัดเจนจนกำลังเปลี่ยนบทสนทนาเกี่ยวกับ AI และอนาคตของการเขียนโค้ด: AI models ชั้นนำทุกตัวได้ศูนย์คะแนน

ไม่ใช่คะแนนต่ำ ไม่ใช่คะแนนน่าผิดหวัง ศูนย์สัมบูรณ์ ในหมวดที่มีความหมายที่สุด: การ reconstruct โค้ดระดับสถาปัตยกรรม

ProgramBench คืออะไร?

ProgramBench ไม่ใช่ LeetCode โคลนอีกตัว นักวิจัย Meta ออกแบบมันโดยตั้งใจเพื่อวัดสิ่งที่พวกเขาเรียกว่า “Engineering Intelligence” — ความสามารถในการเข้าใจ, refactor, และ reconstruct ซอฟต์แวร์ในระดับโมดูลทั้งหมด ไม่ใช่แค่ function เดี่ยวๆ Benchmark ประกอบด้วยสามระดับ:

• Tier 1 — Function Completion (FC): ให้ function signature และ docstring, ทำให้ body สมบูรณ์ สะท้อนงาน autocomplete ที่ Copilot และ ChatGPT ทำทุกวัน
• Tier 2 — Module Reconstruction (MR): ให้ codebase หลายไฟล์ที่ถูก redact บางส่วน (มี module structure, imports, interfaces intact), reconstruct implementations ที่หายไป ต้องการความเข้าใจ architectural patterns, dependency graphs, และ cross-cutting concerns
• Tier 3 — System Design Planning (SDP): ให้ specification ระดับสูง, ผลิต module decomposition ที่ coherent, interface definition, และ dependency plan นี่คืองานสถาปัตยกรรม

Models ทำได้พอใช้ใน Tier 1 Claude Opus 4.7 ได้ 78% GPT-5.5 ได้ 74% แม้แต่ open-source models อย่าง DeepSeek-V3 ก็ได้คะแนนน่านับถือในช่วง 60–70%

Tier 3 เห็นการลดลงอย่างรุนแรง GPT-5.5 ได้ 23% Claude Opus 4.7 ได้ 31% แต่ตัวเลขเหล่านี้แม้จะแย่ ก็ไม่ใช่พาดหัว

Tier 2 — Module Reconstruction — คือจุดที่ทุกรุ่นได้ศูนย์คะแนน

ศูนย์ที่คนทั้งโลกได้ยิน

นี่คือความจริงเปลือย: เมื่อได้รับ codebase หลายไฟล์ที่ถูก redact บางส่วนและถูกขอให้เติม components ที่หายไป ไม่มีโมเดลใด — จาก GPT-5.5 ถึง Claude Opus 4.7 ถึง Gemini 2.5 Pro ถึง DeepSeek-V3 — สามารถผลิตคำตอบที่ถูกต้องแม้แต่ข้อเดียวทั่วทั้ง benchmark suite

Benchmark Tier	GPT-5.5	Claude Opus 4.7	Gemini 2.5 Pro	DeepSeek-V3	Llama 4
Function Completion	74%	78%	71%	67%	62%
Module Reconstruction	0%	0%	0%	0%	0%
System Design Planning	23%	31%	19%	14%	9%

งาน module reconstruction ไม่ใช่เรื่องคลุมเครือ พวกมันเกี่ยวข้องกับ patterns ในโลกจริง: API client แบบ rate-limited พร้อม retry logic และ circuit breaking, caching layer พร้อม multi-level invalidation, และ event-sourced domain model พร้อม compensating transactions เหล่านี้คือ components ที่วิศวกรซอฟต์แวร์ระดับกลางออกแบบและ implement ทุกวัน

ทำไม Models ถึงล้มเหลวโดยสิ้นเชิง?

รูปแบบความล้มเหลวนั้น instructive Models ไม่ได้ผลิต syntax errors หรือโค้ดที่พังชัดเจน พวกมันผลิต โค้ดที่ดูเป็นไปได้แต่ผิดทางสถาปัตยกรรม — โค้ดที่ compile ได้, รันได้, และดูถูกต้องเมื่อมองผ่านๆ แต่ละเมิด design invariants พื้นฐาน, แนะนำ coupling ที่ซ่อนอยู่ระหว่าง components ที่ควรแยกจากกัน, และไม่สนใจ cross-cutting concerns อย่าง error propagation, transaction boundaries, และ consistency guarantees

นี่เผยให้เห็นความจริงลึกเกี่ยวกับวิธีที่ LLMs ปัจจุบันทำงาน พวกมันคือ pattern matchers ที่เทรนบน local context windows — เยี่ยมในการเติมสองสามบรรทัดถัดไปของ function แต่ไม่สามารถ reasoning ว่าบรรทัดเหล่านั้นเข้ากับระบบของ components ที่เชื่อมโยงกันได้อย่างไร codebase ไม่ใช่ลำดับของ tokens มันคือ graph ของ dependencies, constraints, และ invariants สถาปัตยกรรมปัจจุบันไม่ได้จำลอง graph นั้น

นักวิจัย Meta บัญญัติความแตกต่างที่มีประโยชน์: models มี syntactic intelligence (ความสามารถในการสร้างโค้ดที่ถูกต้องตามรูปแบบ) แต่ขาด architectural intelligence (ความสามารถในการสร้างระบบที่ถูกต้อง) ช่องว่างระหว่างทั้งสองนั้นมหาศาล

Engineering Intelligence: เขตแดนถัดไป

คำว่า “Engineering Intelligence” กำลังได้รับความนิยมในฐานะผู้สืบทอดของ “AGI” ในวาทกรรมเชิงปฏิบัติ มันไม่เกี่ยวกับว่า model สามารถเขียน recursive Fibonacci function หรือแก้ dynamic programming puzzle ได้หรือไม่ — ทุก model ชั้นนำผ่านเกณฑ์นั้นเมื่อปีก่อน Engineering Intelligence เกี่ยวกับว่า model สามารถ:

• เข้าใจ ทำไม abstraction หนึ่งถึงมีอยู่ใน codebase
• รู้ว่าเมื่อการเปลี่ยนแปลงในโมดูลหนึ่งจะทำลาย invariants ในอีกโมดูลหนึ่ง
• ออกแบบระบบที่ maintainable, testable, และ resilient ภายใต้ข้อจำกัดในโลกจริง
• ตัดสินใจ trade-off ระหว่าง performance, clarity, และ correctness

ProgramBench ชี้ให้เห็นว่าไม่มี model ในปัจจุบันที่มี Engineering Intelligence แม้แต่ขั้นพื้นฐาน พวกมันคือเครื่องมือสำหรับการเร่งความเร็ว — เขียน boilerplate, สร้าง test cases, อธิบายโค้ด — แต่พวกมันไม่สามารถ reasoning เกี่ยวกับซอฟต์แวร์ในฐานะระบบ

สิ่งนี้หมายถึงอะไรสำหรับวิศวกรซอฟต์แวร์

สำหรับนักพัฒนาหลายล้านคนที่มองการปฏิวัติ AI ด้วยทั้งความตื่นเต้นและความกังวล ProgramBench ให้ข้อมูลที่ชัดเจน AI ไม่ได้มาถึงตำแหน่งงานของคุณ — ไม่ใช่ส่วนที่เกี่ยวข้องกับการคิดเกี่ยวกับสถาปัตยกรรม, การตัดสินใจ trade-off ในการออกแบบ, และการรับประกันว่าระบบถูกต้องภายใต้ทุกเงื่อนไข สิ่งที่ AI กำลัง ทำคือการบีบอัดส่วนล่างของการกระจายทักษะ: งานที่ครั้งหนึ่งต้องให้ junior developer พิมพ์ boilerplate หลายร้อยบรรทัด ตอนนี้จัดการได้ในวินาที

งานของวิศวกรซอฟต์แวร์กำลังพัฒนาไปสู่สิ่งที่มันเป็นมาโดยตลอด: การออกแบบระบบ ไม่ใช่การพิมพ์โค้ด การพิมพ์ไม่เคยเป็นส่วนที่ยาก ProgramBench แค่พิสูจน์มันด้วยวิธีที่ rigorous ที่สุด

การแข่งขันตอนนี้คือการสร้าง model แรกที่สามารถได้คะแนนมากกว่าศูนย์บน Module Reconstruction ใครก็ตามที่แก้ปัญหานั้นได้ จะไม่ใช่แค่สร้าง autocomplete engine ที่ดีขึ้น — พวกเขาจะสร้างเครื่องจักรที่สามารถ วิศวกรรมซอฟต์แวร์ ได้จริงๆ