Todos os principais modelos de IA pontuam zero no benchmark de programação infernal da Meta

Em 7 de maio de 2026, a Meta AI Research lançou uma bomba na comunidade de aprendizado de máquina. Seu recém-lançado benchmark ProgramBench — um conjunto de dados projetado para testar a capacidade genuína de engenharia de software em vez de quebra-cabeças de programação de brinquedo — produziu um resultado tão nítido que já está remodelando a conversa sobre IA e o futuro da codificação: todos os principais modelos de IA pontuaram zero.

Não é uma pontuação baixa. Não é uma pontuação decepcionante. Zero absoluto na categoria mais significativa do benchmark: reconstrução de módulo em nível de arquitetura.

O que é o ProgramBench?

ProgramBench não é outro clone do LeetCode. Os pesquisadores do Meta o projetaram deliberadamente para medir o que chamam de “Inteligência de Engenharia” – a capacidade de compreender, refatorar e reconstruir software no nível de módulos inteiros, não de funções individuais. O benchmark consiste em três níveis:

• Nível 1 — Conclusão da função (FC): Dada uma assinatura de função e documentação, complete o corpo. Isso reflete o tipo de tarefas de preenchimento automático que o Copilot e o ChatGPT realizam diariamente.
• Nível 2 — Reconstrução de Módulo (MR): Dada uma base de código de vários arquivos parcialmente editada (com estrutura de módulo, importações e interfaces intactas), reconstrua as implementações ausentes. Isso requer a compreensão de padrões arquitetônicos, gráficos de dependência e preocupações transversais.
• Nível 3 — Planejamento de Design de Sistema (SDP): Dada uma especificação de alto nível, produza uma decomposição de módulo coerente, definição de interface e plano de dependência. Este é um trabalho de arquitetura.

Os modelos tiveram um desempenho razoável no Nível 1. Claude Opus 4.7 alcançou 78% na conclusão da função. GPT-5.5 atingiu 74%. Mesmo modelos de código aberto como DeepSeek-V3 conseguiram pontuações respeitáveis ​​na faixa de 60–70%.

O nível 3 sofreu um declínio acentuado. GPT-5.5 obteve pontuação de 23% no planejamento de design de sistema. Claude Opus 4.7 conseguiu 31%. Mas estes números, embora fracos, não foram a manchete.

Nível 2 — Reconstrução de Módulo — é onde cada modelo obteve pontuação zero.

O Zero ouvido em todo o mundo

Aqui está a verdade crua: quando apresentado a uma base de código de vários arquivos parcialmente editada e solicitado a preencher os componentes ausentes, nenhum modelo – de GPT-5.5 a Claude Opus 4.7 a Gemini 2.5 Pro a DeepSeek-V3 – poderia produzir uma única resposta correta em todo o conjunto de benchmarks.

Nível de referência	GPT-5.5	Cláudio Opus 4.7	Gêmeos 2.5 Pró	DeepSeek-V3	Lhama 4
Conclusão da função	74%	78%	71%	67%	62%
Reconstrução de Módulo	0%	0%	0%	0%	0%
Planejamento de projeto de sistema	23%	31%	19%	14%	9%

Fonte: Meta AI Research, Relatório Técnico do ProgramBench (maio de 2026)

As tarefas de reconstrução do módulo não eram obscuras. Eles envolviam padrões do mundo real: um cliente API de taxa limitada com lógica de repetição e interrupção de circuito, uma camada de cache com invalidação de vários níveis e um modelo de domínio de origem de eventos com transações compensatórias. Esses são exatamente os tipos de componentes que os engenheiros de software de nível médio projetam e implementam todos os dias.

Por que os modelos falham tão completamente?

O modo de falha é instrutivo. Os modelos não produziram erros de sintaxe ou código obviamente quebrado. Eles produziram código de aparência plausível que era arquitetonicamente errado — código que compilava, executava e parecia correto à primeira vista, mas violava invariantes fundamentais de design, introduzia acoplamento oculto entre componentes desacoplados e ignorava preocupações transversais como propagação de erros, limites de transação e garantias de consistência.

Isso revela uma verdade profunda sobre como funcionam os LLMs atuais. Eles são comparadores de padrões treinados em janelas de contexto local – brilhantes em completar as próximas linhas de uma função, mas fundamentalmente incapazes de raciocinar sobre como essas linhas se encaixam em um sistema de componentes interconectados. Uma base de código não é uma sequência de tokens. É um gráfico de dependências, restrições e invariantes. As arquiteturas atuais não modelam esse gráfico.

Os pesquisadores da Meta criaram uma distinção útil: os modelos têm inteligência sintática (a capacidade de produzir código bem formado), mas carecem de inteligência arquitetônica (a capacidade de produzir um sistema bem formado). A diferença entre os dois é enorme.

Inteligência de engenharia: a próxima fronteiraO termo “Inteligência de Engenharia” está ganhando força como sucessor de “AGI” no discurso prático. Não se trata de saber se um modelo pode escrever uma função recursiva de Fibonacci ou resolver um quebra-cabeça de programação dinâmica – todos os modelos principais superaram essa barreira anos atrás. Inteligência de Engenharia trata de saber se um modelo pode:

• Entenda por que existe uma abstração específica em uma base de código
• Reconhecer quando uma alteração em um módulo quebrará invariantes em outro
• Projetar sistemas que sejam sustentáveis, testáveis e resilientes sob restrições do mundo real
• Tomar decisões de compromisso entre desempenho, clareza e correção

O ProgramBench sugere que nenhum dos modelos atuais possui uma forma rudimentar de Inteligência de Engenharia. Eles são ferramentas de aceleração – escrever clichês, gerar casos de teste, explicar código – mas não conseguem raciocinar sobre o software como um sistema.

O que isso significa para engenheiros de software

Para os milhões de desenvolvedores que assistem à revolução da IA com uma mistura de entusiasmo e ansiedade, o ProgramBench oferece um ponto de dados esclarecedor. A IA não vem para o seu trabalho – não para a parte que envolve pensar sobre arquitetura, fazer concessões de design e garantir que os sistemas estejam corretos em todas as condições. O que a IA está fazendo é comprimir a extremidade inferior da distribuição de habilidades: as tarefas que antes exigiam que os desenvolvedores juniores digitassem centenas de linhas padronizadas agora são realizadas em segundos.

O trabalho de um engenheiro de software está evoluindo em direção ao que sempre foi: projetar sistemas, não digitar código. A digitação nunca foi a parte difícil. O ProgramBench provou isso da maneira mais rigorosa possível.

A corrida agora começou para construir o primeiro modelo que possa pontuar acima de zero na Reconstrução do Módulo. Quem resolver esse problema não apenas terá construído um mecanismo de preenchimento automático melhor – mas também terá construído uma máquina que pode realmente projetar software.