Por que 20% dos dados de treinamento podem superar 100% — explica a estrutura OST

Treinar grandes modelos multimodais é caro. Tão cara, na verdade, que a estratégia padrão — usar todos os dados disponíveis — é cada vez mais questionada não por razões de custo, mas por razões de eficácia.

Um novo artigo de pesquisadores na China, Efficient Data Selection for Multimodal Models via Incremental Optimization Utility (arXiv:2605.07488), propõe uma estrutura chamada OST (One-Step-Train) que transforma essa questão em um problema formal de otimização. O resultado é surpreendente: o treinamento nos 20% melhores exemplos supera o treinamento em 100% em 8,8 pontos, ao mesmo tempo em que reduz os custos de computação em 43%.

Vamos detalhar como isso funciona, por que é importante e o que significa para quem faz o ajuste fino de modelos.

O problema: nem todos os dados são criados iguais

A abordagem predominante para curadoria de dados para treinamento LLM é LLM-as-a-Judge — use um modelo maior (como GPT-5) para pontuar a qualidade de cada amostra de treinamento e, em seguida, filtrar por pontuação. Isso funciona, mas:

É proibitivamente caro — você está pagando custos de inferência em todo o seu conjunto de dados antes mesmo de começar o treinamento
É semanticamente heurístico - a “qualidade” avaliada por um LLM não se correlaciona necessariamente com a utilidade do treinamento
É ininterpretável — você não pode explicar por que uma amostra teve pontuação baixa

Pior ainda, algumas amostras de baixa qualidade são tóxicas — elas na verdade causam regressão de desempenho durante o treinamento de dados completos (SFT). Os autores observam isso diretamente em seus experimentos nos modelos multimodais Qwen.

A solução: utilidade marginal, não qualidade semântica

OST reformula a seleção de dados como um problema de utilidade de otimização incremental. O insight principal é radical: não pergunte se uma amostra é “boa” — pergunte o quanto ela melhora o modelo se adicionada ao conjunto de treinamento.

Aqui está o mecanismo:

Modelo proxy: treine um modelo pequeno e leve em um subconjunto de dados. Este é o “batedor” – rápido para treinar, barato para operar.
Simulação de etapa única: para cada amostra candidata, simule uma única etapa de atualização de gradiente no modelo proxy. Meça a mudança na perda em um conjunto de validação retido. Essa alteração é a utilidade marginal da amostra.
Classificação de utilidade: Classifique todas as amostras por utilidade marginal. As amostras com maior utilidade por unidade de computação são aquelas nas quais vale mais a pena treinar.
Detecção automática de toxicidade: Amostras que têm utilidade marginal negativa (aumentam a perda de validação) são identificadas como tóxicas. A estrutura os exclui automaticamente. Este é um recurso, não um bug – o OST pode informar quais dados estão prejudicando ativamente o seu modelo.

Isso é fundamentalmente diferente do LLM como juiz. OST não se preocupa com o conteúdo semântico de uma amostra — ele se preocupa com o efeito causal dessa amostra no desempenho downstream.

Os números: quanto melhor?

Na série Qwen de modelos multimodais, testados em benchmarks de raciocínio matemático:

Método	Dados usados	Δ vs Full-SFT	Redução de custos
Full-SFT (linha de base)	100%	0	0%
LLM como juiz	50%	+1,8 pontos	~50%
DEITA (heurística)	50%	—	~50%
OST (50 melhores)	50%	+1,8 pontos acima do LLM como Juiz	43%
OST (20 melhores)	20%	+8,8 pontos acima do Full-SFT	43%

O resultado dos 20 primeiros é o título: usando 80% menos dados, o OST alcança uma melhoria líquida de 8,8 pontos em relação ao treinamento em tudo. E faz isso evitando simultaneamente a degradação de desempenho que o Full-SFT sofre com amostras ruidosas.

Deixe isso acontecer: o modelo de linha de base treinado em 100% dos dados é pior do que o modelo treinado em 20% dos dados, selecionado pelo OST. Mais dados tornaram o modelo mais burro.

Por que isso funciona: o ângulo de otimização

A intuição por trás do OST vem de um fenômeno bem conhecido na otimização: nem todos os exemplos contribuem igualmente para a generalização. Alguns têm sinal alto – ensinam ao modelo algo que ele ainda não sabe. Outros têm sinal baixo – repetem o que o modelo já aprendeu. E alguns são de sinal negativo – confundem o modelo ou reforçam correlações espúrias.

A simulação baseada em proxy do OST aproxima a utilidade verdadeira de cada amostra sem a necessidade de treinar um modelo completo por amostra. O modelo proxy serve como um substituto barato para o modelo completo, e a atualização do gradiente em uma única etapa é uma aproximação de primeira ordem do impacto da amostra.Isso é eficiente porque:

O proxy é pequeno (barato para treinar)
A simulação é O(1) por amostra (barata de executar)
A classificação é O(n log n) (barato para classificar)

Implicações de engenharia

Para quem faz o ajuste fino de modelos em produção, o OST tem três implicações imediatas:

1. Pare de treinar em tudo

A suposição padrão – “mais dados = melhor modelo” – é empiricamente falsa para o treinamento multimodal. Se você estiver fazendo SFT em um conjunto de dados de qualquer tamanho, considere seriamente executar uma passagem de seleção de dados antes do treinamento. Mesmo um método de seleção ingênuo (LLM-as-a-Judge) supera o treinamento com dados completos.

2. A detecção de toxicidade é um efeito colateral

A capacidade do OST de identificar amostras com utilidade marginal negativa é talvez ainda mais valiosa do que a sua eficiência de treinamento. Saber quais dados prejudicam seu modelo é pelo menos tão importante quanto saber quais dados ajudam. Esta é uma auditoria de qualidade gratuita em cada treinamento.

3. A arquitetura do proxy é importante

O desempenho do OST depende do modelo proxy ser um substituto razoável para o modelo completo. Se o seu modelo completo for um LLM multimodal de parâmetros 70B, seu proxy deverá compartilhar no mínimo a mesma família de arquitetura. Você não pode usar um modelo minúsculo somente de texto como proxy para um modelo de linguagem de visão.

Limitações: o que o jornal não diz

Especificidade da arquitetura: Os experimentos são realizados apenas em modelos da série Qwen. Não há resultado no LLaMA, Gemini ou qualquer outra família de arquitetura. A capacidade do proxy de generalizar entre arquiteturas não foi comprovada.
Especificidade da tarefa: Os benchmarks são apenas raciocínio matemático. Não se sabe se a classificação de utilidade do OST é transferida para escrita criativa, geração de código ou controle de qualidade factual.
Custo do proxy: o documento não inclui o custo de treinamento do modelo proxy no orçamento total de computação. Para conjuntos de dados muito pequenos (< 1000 samples), the proxy training cost may exceed the savings.
Single-step approximation: A single gradient step is a first-order approximation of the sample’s utility. For large, heterogeneous datasets, the ranking from a single step may differ meaningfully from the ranking after full convergence.

The Bigger Picture

OST is part of a growing body of evidence that data quality > quantidade de dados na era pós-lei de escalonamento. À medida que esbarramos nos limites de quanta computação podemos lançar nos modelos, a alavancagem muda para a curadoria – saber quais dados usar e quais descartar.

O fato de o OST atingir +8,8 pontos com 20% dos dados não se trata apenas de economizar dinheiro. É uma prova de conceito que a seleção de dados é um problema de otimização que pode ser aprendido, não uma forma de arte heurística. As estruturas que vencerão a próxima fase de desenvolvimento de IA não serão aquelas com mais dados – serão aquelas com os melhores filtros de dados.