Pesquisadores da ByteDance Seed e instituições parceiras propõem novo benchmark para avaliar se modelos de linguagem podem construir e melhorar seus próprios "harness" de execução
Uma equipe de pesquisadores da ByteDance Seed, da Singapore University of Technology and Design, do Georgia Institute of Technology, da M-A-P e da TokenWave.AI apresentou o HarnessDev, um benchmark que muda o foco da avaliação tradicional de modelos de linguagem grandes. Em vez de medir apenas a resposta final de um agente de inteligência artificial, a proposta avalia o próprio "harness" (a infraestrutura de código ao redor do modelo), incluindo o loop de execução, ferramentas, contexto, estado, recuperação e verificação. A motivação veio de uma evidência prática: de acordo com o ranking do Terminal-Bench 2.1, o GPT-5 resolve 35,2% das tarefas dentro do Terminus 2, mas alcança 49,6% dentro do Codex CLI, usando os mesmos pesos do modelo. A diferença está inteiramente na camada de código que envolve o sistema.
O HarnessDev inverte a lógica tradicional ao tratar o harness como o artefato principal de avaliação, e não a resposta produzida. A metodologia acontece em duas etapas chamadas Criação e Evolução. Na fase de Criação, cada modelo criador recebe uma semente mínima, um código inicial bem limitado, contendo apenas primitivas passivas de arquivo, busca e processo, além de gravadores de resultado e trajetória. Não há loop, planejador, verificador, lógica de repetição ou regra de parada. Sem modificações, essa semente obtém nota zero em todos os benchmarks. O criador recebe uma especificação da família de tarefas, um pequeno tutorial de design e entre um e três casos de desenvolvimento para construir um harness completo, que é congelado antes da aplicação das tarefas ocultas.
Na fase de Evolução, o criador parte do próprio harness gerado na Criação e o revisa com base no feedback de execução de um conjunto fixo de 100 tarefas do SWE-bench Pro e das 89 tarefas do Terminal-Bench 2.1. Cada candidato oficial precisa completar ambas as avaliações em par, dentro de um orçamento de dez pares e no máximo duas sondagens de cinco tarefas entre os pares. Cada versão oficial é depois pontuada em 630 instâncias do SWE-Pro que o criador nunca viu. Os harnesses são avaliados em dois eixos: capacidade, medida pelo sucesso nas tarefas, e eficiência, calculada pelos tokens do executor, excluindo os tokens consumidos pelo criador.
Foram testados seis modelos criadores operando dentro do ambiente Claude Code 2.1.177, com exceção do GPT-5.5, que utilizou o Codex 0.144.3. Os modelos avaliados foram Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max e Seed 2.0 Pro. A Criação cobriu quatro domínios e cinco benchmarks, totalizando 2.207 instâncias: SWE-bench Pro (731), Terminal-Bench 2.1 (89), MLE-bench (75), EQ-Bench3 (46) e BrowseComp (1.266). Cada criador produziu três harnesses por benchmark, com resultados reportados como média de três execuções. O protocolo incluiu ainda duas formas de avaliação: a Autoavaliação, em que cada harness roda com seu próprio criador, e a Avaliação Unificada, em que todos rodam com o Gemini 3.1 Pro.
Os resultados da Criação revelam um padrão claro. Na Autoavaliação, o Opus 4.8 obteve a maior média geral, 67,8, contra uma referência projetada por humanos de 86,2. A distância entre os modelos e a referência varia conforme o domínio. Em código, o Opus 4.8 chegou a 69,3 no SWE-Pro, frente a 80,0 da referência, enquanto o Gemini 3.1 Pro liderou no Terminal-Bench com 68,8, contra 88,8. O maior fosso apareceu em busca, onde o melhor resultado no BrowseComp foi 52,6 (GPT-5.5), bem distante dos 92,2 da referência. Por outro lado, em escrita o Opus 4.8 superou a referência ao marcar 84,6 no EQ-Bench3, contra 83,7. Em experimentação de aprendizado de máquina, o Opus 4.8 (32,9) e o Gemini 3.1 Pro (32,4) também ficaram acima dos 24,0 da referência do MLE-bench. Os pesquisadores destacam que o volume de código não foi um bom preditor de qualidade: os 18 harnesses de código somaram 17.111 linhas líquidas, mas o Gemini adicionou a menor quantidade (1.006 linhas) e ainda assim liderou no Terminal-Bench. Além disso, boa parte do código gerado se mostrou inerte, com 18 dos 108 componentes nunca sendo acionados em execuções reais.
A eficiência variou bastante. O uso de tokens no MLE-bench chegou a variar cerca de 19 vezes entre os modelos, com o GPT-5.5 alcançando 19,1% de taxa de medalha com 29,3 milhões de tokens, enquanto o DeepSeek V4 atingiu 19,6% com 208,4 milhões. Quando o executor foi trocado para o Gemini, os rankings se reorganizaram: o Qwen ganhou 17,6 pontos no BrowseComp e 12,9 no MLE-bench, mas o Opus 4.8 caiu de 69,3 para 33,0 no SWE-Pro, em parte porque um dos harnesses tinha um limite rígido de 120 passos codificado para o executor original. A taxa de consultas duplicadas no harness de busca do Opus saltou de 10,1% para 88,2% após a troca.
Na fase de Evolução, nove linhagens, sendo cinco em autoexecução e quatro com runtime fixo no Gemini, produziram 73 versões oficiais e 64 mudanças adjacentes. Todos os cinco criadores em autoexecução melhoraram em tarefas não vistas, com ganhos entre 1,43 e 4,44 pontos e média de 3,11. Sob execução fixa no Gemini, apenas o Opus melhorou, enquanto o GPT-5.5 regrediu 10,32 pontos. O progresso não foi monotônico: das 64 mudanças, oito regrediram nos dois benchmarks, 16 regrediram em um, 27 só ganharam dentro da margem de ruído e apenas duas apresentaram evidência positiva clara. Uma única alteração pode variar cerca de 4,75 pontos. As direções do feedback e do resultado em tarefas ocultas coincidiram em apenas 34 dos 64 casos (53,1%), e somente 2 das 9 versões finais declaradas foram ótimas nas tarefas ocultas. Dos 169 novas funções ou classes criadas, 25 não têm nenhum chamador. O caso mais emblemático veio do Opus 4.8, que identificou que 99 de 100 execuções reportavam sucesso enquanto apenas 48 realmente passavam, rastreou o problema até uma conclusão prematura e adicionou um mecanismo de verificação de completude.
O HarnessDev mostra que os modelos de linguagem já conseguem construir e evoluir seus próprios harnesses com resultados promissores em escrita e experimentação de aprendizado de máquina, mas ainda ficam distantes das referências humanas em código e busca. Os ganhos da evolução são pequenos, instáveis e fortemente dependentes do modelo executor, enquanto boa parte do código de estado e memória gerado pelos próprios agentes permanece inutilizada.
