Benchmark oficial não te diz nada. Bench maxing sim.
Todo lançamento de modelo vem com um gráfico de barras dizendo que agora mudou tudo. A tese — validada ao vivo, testando cada modelo novo no dia do lançamento — é outra: o número que importa é o que sai da TUA operação, medido em entrega e custo, não o do slide do lab.
Quatro constatações de quem testa todo lançamento ao vivo
01 · Benchmark oficial é marketing com número
Os labs treinam as LLMs pra tirar nota alta nos benchmarks — e o número não diz como o modelo se comporta no SEU negócio. O caso que provou: um modelo assumiu a 1ª posição em 7 de 8 benchmarks enquanto o próprio anúncio oficial admitia "uma modesta, mas tangível melhora".
02 · O que vale é o bench maxing
Testar na tua própria operação, com os teus próprios números. Todo benchmark só é relevante depois que você roda o teste dentro da tua aplicação — one-shot, lado a lado, medindo o que saiu e o que custou.
03 · O modelo mais forte não opera tudo
Bench maxing é mixar: agente certo + modelo certo + CLI certo por tarefa. Scout num modelo rápido e barato, builder num modelo com limite separado, orquestrador no modelo forte — cada CLI tem limites próprios por modelo, e quem ignora isso queima o limite do modelo caro em task mecânica.
04 · O mercado validou a tese
Quando o maior lab do mundo lançou orquestração de agentes em paralelo — orquestrador dividindo atividades e delegando pra builders com revisão — estava lançando o que o Overclock já fazia havia meses. A doutrina do harness deixou de ser aposta.
“Benchmarks não servem para quase nada — é apenas um número para te convencer. Você tem que estar utilizando na sua própria operação e fazendo o seu próprio benchmark, através dos seus próprios números.” — dito no vídeo da tese
Como a gente mede: 17 modelos, 6 vendors, 9 testes reais
Não é opinião nem vibe: é uma bateria de 153 runs — cada modelo no seu teto máximo de esforço, julgada por máquina. A bateria fechou e o placar está logo abaixo — nenhum número apareceu aqui antes da medição fechar.
01 · As tarefas vêm de dados, não de chute
Classificamos 7.426 prompts reais de vibe coder pra extrair o que se faz de verdade: corrigir bug (8,8%), analisar dados (3,8%), criar feature (3,1%), revisar código (2,9%), ajustar CSS (2,9%). Duas trilhas: criar do zero (solar 3D, clone de site, física, FPS) e operar em código existente — cada teste com um mini-repo de fixture e o problema plantado.
02 · O rig puro: modelo isolado no CLI oficial
Cada modelo roda no CLI oficial do próprio vendor — a stack que o vibe coder usa — mas em modo base, num ambiente virgem: sem skills, sem MCP, sem subagentes (com bloqueio explícito). Numa rodada, um modelo spawnou um subagente pra revisar o próprio trabalho — foi desqualificado. O rig mede o modelo, não a orquestração em volta.
03 · Um chute, prompt verbatim
O prompt canônico vai byte a byte (com hash registrado), sem prefixo e sem ajuda. Uma tentativa por modelo. O usage e o custo saem da fonte primária de cada CLI e ficam gravados no run.
04 · Julgamento por máquina, contra gabarito
Sem juiz humano, sem juiz-modelo — os dois podem ser enganados. Os runs são anonimizados, o artefato é medido no browser contra um gabarito funcional, e o veredito sai do que o app FAZ: entregou, entregou com defeitos ou quebrou.
05 · O score que decide o harness
Nota consolidada: 0,5 qualidade + 0,25 preço + 0,25 velocidade — tudo derivado de medição. Regra de ouro: nenhum número inventado; na dúvida, é fail. O resultado alimenta direto o harness: qual modelo entra em qual posto.
O placar: quem entrega, com defeito ou quebra — e a que custo
Os vereditos saem do que o app FAZ no browser, contra gabarito — entregou, entregou com defeitos ou quebrou. Filtre pela atividade que É o teu dia a dia: o modelo certo muda conforme o pedido.
Score consolidado dos 9 testes: 0,5 qualidade + 0,25 preço + 0,25 velocidade — tudo derivado de medição.
| # | Modelo | Score | Entregou | Defeitos | Quebrou | Custo da bateria |
|---|---|---|---|---|---|---|
| 01 | Grok Composer 2.5 Fast | 0,936 | 7 | 2 | 0 | US$ 0,28 |
| 02 | Grok 4.5 | 0,927 | 8 | 1 | 0 | US$ 1,40 |
| 03 | GPT-5.3 Codex Spark* | 0,887 | 6 | 1 | 1 | US$ 0,95 |
| 04 | GLM 5 Turbo | 0,840 | 7 | 1 | 1 | US$ 0,56 |
| 05 | Sonnet 4.6 | 0,831 | 7 | 2 | 0 | US$ 3,49 |
| 06 | GPT-5.6 Luna | 0,831 | 6 | 3 | 0 | US$ 1,20 |
| 07 | Haiku 4.5 | 0,826 | 6 | 1 | 2 | US$ 0,53 |
| 08 | Opus 4.8 | 0,792 | 7 | 2 | 0 | US$ 3,86 |
| 09 | GLM 5.2 | 0,785 | 6 | 3 | 0 | US$ 1,21 |
| 10 | GPT-5.6 Terra | 0,776 | 7 | 2 | 0 | US$ 6,22 |
| 11 | Sonnet 5 | 0,765 | 6 | 3 | 0 | US$ 3,22 |
| 12 | Fable 5 | 0,754 | 8 | 1 | 0 | US$ 7,43 |
| 13 | GPT-5.4 | 0,751 | 6 | 3 | 0 | US$ 3,64 |
| 14 | GPT-5.4 Mini | 0,700 | 7 | 1 | 1 | US$ 1,23 |
| 15 | GPT-5.6 Sol | 0,640 | 6 | 3 | 0 | US$ 14,50 |
| 16 | GPT-5.5 | 0,635 | 5 | 4 | 0 | US$ 13,40 |
* julgado em 8 dos 9 testes até aqui — o run que falta entra na próxima atualização do estudo. Placar com recorte editorial: o estudo completo, teste a teste, com transcript, custo e evidência de cada run, está em bench.overclock.sh.
Assista a análise completa
O caso do lançamento “que mudava tudo” dissecado: benchmarks vs anúncio oficial, o timing do lançamento e o bench maxing na prática.
assistir no youtubeO cockpit é a bancada de bench maxing
Panes lado a lado, cada um com seu modelo e seu CLI, token e custo em tempo real — saiu modelo novo, você roda o teu teste em minutos e decide com os teus números. A comparação da categoria mostra: ninguém mais te dá essa bancada.