Benchmark de Orquestração de Agentes de Contexto Longo da Jenova.ai (Fevereiro de 2026)
2026-02-24
Visão Geral
Este benchmark mede quão bem os modelos de IA de fronteira tomam decisões corretas de orquestração do próximo passo em fluxos de trabalho realistas e sem codificação, sob extrema pressão de contexto longo (mais de 100k tokens). Cada modelo é avaliado em três dimensões: precisão (% de cenários corretos), latência média e custo médio de inferência (tokens de entrada + saída).
Resultados principais: Claude 4.5 Opus (76%) e Gemini 3.1 Pro Preview (74%) lideram o benchmark. De forma mais ampla, as famílias de modelos Claude e Gemini dominam o topo da tabela de classificação — consistente com a avaliação geral da comunidade de LLMs sobre suas fortes capacidades de seguir instruções e de agência. A diferença entre os melhores e os piores desempenhos é de quase 2x, revelando uma diferenciação que os benchmarks tradicionais não capturam.
Por Que Este Benchmark
A indústria de IA tem investido pesadamente em benchmarking. O SWE-bench Verified avalia a correção de bugs em repositórios reais do GitHub. O GAIA testa a resposta a perguntas com múltiplas ferramentas. O AgentBench testa agentes sob estresse em oito ambientes interativos. O WebArena mede a navegação na web. O τ-bench avalia a chamada de ferramentas em cenários de atendimento ao cliente. Esses benchmarks foram instrumentais para o avanço das capacidades dos agentes.
Mas há um padrão: a maioria dessas avaliações foca em tarefas centradas em codificação ou em interações de contexto curto a moderado. O SWE-bench mede o reparo de código em repositórios Python. O WebArena testa a navegação em sites simulados. O τ-bench avalia a chamada de ferramentas em diálogos de serviço restritos. Mesmo o GAIA, o mais amplo do grupo, testa principalmente se um agente consegue chegar a uma resposta final correta — não se ele consegue tomar a decisão de orquestração certa sob extrema pressão de contexto.
Em sistemas de agentes em produção, o problema mais difícil não é responder a uma pergunta ou corrigir um bug. É decidir o que fazer a seguir — no passo 7 de um fluxo de trabalho de 12 passos, com 150.000 tokens de estado acumulado, quando a ação correta requer a síntese de instruções do prompt do sistema, resultados de passos anteriores, a intenção original do usuário e o estado atual do progresso.
Os benchmarks existentes não isolam essa capacidade. O Benchmark de Orquestração de Agentes de Contexto Longo da Jenova.ai sim.
O Que Este Benchmark Mede
Cada cenário responde a uma única pergunta:
Quando colocado no papel de um orquestrador de fluxo de trabalho com mais de 100.000 tokens de contexto, um modelo consegue tomar consistentemente a decisão correta para o próximo passo?
Cada cenário apresenta a um modelo um instantâneo realista e congelado de um fluxo de trabalho em andamento. A entrada pode incluir histórico de conversas, resultados acumulados de passos anteriores do fluxo de trabalho, a solicitação atual do usuário e instruções específicas do domínio. O modelo deve analisar esse estado denso e determinar a única ação correta a seguir para progredir o fluxo de trabalho em direção à conclusão.
Estes não são quebra-cabeças de raciocínio sintéticos. Os cenários são extraídos de fluxos de trabalho do mundo real, sem codificação, abrangendo pesquisa, produtividade, comunicação, geração de documentos, agendamento, análise de dados e coordenação multiaplicativo — os tipos de tarefas que definem a utilidade diária dos agentes, mas que têm estado amplamente ausentes do cenário de benchmarking.
Design do Benchmark
Cenários
O benchmark consiste em 31 cenários (e crescendo), cada um representando um único ponto de decisão crítico dentro de um potencial fluxo de trabalho de um ou vários passos. Cada cenário exige que o modelo:
- Analise um estado de contexto longo — muitas vezes excedendo 100.000 tokens — que inclui histórico de conversas, resultados acumulados do fluxo de trabalho, arquivos enviados, preferências do usuário e instruções de nível de sistema.
- Entenda a intenção do usuário dentro do contexto completo da conversa e de quaisquer ações anteriores tomadas.
- Determine a próxima ação correta — a única decisão que progride corretamente o fluxo de trabalho geral de acordo com as instruções de orquestração fornecidas.
A diversidade de cenários é intencional. Eles abrangem uma ampla gama de domínios e níveis de complexidade para testar se um modelo pode generalizar suas capacidades de orquestração em vez de se ajustar excessivamente a um tipo de tarefa restrito.
Critérios de Avaliação
- Pontuação binária. Cada cenário é classificado como correto ou incorreto. Não há crédito parcial.
- Múltiplas ações válidas. Nos casos em que mais de uma ação poderia ser razoavelmente considerada correta, todas as opções válidas são pré-definidas e aceitas.
- Três dimensões. Cada modelo é avaliado em:
- Precisão — porcentagem de cenários em que o modelo selecionou a decisão correta para o próximo passo
- Velocidade — tempo médio de processamento em todos os cenários
- Custo — custo médio de inferência por cenário (tokens de entrada + saída), refletindo a realidade econômica de processar contextos de mais de 100k tokens para cada decisão
Configuração do Modelo
Todos os modelos são executados com temperatura 0 e com as configurações de raciocínio/pensamento mais baixas disponíveis para aquele modelo. Isso espelha ambientes de orquestração de agentes do mundo real, onde determinismo, velocidade e eficiência de custo importam mais do que a exploração criativa. O objetivo é avaliar a capacidade base do modelo de seguir instruções e tomar decisões, não sua habilidade de "pensar mais" quando recebe computação ilimitada.
O Que Torna Este Benchmark Diferente
1. Avaliação de Agentes Sem Codificação
Os benchmarks de agentes existentes tendem fortemente para a engenharia de software. O SWE-bench Verified avalia a correção de bugs em repositórios reais. O Terminal-Bench testa DevOps e administração de sistemas. Mesmo benchmarks mais amplos como o τ-bench focam em padrões restritos de chamada de ferramentas em cenários de atendimento ao cliente.
Este benchmark visa fluxos de trabalho de propósito geral e cotidianos — tarefas de múltiplos passos que profissionais, pesquisadores e consumidores realmente precisam que os agentes de IA realizem. Síntese de pesquisa, coordenação de e-mails, gerenciamento de calendário, criação de documentos, coleta de informações em múltiplas plataformas. Esses fluxos de trabalho definem a utilidade real dos agentes e têm sido sistematicamente sub-medidos.
2. Teste de Estresse de Contexto Longo
Este não é um benchmark que por acaso usa contextos longos. O contexto longo é o ponto principal. Cada cenário é projetado para exceder 100.000 tokens de entrada, forçando o modelo a manter a coerência, rastrear o estado e extrair sinais relevantes de um ambiente de informação denso.
Muitos modelos que performam bem em benchmarks de contexto curto degradam significativamente sob pressão de contexto longo. Como observado em pesquisas recentes sobre avaliação de agentes LLM, a lacuna entre o desempenho de contexto curto e longo permanece uma das dimensões menos medidas da capacidade do modelo. Este benchmark expõe diretamente essa lacuna.
3. Minimizando o Risco de Contaminação
A lógica de orquestração, a taxonomia de ações e a estrutura do fluxo de trabalho usadas neste benchmark são inteiramente proprietárias da Jenova.ai. Não há conjunto de dados público, framework de código aberto ou artigo publicado que descreva os padrões específicos de tomada de decisão que estão sendo testados.
A contaminação de dados é uma preocupação bem documentada em benchmarks populares — os modelos podem ter visto perguntas de teste ou variantes próximas durante o treinamento, inflando suas pontuações. O Relatório do Índice de IA de Stanford 2025 destaca especificamente a contaminação como um desafio contínuo para a validade dos benchmarks.
Como nossa lógica de orquestração e estrutura de prompt são proprietárias e não têm presença na web pública, a probabilidade de contaminação é extremamente baixa em comparação com benchmarks construídos em conjuntos de dados publicamente disponíveis. Como em qualquer avaliação envolvendo modelos de pesos fechados, não podemos dar garantias absolutas sobre os dados de pré-treinamento — mas o design minimiza esse risco por construção.
4. Métricas Relevantes para a Produção
Benchmarks acadêmicos normalmente otimizam apenas para a precisão. Em sistemas de agentes em produção, a precisão é necessária, mas insuficiente — você também precisa saber quão rápido e barato um modelo pode tomar decisões corretas. Como a comparação de modelos de 2026 da Pluralsight demonstrou com o SWE-bench, um modelo com pontuação mais alta a um custo 14x maior pode ser uma escolha de produção pior, dependendo da tolerância a erros e do volume. Este benchmark relata todas as três dimensões porque o modelo de orquestração ideal depende da relação precisão-custo-velocidade para o seu caso de uso específico.
Resultados e Análise
Níveis de Desempenho
Com base nos resultados, observamos três níveis de desempenho distintos:
Nível 1: Orquestradores Fortes (65%+)
| Modelo | Precisão | Vel. Média | Custo Médio |
|---|---|---|---|
| Claude 4.5 Opus | 76% | 4.1s | $0.35 |
| Gemini 3.1 Pro Preview | 74% | 32.9s | $0.13 |
| Gemini 3 Pro Preview | 66% | 8.8s | $0.12 |
| Gemini 3 Flash Preview | 66% | 5.3s | $0.03 |
| Claude Opus 4.6 | 65% | 4.8s | $0.35 |
| Claude Sonnet 4.5 | 65% | 4.2s | $0.21 |
As famílias de modelos Claude e Gemini lideram claramente — um resultado que se alinha com o consenso mais amplo da comunidade de LLMs sobre suas capacidades de seguir instruções e de agência. Notavelmente, o Gemini 3 Flash Preview iguala o Claude Opus 4.6 com 66% de precisão, custando $0.03 contra $0.35 — uma diferença de custo de 12x para um desempenho equivalente, tornando-o indiscutivelmente o orquestrador mais eficiente no benchmark.
Nível 2: Capazes, mas Inconsistentes (55–64%)
| Modelo | Precisão | Vel. Média | Custo Médio |
|---|---|---|---|
| DeepSeek V3.2 | 61% | 9.4s | $0.02 |
| Claude Sonnet 4.6 | 58% | 4.8s | $0.21 |
Modelos neste nível performam de forma crível, mas mostram mais inconsistência sob pressão de contexto longo. O Claude Sonnet 4.6 com 58% é um passo notável para baixo em relação à sua contraparte 4.5 (65%), sugerindo que as atualizações de geração de modelos nem sempre se traduzem em melhorias na orquestração.
Nível 3: Abaixo de 55%
| Modelo | Precisão | Vel. Média | Custo Médio |
|---|---|---|---|
| MiniMax M2.5 | 50% | 20.5s | $0.02 |
| GPT-5.2 | 48% | 2.5s | $0.10 |
| Grok 4.1 Fast | 47% | 6.7s | $0.01 |
| Kimi K2.5 | 47% | 12.1s | $0.01 |
| GLM 5 | 44% | 28.2s | $0.02 |
Várias observações aqui:
-
GPT-5.2 com 48% é um resultado notável. É o modelo mais rápido no benchmark (2.5s), mas está entre os menos precisos. Isso está diretamente relacionado à restrição de "configurações mínimas de raciocínio" — os modelos da família GPT são fortemente otimizados para configurações intensivas em raciocínio, e quando esse raciocínio estendido é removido, a capacidade base de seguir instruções sob pressão de contexto longo cai substancialmente. Isso não indica uma fraqueza fundamental, mas sim uma dependência arquitetônica da computação de raciocínio que outras famílias de modelos não compartilham no mesmo grau.
-
Os principais modelos de código aberto chineses — Kimi K2.5 (47%), GLM 5 (44%) e MiniMax M2.5 (50%) — têm um desempenho relativamente mais fraco neste benchmark. Um possível fator contribuinte é a alocação de treinamento. Esses modelos, muitas vezes desenvolvidos com orçamentos de computação mais apertados do que seus homólogos ocidentais, podem razoavelmente priorizar a capacidade de treinamento para categorias de benchmark estabelecidas e de alta visibilidade (raciocínio, codificação, conhecimento), onde o desempenho competitivo é essencial para o posicionamento no mercado. A generalização da orquestração de contexto longo — uma capacidade sem um benchmark público existente para otimizar — pode receber menos foco direcionado como resultado. Esta é uma priorização racional, não uma limitação fundamental, e esperamos que essa lacuna diminua à medida que as avaliações específicas de orquestração se tornem mais estabelecidas.
Observações Chave
1. Variação significativa na capacidade de orquestração entre os principais modelos.
A diferença entre os modelos de melhor e pior desempenho é de quase 2x (76% vs. 44%). Isso é notável, dado que muitos desses modelos pontuam a poucos pontos percentuais um do outro em benchmarks estabelecidos como MMLU, GPQA ou LMArena. A orquestração de agentes de contexto longo revela uma diferenciação que os benchmarks tradicionais não capturam.
2. Precisão, velocidade e custo não estão correlacionados da maneira que você esperaria.
O modelo mais caro não é o mais preciso (Claude Opus 4.6 a $0.35 pontua 65%, enquanto Claude 4.5 Opus pelo mesmo preço pontua 76%). O modelo mais rápido (GPT-5.2 a 2.5s) está entre os menos precisos (48%). Os modelos mais baratos abrangem toda a faixa de precisão — do Grok 4.1 Fast com 47% ($0.01) ao Gemini 3 Flash Preview com 66% ($0.03). Isso reforça a importância de avaliar todas as três dimensões juntas — uma descoberta consistente com a análise Pareto de custo-desempenho que está emergindo como uma melhor prática na avaliação de agentes.
3. Seguir instruções sob pressão de contexto longo é o diferencial.
Os cenários que a maioria dos modelos erra tendem a compartilhar um padrão comum: a ação correta exige que o modelo priorize uma instrução específica enterrada profundamente no contexto em detrimento de uma ação mais "óbvia" ou "padrão". Modelos que se destacam neste benchmark demonstram uma capacidade superior de manter a fidelidade às instruções, mesmo quando a instrução relevante está cercada por dezenas de milhares de tokens de informações concorrentes. Isso se alinha com as descobertas do framework de avaliação do GAIA, onde as tarefas mais exigentes — que requerem planejamento extensivo e integração de múltiplas ferramentas — permanecem o verdadeiro campo de provas para a capacidade do agente.
4. Configurações mínimas de raciocínio expõem lacunas na capacidade base.
Todos os modelos foram avaliados em suas configurações de raciocínio mais baixas. Alguns modelos conhecidos por um forte desempenho em modos de alto raciocínio mostraram resultados surpreendentemente fracos aqui. Observamos que certas famílias de modelos são substancialmente mais dependentes de modos de raciocínio estendidos para alcançar confiabilidade. Quando essa computação de raciocínio é removida — como deve ser em ambientes de orquestração de produção onde as restrições de latência e custo dominam — a capacidade subjacente de seguir instruções é exposta. Este é o principal fator por trás do baixo desempenho do GPT-5.2: sua arquitetura é fortemente otimizada para fluxos de trabalho intensivos em raciocínio, e a restrição de raciocínio mínimo o afeta desproporcionalmente.
Notas de Metodologia
- Reprodutibilidade. Cada cenário é uma avaliação estática e determinística. Não há execução de ferramentas ao vivo, nenhuma dependência de API externa e nenhuma variação estocástica. Com a mesma entrada e configuração de modelo, os resultados são totalmente reprodutíveis. Isso aborda uma preocupação chave levantada na pesquisa de avaliação de agentes: o não-determinismo do agente normalmente requer avaliação estatística em várias execuções. Como este benchmark avalia um único ponto de decisão por cenário com temperatura 0, ele alcança reprodutibilidade determinística sem exigir agregação de múltiplas execuções.
- Classificação da saída. As saídas dos modelos são avaliadas em relação a um conjunto pré-definido de rótulos de decisão de próximo passo aceitáveis por cenário. Onde múltiplas ações são válidas, todas são incluídas no conjunto permitido antes da avaliação.
- Seleção de cenários. Os cenários são selecionados para representar desafios de orquestração realistas, não casos extremos adversários. O objetivo é medir a capacidade relevante para a produção, não projetar a falha do modelo.
- Expansão contínua. O benchmark é mantido ativamente. Novos cenários são adicionados à medida que novos padrões de fluxo de trabalho emergem no uso em produção. A versão atual (n=31) representa o lançamento inicial.
Posicionamento no Cenário de Benchmarks
| Benchmark | Foco Principal | Comprimento do Contexto | Domínio |
|---|---|---|---|
| SWE-bench Verified | Correção de bugs em repositórios GitHub reais | Moderado | Codificação |
| GAIA | Resposta a perguntas com múltiplas ferramentas | Moderado | Geral |
| AgentBench | Comportamento do agente em múltiplos ambientes | Varia | 8 domínios |
| WebArena | Tarefas de navegação na web | Curto–moderado | Web |
| τ-bench | Uso de ferramentas em cenários de serviço | Curto | Atendimento ao cliente |
| Benchmark de Orquestração Jenova | Decisão do próximo passo sob contexto longo | 100k+ tokens | Fluxos de trabalho sem codificação |
Este benchmark não compete nem substitui as avaliações existentes. O SWE-bench continua sendo o padrão para agentes de codificação. O GAIA continua sendo o teste mais amplo da capacidade geral dos agentes. Este benchmark isola uma camada diferente: a qualidade da decisão do próximo passo sob extrema pressão de contexto em domínios sem codificação.
Implicações para o Design de Agentes
Nossos resultados sugerem que a capacidade de orquestração é distinta da capacidade de raciocínio. Um alto desempenho em benchmarks de raciocínio não garante um alto desempenho em orquestração de contexto longo.
Para desenvolvedores que constroem sistemas de agentes, essa dissociação tem consequências práticas:
- Seleção de Modelo. O modelo "mais inteligente" nem sempre é o orquestrador mais confiável. Avaliar modelos apenas em benchmarks de raciocínio pode levar a escolhas subótimas para a camada de orquestração.
- Otimização de Custos. Modelos com menor sobrecarga de raciocínio podem superar modelos de fronteira caros se tiverem estabilidade superior no seguimento de instruções sob pressão de contexto. Em volume de produção, essa diferença se agrava significativamente.
- Arquitetura. Depender de um único modelo tanto para orquestração quanto para execução de tarefas pode ser ineficiente. O roteamento especializado — usando um modelo de alta estabilidade para a camada de orquestração e modelos de alto raciocínio para subtarefas específicas — pode render maior confiabilidade a um custo menor.
Estamos divulgando esses resultados para fornecer um ponto de dados para essa decisão arquitetônica. À medida que expandimos o conjunto de cenários para cobrir mais domínios e padrões de fluxo de trabalho, continuaremos a atualizar essas métricas.
O Benchmark de Orquestração de Agentes de Contexto Longo da Jenova.ai é desenvolvido pela equipe de engenharia da Jenova para avaliar o desempenho de modelos em ambientes de orquestração de produção. Para consultas técnicas ou detalhes de metodologia, entre em contato com [email protected].