Benchmark d'Orchestration d'Agents à Contexte Long de Jenova.ai (Février 2026)
2026-02-24
Aperçu
Ce benchmark mesure la capacité des modèles d'IA de pointe à prendre les bonnes décisions d'orchestration pour l'étape suivante dans des workflows réalistes et non liés au codage, sous une pression de contexte long extrême (plus de 100k tokens). Chaque modèle est évalué sur trois dimensions : précision (% de scénarios corrects), latence moyenne et coût d'inférence moyen (tokens d'entrée + sortie).
Résultats phares : Claude 4.5 Opus (76%) et Gemini 3.1 Pro Preview (74%) sont en tête du benchmark. Plus largement, les familles de modèles Claude et Gemini dominent le haut du classement — ce qui correspond à l'évaluation générale de la communauté LLM sur leurs solides capacités à suivre les instructions et leurs capacités agentiques. L'écart entre les meilleurs et les moins bons performeurs est de près de 2x, révélant une différenciation que les benchmarks traditionnels ne capturent pas.
Pourquoi ce benchmark
L'industrie de l'IA a massivement investi dans le benchmarking. SWE-bench Verified évalue la correction de bugs dans de vrais dépôts GitHub. GAIA teste la réponse aux questions avec plusieurs outils. AgentBench met à l'épreuve les agents dans huit environnements interactifs. WebArena mesure la navigation web. τ-bench évalue l'appel d'outils dans des scénarios de service client. Ces benchmarks ont été essentiels pour faire progresser les capacités des agents.
Mais il y a une tendance : la majorité de ces évaluations se concentrent soit sur des tâches centrées sur le codage, soit sur des interactions à contexte court ou modéré. SWE-bench mesure la réparation de code dans des dépôts Python. WebArena teste la navigation sur des sites simulés. τ-bench évalue l'appel d'outils dans des dialogues de service restreints. Même GAIA, le plus large du groupe, teste principalement si un agent peut arriver à une réponse finale correcte — pas s'il peut prendre la bonne décision d'orchestration sous une pression de contexte extrême.
Dans les systèmes agentiques en production, le problème le plus difficile n'est pas de répondre à une question ou de corriger un bug. C'est de décider quoi faire ensuite — à l'étape 7 d'un workflow de 12 étapes, avec 150 000 tokens d'état accumulé, lorsque l'action correcte nécessite de synthétiser des instructions du prompt système, des résultats des étapes précédentes, l'intention originale de l'utilisateur et l'état actuel de la progression.
Les benchmarks existants n'isolent pas cette capacité. Le Benchmark d'Orchestration d'Agents à Contexte Long de Jenova.ai le fait.
Ce que ce benchmark mesure
Chaque scénario répond à une seule question :
Lorsqu'il est placé dans le rôle d'un orchestrateur de workflow avec plus de 100 000 tokens de contexte, un modèle peut-il prendre de manière cohérente la bonne décision pour l'étape suivante ?
Chaque scénario présente à un modèle un instantané réaliste et figé d'un workflow en cours. L'entrée peut inclure l'historique de la conversation, les résultats accumulés des étapes précédentes du workflow, la demande actuelle de l'utilisateur et des instructions spécifiques au domaine. Le modèle doit analyser cet état dense et déterminer la seule action correcte suivante pour faire progresser le workflow vers son achèvement.
Ce ne sont pas des énigmes de raisonnement synthétiques. Les scénarios sont tirés de workflows réels et non liés au codage, couvrant la recherche, la productivité, la communication, la génération de documents, la planification, l'analyse de données et la coordination multi-applications — le genre de tâches qui définissent l'utilité quotidienne des agents mais qui ont été largement absentes du paysage du benchmarking.
Conception du benchmark
Scénarios
Le benchmark se compose de 31 scénarios (et ce nombre augmente), chacun représentant un point de décision critique au sein d'un workflow potentiel à une ou plusieurs étapes. Chaque scénario exige que le modèle :
- Analyse un état à contexte long — dépassant souvent 100 000 tokens — qui inclut l'historique de la conversation, les résultats de workflow accumulés, les fichiers téléchargés, les préférences de l'utilisateur et les instructions au niveau du système.
- Comprenne l'intention de l'utilisateur dans le contexte complet de la conversation et de toutes les actions précédentes.
- Détermine la bonne action suivante — la seule décision qui fait progresser correctement le workflow global conformément aux instructions d'orchestration fournies.
La diversité des scénarios est intentionnelle. Ils couvrent un large éventail de domaines et de niveaux de complexité pour tester si un modèle peut généraliser ses capacités d'orchestration plutôt que de se sur-adapter à un type de tâche étroit.
Critères d'évaluation
- Notation binaire. Chaque scénario est noté comme correct ou incorrect. Il n'y a pas de crédit partiel.
- Actions valides multiples. Dans les cas où plus d'une action pourrait raisonnablement être considérée comme correcte, toutes les options valides sont prédéfinies et acceptées.
- Trois dimensions. Chaque modèle est évalué sur :
- Précision — pourcentage de scénarios où le modèle a sélectionné la bonne décision pour l'étape suivante
- Vitesse — temps de traitement moyen sur tous les scénarios
- Coût — coût d'inférence moyen par scénario (tokens d'entrée + sortie), reflétant la réalité économique du traitement de contextes de plus de 100k tokens pour chaque décision
Configuration du modèle
Tous les modèles sont exécutés à une température de 0 avec les paramètres de raisonnement/réflexion les plus bas disponibles pour ce modèle. Cela reflète les environnements d'orchestration agentique du monde réel où le déterminisme, la vitesse et l'efficacité des coûts sont plus importants que l'exploration créative. L'objectif est d'évaluer la capacité de base du modèle à suivre les instructions et à prendre des décisions, et non sa capacité à "réfléchir plus fort" avec un calcul illimité.
Ce qui rend ce benchmark différent
1. Évaluation agentique non liée au codage
Les benchmarks agentiques existants sont fortement orientés vers le génie logiciel. SWE-bench Verified évalue la correction de bugs dans de vrais dépôts. Terminal-Bench teste le DevOps et l'administration système. Même des benchmarks plus larges comme τ-bench se concentrent sur des schémas d'appel d'outils étroits dans des scénarios de service client.
Ce benchmark cible les workflows quotidiens à usage général — des tâches en plusieurs étapes que les professionnels, les chercheurs et les consommateurs ont réellement besoin que les agents IA gèrent. Synthèse de recherche, coordination d'e-mails, gestion de calendrier, création de documents, collecte d'informations multiplateforme. Ces workflows définissent l'utilité réelle des agents et ont été systématiquement sous-évalués.
2. Test de résistance en contexte long
Ce n'est pas un benchmark qui utilise simplement de longs contextes. Le contexte long est le point central. Chaque scénario est conçu pour dépasser 100 000 tokens d'entrée, forçant le modèle à maintenir la cohérence, à suivre l'état et à extraire les signaux pertinents d'un environnement d'information dense.
De nombreux modèles qui performent bien sur les benchmarks à contexte court se dégradent considérablement sous la pression d'un contexte long. Comme indiqué dans de récentes enquêtes sur l'évaluation des agents LLM, l'écart entre les performances en contexte court et en contexte long reste l'une des dimensions les moins mesurées de la capacité des modèles. Ce benchmark expose directement cet écart.
3. Minimisation du risque de contamination
La logique d'orchestration, la taxonomie des actions et la structure du workflow utilisées dans ce benchmark sont entièrement propriétaires de Jenova.ai. Il n'existe aucun jeu de données public, framework open-source ou article publié décrivant les schémas de prise de décision spécifiques testés.
La contamination des données est une préoccupation bien documentée dans les benchmarks populaires — les modèles peuvent avoir vu des questions de test ou des variantes proches pendant leur entraînement, gonflant leurs scores. Le Rapport de l'Index IA de Stanford 2025 souligne spécifiquement la contamination comme un défi permanent pour la validité des benchmarks.
Parce que notre logique d'orchestration et la structure de nos prompts sont propriétaires et n'ont aucune présence sur le web public, la probabilité de contamination est extrêmement faible par rapport aux benchmarks construits sur des jeux de données accessibles au public. Comme pour toute évaluation impliquant des modèles à poids fermés, nous ne pouvons pas donner de garanties absolues sur les données de pré-entraînement — mais la conception minimise ce risque par construction.
4. Métriques pertinentes pour la production
Les benchmarks académiques optimisent généralement la précision seule. Dans les systèmes agentiques en production, la précision est nécessaire mais insuffisante — vous devez également savoir à quelle vitesse et à quel coût un modèle peut prendre des décisions correctes. Comme l'a démontré la comparaison de modèles 2026 de Pluralsight avec SWE-bench, un modèle obtenant un score plus élevé pour un coût 14 fois supérieur peut être un moins bon choix en production en fonction de la tolérance aux erreurs et du volume. Ce benchmark rapporte les trois dimensions car le modèle d'orchestration optimal dépend du ratio précision-coût-vitesse pour votre cas d'utilisation spécifique.
Résultats & Analyse
Niveaux de performance
Sur la base des résultats, nous observons trois niveaux de performance distincts :
Niveau 1 : Orchestrateurs performants (65%+)
| Modèle | Précision | Vit. Moy. | Coût Moy. |
|---|---|---|---|
| Claude 4.5 Opus | 76% | 4.1s | $0.35 |
| Gemini 3.1 Pro Preview | 74% | 32.9s | $0.13 |
| Gemini 3 Pro Preview | 66% | 8.8s | $0.12 |
| Gemini 3 Flash Preview | 66% | 5.3s | $0.03 |
| Claude Opus 4.6 | 65% | 4.8s | $0.35 |
| Claude Sonnet 4.5 | 65% | 4.2s | $0.21 |
Les familles de modèles Claude et Gemini sont clairement en tête — un résultat qui correspond au consensus plus large de la communauté LLM sur leurs capacités à suivre les instructions et leurs capacités agentiques. Notamment, Gemini 3 Flash Preview égale Claude Opus 4.6 avec 66% de précision tout en coûtant 0,03 $ contre 0,35 $ — une différence de coût de 12x pour des performances équivalentes, ce qui en fait sans doute l'orchestrateur le plus efficace du benchmark.
Niveau 2 : Capables mais inconstants (55–64%)
| Modèle | Précision | Vit. Moy. | Coût Moy. |
|---|---|---|---|
| DeepSeek V3.2 | 61% | 9.4s | $0.02 |
| Claude Sonnet 4.6 | 58% | 4.8s | $0.21 |
Les modèles de ce niveau sont crédibles mais montrent plus d'incohérence sous la pression d'un contexte long. Claude Sonnet 4.6 à 58% est une baisse notable par rapport à son homologue 4.5 (65%), ce qui suggère que les mises à niveau de génération de modèles ne se traduisent pas toujours par des améliorations de l'orchestration.
Niveau 3 : En dessous de 55%
| Modèle | Précision | Vit. Moy. | Coût Moy. |
|---|---|---|---|
| MiniMax M2.5 | 50% | 20.5s | $0.02 |
| GPT-5.2 | 48% | 2.5s | $0.10 |
| Grok 4.1 Fast | 47% | 6.7s | $0.01 |
| Kimi K2.5 | 47% | 12.1s | $0.01 |
| GLM 5 | 44% | 28.2s | $0.02 |
Plusieurs observations ici :
-
GPT-5.2 à 48% est un résultat notable. C'est le modèle le plus rapide du benchmark (2.5s) mais parmi les moins précis. Ceci est directement lié à la contrainte des "paramètres de raisonnement minimaux" — les modèles de la famille GPT sont fortement optimisés pour des configurations intensives en raisonnement, et lorsque ce raisonnement étendu est supprimé, la capacité de base à suivre les instructions sous pression de contexte long chute considérablement. Cela n'indique pas une faiblesse fondamentale mais plutôt une dépendance architecturale au calcul de raisonnement que d'autres familles de modèles ne partagent pas au même degré.
-
Les principaux modèles chinois open-source — Kimi K2.5 (47%), GLM 5 (44%) et MiniMax M2.5 (50%) — sont relativement moins performants sur ce benchmark. Un facteur contributif possible est l'allocation de l'entraînement. Ces modèles, souvent développés avec des budgets de calcul plus serrés que leurs homologues occidentaux, peuvent raisonnablement prioriser la capacité d'entraînement vers des catégories de benchmarks établies et à haute visibilité (raisonnement, codage, connaissance) où des performances compétitives sont essentielles pour le positionnement sur le marché. La généralisation de l'orchestration à contexte long — une capacité sans benchmark public existant contre lequel optimiser — peut recevoir moins d'attention ciblée en conséquence. C'est une priorisation rationnelle, pas une limitation fondamentale, et nous nous attendons à ce que cet écart se réduise à mesure que les évaluations spécifiques à l'orchestration deviendront plus établies.
Observations clés
1. Variation significative de la capacité d'orchestration entre les principaux modèles.
L'écart entre les modèles les plus performants et les moins performants est de près de 2x (76% contre 44%). C'est remarquable étant donné que beaucoup de ces modèles obtiennent des scores à quelques points de pourcentage les uns des autres sur des benchmarks établis comme MMLU, GPQA ou LMArena. L'orchestration agentique à contexte long révèle une différenciation que les benchmarks traditionnels ne capturent pas.
2. La précision, la vitesse et le coût ne sont pas corrélés comme on pourrait s'y attendre.
Le modèle le plus cher n'est pas le plus précis (Claude Opus 4.6 à 0,35 $ obtient 65%, tandis que Claude 4.5 Opus au même prix obtient 76%). Le modèle le plus rapide (GPT-5.2 à 2.5s) est parmi les moins précis (48%). Les modèles les moins chers couvrent toute la gamme de précision — de Grok 4.1 Fast à 47% (0,01 $) à Gemini 3 Flash Preview à 66% (0,03 $). Cela renforce l'importance d'évaluer les trois dimensions ensemble — une conclusion cohérente avec l'analyse Pareto coût-performance qui émerge comme une meilleure pratique dans l'évaluation des agents.
3. Le suivi des instructions sous pression de contexte long est le différenciateur.
Les scénarios que la plupart des modèles échouent ont tendance à partager un schéma commun : l'action correcte exige que le modèle priorise une instruction spécifique enfouie profondément dans le contexte par rapport à une action plus "évidente" ou "par défaut". Les modèles qui excellent dans ce benchmark démontrent une capacité supérieure à maintenir la fidélité aux instructions même lorsque l'instruction pertinente est entourée de dizaines de milliers de tokens d'informations concurrentes. Cela correspond aux conclusions du cadre d'évaluation de GAIA, où les tâches les plus exigeantes — nécessitant une planification approfondie et une intégration multi-outils — restent le véritable terrain d'essai pour la capacité des agents.
4. Les paramètres de raisonnement minimaux exposent les lacunes de capacité de base.
Tous les modèles ont été évalués avec leurs paramètres de raisonnement les plus bas. Certains modèles connus pour leurs fortes performances en modes de raisonnement élevé ont montré des résultats étonnamment faibles ici. Nous observons que certaines familles de modèles sont considérablement plus dépendantes des modes de raisonnement étendus pour atteindre la fiabilité. Lorsque ce calcul de raisonnement est supprimé — comme il doit l'être dans les environnements d'orchestration de production où les contraintes de latence et de coût dominent — la capacité sous-jacente de suivi des instructions est mise à nu. C'est le principal facteur de la sous-performance de GPT-5.2 : son architecture est fortement optimisée pour les workflows intensifs en raisonnement, et la contrainte de raisonnement minimal l'affecte de manière disproportionnée.
Notes sur la méthodologie
- Reproductibilité. Chaque scénario est une évaluation statique et déterministe. Il n'y a pas d'exécution d'outils en direct, pas de dépendance à une API externe et pas de variation stochastique. Avec la même entrée et la même configuration de modèle, les résultats sont entièrement reproductibles. Cela répond à une préoccupation majeure soulevée dans la recherche sur l'évaluation des agents : le non-déterminisme des agents nécessite généralement une évaluation statistique sur plusieurs exécutions. Parce que ce benchmark évalue un seul point de décision par scénario à une température de 0, il atteint une reproductibilité déterministe sans nécessiter d'agrégation sur plusieurs exécutions.
- Notation des sorties. Les sorties des modèles sont évaluées par rapport à un ensemble prédéfini d'étiquettes de décision d'étape suivante acceptables par scénario. Lorsque plusieurs actions sont valides, toutes sont incluses dans l'ensemble autorisé avant l'évaluation.
- Sélection des scénarios. Les scénarios sont sélectionnés pour représenter des défis d'orchestration réalistes, et non des cas limites adverses. L'objectif est de mesurer la capacité pertinente pour la production, pas de concevoir l'échec du modèle.
- Expansion continue. Le benchmark est activement maintenu. De nouveaux scénarios sont ajoutés à mesure que de nouveaux schémas de workflow émergent dans l'utilisation en production. La version actuelle (n=31) représente la version initiale.
Positionnement dans le paysage des benchmarks
| Benchmark | Objectif Principal | Longueur du Contexte | Domaine |
|---|---|---|---|
| SWE-bench Verified | Correction de bugs dans des dépôts GitHub | Modérée | Codage |
| GAIA | Réponse aux questions multi-outils | Modérée | Général |
| AgentBench | Comportement d'agent multi-environnement | Variable | 8 domaines |
| WebArena | Tâches de navigation web | Courte–modérée | Web |
| τ-bench | Utilisation d'outils dans des scénarios de service | Courte | Service client |
| Benchmark d'Orchestration Jenova | Décision de l'étape suivante en contexte long | +100k tokens | Workflows non-codage |
Ce benchmark ne concurrence ni ne remplace les évaluations existantes. SWE-bench reste la norme pour les agents de codage. GAIA reste le test le plus large de la capacité générale des agents. Ce benchmark isole une couche différente : la qualité de la décision de l'étape suivante sous une pression de contexte extrême dans des domaines non liés au codage.
Implications pour la conception d'agents
Nos résultats suggèrent que la capacité d'orchestration est distincte de la capacité de raisonnement. Une haute performance sur les benchmarks de raisonnement ne garantit pas une haute performance sur l'orchestration à contexte long.
Pour les développeurs qui construisent des systèmes agentiques, ce découplage a des conséquences pratiques :
- Sélection du modèle. Le modèle le "plus intelligent" n'est pas toujours l'orchestrateur le plus fiable. Évaluer les modèles uniquement sur des benchmarks de raisonnement peut conduire à des choix sous-optimaux pour la couche d'orchestration.
- Optimisation des coûts. Les modèles avec une surcharge de raisonnement plus faible peuvent surpasser les modèles de pointe coûteux s'ils ont une stabilité supérieure dans le suivi des instructions sous pression de contexte. À volume de production, cette différence s'accumule de manière significative.
- Architecture. S'appuyer sur un seul modèle pour l'orchestration et l'exécution des tâches peut être inefficace. Un routage spécialisé — utilisant un modèle à haute stabilité pour la couche d'orchestration et des modèles à haut raisonnement pour des sous-tâches spécifiques — peut offrir une meilleure fiabilité à moindre coût.
Nous publions ces résultats pour fournir un point de données pour cette décision architecturale. À mesure que nous étendrons l'ensemble des scénarios pour couvrir plus de domaines et de schémas de workflow, nous continuerons à mettre à jour ces métriques.
Le Benchmark d'Orchestration d'Agents à Contexte Long de Jenova.ai est développé par l'équipe d'ingénierie de Jenova pour évaluer les performances des modèles dans les environnements d'orchestration de production. Pour les demandes techniques ou les détails sur la méthodologie, contactez [email protected].