Jenova.ai Long-Context Agentic Orchestration Benchmark (Februar 2026)

2026-02-24

Jenova.ai Long-Context Agentic Orchestration Benchmark – Ergebnisse aus 31 Szenarien, die Genauigkeit, Geschwindigkeit und Kosten für führende KI-Modelle zeigen.

Überblick

Dieser Benchmark misst, wie gut führende KI-Modelle korrekte Orchestrierungsentscheidungen für den nächsten Schritt in realistischen, nicht-codierungsbezogenen Arbeitsabläufen unter extremem Long-Context-Druck (100k+ Tokens) treffen. Jedes Modell wird nach drei Dimensionen bewertet: Genauigkeit (% korrekte Szenarien), durchschnittliche Latenz und durchschnittliche Inferenzkosten (Input- + Output-Tokens).

Hauptergebnisse: Claude 4.5 Opus (76 %) und Gemini 3.1 Pro Preview (74 %) führen den Benchmark an. Im weiteren Sinne dominieren die Modellfamilien Claude und Gemini die Spitze der Rangliste – was mit der allgemeinen Einschätzung der LLM-Community über ihre starken Fähigkeiten zur Befolgung von Anweisungen und ihre Agent-Fähigkeiten übereinstimmt. Der Abstand zwischen den besten und den schlechtesten Performern beträgt fast das Zweifache, was eine Differenzierung aufzeigt, die traditionelle Benchmarks nicht erfassen.

Warum dieser Benchmark

Die KI-Industrie hat stark in Benchmarking investiert. SWE-bench Verified bewertet die Fehlerbehebung in echten GitHub-Repositories. GAIA testet die Beantwortung von Fragen mit mehreren Werkzeugen. AgentBench testet Agents in acht interaktiven Umgebungen. WebArena misst die Web-Navigation. τ-bench bewertet den Werkzeugaufruf in Kundenservice-Szenarien. Diese Benchmarks waren entscheidend für die Weiterentwicklung der Agent-Fähigkeiten.

Aber es gibt ein Muster: Die Mehrheit dieser Bewertungen konzentriert sich entweder auf codierungszentrierte Aufgaben oder Interaktionen mit kurzem bis moderatem Kontext. SWE-bench misst die Code-Reparatur in Python-Repositories. WebArena testet die Navigation auf simulierten Websites. τ-bench bewertet den Werkzeugaufruf in engen Service-Dialogen. Selbst GAIA, die breiteste der Gruppe, testet hauptsächlich, ob ein Agent zu einer korrekten Endantwort gelangen kann – nicht, ob er die richtige Orchestrierungsentscheidung unter extremem Kontextdruck treffen kann.

In produktiven Agent-Systemen ist das schwierigste Problem nicht, eine Frage zu beantworten oder einen Fehler zu beheben. Es ist die Entscheidung, was als Nächstes zu tun ist – bei Schritt 7 eines 12-stufigen Arbeitsablaufs, mit 150.000 Tokens angesammeltem Zustand, wenn die korrekte Aktion die Synthese von Anweisungen aus dem System-Prompt, Ergebnissen aus früheren Schritten, der ursprünglichen Absicht des Benutzers und dem aktuellen Fortschrittsstand erfordert.

Bestehende Benchmarks isolieren diese Fähigkeit nicht. Der Jenova.ai Long-Context Agentic Orchestration Benchmark tut dies.

Was dieser Benchmark misst

Jedes Szenario beantwortet eine einzige Frage:

Kann ein Modell, wenn es in die Rolle eines Workflow-Orchestrators mit über 100.000 Tokens Kontext versetzt wird, konsistent die korrekte Entscheidung für den nächsten Schritt treffen?

Jedes Szenario präsentiert einem Modell einen realistischen, eingefrorenen Schnappschuss eines laufenden Arbeitsablaufs. Die Eingabe kann Gesprächsverlauf, angesammelte Ergebnisse aus früheren Workflow-Schritten, die aktuelle Anfrage des Benutzers und domänenspezifische Anweisungen umfassen. Das Modell muss diesen dichten Zustand analysieren und die einzig korrekte nächste Aktion bestimmen, um den Arbeitsablauf zur Fertigstellung voranzutreiben.

Dies sind keine synthetischen Denkaufgaben. Die Szenarien stammen aus realen, nicht-codierungsbezogenen Arbeitsabläufen aus den Bereichen Forschung, Produktivität, Kommunikation, Dokumentenerstellung, Terminplanung, Datenanalyse und Koordination mehrerer Anwendungen – die Art von Aufgaben, die den alltäglichen Nutzen von Agents definieren, aber in der Benchmarking-Landschaft weitgehend gefehlt haben.

Benchmark-Design

Szenarien

Der Benchmark besteht aus 31 Szenarien (und wird erweitert), von denen jedes einen einzigen kritischen Entscheidungspunkt innerhalb eines potenziellen ein- oder mehrstufigen Arbeitsablaufs darstellt. Jedes Szenario erfordert vom Modell:

Einen Long-Context-Zustand zu parsen – oft über 100.000 Tokens –, der Gesprächsverlauf, angesammelte Workflow-Ergebnisse, hochgeladene Dateien, Benutzereinstellungen und Anweisungen auf Systemebene enthält.
Die Absicht des Benutzers zu verstehen im vollen Kontext des Gesprächs und aller zuvor durchgeführten Aktionen.
Die korrekte nächste Aktion zu bestimmen – die einzige Entscheidung, die den gesamten Arbeitsablauf gemäß den bereitgestellten Orchestrierungsanweisungen korrekt vorantreibt.

Die Vielfalt der Szenarien ist beabsichtigt. Sie umfassen eine breite Palette von Domänen und Komplexitätsstufen, um zu testen, ob ein Modell seine Orchestrierungsfähigkeiten generalisieren kann, anstatt sich auf einen engen Aufgabentyp zu spezialisieren.

Bewertungskriterien

Binäre Bewertung. Jedes Szenario wird als richtig oder falsch bewertet. Es gibt keine Teilpunkte.
Mehrere gültige Aktionen. In Fällen, in denen mehr als eine Aktion vernünftigerweise als korrekt angesehen werden könnte, sind alle gültigen Optionen vordefiniert und werden akzeptiert.
Drei Dimensionen. Jedes Modell wird bewertet nach:
- Genauigkeit – Prozentsatz der Szenarien, in denen das Modell die korrekte Entscheidung für den nächsten Schritt getroffen hat
- Geschwindigkeit – durchschnittliche Verarbeitungszeit über alle Szenarien
- Kosten – durchschnittliche Inferenzkosten pro Szenario (Input- + Output-Tokens), die die wirtschaftliche Realität der Verarbeitung von 100k+ Token-Kontexten für jede einzelne Entscheidung widerspiegeln

Modellkonfiguration

Alle Modelle werden mit Temperatur 0 und den niedrigsten verfügbaren Reasoning/Thinking-Einstellungen für dieses Modell ausgeführt. Dies spiegelt reale Agent-Orchestrierungsumgebungen wider, in denen Determinismus, Geschwindigkeit und Kosteneffizienz wichtiger sind als kreative Exploration. Das Ziel ist es, die grundlegende Fähigkeit des Modells zur Befolgung von Anweisungen und zur Entscheidungsfindung zu bewerten, nicht seine Fähigkeit, bei unbegrenzter Rechenleistung „härter nachzudenken“.

Was diesen Benchmark auszeichnet

1. Nicht-codierungsbezogene Agent-Bewertung

Bestehende Agent-Benchmarks neigen stark zur Softwareentwicklung. SWE-bench Verified bewertet die Fehlerbehebung in echten Repositories. Terminal-Bench testet DevOps und Systemadministration. Selbst breitere Benchmarks wie τ-bench konzentrieren sich auf enge Muster des Werkzeugaufrufs in Kundenservice-Szenarien.

Dieser Benchmark zielt auf allgemeine, alltägliche Arbeitsabläufe ab – mehrstufige Aufgaben, die Fachleute, Forscher und Verbraucher tatsächlich von KI-Agents erledigt haben müssen. Forschungssynthese, E-Mail-Koordination, Kalenderverwaltung, Dokumentenerstellung, plattformübergreifende Informationsbeschaffung. Diese Arbeitsabläufe definieren den realen Nutzen von Agents und wurden systematisch zu wenig gemessen.

2. Stresstests mit langem Kontext

Dies ist kein Benchmark, der zufällig lange Kontexte verwendet. Der lange Kontext ist der Punkt. Jedes Szenario ist so konzipiert, dass es 100.000 Tokens an Eingabe überschreitet und das Modell zwingt, Kohärenz zu wahren, den Zustand zu verfolgen und relevante Signale aus einer dichten Informationsumgebung zu extrahieren.

Viele Modelle, die bei Benchmarks mit kurzem Kontext gut abschneiden, verschlechtern sich unter Long-Context-Druck erheblich. Wie in jüngsten Umfragen zur LLM-Agent-Bewertung festgestellt wurde, bleibt die Lücke zwischen der Leistung bei kurzem und langem Kontext eine der am wenigsten gemessenen Dimensionen der Modellfähigkeit. Dieser Benchmark deckt diese Lücke direkt auf.

3. Minimierung des Kontaminationsrisikos

Die in diesem Benchmark verwendete Orchestrierungslogik, Aktionstaxonomie und Workflow-Struktur sind vollständig proprietär für Jenova.ai. Es gibt keinen öffentlichen Datensatz, kein Open-Source-Framework und kein veröffentlichtes Papier, das die spezifischen getesteten Entscheidungsmuster beschreibt.

Datenkontamination ist ein gut dokumentiertes Problem bei beliebten Benchmarks – Modelle haben möglicherweise Testfragen oder enge Varianten während des Trainings gesehen, was ihre Ergebnisse aufbläht. Der Stanford AI Index Report 2025 hebt die Kontamination ausdrücklich als eine andauernde Herausforderung für die Gültigkeit von Benchmarks hervor.

Da unsere Orchestrierungslogik und Prompt-Struktur proprietär sind und im öffentlichen Web nicht vorkommen, ist die Wahrscheinlichkeit einer Kontamination im Vergleich zu Benchmarks, die auf öffentlich verfügbaren Datensätzen basieren, extrem gering. Wie bei jeder Bewertung mit Closed-Weight-Modellen können wir keine absoluten Garantien für die Vortrainingsdaten geben – aber das Design minimiert dieses Risiko konstruktionsbedingt.

4. Produktionsrelevante Metriken

Akademische Benchmarks optimieren typischerweise nur auf Genauigkeit. In produktiven Agent-Systemen ist Genauigkeit notwendig, aber nicht ausreichend – man muss auch wissen, wie schnell und wie günstig ein Modell korrekte Entscheidungen treffen kann. Wie der Modellvergleich 2026 von Pluralsight mit SWE-bench zeigte, kann ein Modell, das bei 14-fachen Kosten besser abschneidet, je nach Fehlertoleranz und Volumen eine schlechtere Produktionswahl sein. Dieser Benchmark berichtet alle drei Dimensionen, denn das optimale Orchestrierungsmodell hängt vom Verhältnis von Genauigkeit zu Kosten zu Geschwindigkeit für Ihren spezifischen Anwendungsfall ab.

Ergebnisse & Analyse

Leistungsstufen

Basierend auf den Ergebnissen beobachten wir drei verschiedene Leistungsstufen:

Stufe 1: Starke Orchestratoren (65 %+)

Modell	Genauigkeit	Durschn. Geschw.	Durschn. Kosten
Claude 4.5 Opus	76 %	4,1s	0,35 $
Gemini 3.1 Pro Preview	74 %	32,9s	0,13 $
Gemini 3 Pro Preview	66 %	8,8s	0,12 $
Gemini 3 Flash Preview	66 %	5,3s	0,03 $
Claude Opus 4.6	65 %	4,8s	0,35 $
Claude Sonnet 4.5	65 %	4,2s	0,21 $

Die Modellfamilien Claude und Gemini führen das Feld klar an – ein Ergebnis, das mit dem breiteren Konsens der LLM-Community über ihre Fähigkeiten zur Befolgung von Anweisungen und ihre Agent-Fähigkeiten übereinstimmt. Bemerkenswert ist, dass Gemini 3 Flash Preview mit 66 % Genauigkeit mit Claude Opus 4.6 gleichzieht, dabei aber 0,03 $ gegenüber 0,35 $ kostet – ein 12-facher Kostenunterschied für gleichwertige Leistung, was es zum wohl effizientesten Orchestrator im Benchmark macht.

Stufe 2: Fähig, aber inkonsistent (55–64 %)

Modell	Genauigkeit	Durschn. Geschw.	Durschn. Kosten
DeepSeek V3.2	61 %	9,4s	0,02 $
Claude Sonnet 4.6	58 %	4,8s	0,21 $

Modelle in dieser Stufe schneiden glaubwürdig ab, zeigen aber unter Long-Context-Druck mehr Inkonsistenz. Claude Sonnet 4.6 mit 58 % ist ein bemerkenswerter Rückschritt gegenüber seinem 4.5-Pendant (65 %), was darauf hindeutet, dass Upgrades bei der Modellgeneration nicht immer zu Verbesserungen bei der Orchestrierung führen.

Stufe 3: Unter 55 %

Modell	Genauigkeit	Durschn. Geschw.	Durschn. Kosten
MiniMax M2.5	50 %	20,5s	0,02 $
GPT-5.2	48 %	2,5s	0,10 $
Grok 4.1 Fast	47 %	6,7s	0,01 $
Kimi K2.5	47 %	12,1s	0,01 $
GLM 5	44 %	28,2s	0,02 $

Mehrere Beobachtungen hier:

GPT-5.2 mit 48 % ist ein bemerkenswertes Ergebnis. Es ist das schnellste Modell im Benchmark (2,5s), aber eines der ungenauesten. Dies hängt direkt mit der Einschränkung der „minimalen Reasoning-Einstellungen“ zusammen – Modelle der GPT-Familie sind stark für reasoning-intensive Konfigurationen optimiert, und wenn dieses erweiterte Reasoning entfernt wird, sinkt die grundlegende Fähigkeit zur Befolgung von Anweisungen unter Long-Context-Druck erheblich. Dies deutet nicht auf eine grundlegende Schwäche hin, sondern auf eine architektonische Abhängigkeit von Reasoning-Rechenleistung, die andere Modellfamilien nicht im gleichen Maße teilen.
Führende Open-Source-Modelle aus China – Kimi K2.5 (47 %), GLM 5 (44 %) und MiniMax M2.5 (50 %) – schneiden in diesem Benchmark relativ schwächer ab. Ein möglicher Faktor ist die Trainingszuweisung. Diese Modelle, die oft mit geringeren Rechenbudgets als ihre westlichen Pendants entwickelt werden, priorisieren möglicherweise vernünftigerweise die Trainingskapazität auf etablierte, hoch sichtbare Benchmark-Kategorien (Reasoning, Coding, Wissen), wo eine wettbewerbsfähige Leistung für die Marktpositionierung unerlässlich ist. Die Generalisierung der Long-Context-Orchestrierung – eine Fähigkeit, für die es keinen bestehenden öffentlichen Benchmark zur Optimierung gibt – erhält möglicherweise weniger gezielte Aufmerksamkeit. Dies ist eine rationale Priorisierung, keine grundlegende Einschränkung, und wir erwarten, dass sich diese Lücke verringert, wenn orchestrierungsspezifische Bewertungen etablierter werden.

Wichtige Beobachtungen

1. Signifikante Varianz in der Orchestrierungsfähigkeit führender Modelle.

Der Abstand zwischen den leistungsstärksten und leistungsschwächsten Modellen beträgt fast das Zweifache (76 % vs. 44 %). Dies ist bemerkenswert, da viele dieser Modelle bei etablierten Benchmarks wie MMLU, GPQA oder LMArena nur wenige Prozentpunkte voneinander entfernt sind. Die agentenbasierte Orchestrierung mit langem Kontext zeigt eine Differenzierung, die traditionelle Benchmarks nicht erfassen.

2. Genauigkeit, Geschwindigkeit und Kosten korrelieren nicht wie erwartet.

Das teuerste Modell ist nicht das genaueste (Claude Opus 4.6 für 0,35 $ erreicht 65 %, während Claude 4.5 Opus zum gleichen Preis 76 % erreicht). Das schnellste Modell (GPT-5.2 mit 2,5s) gehört zu den ungenauesten (48 %). Die günstigsten Modelle decken den gesamten Genauigkeitsbereich ab – von Grok 4.1 Fast mit 47 % (0,01 $) bis zu Gemini 3 Flash Preview mit 66 % (0,03 $). Dies unterstreicht die Bedeutung der gemeinsamen Bewertung aller drei Dimensionen – eine Erkenntnis, die mit der Kosten-Leistungs-Pareto-Analyse übereinstimmt, die sich als Best Practice in der Agent-Bewertung herauskristallisiert.

3. Die Befolgung von Anweisungen unter Long-Context-Druck ist der entscheidende Faktor.

Die Szenarien, die die meisten Modelle falsch machen, weisen tendenziell ein gemeinsames Muster auf: Die korrekte Aktion erfordert, dass das Modell eine spezifische Anweisung, die tief im Kontext vergraben ist, gegenüber einer „offensichtlicheren“ oder „Standard“-Aktion priorisiert. Modelle, die in diesem Benchmark herausragen, zeigen eine überlegene Fähigkeit, die Anweisungstreue auch dann aufrechtzuerhalten, wenn die relevante Anweisung von Zehntausenden von Tokens konkurrierender Informationen umgeben ist. Dies deckt sich mit den Erkenntnissen aus dem Bewertungsrahmen von GAIA, wo die anspruchsvollsten Aufgaben – die eine umfassende Planung und Integration mehrerer Werkzeuge erfordern – der wahre Prüfstein für die Agent-Fähigkeit bleiben.

4. Minimale Reasoning-Einstellungen legen grundlegende Fähigkeitslücken offen.

Alle Modelle wurden mit ihren niedrigsten Reasoning-Einstellungen bewertet. Einige Modelle, die für ihre starke Leistung in Modi mit hohem Reasoning bekannt sind, zeigten hier überraschend schwache Ergebnisse. Wir beobachten, dass bestimmte Modellfamilien wesentlich stärker von erweiterten Reasoning-Modi abhängig sind, um Zuverlässigkeit zu erreichen. Wenn diese Reasoning-Rechenleistung entfernt wird – wie es in Produktions-Orchestrierungsumgebungen, in denen Latenz- und Kostenbeschränkungen dominieren, der Fall sein muss – wird die zugrunde liegende Fähigkeit zur Befolgung von Anweisungen offengelegt. Dies ist der Hauptfaktor für die unterdurchschnittliche Leistung von GPT-5.2: Seine Architektur ist stark für reasoning-intensive Arbeitsabläufe optimiert, und die Einschränkung auf minimales Reasoning wirkt sich überproportional aus.

Methodische Anmerkungen

Reproduzierbarkeit. Jedes Szenario ist eine statische, deterministische Bewertung. Es gibt keine Live-Werkzeugausführung, keine externe API-Abhängigkeit und keine stochastische Variation. Bei gleicher Eingabe und Modellkonfiguration sind die Ergebnisse vollständig reproduzierbar. Dies adressiert ein zentrales Anliegen der Agent-Bewertungsforschung: Die Nicht-Determiniertheit von Agents erfordert typischerweise eine statistische Auswertung über mehrere Durchläufe. Da dieser Benchmark einen einzigen Entscheidungspunkt pro Szenario bei Temperatur 0 bewertet, erreicht er eine deterministische Reproduzierbarkeit, ohne eine Aggregation über mehrere Durchläufe zu erfordern.
Ausgabebewertung. Die Modellausgaben werden mit einem vordefinierten Satz akzeptabler Entscheidungslabels für den nächsten Schritt pro Szenario verglichen. Wo mehrere Aktionen gültig sind, werden alle vor der Bewertung in den zulässigen Satz aufgenommen.
Szenarioauswahl. Die Szenarien werden so kuratiert, dass sie realistische Orchestrierungsherausforderungen darstellen, nicht adversarische Grenzfälle. Das Ziel ist es, produktionsrelevante Fähigkeiten zu messen, nicht das Versagen von Modellen zu konstruieren.
Laufende Erweiterung. Der Benchmark wird aktiv gepflegt. Neue Szenarien werden hinzugefügt, wenn neue Workflow-Muster in der Produktionsnutzung auftreten. Die aktuelle Version (n=31) stellt die Erstveröffentlichung dar.

Positionierung in der Benchmark-Landschaft

Benchmark	Hauptfokus	Kontextlänge	Domäne
SWE-bench Verified	Fehlerbehebung in echten GitHub-Repos	Moderat	Coding
GAIA	Beantwortung von Fragen mit mehreren Werkzeugen	Moderat	Allgemein
AgentBench	Agent-Verhalten in mehreren Umgebungen	Variiert	8 Domänen
WebArena	Web-Navigationsaufgaben	Kurz–moderat	Web
τ-bench	Werkzeugnutzung in Service-Szenarien	Kurz	Kundenservice
Jenova Orchestration Benchmark	Entscheidung für den nächsten Schritt bei langem Kontext	100k+ Tokens	Nicht-codierungsbezogene Workflows

Dieser Benchmark konkurriert nicht mit bestehenden Bewertungen oder ersetzt sie. SWE-bench bleibt der Standard für Coding-Agents. GAIA bleibt der breiteste Test für allgemeine Agent-Fähigkeiten. Dieser Benchmark isoliert eine andere Ebene: die Qualität der Entscheidung für den nächsten Schritt unter extremem Kontextdruck in nicht-codierungsbezogenen Domänen.

Implikationen für das Agent-Design

Unsere Ergebnisse deuten darauf hin, dass Orchestrierungsfähigkeit von der Reasoning-Fähigkeit verschieden ist. Eine hohe Leistung bei Reasoning-Benchmarks garantiert keine hohe Leistung bei der Long-Context-Orchestrierung.

Für Entwickler, die Agent-Systeme bauen, hat diese Entkopplung praktische Konsequenzen:

Modellauswahl. Das „intelligenteste“ Modell ist nicht immer der zuverlässigste Orchestrator. Die alleinige Bewertung von Modellen anhand von Reasoning-Benchmarks kann zu suboptimalen Entscheidungen für die Orchestrierungsschicht führen.
Kostenoptimierung. Modelle mit geringerem Reasoning-Overhead können teure Spitzenmodelle übertreffen, wenn sie unter Kontextdruck eine überlegene Stabilität bei der Befolgung von Anweisungen aufweisen. Bei Produktionsvolumen summiert sich dieser Unterschied erheblich.
Architektur. Sich auf ein einziges Modell für sowohl Orchestrierung als auch Aufgabenausführung zu verlassen, kann ineffizient sein. Spezialisiertes Routing – die Verwendung eines hochstabilen Modells für die Orchestrierungsschicht und hoch-reasoning-fähiger Modelle für spezifische Teilaufgaben – kann eine bessere Zuverlässigkeit bei geringeren Kosten ergeben.

Wir veröffentlichen diese Ergebnisse, um einen Datenpunkt für diese architektonische Entscheidung zu liefern. Während wir den Szenariensatz erweitern, um mehr Domänen und Workflow-Muster abzudecken, werden wir diese Metriken weiterhin aktualisieren.

Der Jenova.ai Long-Context Agentic Orchestration Benchmark wird vom Jenova-Ingenieurteam entwickelt, um die Modellleistung in Produktions-Orchestrierungsumgebungen zu bewerten. Für technische Anfragen oder methodische Details kontaktieren Sie [email protected].