เกณฑ์มาตรฐานการจัดการเอเจนต์ในบริบทขนาดยาวของ Jenova.ai (กุมภาพันธ์ 2026)
2026-02-24
ภาพรวม
เกณฑ์มาตรฐานนี้วัดว่าโมเดล AI ชั้นนำสามารถ ตัดสินใจจัดการขั้นตอนต่อไปได้อย่างถูกต้อง ในเวิร์กโฟลว์ที่ไม่ใช่การเขียนโค้ดที่สมจริงภายใต้ แรงกดดันจากบริบทขนาดยาวมาก (100k+ โทเค็น) ได้ดีเพียงใด โมเดลแต่ละตัวจะถูกประเมินในสามมิติ: ความแม่นยำ (% สถานการณ์ที่ถูกต้อง), เวลาแฝงเฉลี่ย และ ค่าใช้จ่ายในการอนุมานเฉลี่ย (โทเค็นอินพุต + เอาต์พุต)
ผลลัพธ์เด่น: Claude 4.5 Opus (76%) และ Gemini 3.1 Pro Preview (74%) เป็นผู้นำในเกณฑ์มาตรฐานนี้ ในภาพรวม ตระกูลโมเดล Claude และ Gemini ครองตำแหน่งสูงสุดของลีดเดอร์บอร์ด ซึ่งสอดคล้องกับการประเมินของชุมชน LLM ทั่วไปเกี่ยวกับความสามารถในการปฏิบัติตามคำสั่งและความสามารถแบบเอเจนต์ที่แข็งแกร่ง ช่องว่างระหว่างผู้ที่มีประสิทธิภาพสูงสุดและต่ำสุดเกือบ 2 เท่า ซึ่งเผยให้เห็นความแตกต่างที่เกณฑ์มาตรฐานแบบดั้งเดิมไม่สามารถจับได้
ทำไมต้องมีเกณฑ์มาตรฐานนี้
อุตสาหกรรม AI ได้ลงทุนอย่างหนักในการสร้างเกณฑ์มาตรฐาน SWE-bench Verified ประเมินการแก้ไขข้อบกพร่องในที่เก็บ GitHub จริง GAIA ทดสอบการตอบคำถามโดยใช้เครื่องมือหลายอย่าง AgentBench ทดสอบเอเจนต์อย่างหนักในสภาพแวดล้อมเชิงโต้ตอบแปดแบบ WebArena วัดการนำทางเว็บ τ-bench ประเมินการเรียกใช้เครื่องมือในสถานการณ์การบริการลูกค้า เกณฑ์มาตรฐานเหล่านี้มีบทบาทสำคัญในการพัฒนาความสามารถของเอเจนต์
แต่มีรูปแบบหนึ่งคือ: การประเมินส่วนใหญ่เหล่านี้มุ่งเน้นไปที่ งานที่เน้นการเขียนโค้ด หรือ การโต้ตอบในบริบทสั้นถึงปานกลาง SWE-bench วัดการซ่อมแซมโค้ดในที่เก็บ Python WebArena ทดสอบการนำทางข้ามไซต์จำลอง τ-bench ประเมินการเรียกใช้เครื่องมือในบทสนทนาบริการที่จำกัด แม้แต่ GAIA ซึ่งเป็นกลุ่มที่กว้างที่สุด ก็ทดสอบเป็นหลักว่าเอเจนต์สามารถให้คำตอบสุดท้ายที่ถูกต้องได้หรือไม่ ไม่ใช่ว่ามันสามารถทำการ ตัดสินใจจัดการ ที่ถูกต้องภายใต้แรงกดดันจากบริบทที่ยาวมากได้หรือไม่
ในระบบเอเจนต์ที่ใช้งานจริง ปัญหาที่ยากที่สุดไม่ใช่การตอบคำถามหรือแก้ไขข้อบกพร่อง แต่คือ การตัดสินใจว่าจะทำอะไรต่อไป — ในขั้นตอนที่ 7 ของเวิร์กโฟลว์ 12 ขั้นตอน ที่มีสถานะสะสม 150,000 โทเค็น เมื่อการกระทำที่ถูกต้องต้องการการสังเคราะห์คำแนะนำจากพรอมต์ของระบบ ผลลัพธ์จากขั้นตอนก่อนหน้า ความตั้งใจดั้งเดิมของผู้ใช้ และสถานะความคืบหน้าปัจจุบัน
เกณฑ์มาตรฐานที่มีอยู่ไม่ได้แยกความสามารถนี้ออกมา เกณฑ์มาตรฐานการจัดการเอเจนต์ในบริบทขนาดยาวของ Jenova.ai ทำได้
เกณฑ์มาตรฐานนี้วัดอะไร
แต่ละสถานการณ์จะตอบคำถามเดียว:
เมื่ออยู่ในบทบาทของผู้จัดการเวิร์กโฟลว์ที่มีบริบทมากกว่า 100,000 โทเค็น โมเดลสามารถตัดสินใจขั้นตอนต่อไปได้อย่างถูกต้องสม่ำเสมอหรือไม่?
แต่ละสถานการณ์จะนำเสนอภาพรวมที่สมจริงและหยุดนิ่งของเวิร์กโฟลว์ที่กำลังดำเนินอยู่ให้แก่โมเดล อินพุตอาจรวมถึงประวัติการสนทนา ผลลัพธ์ที่สะสมจากขั้นตอนเวิร์กโฟลว์ก่อนหน้า คำขอปัจจุบันของผู้ใช้ และคำแนะนำเฉพาะโดเมน โมเดลต้องวิเคราะห์สถานะที่หนาแน่นนี้และกำหนดการกระทำต่อไปที่ถูกต้องเพียงหนึ่งเดียวเพื่อขับเคลื่อนเวิร์กโฟลว์ไปสู่การเสร็จสิ้น
นี่ไม่ใช่ปริศนาการให้เหตุผลสังเคราะห์ สถานการณ์เหล่านี้มาจากเวิร์กโฟลว์ที่ไม่ใช่การเขียนโค้ดในโลกแห่งความเป็นจริง ซึ่งครอบคลุมการวิจัย ผลผลิต การสื่อสาร การสร้างเอกสาร การจัดตารางเวลา การวิเคราะห์ข้อมูล และการประสานงานหลายแอปพลิเคชัน — ประเภทของงานที่กำหนดประโยชน์ใช้สอยของเอเจนต์ในชีวิตประจำวัน แต่กลับไม่ค่อยปรากฏในภูมิทัศน์ของเกณฑ์มาตรฐาน
การออกแบบเกณฑ์มาตรฐาน
สถานการณ์
เกณฑ์มาตรฐานประกอบด้วย 31 สถานการณ์ (และกำลังเพิ่มขึ้น) ซึ่งแต่ละสถานการณ์แสดงถึงจุดตัดสินใจที่สำคัญเพียงจุดเดียวภายในเวิร์กโฟลว์แบบขั้นตอนเดียวหรือหลายขั้นตอนที่เป็นไปได้ แต่ละสถานการณ์ต้องการให้โมเดล:
- แยกวิเคราะห์สถานะบริบทขนาดยาว — ซึ่งมักเกิน 100,000 โทเค็น — ซึ่งรวมถึงประวัติการสนทนา ผลลัพธ์เวิร์กโฟลว์ที่สะสม ไฟล์ที่อัปโหลด การตั้งค่าของผู้ใช้ และคำแนะนำระดับระบบ
- เข้าใจเจตนาของผู้ใช้ ภายในบริบททั้งหมดของการสนทนาและการกระทำใดๆ ที่ทำไปก่อนหน้านี้
- กำหนดการกระทำต่อไปที่ถูกต้อง — การตัดสินใจเพียงหนึ่งเดียวที่ขับเคลื่อนเวิร์กโฟลว์โดยรวมอย่างถูกต้องตามคำแนะนำการจัดการที่ให้ไว้
ความหลากหลายของสถานการณ์เป็นไปโดยเจตนา ครอบคลุมโดเมนและระดับความซับซ้อนที่หลากหลายเพื่อทดสอบว่าโมเดลสามารถสรุปความสามารถในการจัดการของตนได้หรือไม่ แทนที่จะปรับให้เข้ากับประเภทงานที่จำกัด
เกณฑ์การประเมิน
- การให้คะแนนแบบไบนารี แต่ละสถานการณ์จะถูกให้คะแนนว่าถูกต้องหรือไม่ถูกต้อง ไม่มีคะแนนบางส่วน
- การกระทำที่ถูกต้องหลายอย่าง ในกรณีที่การกระทำมากกว่าหนึ่งอย่างสามารถพิจารณาได้อย่างสมเหตุสมผลว่าถูกต้อง ตัวเลือกที่ถูกต้องทั้งหมดจะถูกกำหนดไว้ล่วงหน้าและยอมรับ
- สามมิติ โมเดลแต่ละตัวจะถูกประเมินในด้าน:
- ความแม่นยำ — เปอร์เซ็นต์ของสถานการณ์ที่โมเดลเลือกการตัดสินใจขั้นตอนต่อไปที่ถูกต้อง
- ความเร็ว — เวลาประมวลผลเฉลี่ยในทุกสถานการณ์
- ค่าใช้จ่าย — ค่าใช้จ่ายในการอนุมานเฉลี่ยต่อสถานการณ์ (โทเค็นอินพุต + เอาต์พุต) ซึ่งสะท้อนถึงความเป็นจริงทางเศรษฐกิจของการประมวลผลบริบท 100k+ โทเค็นสำหรับการตัดสินใจทุกครั้ง
การกำหนดค่าโมเดล
โมเดลทั้งหมดทำงานที่ อุณหภูมิ 0 พร้อมกับ การตั้งค่าการให้เหตุผล/การคิดที่ต่ำที่สุดที่มีอยู่ สำหรับโมเดลนั้นๆ สิ่งนี้สะท้อนถึงสภาพแวดล้อมการจัดการเอเจนต์ในโลกแห่งความเป็นจริงที่ความแน่นอน ความเร็ว และประสิทธิภาพด้านต้นทุนมีความสำคัญมากกว่าการสำรวจอย่างสร้างสรรค์ เป้าหมายคือการประเมินความสามารถพื้นฐานในการปฏิบัติตามคำสั่งและการตัดสินใจของโมเดล ไม่ใช่ความสามารถในการ "คิดให้หนักขึ้น" เมื่อได้รับคอมพิวต์ไม่จำกัด
อะไรที่ทำให้เกณฑ์มาตรฐานนี้แตกต่าง
1. การประเมินเอเจนต์ที่ไม่ใช่การเขียนโค้ด
เกณฑ์มาตรฐานเอเจนต์ที่มีอยู่มักจะเอนเอียงไปทางวิศวกรรมซอฟต์แวร์อย่างมาก SWE-bench Verified ประเมินการแก้ไขข้อบกพร่องในที่เก็บจริง Terminal-Bench ทดสอบ DevOps และการบริหารระบบ แม้แต่เกณฑ์มาตรฐานที่กว้างกว่าอย่าง τ-bench ก็มุ่งเน้นไปที่รูปแบบการเรียกใช้เครื่องมือที่จำกัดในสถานการณ์การบริการลูกค้า
เกณฑ์มาตรฐานนี้มุ่งเป้าไปที่ เวิร์กโฟลว์ทั่วไปในชีวิตประจำวัน — งานหลายขั้นตอนที่มืออาชีพ นักวิจัย และผู้บริโภคต้องการให้เอเจนต์ AI จัดการจริงๆ การสังเคราะห์งานวิจัย การประสานงานอีเมล การจัดการปฏิทิน การสร้างเอกสาร การรวบรวมข้อมูลหลายแพลตฟอร์ม เวิร์กโฟลว์เหล่านี้กำหนดประโยชน์ใช้สอยของเอเจนต์ในโลกแห่งความเป็นจริงและถูกวัดผลน้อยเกินไปอย่างเป็นระบบ
2. การทดสอบความทนทานในบริบทขนาดยาว
นี่ไม่ใช่เกณฑ์มาตรฐานที่บังเอิญใช้บริบทขนาดยาว บริบทขนาดยาว คือ ประเด็นสำคัญ ทุกสถานการณ์ถูกออกแบบมาให้มีอินพุตเกิน 100,000 โทเค็น บังคับให้โมเดลต้องรักษาความสอดคล้อง ติดตามสถานะ และดึงสัญญาณที่เกี่ยวข้องจากสภาพแวดล้อมข้อมูลที่หนาแน่น
โมเดลจำนวนมากที่ทำงานได้ดีในเกณฑ์มาตรฐานบริบทสั้นจะเสื่อมประสิทธิภาพลงอย่างมากภายใต้แรงกดดันจากบริบทขนาดยาว ดังที่ระบุไว้ใน การสำรวจล่าสุดเกี่ยวกับการประเมินเอเจนต์ LLM ช่องว่างระหว่างประสิทธิภาพในบริบทสั้นและบริบทยาวยังคงเป็นหนึ่งในมิติความสามารถของโมเดลที่ถูกวัดน้อยที่สุด เกณฑ์มาตรฐานนี้เปิดเผยช่องว่างนั้นโดยตรง
3. การลดความเสี่ยงจากการปนเปื้อนของข้อมูล
ตรรกะการจัดการ อนุกรมวิธานการกระทำ และโครงสร้างเวิร์กโฟลว์ที่ใช้ในเกณฑ์มาตรฐานนี้เป็น กรรมสิทธิ์ของ Jenova.ai ทั้งหมด ไม่มีชุดข้อมูลสาธารณะ เฟรมเวิร์กโอเพนซอร์ส หรือเอกสารเผยแพร่ใดๆ ที่อธิบายรูปแบบการตัดสินใจเฉพาะที่กำลังทดสอบ
การปนเปื้อนของข้อมูลเป็น ข้อกังวลที่ได้รับการบันทึกไว้อย่างดี ในเกณฑ์มาตรฐานยอดนิยม — โมเดลอาจเคยเห็นคำถามทดสอบหรือรูปแบบที่ใกล้เคียงกันระหว่างการฝึกอบรม ซึ่งทำให้คะแนนสูงเกินจริง รายงานดัชนี AI ของสแตนฟอร์ดปี 2025 เน้นย้ำโดยเฉพาะว่าการปนเปื้อนเป็นความท้าทายอย่างต่อเนื่องสำหรับความถูกต้องของเกณฑ์มาตรฐาน
เนื่องจากตรรกะการจัดการและโครงสร้างพรอมต์ของเราเป็นกรรมสิทธิ์และไม่มีอยู่บนเว็บสาธารณะ ความน่าจะเป็นของการปนเปื้อนจึงต่ำมากเมื่อเทียบกับเกณฑ์มาตรฐานที่สร้างขึ้นบนชุดข้อมูลที่เปิดเผยต่อสาธารณะ เช่นเดียวกับการประเมินใดๆ ที่เกี่ยวข้องกับโมเดลน้ำหนักปิด เราไม่สามารถรับประกันได้อย่างสมบูรณ์เกี่ยวกับข้อมูลก่อนการฝึกอบรม — แต่การออกแบบช่วยลดความเสี่ยงนี้โดยโครงสร้าง
4. ตัวชี้วัดที่เกี่ยวข้องกับการใช้งานจริง
เกณฑ์มาตรฐานทางวิชาการมักจะปรับให้เหมาะสมกับความแม่นยำเพียงอย่างเดียว ในระบบเอเจนต์ที่ใช้งานจริง ความแม่นยำเป็นสิ่งจำเป็นแต่ไม่เพียงพอ — คุณต้องรู้ด้วยว่าโมเดลสามารถตัดสินใจได้อย่างถูกต้องรวดเร็วและถูกแค่ไหน ดังที่ การเปรียบเทียบโมเดลปี 2026 ของ Pluralsight แสดงให้เห็นกับ SWE-bench โมเดลที่ได้คะแนนสูงกว่าด้วยต้นทุน 14 เท่าอาจเป็นตัวเลือกที่แย่กว่าในการใช้งานจริง ขึ้นอยู่กับความทนทานต่อข้อผิดพลาดและปริมาณ เกณฑ์มาตรฐานนี้รายงานทั้งสามมิติเพราะ โมเดลการจัดการที่เหมาะสมที่สุดขึ้นอยู่กับอัตราส่วนความแม่นยำต่อต้นทุนต่อความเร็วสำหรับกรณีการใช้งานเฉพาะของคุณ
ผลลัพธ์และการวิเคราะห์
ระดับประสิทธิภาพ
จากผลลัพธ์ เราสังเกตเห็นระดับประสิทธิภาพที่แตกต่างกันสามระดับ:
ระดับที่ 1: ผู้จัดการที่แข็งแกร่ง (65%+)
| โมเดล | ความแม่นยำ | ความเร็วเฉลี่ย | ค่าใช้จ่ายเฉลี่ย |
|---|---|---|---|
| Claude 4.5 Opus | 76% | 4.1s | $0.35 |
| Gemini 3.1 Pro Preview | 74% | 32.9s | $0.13 |
| Gemini 3 Pro Preview | 66% | 8.8s | $0.12 |
| Gemini 3 Flash Preview | 66% | 5.3s | $0.03 |
| Claude Opus 4.6 | 65% | 4.8s | $0.35 |
| Claude Sonnet 4.5 | 65% | 4.2s | $0.21 |
ตระกูลโมเดล Claude และ Gemini เป็นผู้นำอย่างชัดเจน — ผลลัพธ์ที่สอดคล้องกับฉันทามติของชุมชน LLM ที่กว้างขึ้นเกี่ยวกับความสามารถในการปฏิบัติตามคำสั่งและความสามารถแบบเอเจนต์ของพวกเขา ที่น่าสังเกตคือ Gemini 3 Flash Preview มีความแม่นยำ 66% เท่ากับ Claude Opus 4.6 ในขณะที่มีค่าใช้จ่าย $0.03 เทียบกับ $0.35 — ความแตกต่างของต้นทุน 12 เท่าสำหรับประสิทธิภาพที่เท่าเทียมกัน ทำให้เป็นผู้จัดการที่มีประสิทธิภาพที่สุดในเกณฑ์มาตรฐานนี้อย่างไม่ต้องสงสัย
ระดับที่ 2: มีความสามารถแต่ไม่สม่ำเสมอ (55–64%)
| โมเดล | ความแม่นยำ | ความเร็วเฉลี่ย | ค่าใช้จ่ายเฉลี่ย |
|---|---|---|---|
| DeepSeek V3.2 | 61% | 9.4s | $0.02 |
| Claude Sonnet 4.6 | 58% | 4.8s | $0.21 |
โมเดลในระดับนี้ทำงานได้อย่างน่าเชื่อถือ แต่แสดงความไม่สม่ำเสมอมากขึ้นภายใต้แรงกดดันจากบริบทขนาดยาว Claude Sonnet 4.6 ที่ 58% เป็นการลดลงที่น่าสังเกตจากรุ่น 4.5 (65%) ซึ่งชี้ให้เห็นว่าการอัปเกรดรุ่นโมเดลไม่ได้แปลเป็นการปรับปรุงการจัดการเสมอไป
ระดับที่ 3: ต่ำกว่า 55%
| โมเดล | ความแม่นยำ | ความเร็วเฉลี่ย | ค่าใช้จ่ายเฉลี่ย |
|---|---|---|---|
| MiniMax M2.5 | 50% | 20.5s | $0.02 |
| GPT-5.2 | 48% | 2.5s | $0.10 |
| Grok 4.1 Fast | 47% | 6.7s | $0.01 |
| Kimi K2.5 | 47% | 12.1s | $0.01 |
| GLM 5 | 44% | 28.2s | $0.02 |
ข้อสังเกตหลายประการที่นี่:
-
GPT-5.2 ที่ 48% เป็นผลลัพธ์ที่น่าสังเกต เป็นโมเดลที่เร็วที่สุดในเกณฑ์มาตรฐาน (2.5 วินาที) แต่มีความแม่นยำน้อยที่สุด สิ่งนี้เกี่ยวข้องโดยตรงกับข้อจำกัด "การตั้งค่าการให้เหตุผลขั้นต่ำ" — โมเดลตระกูล GPT ได้รับการปรับให้เหมาะสมอย่างมากสำหรับการกำหนดค่าที่ต้องใช้การให้เหตุผลอย่างเข้มข้น และเมื่อการให้เหตุผลที่ขยายออกไปนั้นถูกลบออก ความสามารถในการปฏิบัติตามคำสั่งพื้นฐานภายใต้แรงกดดันจากบริบทขนาดยาวจะลดลงอย่างมาก นี่ไม่ได้บ่งชี้ถึงจุดอ่อนพื้นฐาน แต่เป็นความขึ้นต่อกันทางสถาปัตยกรรมกับการคำนวณการให้เหตุผลที่ตระกูลโมเดลอื่นไม่มีในระดับเดียวกัน
-
โมเดลโอเพนซอร์สชั้นนำของจีน — Kimi K2.5 (47%), GLM 5 (44%) และ MiniMax M2.5 (50%) — มีประสิทธิภาพค่อนข้างอ่อนกว่าในเกณฑ์มาตรฐานนี้ ปัจจัยหนึ่งที่เป็นไปได้คือการจัดสรรการฝึกอบรม โมเดลเหล่านี้ซึ่งมักพัฒนาภายใต้งบประมาณการคำนวณที่จำกัดกว่าคู่แข่งจากตะวันตก อาจจัดลำดับความสำคัญของความสามารถในการฝึกอบรมไปยังหมวดหมู่เกณฑ์มาตรฐานที่เป็นที่ยอมรับและมองเห็นได้ชัดเจน (การให้เหตุผล การเขียนโค้ด ความรู้) ซึ่งประสิทธิภาพการแข่งขันเป็นสิ่งจำเป็นสำหรับการวางตำแหน่งในตลาด การสรุปผลการจัดการในบริบทขนาดยาว — ความสามารถที่ไม่มีเกณฑ์มาตรฐานสาธารณะที่มีอยู่เพื่อปรับให้เหมาะสม — อาจได้รับการมุ่งเน้นที่เฉพาะเจาะจงน้อยลง นี่เป็นการจัดลำดับความสำคัญที่มีเหตุผล ไม่ใช่ข้อจำกัดพื้นฐาน และเราคาดว่าช่องว่างนี้จะแคบลงเมื่อการประเมินเฉพาะด้านการจัดการเป็นที่ยอมรับมากขึ้น
ข้อสังเกตสำคัญ
1. ความแปรปรวนอย่างมีนัยสำคัญในความสามารถในการจัดการของโมเดลชั้นนำ
ช่องว่างระหว่างโมเดลที่มีประสิทธิภาพสูงสุดและต่ำสุดเกือบ 2 เท่า (76% เทียบกับ 44%) นี่เป็นเรื่องน่าสังเกตเนื่องจากโมเดลเหล่านี้หลายตัวมีคะแนนห่างกันเพียงไม่กี่เปอร์เซ็นต์ในเกณฑ์มาตรฐานที่เป็นที่ยอมรับเช่น MMLU, GPQA หรือ LMArena การจัดการเอเจนต์ในบริบทขนาดยาวเผยให้เห็นความแตกต่างที่เกณฑ์มาตรฐานแบบดั้งเดิมไม่สามารถจับได้
2. ความแม่นยำ ความเร็ว และค่าใช้จ่ายไม่ได้มีความสัมพันธ์กันอย่างที่คุณคาดหวัง
โมเดลที่แพงที่สุดไม่ใช่โมเดลที่แม่นยำที่สุด (Claude Opus 4.6 ที่ราคา $0.35 ได้คะแนน 65% ในขณะที่ Claude 4.5 Opus ในราคาเดียวกันได้คะแนน 76%) โมเดลที่เร็วที่สุด (GPT-5.2 ที่ 2.5 วินาที) เป็นหนึ่งในโมเดลที่มีความแม่นยำน้อยที่สุด (48%) โมเดลที่ถูกที่สุดครอบคลุมช่วงความแม่นยำทั้งหมด — จาก Grok 4.1 Fast ที่ 47% ($0.01) ไปจนถึง Gemini 3 Flash Preview ที่ 66% ($0.03) สิ่งนี้ตอกย้ำความสำคัญของการประเมินทั้งสามมิติร่วมกัน — การค้นพบที่สอดคล้องกับ การวิเคราะห์ Pareto ด้านต้นทุน-ประสิทธิภาพ ที่กำลังกลายเป็นแนวทางปฏิบัติที่ดีที่สุดในการประเมินเอเจนต์
3. การปฏิบัติตามคำสั่งภายใต้แรงกดดันจากบริบทขนาดยาวคือตัวสร้างความแตกต่าง
สถานการณ์ที่โมเดลส่วนใหญ่ทำผิดมักจะมีรูปแบบร่วมกัน: การกระทำที่ถูกต้องต้องการให้โมเดลจัดลำดับความสำคัญของคำสั่งเฉพาะที่ซ่อนอยู่ลึกในบริบทมากกว่าการกระทำที่ "ชัดเจน" หรือ "เป็นค่าเริ่มต้น" โมเดลที่โดดเด่นในเกณฑ์มาตรฐานนี้แสดงให้เห็นถึงความสามารถที่เหนือกว่าในการ รักษาความซื่อสัตย์ต่อคำสั่งแม้ว่าคำสั่งที่เกี่ยวข้องจะถูกล้อมรอบด้วยข้อมูลที่แข่งขันกันนับหมื่นโทเค็น สิ่งนี้สอดคล้องกับการค้นพบจาก กรอบการประเมินของ GAIA ซึ่งงานที่ต้องการมากที่สุด — ที่ต้องมีการวางแผนอย่างกว้างขวางและการรวมเครื่องมือหลายอย่าง — ยังคงเป็นเครื่องพิสูจน์ความสามารถของเอเจนต์อย่างแท้จริง
4. การตั้งค่าการให้เหตุผลขั้นต่ำเผยให้เห็นช่องว่างความสามารถพื้นฐาน
โมเดลทั้งหมดได้รับการประเมินที่การตั้งค่าการให้เหตุผลที่ต่ำที่สุด บางโมเดลที่รู้จักกันดีว่ามีประสิทธิภาพสูงในโหมดการให้เหตุผลสูงกลับแสดงผลลัพธ์ที่อ่อนแออย่างน่าประหลาดใจที่นี่ เราสังเกตว่า ตระกูลโมเดลบางตระกูลต้องพึ่งพาโหมดการให้เหตุผลที่ขยายออกไปอย่างมากเพื่อให้ได้ความน่าเชื่อถือ เมื่อการคำนวณการให้เหตุผลนั้นถูกลบออก — ซึ่งต้องเป็นเช่นนั้นในสภาพแวดล้อมการจัดการการผลิตที่ข้อจำกัดด้านเวลาแฝงและต้นทุนเป็นตัวกำหนด — ความสามารถในการปฏิบัติตามคำสั่งพื้นฐานจะถูกเปิดเผย นี่คือปัจจัยหลักที่อยู่เบื้องหลังประสิทธิภาพที่ต่ำกว่าของ GPT-5.2: สถาปัตยกรรมของมันได้รับการปรับให้เหมาะสมอย่างมากสำหรับเวิร์กโฟลว์ที่ต้องใช้การให้เหตุผลอย่างเข้มข้น และข้อจำกัดการให้เหตุผลขั้นต่ำส่งผลกระทบต่อมันอย่างไม่สมส่วน
หมายเหตุเกี่ยวกับระเบียบวิธี
- ความสามารถในการทำซ้ำ แต่ละสถานการณ์เป็นการประเมินแบบคงที่และกำหนดได้ ไม่มีการเรียกใช้เครื่องมือสด ไม่มีการพึ่งพา API ภายนอก และไม่มีความแปรปรวนแบบสุ่ม เมื่อได้รับอินพุตและการกำหนดค่าโมเดลเดียวกัน ผลลัพธ์สามารถทำซ้ำได้อย่างสมบูรณ์ สิ่งนี้แก้ไขข้อกังวลสำคัญที่หยิบยกขึ้นมาใน การวิจัยการประเมินเอเจนต์: การไม่สามารถกำหนดได้ของเอเจนต์มักต้องการการประเมินทางสถิติจากการทำงานหลายครั้ง เนื่องจากเกณฑ์มาตรฐานนี้ประเมินจุดตัดสินใจเพียงจุดเดียวต่อสถานการณ์ที่อุณหภูมิ 0 จึงบรรลุความสามารถในการทำซ้ำที่กำหนดได้โดยไม่จำเป็นต้องรวบรวมผลจากการทำงานหลายครั้ง
- การให้คะแนนเอาต์พุต เอาต์พุตของโมเดลจะถูกประเมินเทียบกับชุดป้ายกำกับการตัดสินใจขั้นตอนต่อไปที่ยอมรับได้ซึ่งกำหนดไว้ล่วงหน้าต่อสถานการณ์ ในกรณีที่การกระทำหลายอย่างถูกต้อง ทั้งหมดจะถูกรวมอยู่ในชุดที่อนุญาตก่อนการประเมิน
- การเลือกสถานการณ์ สถานการณ์ได้รับการคัดเลือกเพื่อเป็นตัวแทนของความท้าทายในการจัดการที่สมจริง ไม่ใช่กรณีสุดขั้วที่เป็นปฏิปักษ์ เป้าหมายคือการวัดความสามารถที่เกี่ยวข้องกับการผลิต ไม่ใช่เพื่อสร้างความล้มเหลวของโมเดล
- การขยายตัวอย่างต่อเนื่อง เกณฑ์มาตรฐานได้รับการดูแลอย่างแข็งขัน มีการเพิ่มสถานการณ์ใหม่เมื่อมีรูปแบบเวิร์กโฟลว์ใหม่เกิดขึ้นในการใช้งานจริง เวอร์ชันปัจจุบัน (n=31) เป็นการเปิดตัวครั้งแรก
การวางตำแหน่งในภูมิทัศน์ของเกณฑ์มาตรฐาน
| เกณฑ์มาตรฐาน | จุดสนใจหลัก | ความยาวบริบท | โดเมน |
|---|---|---|---|
| SWE-bench Verified | การแก้ไขข้อบกพร่องในที่เก็บ GitHub จริง | ปานกลาง | การเขียนโค้ด |
| GAIA | การตอบคำถามโดยใช้เครื่องมือหลายอย่าง | ปานกลาง | ทั่วไป |
| AgentBench | พฤติกรรมเอเจนต์ในหลายสภาพแวดล้อม | แตกต่างกันไป | 8 โดเมน |
| WebArena | งานนำทางเว็บ | สั้น–ปานกลาง | เว็บ |
| τ-bench | การใช้เครื่องมือในสถานการณ์บริการ | สั้น | การบริการลูกค้า |
| Jenova Orchestration Benchmark | การตัดสินใจขั้นตอนต่อไปภายใต้บริบทขนาดยาว | 100k+ โทเค็น | เวิร์กโฟลว์ที่ไม่ใช่การเขียนโค้ด |
เกณฑ์มาตรฐานนี้ไม่ได้แข่งขันหรือแทนที่การประเมินที่มีอยู่ SWE-bench ยังคงเป็นมาตรฐานสำหรับเอเจนต์การเขียนโค้ด GAIA ยังคงเป็นการทดสอบความสามารถของเอเจนต์ทั่วไปที่กว้างที่สุด เกณฑ์มาตรฐานนี้แยกชั้นที่แตกต่างออกไป: คุณภาพการตัดสินใจขั้นตอนต่อไปภายใต้แรงกดดันจากบริบทที่ยาวมากในโดเมนที่ไม่ใช่การเขียนโค้ด
ผลกระทบต่อการออกแบบเอเจนต์
ผลลัพธ์ของเราชี้ให้เห็นว่า ความสามารถในการจัดการแตกต่างจากความสามารถในการให้เหตุผล ประสิทธิภาพสูงในเกณฑ์มาตรฐานการให้เหตุผลไม่ได้รับประกันประสิทธิภาพสูงในการจัดการในบริบทขนาดยาว
สำหรับนักพัฒนาที่สร้างระบบเอเจนต์ การแยกส่วนนี้มีผลกระทบในทางปฏิบัติ:
- การเลือกโมเดล โมเดลที่ "ฉลาดที่สุด" ไม่ใช่ผู้จัดการที่น่าเชื่อถือที่สุดเสมอไป การประเมินโมเดลจากเกณฑ์มาตรฐานการให้เหตุผลเพียงอย่างเดียวอาจนำไปสู่การเลือกที่ไม่เหมาะสมสำหรับชั้นการจัดการ
- การเพิ่มประสิทธิภาพต้นทุน โมเดลที่มีค่าใช้จ่ายในการให้เหตุผลต่ำกว่าสามารถทำงานได้ดีกว่าโมเดลชั้นนำที่มีราคาแพง หากมีความเสถียรในการปฏิบัติตามคำสั่งที่เหนือกว่าภายใต้แรงกดดันจากบริบท ในปริมาณการผลิต ความแตกต่างนี้จะทวีคูณอย่างมีนัยสำคัญ
- สถาปัตยกรรม การพึ่งพาโมเดลเดียวทั้งสำหรับการจัดการและการดำเนินงานอาจไม่มีประสิทธิภาพ การกำหนดเส้นทางเฉพาะทาง — โดยใช้โมเดลที่มีความเสถียรสูงสำหรับชั้นการจัดการและโมเดลที่มีการให้เหตุผลสูงสำหรับงานย่อยเฉพาะ — อาจให้ความน่าเชื่อถือที่ดีกว่าในต้นทุนที่ต่ำกว่า
เรากำลังเปิดเผยผลลัพธ์เหล่านี้เพื่อเป็นข้อมูลสำหรับการตัดสินใจทางสถาปัตยกรรมนั้น ในขณะที่เราขยายชุดสถานการณ์เพื่อครอบคลุมโดเมนและรูปแบบเวิร์กโฟลว์มากขึ้น เราจะยังคงอัปเดตตัวชี้วัดเหล่านี้ต่อไป
เกณฑ์มาตรฐานการจัดการเอเจนต์ในบริบทขนาดยาวของ Jenova.ai ได้รับการพัฒนาโดยทีมวิศวกรของ Jenova เพื่อประเมินประสิทธิภาพของโมเดลในสภาพแวดล้อมการจัดการการผลิต สำหรับข้อสงสัยทางเทคนิคหรือรายละเอียดเกี่ยวกับระเบียบวิธี โปรดติดต่อ [email protected]