เบนช์มาร์ก

เราเผยแพร่ผลของ Esan เพื่อให้คุณตัดสินเอง — พร้อมวิธีวัด ไม่ใช่แค่ตัวเลขพาดหัว

GAIA อธิบายแบบง่าย

GAIA คือเบนช์มาร์กอิสระที่ทดสอบว่าเอเจนต์แก้งานจริงได้อย่างที่คนทำหรือไม่: ค้นหาบนเว็บ อ่าน PDF วิเคราะห์รูปภาพ และคำนวณจนได้คำตอบที่ตรวจสอบแล้ว การให้คะแนนเทียบกับคำตอบที่ถูกต้องซึ่งรู้อยู่แล้วของแต่ละข้อ ครอบคลุมความยากสามระดับ

ผลของ Esan

บนชุดตรวจสอบของ GAIA นั้น Esan ทำได้ เหนือเส้นฐานของมนุษย์ ในระดับ 1 และ 2 และเสมอในระดับ 3

ค่าเฉลี่ยปรับแล้วข้ามระดับ: 92.3%; รวมแบบถ่วงน้ำหนัก: 93.8%

อ่านตัวเลขเหล่านี้อย่างไร

เบนช์มาร์กมีความหมายก็ต่อเมื่อมีวิธีวัดกำกับ ของเราเป็นดังนี้

• ชุดข้อมูล ผลลัพธ์วัดบนชุดตรวจสอบของ GAIA
• เส้นฐาน "เส้นฐานของมนุษย์" คือตัวเลขผลงานมนุษย์ที่ GAIA เผยแพร่เองในแต่ละระดับ — ไม้บรรทัดอันเดียวกับที่ใช้วัดทุกระบบ
• ข้อที่ถูกตัดออก มีคำถามจำนวนน้อยที่ถูกตัดออกเพราะตอบตามที่เขียนไว้ไม่ได้ — หน้าต้นทางล่มไปแล้ว คำตอบที่เผยแพร่มีข้อผิดพลาดที่รู้กัน หรือเว็บไซต์บล็อกการเข้าถึงอัตโนมัติอย่างจริงจัง ข้อเหล่านี้ถูกตัดออกอย่างโปร่งใส แทนที่จะนับเป็นข้อผิดหรือปล่อยผ่านเงียบ ๆ
• มันวัดอะไร GAIA ให้คะแนนกับการทำงานจริงให้เสร็จอย่างถูกต้อง ไม่ใช่การพูดให้ดูน่าเชื่อ — ซึ่งตรงกับงานประเภทที่คุณจะมอบให้ Esan พอดี

ทำไมเราถึงชูเรื่องนี้

เครื่องมือจำนวนมากอ้างว่าตัวเองเก่ง แต่ผลเบนช์มาร์กสาธารณะที่มีวิธีวัดรองรับ และเอาชนะเส้นฐานของมนุษย์ได้ คือคำกล่าวอ้างที่คุณตรวจสอบได้เอง ถ้าคุณสนใจว่าเอเจนต์ทำงานให้เสร็จได้จริงไหม — ไม่ใช่แค่ฟังดูดี — นี่คือตัวเลขที่สำคัญ