Điểm chuẩn

Chúng tôi công bố kết quả của Esan để bạn tự đánh giá — kèm theo phương pháp luận, chứ không chỉ một con số tiêu đề.

GAIA, nói một cách dễ hiểu

GAIA là một bài kiểm định độc lập nhằm kiểm tra xem một agent có thể giải các tác vụ thực tế theo cách một con người sẽ làm hay không: tìm kiếm trên web, đọc PDF, phân tích hình ảnh, và thực hiện tính toán để đi tới một đáp án đã được kiểm chứng. Nó được chấm dựa trên một đáp án đúng đã biết cho mỗi câu hỏi, trải rộng trên ba mức độ khó.

Kết quả của Esan

Trên tập kiểm định GAIA, Esan thể hiện trên mức chuẩn của con người ở Mức 1 và Mức 2, và ngang bằng ở Mức 3.

Điểm trung bình đã điều chỉnh qua các mức: 92,3%; tổng thể có trọng số: 93,8%.

Cách đọc những con số này

Điểm chuẩn chỉ có ý nghĩa khi đi kèm phương pháp của nó, nên đây là phương pháp của chúng tôi:

• Tập dữ liệu. Kết quả tính trên tập kiểm định GAIA.
• Mức chuẩn. "Mức chuẩn của con người" là con số hiệu suất con người do chính GAIA công bố cho từng mức — cùng một thước đo mà mọi hệ thống được đo lường theo.
• Loại trừ. Một số ít câu hỏi bị loại vì không thể trả lời như đã viết — trang nguồn đã ngừng hoạt động, đáp án công bố có lỗi đã biết, hoặc một trang web chủ động chặn truy cập tự động. Những câu này được loại trừ một cách minh bạch thay vì bị tính là thất bại hay lặng lẽ cho qua.
• Nó đo lường điều gì. GAIA tưởng thưởng việc hoàn thành đúng một tác vụ thực tế, chứ không phải nghe có vẻ hợp lý — đó chính là loại công việc bạn sẽ ủy thác cho Esan.

Vì sao chúng tôi nêu điều này lên đầu

Nhiều công cụ tự nhận là có năng lực. Một kết quả điểm chuẩn công khai, có phương pháp luận hậu thuẫn và vượt mức chuẩn của con người là một tuyên bố bạn có thể kiểm chứng. Nếu bạn quan tâm đến việc một agent có thực sự hoàn thành công việc hay không — chứ không chỉ nghe hay ho — thì đây là con số đáng quan tâm.