Benchmarks

Wir veröffentlichen Esans Ergebnisse, damit du sie selbst beurteilen kannst — mit der Methodik, nicht nur einer Schlagzeilen-Zahl.

GAIA, einfach erklärt

GAIA ist ein unabhängiger Benchmark, der testet, ob ein Agent echte Aufgaben so lösen kann, wie es ein Mensch tun würde: das Web durchsuchen, PDFs lesen, Bilder analysieren und Berechnungen ausführen, um zu einer geprüften Antwort zu gelangen. Bewertet wird gegen eine bekannte korrekte Antwort für jede Frage, über drei Schwierigkeitsgrade hinweg.

Esans Ergebnisse

Auf dem GAIA-Validierungsdatensatz liegt Esan über der menschlichen Referenz auf den Stufen 1 und 2 und gleichauf auf Stufe 3.

Angepasster Mittelwert über alle Stufen: 92,3 %; gewichteter Gesamtwert: 93,8 %.

Wie diese Zahlen zu lesen sind

Benchmarks sind nur mit zugehöriger Methode aussagekräftig, also hier die unsere:

• Der Datensatz. Die Ergebnisse beziehen sich auf den GAIA-Validierungsdatensatz.
• Die Referenz. Die „menschliche Referenz“ ist GAIAs eigene veröffentlichte Angabe zur menschlichen Leistung für jede Stufe — die gleiche Messlatte, an der jedes System gemessen wird.
• Ausschlüsse. Eine kleine Zahl von Fragen wird ausgeschlossen, weil sie sich nicht wie formuliert beantworten lassen — eine Quellseite ist offline gegangen, die veröffentlichte Antwort enthält einen bekannten Fehler oder eine Website blockiert automatisierten Zugriff aktiv. Diese werden transparent ausgeschlossen, statt als Fehlschläge gezählt oder stillschweigend als bestanden gewertet zu werden.
• Was er misst. GAIA belohnt das korrekte Abschließen einer echten Aufgabe, nicht plausibles Klingen — genau die Art von Arbeit, die du an Esan delegieren würdest.

Warum wir damit vorangehen

Viele Tools behaupten, leistungsfähig zu sein. Ein öffentliches, methodisch belegtes Benchmark-Ergebnis, das die menschliche Referenz übertrifft, ist eine Behauptung, die du überprüfen kannst. Wenn dir wichtig ist, ob ein Agent tatsächlich Arbeit erledigt — nicht nur, wie er klingt — dann ist dies die Zahl, die zählt.