Bancs d'essai

Nous publions les résultats d'Esan pour que vous puissiez en juger par vous-même — avec la méthodologie, pas seulement un chiffre accrocheur.

GAIA, en termes simples

GAIA est un banc d'essai indépendant qui vérifie si un agent peut résoudre des tâches réelles à la manière d'un être humain : chercher sur le web, lire des PDF, analyser des images et effectuer des calculs pour parvenir à une réponse vérifiée. Il est noté par rapport à une réponse correcte connue pour chaque question, à travers trois niveaux de difficulté.

Les résultats d'Esan

Sur le jeu de validation GAIA, Esan obtient des performances supérieures au niveau de référence humain aux niveaux 1 et 2, et à égalité au niveau 3.

Moyenne ajustée sur l'ensemble des niveaux : 92,3 % ; total pondéré : 93,8 %.

Comment lire ces chiffres

Les bancs d'essai n'ont de sens qu'accompagnés de leur méthode, alors voici la nôtre :

• Le jeu. Les résultats portent sur le jeu de validation GAIA.
• Le niveau de référence. Le « niveau de référence humain » est le chiffre de performance humaine publié par GAIA lui-même pour chaque niveau — la même barre à laquelle chaque système est mesuré.
• Exclusions. Un petit nombre de questions sont exclues parce qu'elles ne peuvent pas être résolues telles qu'elles sont formulées — une page source a disparu, la réponse publiée comporte une erreur connue, ou un site bloque activement l'accès automatisé. Elles sont exclues en toute transparence plutôt que comptées comme des échecs ou discrètement validées.
• Ce qu'il mesure. GAIA récompense le fait de mener à bien correctement une tâche réelle, pas de paraître plausible — c'est exactement le genre de travail que vous délégueriez à Esan.

Pourquoi nous mettons cela en avant

Beaucoup d'outils prétendent être compétents. Un résultat de banc d'essai public, étayé par une méthodologie, qui dépasse le niveau de référence humain est une affirmation que vous pouvez vérifier. Si vous vous souciez de savoir si un agent accomplit réellement le travail — et pas seulement de sa manière de s'exprimer — c'est le chiffre qui compte.