AutomationBench

Un benchmark d'automatisation métier, noté sur ce qui a changé dans le SI

AutomationBench est le benchmark publié par Zapier en avril 2026 pour mesurer ce qu'un agent IA accomplit dans un flux métier réparti entre CRM, boîte mail, agenda et messagerie. L'article arXiv:2604.18934, signé Daniel Shepard et Robin Salimans (Zapier) et soumis le 21 avril 2026, pose trois exigences : coordonner plusieurs applications, découvrir seul les bons points d'API, respecter une politique interne. Zapier l'avait construit pour choisir les modèles de sa plateforme avant de le publier : « It's a benchmark for outcomes, not output ».

Six domaines : ventes, marketing, opérations, support, finance, RH. Le jeu public compte 600 tâches, 100 par domaine, sur 47 applications simulées et environ 500 points d'API ; un jeu privé de plus de 600 tâches, plus dur, sert au classement officiel. Le dépôt GitHub est sous licence MIT.

À quoi ressemble une tâche, et comment elle est notée

L'agent reçoit un message déclencheur unique et deux outils : search, une recherche BM25 dans les schémas d'API, et execute, qui imite un appel REST. L'environnement contient des pièges voulus : lignes périmées, comptes aux noms voisins, règle de routage enfouie dans un e-mail. Les applications sont simulées et aucune authentification n'est imitée.

Seul l'état final est inspecté, par des assertions déterministes : « There's no LLM-as-judge or otherwise subjective grading », écrit Zapier. La métrique officielle, task_completed_correctly, est binaire : toutes les assertions doivent passer, y compris celles qui vérifient qu'aucun message n'est parti vers la mauvaise équipe. Un crédit partiel sert au diagnostic et à l'apprentissage par renforcement, hors score. Au lancement, selon l'article, aucun modèle ne dépassait 10 %, et la forme des outils déplace le résultat : Gemini 3.1 Pro passe de 9,6 % à 14,3 % selon la boîte à outils.

Versions et déclinaison AutomationBench-AA

La version 1.0.6 du 31 juillet 2026 corrige des tâches et, pour compenser, durcit les tâches privées : un score d'avril et un score d'octobre 2026 ne portent pas sur le même jeu. Artificial Analysis publie depuis le 6 juillet 2026 AutomationBench-AA, sur 657 tâches du jeu privé et près de 12 000 assertions ; son score est la part d'objectifs atteints sans violer de garde-fou, une forme de crédit partiel, donc plus élevé que le score strict de Zapier. Un chiffre « AutomationBench » se lit avec sa version et son évaluateur.

Limites et lecture

Le jeu privé est opaque, et les API simulées ignorent l'authentification et ne reproduisent pas le comportement de production. Sur son classement, Zapier décrit la fausse confiance comme premier mode d'échec : dans une de ses analyses, 72 % à 91 % des échecs, selon le modèle, étaient déclarés réussis par l'agent. Enfin, Zapier évalue un métier qu'il vend, et l'utilise aussi pour entraîner des modèles par renforcement. Pour une DSI, le protocole reste un modèle à copier : flux réels, pièges du SI, assertions positives et négatives, évaluation notée sur l'état final.