Agents' Last Exam

Mesurer du travail professionnel, pas des connaissances

Agents' Last Exam (ALE) est un benchmark du Berkeley RDI (UC Berkeley, Dawn Song auteure de correspondance), publié sur arXiv le 3 juin 2026 sous le numéro 2606.05405 et révisé le 9 octobre, avec 357 auteurs, Snorkel AI parmi les affiliations. Chaque tâche vient d'un travail réellement effectué par un expert, classé selon O*NET / SOC 2018 : 55 sous-domaines en 13 grappes d'industries non physiques. Dawn Song, le 15 juin 2026 : « Every task in ALE originates from work that a domain expert actually performed ».

Il ne faut pas le confondre avec Humanity's Last Exam, un examen de connaissances par questions-réponses, que l'article d'ALE cite pour s'en distinguer : ces benchmarks « test what a model knows, not what it can do ». La graphie « Agent's Last Exam », fréquente dans la presse, désigne le même benchmark.

Des volumes qui bougent entre l'article et le blog

Les chiffres diffèrent selon la source et la date, le benchmark étant conçu comme vivant. Le résumé de l'article (version du 9 octobre 2026) parle de « 250+ industry experts » et « 1K+ tasks » ; son corps détaille 1 490 instances issues de 960 workflows, dont 150 publiques, le reste privé. Le site officiel et le blog du RDI annoncent plus de 300 experts et plus de 1 500 tâches, cible 5 000 ; le classement de Snorkel compte 147 tâches publiques. Le chiffre sûr est l'ordre de grandeur : plus d'un millier d'instances, un dixième public.

Une tâche, un bac à sable, une note binaire

Chaque tâche s'exécute dans une machine virtuelle Linux ou Windows qui reproduit un contexte de production, logiciels métier compris. L'agent y accède en ligne de commande et en interface graphique via un pont MCP de 14 actions, avec cinq heures au plus. La référence est cachée jusqu'à la fin, puis des correcteurs déterministes notent le livrable entre 0 et 1. Le pass rate compte les tâches à crédit complet, le score la moyenne des notes fines.

Trois paliers : Near-Term (67 tâches partiellement solubles aujourd'hui), Full-Spectrum (55, une par sous-domaine) et Last-Exam (38, les plus dures). ALE-CLI isole 105 tâches Linux en terminal seul. Le harnais de référence est ALE-Claw, mais le classement accepte Claude Code, Codex, Gemini CLI et d'autres : il note un couple modèle-harnais.

Comment lire un score

Dans l'article d'octobre 2026, le meilleur taux global est 24,0 % (Codex avec GPT-5.5), 38,1 % sur Near-Term ; sur Last-Exam, la moyenne des configurations reste sous 1 % et le meilleur passe 2,6 %, soit une tâche sur 38. Un score ALE sans palier, harnais ni date ne se lit pas : le classement de Snorkel propose cinq vues, et le même modèle y change de rang. Comme sur OSWorld, l'état final compte, pas le compte rendu de l'agent. Aucune revue d'Epoch AI au 15 octobre 2026.