Humanity's Last Exam

Un examen de niveau expert

Humanity's Last Exam (HLE) est un benchmark créé par le Center for AI Safety et Scale AI. Le jeu public compte 2 500 questions, finalisé le 3 avril 2025, réparties sur plus de 100 disciplines. Certaines questions comportent une image : le test est multimodal. Toutes sont fermées et vérifiables, avec une réponse exacte attendue ou un choix multiple, ce qui permet une notation automatique.

Un jeu privé de questions réservées complète le jeu public. Il sert à détecter le surapprentissage : un modèle qui réussit nettement mieux sur les questions publiques que sur les questions réservées a probablement vu les premières pendant son entraînement. L'article de référence est paru dans Nature, vol. 649, p. 1139–1146, le 28 janvier 2026.

• HLE-Rolling : version dynamique publiée le 8 octobre 2025
• HLE-Diamond : publiée le 22 septembre 2026
• Site officiel : lastexam.ai

Avec ou sans outils

Les éditeurs de modèles publient deux variantes, sans outils et avec outils (recherche, exécution de code). L'écart entre les deux est important, si bien qu'un chiffre HLE sans mention de la variante ne se lit pas.

Dans le tableau de l'annonce de Claude Fable 5.2, le 9 novembre 2026, Anthropic donne, avec outils : Fable 5.2 à 74,2 %, Opus 5.5 à 67,7 %, Fable 5.1 à 65,6 % et GPT-6 Astra à 57,2 %. Pour Fable 5.1, l'annonce du 1er septembre 2026 indiquait 65,0 % : deux publications d'Anthropic donnent deux chiffres pour le même modèle. Anthropic ajoute qu'à effort Low, Fable 5.2 égale le meilleur score d'Opus 5.5 (67,7 %) pour moins d'un dixième du coût par tâche.

Les limites connues

En 2025, FutureHouse a estimé qu'environ 30 % des réponses de chimie et de biologie étaient probablement fausses. Le corrigé lui-même est donc contesté sur ces disciplines. Le jeu public expose aussi le benchmark à la contamination.

HLE mesure des connaissances. Il ne dit rien de la capacité d'un modèle à mener un travail en plusieurs étapes avec des outils, ce qu'évaluent des benchmarks d'agents comme Agents' Last Exam, un projet distinct malgré la ressemblance des noms, ou Remote Labor Index.

Comment lire un score HLE

Vérifiez la variante (avec ou sans outils), le jeu (HLE d'origine, Rolling ou Diamond), le niveau d'effort, la date de publication et qui a mesuré. Un score de 74 % sur un jeu dont une partie du corrigé est contestée se lit comme un ordre de grandeur entre modèles mesurés dans les mêmes conditions.