Terminal-Bench Science

Des workflows de recherche transformés en tâches vérifiables

Terminal-Bench Science applique le format de Terminal-Bench au travail des chercheurs : analyses de données, simulations, optimisation, démonstrations de théorèmes, apprentissage automatique scientifique. L'agent travaille dans un terminal conteneurisé et doit produire un artefact (analyse, code, données) que des tests propres à la tâche vérifient. Le projet se présente comme un effort communautaire mené par des chercheurs de Stanford University, construit par l'équipe de Terminal-Bench et de Harbor avec des experts de domaine, et hébergé par Stanford, Harbor et le Laude Institute. Steven Dillmann (Stanford) signe les annonces.

L'appel à contributions du 8 mars 2026 visait plus de 100 tâches, calibrées pour que les modèles de pointe n'en résolvent que 10 à 20 % à la sortie. La version 0.1 est taguée sur GitHub le 26 août 2026 et annoncée le 27 : 70 tâches, en sciences de la vie (19), sciences physiques (17), sciences mathématiques (17), sciences de l'ingénieur (9) et sciences de la Terre (8). Le texte d'annonce pose le principe : « We need verifiable evidence of scientific capability. »

Comment une tâche est construite et notée

Chaque tâche suit le format Harbor : instruction, environnement Docker, solution de référence et tests déterministes écrits par l'auteur de la tâche, sans crédit partiel ni juge LLM. Le pipeline de sélection est public : 920 propositions, 464 approuvées, 386 pull requests, 70 tâches retenues (7,6 %). Le dépôt est sous licence Apache 2.0. Le classement officiel fait tourner chaque modèle avec l'agent natif de son éditeur et moyenne trois essais par tâche ; à l'annonce du 27 août 2026, l'équipe indique que le modèle le mieux placé, Claude Opus 5 avec Claude Code, atteint 30,0 % de résolution, au-dessus de la cible initiale.

Un benchmark continu : 0.1, puis 0.2

Le projet se définit comme « a continuous benchmark that evolves alongside the AI frontier » : des versions régulières ajoutent, corrigent ou retirent des tâches. La version 0.2 est en préparation, avec une date limite de pull requests au 5 octobre 2026. Snorkel AI soutient le projet par son programme Open Benchmarks Grants et a relayé l'appel aux scientifiques, sans figurer parmi les contributeurs de tâches.

Comment lire un score

Avec 70 tâches, une tâche vaut environ 1,4 point. La version 0.1 n'a fait l'objet d'aucune revue indépendante connue au 15 octobre 2026 : Epoch AI, qui a passé Terminal-Bench 4.0 en revue, n'a rien publié sur la déclinaison scientifique. Tâches, tests et solutions sont publics, donc exposés à la contamination. Le harnais change le résultat : Vals AI mesure la 0.1 en pass@1 sur un seul passage avec mini-swe-agent, et prévient que ses chiffres ne se comparent pas au classement officiel (agents natifs, trois essais). Un score se lit avec sa version, son harnais, son nombre d'essais et le nom de celui qui a mesuré.