LAB-Bench

Mesurer le travail d'un chercheur, pas ses connaissances

LAB-Bench (Language Agent Biology Benchmark) est publié en juillet 2024 par FutureHouse, laboratoire à but non lucratif fondé en 2023 par Sam Rodriques et Andrew White. L'article arXiv:2407.10362 part d'un constat : les benchmarks scientifiques testent des connaissances de manuel, alors qu'un assistant de recherche cherche la littérature, lit une figure, manipule une séquence d'ADN ou planifie un clonage. Plus de 2 400 questions à choix multiples en huit sous-tâches, avec une base humaine. Rien à voir avec le « LAB » de Harvey, benchmark juridique.

LABBench2 : mêmes capacités, contextes plus réalistes

LABBench2 paraît le 4 février 2026 (arXiv:2604.09554), signé par Jon M. Laurent et onze coauteurs d'Edison Scientific, de FutureHouse et du Broad Institute. Edison Scientific est la société commerciale issue de FutureHouse, annoncée le 5 novembre 2025. Le billet de lancement annonce 1 892 tâches ; le jeu Hugging Face en compte 1 912 au 15 octobre 2026, en onze familles : LitQA3, PatentQA, TrialQA, SourceQuality, FigQA2, TableQA2, ProtocolQA2, DbQA2, SuppQA2, SeqQA2 et CloningQA. La réponse est libre, vérifiée par programme.

Le changement principal est le mode retrieve : sur FigQA2 ou TableQA2, le modèle ne reçoit aucun contexte et doit retrouver l'article, puis la figure. Les mêmes tâches existent en mode file ou inject, source fournie, ce qui isole la part due à la recherche. Les modèles sont évalués sans outils, puis avec recherche web et exécution de code ; selon l'article, les outils aident surtout la récupération et ne résolvent ni FigQA2 en retrieve, ni SuppQA2, ni DbQA2. Par rapport à LAB-Bench, la précision d'un même modèle recule de 26 à 46 points selon les sous-tâches.

Un jeu public, un harnais public, des corrections datées

Jeu de données (Hugging Face, accès sur formulaire) et harnais (GitHub EdisonScientific/labbench2) sont publics sous licence CC BY-SA 4.0. Un jeu public reste exposé à la contamination. Le journal des changements compte : le 13 mars 2026, une erreur de données a conduit à remplacer l'intégralité des 150 tâches SourceQuality, et deux correctifs du runner Anthropic, le 23 mars, ont encore modifié les résultats publiés.

Comment lire un score

Le classement d'Edison moyenne quinze sous-benchmarks et affiche la couverture : une ligne à 14/15 n'a pas été mesurée partout. Chaque ligne précise « Base » ou « Tools + high ». Au relevé du 13 au 23 mars 2026, Edison mesurait un meilleur score de 0,609 avec outils, et de 0,32 à 0,40 sans. Un chiffre sans mode, sans couverture ni mention des outils ne se lit pas, et un score LAB-Bench ne se compare pas à un score LABBench2.

L'article reconnaît ses limites : ni exécution en laboratoire, ni recherche sur des semaines. Pour une R&D en santé ou en agrobiologie, la lecture utile est par famille de tâches, en mode retrieve, avec les outils que l'on compte déployer.