Harvey LAB

Du dossier au livrable, comme en cabinet

Le Legal Agent Benchmark de Harvey AI, annoncé le 6 mai 2026, reproduit à chaque tâche une étape du travail en cabinet : une consigne d'une cinquantaine de mots ; un dossier client fermé ; un livrable relisible, mémo, tableau ou redline. L'exemple publié, un rachat fictif à 458 millions de dollars, disperse neuf problèmes dans une data room de huit contrats et de pièces secondaires ; sa grille compte 57 critères.

Le blog annonçait plus de 1 200 tâches et 75 000 critères sur 24 domaines. Le dépôt harveyai/harvey-labs, sous licence MIT, contenait 2 010 fichiers task.json au 8 octobre 2026, en 27 dossiers. Les chiffres intermédiaires sont des instantanés d'un jeu en croissance : un score se date avec son commit.

Des critères binaires, et aucun crédit partiel

Chaque tâche embarque sa grille : des critères atomiques, à poids égal, qu'un juge LLM note réussi ou raté sans réponse de référence. La tâche vaut 1 si tous passent, 0 sinon : c'est la notation all-pass. Harvey l'assume : « A deal-team report that identifies eight of ten risks is not 80% useful; it is materially incomplete. » Le harnais public note avec deux juges de familles différentes (Claude Sonnet 4.6 et GPT-5.5 par défaut).

Le benchmark a reçu le 26 mai 2026 des résultats de référence sur un jeu réservé : le meilleur modèle terminait 7,1 % des tâches.

Trois classements, trois chiffres non comparables

Vals AI tient un classement depuis le 17 juin 2026 : jeu de test privé, sans Internet, deux juges (GPT-5.5 et Claude Sonnet 4.6) dont les taux sont moyennés. Vals ne publie pas la taille du jeu ; ses scores, multiples de 1/240, suggèrent 120 tâches. Artificial Analysis publie Harvey LAB-AA : 120 tâches privées, son harnais Stirrup, trois juges, et depuis la v1.1 une règle qui met à zéro toute tâche contenant une hallucination matérielle. Mercor publie un troisième classement, en pass@1 sur 1 749 tâches publiques. En octobre 2026, le leader va de 13 % à 25 % selon le tableau : trois harnais, trois jeux, trois jurys.

Comment lire un score

Lisez les deux colonnes ensemble. Au 12 octobre 2026, le premier du classement Vals termine 25,42 % des tâches tout en validant plus de 94 % des critères.

Quatre réserves. Selon Bob Ambrogi (LawNext, 19 mai 2026), LAB est « a benchmark built by a market participant ». Les dossiers sont générés à partir de la pratique des grands cabinets américains ; rien n'indique de tâche en droit français ou européen. Les juges sont des modèles, sans accord mesuré avec des avocats. Harvey LAB pèse moins de 4 % du Vals Index, où il compte une seconde fois. Une grille de critères binaires écrite par un juriste senior est le bon départ d'une évaluation interne.