SFEIR
Vals Finance Agent Benchmark Concept

Vals Finance Agent Benchmark

Benchmark de Vals AI : tâches d'analyste financier sur les dépôts SEC. La v2 (mai 2026) note en crédit partiel gardé par des critères éliminatoires.

SFEIR AI · Publié le 15 octobre 2026

ia agents-ia data

Le travail d'un analyste junior, outils en main

Le Finance Agent Benchmark de Vals AI mesure si un agent peut faire « the work of entry-level financial analysts ». La v1, annoncée le 22 avril 2025 et décrite dans arXiv:2508.00828 (Bigeard et al., mai 2025), comptait 537 questions d'experts ; selon l'article, le meilleur modèle atteignait 46,8 % pour 3,79 $ par question. Une v1.1 a suivi, puis la v2, annoncée le 12 mai 2026.

Chaque agent tourne dans le même harnais (harness) avec six outils : edgar_search, web_search, parse_html_page, retrieve_information, calculator et price_history, et deux heures par tâche. Les questions visent le niveau d'un analyste junior en banque d'affaires : réponse unique, synthèse de plusieurs sources, conventions sectorielles implicites, précision « forensique ». Neuf catégories, des comparables à la modélisation financière.

927 ou 450 questions : les deux chiffres sont justes

Vals annonce 927 questions relues par des experts, en trois lots : 27 publiques, dans le dépôt vals-ai/finance-agent-v2 avec le harnais ; 450 de validation privée, vendues sous licence ; 450 de test, qui restent privées. Tous les résultats publiés portent sur ce seul jeu de test.

Crédit partiel, critères éliminatoires, All-Pass

Chaque question est découpée en contrôles pondérés selon leur gravité, dont certains sont des dealbreakers : en rater un met la question à zéro. Le score principal, Partial Credit, est la moyenne pondérée des contrôles réussis ; le score secondaire, All-Pass, vaut 100 % si tout passe, 0 % sinon. Un jury de trois modèles note chaque réponse (GPT-5.4, Gemini 3.1 Pro et Claude Sonnet 4.6 au 12 octobre 2026). Trois exécutions par modèle, moyenne et erreur standard publiées.

Vals liste sept changements depuis la v1.1 : questions reliant plusieurs documents, taxonomie réorganisée, crédit partiel gardé à la place d'un score plat, tolérances numériques resserrées, jeu de test agrandi. Les scores v1.1 et v2 ne se comparent pas.

Comment lire un score

La métrique change l'ordre : au 12 octobre 2026, selon Vals, deux modèles seulement dépassent 60 % en crédit partiel, aucun n'atteint 51 % en All-Pass, et le premier diffère d'une colonne à l'autre. L'erreur standard affichée (± 0,3 point) ne mesure que la variation entre trois exécutions ; l'incertitude liée au choix des 450 questions avoisine ± 2 points autour de 60 %.

Les limites : jeu de test privé, sans reproduction indépendante ; juges LLM qui notent aussi leur propre famille ; accès en direct au web et à EDGAR. L'article IPO Finance Agent (arXiv:2606.23032, juin 2026) ajoute que le benchmark se limite aux rapports 10-K et 10-Q et que son harnais repose sur une récupération « naive, unenriched » par morceaux. Rien ne couvre les normes IFRS, le format ESEF ni le français. Finance Agent v2 pèse en outre 26 % du Vals Index, où son résultat compte une seconde fois.

Questions fréquentes

Qu'est-ce que le Finance Agent Benchmark de Vals AI ?

Un benchmark qui mesure si un agent outillé (EDGAR, recherche web, calculatrice, historique de cours) peut faire le travail d'un analyste financier junior sur les documents des sociétés cotées américaines. La v1 date d'avril 2025 (arXiv:2508.00828), la v2 de mai 2026 ; les scores des deux versions ne se comparent pas.

Combien de questions compte la v2 : 927 ou 450 ?

Les deux chiffres coexistent. Le jeu complet compte 927 questions relues par des experts : 27 publiques, 450 de validation privée vendues sous licence, 450 de test. Seul le jeu de test de 450 questions sert aux résultats publiés, pour éviter le surapprentissage.

Quelle différence entre Partial Credit et All-Pass ?

Le crédit partiel est la moyenne pondérée des contrôles réussis, mise à zéro dès qu'un critère éliminatoire échoue. All-Pass vaut 100 % seulement si tous les contrôles passent. Au 12 octobre 2026, selon Vals, aucun modèle n'atteint 51 % en All-Pass et le premier change d'une colonne à l'autre.

Qui note les réponses ?

Un jury de trois modèles de langage, GPT-5.4, Gemini 3.1 Pro et Claude Sonnet 4.6 au 12 octobre 2026, contrôle par contrôle. Chaque modèle est exécuté trois fois et Vals publie la moyenne avec son erreur standard. Deux juges notent des modèles de leur propre famille, ce que le jury à trois atténue sans l'éliminer.

Que vaut ce benchmark pour une entreprise française ?

Il renseigne sur la recherche documentaire financière en anglais sur des dépôts SEC. Il ne couvre ni les normes IFRS, ni le format ESEF, ni les documents en français, et son harnais utilise une récupération simple par morceaux. Une évaluation sur vos propres dossiers, avec vos outils, reste nécessaire.

Sources

Vals Finance Agent Benchmark dans vos projets

Échanger avec SFEIR

Articles liés

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.

Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber

Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber

Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.

Mistral Large 4 : 1 000 milliards de paramètres en open-weights, une souveraineté qui se jugera sur la licence

Mistral Large 4 : 1 000 milliards de paramètres en open-weights, une souveraineté qui se jugera sur la licence

Le 6 octobre 2026, Mistral ouvre en preview API Mistral Large 4 : 1 000 milliards de paramètres, 49 milliards actifs, poids promis pour le 27 octobre. Au niveau des meilleurs open-weights chinois, pas des modèles fermés. Son vrai écart : la cyberdéfense, et une licence encore inconnue.