Concept Vals Index
Indice de Vals AI : huit benchmarks agentiques (finance, code, droit, fiscalité) pondérés par leur part du PIB américain. Versions non comparables.
SFEIR AI · Publié le 15 octobre 2026
Un indice, pas un benchmark
Le Vals Index est l'indice composite de Vals AI, présenté comme « a single measure of AI's potential economic impact ». Il n'a aucune tâche propre : il agrège huit benchmarks agentiques, six privés et deux publics, en quatre secteurs. Finance : Finance Agent v2 et l'Excel Modeling Benchmark. Code : Terminal-Bench 4.0, Vibe Code Bench et Code Migration. Droit : Legal Research Bench et Harvey LAB. Fiscalité : Tax Agent Bench. Chaque composante entre avec son score autonome, sauf Code Migration, compté sur un sous-ensemble fixe de 60 tâches.
La pondération : la valeur ajoutée par industrie du BEA
Les poids viennent des séries de valeur ajoutée par industrie du Bureau of Economic Analysis, publiées sur FRED : finance et assurance « ~8.0% of U.S. GDP », information (approximation du logiciel) environ 5,6 %, services juridiques 1,2 %, préparation fiscale 0,5 %. Formule de la v2.1 : Vals Index = (8,0 × Finance + 5,6 × Code + 1,2 × Droit + 0,5 × Fiscalité) / 15,3, chaque secteur étant la moyenne de ses composantes. La finance pèse donc 52 % de l'indice, le code 37 %, le droit 8 %, la fiscalité 3 % ; Finance Agent v2 seul compte pour 26 %, Harvey LAB pour moins de 4 %. Vals parle lui-même de « vast oversimplification ».
Des versions qui ne se comparent pas
La composition change à chaque saturation d'une composante, et les scores ne traversent pas les versions. Les v1.x ne couvraient que finance (poids 2,0) et code (1,4). La v2 du 13 août 2026 remplace CorpFin par l'Excel Modeling Benchmark, ajoute Code Migration, Legal Research Bench et Harvey LAB, et supprime SWE-bench Verified, saturé. La v2.1 du 25 septembre 2026 ajoute la fiscalité et substitue Terminal-Bench 4.0 à la 2.1 : « Terminal-Bench 4.0 is substantially harder, so index scores are lower than under v2 ».
Le 11 août 2026, le premier de la v1.2 affichait 75,14 % selon Vals ; le 13 octobre, le premier de la v2.1 affiche 68,90 % ± 0,97. Une variante multimodale est archivée depuis août 2026.
Comment lire un score
Le classement met chaque score en regard du coût par test, des tokens et de la durée. La frontière est en dents de scie : le 14 octobre 2026, Vals relève que cinq modèles différents mènent les huit composantes, et que les deuxième et troisième de l'indice ne sont que 35e et 33e sur Harvey LAB.
Trois réserves. La pondération suit l'économie américaine. Six composantes sur huit sont privées. Terminal-Bench 4.0 a été classé « Flawed » par Epoch AI le 4 septembre 2026. Un tableau qui affiche l'indice et ses composantes côte à côte compte un même résultat deux fois. Le choix d'un modèle se fait sur une évaluation de vos propres cas.
Questions fréquentes
Qu'est-ce que le Vals Index ?
L'indice composite de Vals AI, qui agrège huit benchmarks agentiques (finance, code, droit, fiscalité) en un seul chiffre pondéré par la part de chaque secteur dans le PIB américain. Il n'a pas de tâche propre : chaque composante entre avec son score autonome, et Vals le présente comme une mesure de l'impact économique potentiel de l'IA.
D'où viennent les poids de l'indice ?
Des séries de valeur ajoutée par industrie du Bureau of Economic Analysis, publiées sur FRED : finance et assurance environ 8,0 % du PIB, information 5,6 %, services juridiques 1,2 %, préparation fiscale 0,5 %. La formule v2.1 divise la somme pondérée par 15,3. La finance pèse ainsi 52 % de l'indice, le droit 8 %.
Peut-on comparer un score v1.2 et un score v2.1 ?
Non. Entre les deux, les composantes, les secteurs, les poids et le dénominateur ont changé, et Terminal-Bench 4.0 est bien plus difficile que la 2.1. Le premier de la v1.2 affichait 75,14 % en août 2026, le premier de la v2.1 68,90 % en octobre, sans que les modèles aient régressé. Un score se cite avec sa version.
Les composantes sont-elles publiques ?
Six sur huit sont privées, ce que Vals présente comme une protection contre la contamination des données d'entraînement. Le revers est l'absence de reproduction indépendante. Les deux composantes publiques sont Terminal-Bench 4.0 et Harvey LAB, ce dernier étant noté par Vals sur un jeu de test réservé.
Un bon rang au Vals Index suffit-il pour choisir un modèle ?
Il situe un modèle dans le peloton du moment, sur une pondération américaine et des tâches génériques. Vals montre lui-même que cinq modèles différents mènent les huit composantes. Le choix se fait sur une évaluation de vos propres tâches, en coût par résultat, avec le harnais que vous déploierez.
Sources
- Vals AI — Vals Index Leaderboard and Methodology (v2.1) · 2026-10-13
- Vals AI — Vals Index v1.2 (version archivée) · 2026-08-11
- Vals AI sur X — annonce de la v2.1 (Terminal-Bench 4 et secteur fiscal) · 2026-09-29
- Vals AI — Routers Are a New AI Primitive (frontière en dents de scie) · 2026-10-14
- Vals AI — Vals Multimodal Index (archivé) · 2026-08-11
- Epoch AI — Terminal-Bench 4.0 review (verdict Flawed) · 2026-09-04
Vals Index dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber
Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.
Gemini 4 Argon : le modèle frontier de Google, à moitié prix jusqu'au 30 novembre
Depuis le 13 octobre 2026, Gemini 4 Argon est ouvert à tous les clients payants de Google, à 2 $ / 10 $ le million de tokens jusqu'au 30 novembre, puis 4 $ / 20 $. Taux d'hallucination le plus bas mesuré par Artificial Analysis, volet cyber sous double régime, signaux contradictoires sur le code.
Mistral Large 4 : 1 000 milliards de paramètres en open-weights, une souveraineté qui se jugera sur la licence
Le 6 octobre 2026, Mistral ouvre en preview API Mistral Large 4 : 1 000 milliards de paramètres, 49 milliards actifs, poids promis pour le 27 octobre. Au niveau des meilleurs open-weights chinois, pas des modèles fermés. Son vrai écart : la cyberdéfense, et une licence encore inconnue.
Claude Opus 5.5 : le niveau de Fable 5.1 au prix d'Opus, et quatre ruptures d'API à traiter
Claude Opus 5.5 (22 septembre 2026) ouvre la famille Claude 5.5 : niveau de Fable 5.1 sur la plupart des tâches, 20 % de moins au token qu'Opus 5, cache read à 0,20 $. Derrière l'annonce : quatre breaking changes, un thinking qu'on ne coupe plus, une facture qui dépend de l'effort.