GDPval
Benchmark d'OpenAI sur des tâches professionnelles à valeur économique. Artificial Analysis en publie une déclinaison, GDPval-AA, notée en Elo.
SFEIR AI · Publié le 15 octobre 2026
Un benchmark de travail professionnel, pas de code
GDPval est le benchmark d'OpenAI consacré au travail économiquement valable : des tâches professionnelles de connaissance (documents, analyses, livrables de métiers) plutôt que la résolution de tickets ou de commandes dans un terminal. Il complète des jeux comme SWE-bench Verified, qui mesure la résolution d'issues sur des dépôts open source, ou Terminal-Bench, qui note l'état final obtenu par un agent dans un shell.
La version la plus citée sur ce site est GDPval-AA, la déclinaison qu'Artificial Analysis fait tourner et publie avec son propre protocole. L'évaluateur la présente comme du travail agentique « réel » : des briefs identiques soumis à chaque modèle, environ 1 999 matches et une trentaine de tours par tâche au relevé du 22 juin 2026. Les tableaux publiés par Z.ai en août 2026 et par Anthropic en septembre 2026 donnent 44 métiers couverts, en version 2 comme en version 2.1.
Lire un score Elo : version, marge d'erreur, réglage d'effort
GDPval-AA ne rend pas un pourcentage mais un Elo, construit à partir de comparaisons entre modèles sur les mêmes briefs. Un Elo se lit en écart, et les écarts serrés tombent dans la marge d'erreur : le 12 octobre 2026, Muse Wonder Full de Meta atteint 1 857 points contre 1 866 pour Claude Opus 5.5 et 1 838 pour Claude Sonnet 5.5, soit une deuxième place dans la marge d'erreur du premier.
La version du test compte autant que le chiffre. Dans les tableaux d'Anthropic, Claude Opus 5 est donné à 1 861 sur GDPval-AA v2 en juillet 2026, à 1 824 début septembre, puis à 1 708 sur la version 2.1 le 22 septembre : trois chiffres pour un modèle qui n'a pas changé. Claude Fable 5.1 passe de 1 853 à 1 735 entre les deux versions. Comparer deux scores suppose de vérifier qu'ils portent sur la même version.
Le réglage d'effort déplace lui aussi le résultat. Pour Claude Haiku 5.5, la vitrine d'Anthropic affiche 1 620 à effort max ; Artificial Analysis relève 1 277 au réglage par défaut medium, avec environ un dixième des tokens de sortie, selon la system card d'octobre 2026. Les 343 points d'écart séparent deux réglages du même modèle, et le second est celui que vous déployez sans y toucher.
Chiffre constructeur ou mesure tierce
Les annonces de modèles reprennent des scores GDPval-AA dans leurs tableaux, et ces tableaux restent des chiffres constructeur. Anthropic précise ainsi, pour Claude Sonnet 5.5 le 28 septembre 2026, qu'Artificial Analysis a mesuré GDPval-AA sur une préversion affectée d'un bug depuis corrigé. Les relevés directs de l'évaluateur ont un autre statut : le 22 juin 2026, Artificial Analysis classe GLM-5.2 premier modèle à poids ouverts et troisième tous modèles confondus, à 1 524 Elo, à parité avec GPT-5.5 (1 509) et derrière Claude Fable 5 (1 783) et Claude Opus 4.8 (1 615). Ce relevé a déplacé l'argument open-weights du registre constructeur vers celui de la mesure externe.
Le silence se lit aussi. Au lancement de GPT-6 Astra, le 3 septembre 2026, OpenAI n'a publié aucun score GDPval, son propre benchmark, omission relevée par VentureBeat. Le tableau d'Anthropic du 22 septembre 2026 situe ce modèle à 1 542 sur GDPval-AA v2.1, loin des 1 846 d'Opus 5.5 : quand un éditeur tait son propre test, il reste les relevés tiers pour situer son modèle.
Ce que GDPval ne dit pas d'un SI
GDPval échantillonne des tâches professionnelles génériques. Aucune ne contient votre monolithe de quinze ans, vos conventions internes non documentées, vos contraintes de sécurité ni la manière dont vos données sont mal nommées. Le score agrège une performance moyenne sur une distribution de tâches qui diffère de la vôtre, et un jeu public reste exposé à la contamination des données d'entraînement.
Un classement GDPval-AA sert d'indice de génération : il dit si un modèle appartient au peloton de tête du moment. La réponse à « résoudra-t-il mes tâches, à quel coût » vient d'une évaluation construite sur vos propres cas, mesurée en coût par résultat, au réglage d'effort que vous déploierez en production.
Questions fréquentes
Qu'est-ce que GDPval ?
Le benchmark d'OpenAI consacré au travail économiquement valable : des tâches professionnelles de connaissance, à la différence des tests de code (SWE-bench Verified) ou de terminal (Terminal-Bench).
Quelle différence entre GDPval et GDPval-AA ?
GDPval-AA est la déclinaison que fait tourner Artificial Analysis avec son propre protocole, notée en Elo à partir de briefs identiques soumis à chaque modèle. Ses versions ne se comparent pas entre elles : dans les tableaux d'Anthropic, Claude Opus 5 passe de 1 824 (v2) à 1 708 (v2.1) en septembre 2026.
Un score GDPval-AA suffit-il pour choisir un modèle ?
Il situe un modèle dans sa génération. Les tâches sont génériques, le score dépend de la version du test et du réglage d'effort (Claude Haiku 5.5 : 1 620 à effort max, 1 277 au réglage par défaut). Le choix se fait sur une évaluation de vos propres cas, en coût par résultat.
GDPval dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
Muse Wonder : Meta rejoint la frontière et garde son meilleur modèle pour Muse Code
Le 12 octobre 2026, Meta lance Muse Wonder et Muse Wonder Full. Le second se classe deuxième sur GDPval-AA d'Artificial Analysis, mais reste réservé aux abonnés Muse Code. Poids fermés, mode Contributor activé par défaut, connaissances en retrait : ce qu'une DSI doit en retenir.
Claude Haiku 5.5 : ce que le nouveau Haiku change pour vos sous-agents
Claude Haiku 5.5 (7 octobre 2026) rejoint le tarif de GPT-6 Luna sous 100 000 tokens et le devance sur les benchmarks constructeur. Seuil des 100k, tokenizer plus gourmand, verbosité à effort élevé, advisor, migration : à vérifier avant d'en faire le modèle de vos sous-agents.
Claude Sonnet 5.5 : le travail cadré au niveau d'Opus 5.5, au prix de Sonnet
Claude Sonnet 5.5 (28 septembre 2026) garde le tarif de Sonnet 5, 2 $/10 $, et se place à deux ou trois points d'Opus 5.5 sur le travail cadré. Benchmarks, coût par tâche selon l'effort, premiers garde-fous cyber sur un Sonnet, ruptures d'API à traiter avant de migrer.
Claude Opus 5.5 : le niveau de Fable 5.1 au prix d'Opus, et quatre ruptures d'API à traiter
Claude Opus 5.5 (22 septembre 2026) ouvre la famille Claude 5.5 : niveau de Fable 5.1 sur la plupart des tâches, 20 % de moins au token qu'Opus 5, cache read à 0,20 $. Derrière l'annonce : quatre breaking changes, un thinking qu'on ne coupe plus, une facture qui dépend de l'effort.
GLM-5.2 : le modèle open-weights de Z.ai qui défie les modèles fermés pour agentique coding !
Annoncé mi-juin 2026, GLM-5.2 de Z.ai (ex-Zhipu AI) est un modèle open-weights — MoE, 744 milliards de paramètres, contexte 1M, licence MIT — optimisé pour le codage agentique long-horizon. Specs, benchmarks constructeur, prix, et les réactions d'experts comme Jeremy Howard ou Mat Velloso.
GLM 5.3 = GLM 5.2 + une pincée de cyber
Z.ai a annoncé GLM-5.3 le 14 août 2026 sans réentraîner son modèle de base : tous les gains viennent du post-training. Le laboratoire chinois retarde de deux semaines la publication des poids à cause d'une capacité cyber qu'il dit ne pas avoir planifiée. Lecture SFEIR.
GPT-6 Astra : un vrai saut sur les agents, un récit d'AGI taillé pour l'entrée en Bourse
GPT-6 Astra (3 septembre 2026) : gains réels en usage d'ordinateur et en codage, prix aligné sur Fable 5.1, score ARC-AGI-3 qui passe de 99,9 % à 62,7 % selon le harnais. Et un « Welcome to the AGI era » qui arrive six mois après une levée de 122 milliards de dollars.
Pourquoi le sommet du leaderboard ne vous dit pas quel modèle choisir
À défaut du prix, on arbitre sur les benchmarks. Mauvais réflexe : un classement mesure des capacités moyennes sur des tests standardisés, pas la performance sur votre legacy. La précision plafonne, la variance explose, et l'écart au sommet compte moins que le harnais. Que mesurer à la place.