Chartography

Des graphiques que les benchmarks classiques ignorent

Chartography est le benchmark de Surge AI consacré à la lecture de graphiques professionnels : courbes de Kaplan-Meier, chandeliers boursiers, cartes de contours, diagrammes de Sankey et de Bode, courbes de croissance pédiatriques. Le classement ouvre le 16 juillet 2026 ; l'article, arXiv:2608.10677 (Suhaas Garre, Chris Mutty, Sushant Mehta, Edwin Chen), paraît le 11 août 2026, accepté à l'atelier BEAM 2 d'ECCV 2026.

Les benchmarks de graphiques existants, dominés par les barres, courbes et camemberts, saturent : l'article cite des modèles de tête à 93 % sur CharXiv et 86 % sur ChartMuseum, contre 45,0 % sur Chartography au lancement. Une erreur de lecture d'axe ne déclenche aucune alerte.

Cent tâches écrites par des praticiens, notées par plage

100 tâches, 12 étiquettes de domaine (santé, finance, fabrication, plusieurs branches de l'ingénierie). Chaque question est rédigée par un professionnel qui lit ces graphiques dans son travail, avec son cheminement de calcul, puis vérifiée par trois autres experts. 81 graphiques viennent de sources publiques (Wikimedia, NIST, CDC), 19 ont été créés par les auteurs.

Le modèle reçoit un seul message avec la question et l'image, sans outil, et répond librement. La réponse attendue porte une plage d'acceptation fixée par l'expert selon ce que le graphique permet de lire : 140 à 150 mph sur une carte de contours, ± 0,5 cm sur une courbe de croissance. 51 réponses ont une plage, 25 sont exactes, 24 catégorielles ; une réponse en plusieurs parties est tout ou rien. Un juge LLM (Gemini 3.5 Flash) compare réponse et cible sans voir le graphique. Le score est un pass@1 moyen : 20 essais par tâche dans l'article, 10 sur le classement.

Sélection adversariale, jeu public, petite taille

Une tâche n'a été retenue que si elle faisait échouer au moins un modèle de frontière pendant la curation. Le jeu est donc construit contre les modèles de juillet 2026 : un bond du score chez un modèle postérieur peut refléter un progrès de perception comme un simple décalage de génération.

Avec 100 tâches, une tâche vaut un point : un écart de un ou deux points ne se lit pas. L'article annonce la publication intégrale des tâches et du code ; le dépôt GitHub existe, sans licence déclarée au 15 octobre 2026, mais l'adresse Hugging Face qu'il indique ne répondait pas à cette date. Un jeu public reste exposé à la contamination, et le juge est lui-même un modèle du classement.

Comment lire un score Chartography

Le protocole Surge est sans outil. Un éditeur peut publier un score « avec outils » sous le même nom : le 23 septembre 2026, Anthropic affiche 89,0 % pour Claude Opus 5.5 avec outils, quand le classement Surge sans outils donne 66,3 % au même modèle le 15 octobre 2026. Les deux chiffres sont exacts ; ils ne mesurent pas la même chose.

• Le protocole : avec ou sans outils, et le réglage d'effort de raisonnement (dans l'article, 11 des 12 paires testées gagnent à l'effort élevé, médiane +4,5 points).
• Qui a mesuré : le classement Surge (10 essais par tâche, juge Gemini 3.5 Flash) ou un tableau constructeur.
• La date : le meilleur score Surge passe de 45,0 % au lancement (GPT-5.6 Sol, juillet 2026) à 71,6 % le 15 octobre 2026.
• La taille : 100 tâches, un point par tâche, des écarts serrés dans la marge.
• Ce que le score ne dit pas : la lecture de vos propres graphiques, avec vos conventions ; voir les evals LLM sur vos cas.