Concept Riemann-Bench
Benchmark privé de Surge AI : 25 problèmes de mathématiques de recherche, vérifiés en double aveugle, posés à des agents outillés sur 100 essais.
SFEIR AI · Publié le 15 octobre 2026
Au-delà des olympiades
Riemann-Bench répond à l'arrivée d'IA au niveau médaille d'or aux Olympiades internationales : les problèmes de compétition sont une tranche étroite du raisonnement mathématique, qui récompense l'astuce plus que la théorie. Il vise la recherche : des problèmes qui ont demandé des semaines à leurs auteurs.
Il est publié par Surge AI, société américaine de données d'évaluation, dans l'article arXiv:2604.06802 de Suhaas Garre, Erik Knutsen, Sushant Mehta et Edwin Chen, soumis le 8 avril 2026 ; arXiv signale une acceptation à l'atelier « Logical Reasoning of Large Language Models » d'ICLR 2026. Les 25 problèmes sont rédigés par des professeurs d'universités de l'Ivy League, des doctorants et des médaillés de l'IMO.
Une tâche, sa vérification, sa notation
Chaque problème a une réponse unique sous forme close, contrôlée par un vérificateur programmatique, sans crédit partiel. Avant d'entrer au jeu, il passe une vérification en double aveugle : deux experts indépendants, sans la solution de l'auteur, doivent le résoudre de zéro.
Les modèles sont évalués en agents non contraints : interpréteur Python, recherche web, sans budget de tokens. Surge indique un délai initial d'une heure par problème, levé lors de la mise à jour de septembre 2026. Chaque modèle fait 100 essais par problème ; le taux de réussite est calculé avec l'estimateur non biaisé de pass@k de Chen et al. (2021), et les tableaux donnent le pass@1.
Privé, donc non contaminé, donc invérifiable
Le jeu est tenu « strictly private » : Surge seul l'exécute, aucun tiers ne peut inspecter les problèmes ni contester une réponse de référence, et au 15 octobre 2026 Epoch AI n'a publié aucune revue. L'article se compare à FrontierMath (environ 350 problèmes) et à Humanity's Last Exam ; comme eux, ses problèmes ont une solution connue.
Avec 25 problèmes, un problème vaut 4 points de pass@1 ; les 100 essais lissent le hasard d'une tentative, pas celui du choix des problèmes. Sur l'exemple de l'article, un modèle invoque un théorème inexistant et livre un résultat faux : une hallucination énoncée avec assurance.
Comment lire un score
Un score Riemann-Bench se date. À la soumission de l'article, en avril 2026, tous les modèles de pointe étaient sous 10 % de pass@1. Le billet mis à jour en septembre 2026 écrit « all frontier models currently score below 45% », et le classement de Surge affiche, au 15 octobre 2026, un meilleur score de 74,4 %, sans date par ligne. Entre-temps, le délai d'une heure a été levé. Sans numéro de version du jeu, un chiffre d'avril et un chiffre d'octobre ne mesurent pas le même protocole.
Pour un DSI, Riemann-Bench mesure la marge de progrès du raisonnement long, pas l'aptitude à vos workloads ; il se lit comme toute évaluation de LLM : qui a mesuré, quand, avec quel protocole.
Questions fréquentes
Qu'est-ce que Riemann-Bench ?
Un benchmark privé de Surge AI, publié en 2026, composé de 25 problèmes de mathématiques de niveau recherche écrits par des professeurs, des doctorants et des médaillés de l'IMO. Chaque problème a une réponse unique sous forme close, vérifiée par programme, et les modèles sont testés en agents avec Python et recherche web.
Comment les problèmes sont-ils vérifiés ?
En double aveugle : deux experts indépendants, sans accès à la solution de l'auteur, doivent résoudre chaque problème de zéro et signaler toute ambiguïté ou difficulté mal calibrée. Un problème qui échoue est révisé ou écarté. La réponse attendue est unique et sous forme close, contrôlée par un vérificateur qui accepte les formes équivalentes.
Comment le score est-il calculé ?
Chaque modèle effectue 100 essais indépendants par problème. Le taux de réussite utilise l'estimateur non biaisé de pass@k de Chen et al. (2021), et les tableaux donnent le pass@1. Avec 25 problèmes, un problème vaut 4 points : un écart de quelques points entre deux modèles tient à un seul problème.
Pourquoi les scores ont-ils autant monté entre avril et octobre 2026 ?
L'article d'avril 2026 donnait tous les modèles sous 10 %. Depuis, Surge a levé la limite d'une heure par problème, de nouveaux modèles sont sortis et le billet a été republié avec des scores plus élevés. Sans numéro de version du jeu, les deux séries ne mesurent pas le même protocole et ne se comparent pas.
Peut-on vérifier un score Riemann-Bench ?
Non. Le jeu est strictement privé, seul Surge AI l'exécute, et aucune revue indépendante, Epoch AI compris, n'existait au 15 octobre 2026. La confidentialité protège de la contamination des corpus d'entraînement, mais elle interdit toute reproduction ou contestation d'une réponse de référence par un tiers.
Sources
- arXiv:2604.06802 — Riemann-Bench: A Benchmark for Moonshot Mathematics · 2026-04-08
- Surge AI — Riemann-bench: A Benchmark for Moonshot Mathematics (billet, mis à jour le 16 septembre 2026) · 2026-03-24
- Surge AI — classement Riemann-bench · 2026-10-15
- ICLR 2026 — Workshop on Logical Reasoning of Large Language Models · 2026-04-26
- Chen et al. (2021) — Evaluating Large Language Models Trained on Code (estimateur pass@k) · 2021-07-07
