SFEIR
Concept

RoboDojo

Benchmark unifié simulation et réel pour les politiques de manipulation robotique généralistes : 42 tâches sous Isaac Sim, 18 tâches sur matériel.

SFEIR AI · Publié le 10 novembre 2026

ia agents-ia methodologie

Simulation et monde réel dans un même protocole

RoboDojo est un benchmark pour les politiques de manipulation robotique généralistes, décrit par Chen et al. (premier auteur Tianxing Chen) dans arXiv 2607.04434, soumis le 5 juillet 2026, version 3 le 8 juillet. Il réunit dans un même cadre une partie simulée et une partie réelle : 42 tâches en simulation sous Isaac Sim et 18 tâches réelles sur un matériel standardisé. Un classement public accompagne le papier.

Cinq dimensions en simulation

Les tâches simulées sont réparties selon cinq dimensions, qui isolent chacune une difficulté de la manipulation :

  • généralisation
  • mémoire
  • précision
  • long horizon
  • instructions en vocabulaire ouvert

Les chiffres d'Anthropic du 9 novembre 2026

Dans l'annonce de Claude Fable 5.2, Anthropic publie des runs internes au plus haut niveau d'effort : Fable 5.2 à 64,9 % (Max), Opus 5.5 à 39,4 %, Gemini 4 Argon à 34,2 % (run Anthropic, effort High), GPT-6 Astra à 29,8 % et Fable 5.1 à 27,6 %. Anthropic affirme que Fable 5.2 dépasse les autres modèles frontière sur le même harnais « as well as most AI systems built specifically to control robots », sans publier le détail de cette comparaison.

Comment lire ces scores

Les chiffres d'Anthropic viennent de son propre harnais, pas du classement officiel de RoboDojo. Seule la partie simulation est rapportée : rien n'est publié sur les 18 tâches réelles, qui sont pourtant la raison d'être d'un benchmark unifié. Avant de citer un de ces scores, précisez qu'il s'agit de la simulation, mesurée par l'éditeur du modèle.

Questions fréquentes

Qu'est-ce que RoboDojo ?

Un benchmark unifié simulation et réel pour les politiques de manipulation robotique généralistes : 42 tâches simulées sous Isaac Sim et 18 tâches réelles sur matériel standardisé, décrit dans arXiv 2607.04434 (juillet 2026).

Que mesure la partie simulation ?

Cinq dimensions : la généralisation, la mémoire, la précision, le long horizon et la compréhension d'instructions en vocabulaire ouvert.

Les scores publiés par Anthropic sont-ils ceux du classement officiel ?

Non. Ce sont des runs internes d'Anthropic sur son propre harnais, au plus haut niveau d'effort, limités à la simulation. Fable 5.2 y obtient 64,9 %.

Sources

RoboDojo dans vos projets

Échanger avec SFEIR

Articles liés

Claude Fable 5.2 et Mythos 5.2 : moins cher au token, plus cher à la tâche si l'on pousse l'effort

Claude Fable 5.2 et Mythos 5.2 : moins cher au token, plus cher à la tâche si l'on pousse l'effort

Claude Fable 5.2 et Mythos 5.2 (9 novembre 2026) : prix au token en baisse de 20 %, scores en hausse. Mais à effort max, Artificial Analysis mesure 26,54 $ par tâche, le double de Fable 5.1. À effort high, il bat Opus 5.5 max pour un peu moins cher.

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.