BenchCAD
Benchmark de CAO paramétrique : 17 900 programmes CadQuery vérifiés, 106 familles de pièces industrielles, notation géométrique sans juge LLM.
SFEIR AI · Publié le 10 novembre 2026
Des pièces industrielles écrites en code
BenchCAD évalue la capacité d'un modèle à comprendre et produire de la conception assistée par ordinateur sous forme de code. Le papier de référence, arXiv 2605.10865, est signé Haozhe Zhang, Kaichen Liu, Miaomiao Chen, Lei Li, Shaojie Yang, Cheng Peng et Hanjie Chen, soumis le 11 mai 2026 (version 2 le 12 mai).
Le jeu compte 17 900 programmes CadQuery, tous vérifiés à l'exécution, répartis en 106 familles de pièces industrielles : engrenages coniques, ressorts de compression, forets et autres.
- Questions visuelles sur une pièce
- Questions sur le code CadQuery
- Génération de code à partir d'une image
- Édition de code guidée par une instruction
Une notation géométrique
Pour la reconstruction, la métrique principale est l'IoU (intersection sur union) entre la pièce prédite, rendue, et la grille d'occupation de référence en voxels. S'y ajoutent la distance de Chamfer, la distance de Hausdorff, le Feature-F1, le rappel des opérations essentielles et le taux d'exécution. La notation est entièrement programmatique : aucun juge LLM n'intervient.
BenchCAD 2.1 chez Anthropic : un protocole non documenté
Dans l'annonce de Claude Fable 5.2, le 9 novembre 2026, Anthropic publie des scores sur « BenchCAD 2.1 » : Fable 5.2 à 83,5, Opus 5.5 à 65,3 et Fable 5.1 à 44,4, en effort Max, sur une échelle de 0 à 100 avec crédit partiel. Anthropic décrit le test comme mesurant « how closely a model's designs match reference geometry and circuits ».
Cette description ne correspond pas au papier. Le papier ne couvre que la CAO mécanique, sans circuits, et ne mentionne aucune version 2.1. Au 10 novembre 2026, le protocole de BenchCAD 2.1 n'est pas documenté publiquement. Les chiffres d'Anthropic ne se rapprochent donc pas des résultats du papier.
Comment lire un score BenchCAD
Vérifiez la version (le papier de mai 2026 ou la 2.1 citée par Anthropic), la tâche (reconstruction, édition, questions) et la métrique : un IoU et une note sur 100 avec crédit partiel ne disent pas la même chose. Une pièce peut obtenir un bon IoU tout en manquant une opération que le rappel des opérations essentielles aurait relevée.
Questions fréquentes
Qu'est-ce que BenchCAD ?
Un benchmark de CAO paramétrique décrit dans arXiv 2605.10865 (mai 2026) : 17 900 programmes CadQuery vérifiés à l'exécution, 106 familles de pièces industrielles, et quatre types de tâches allant des questions visuelles à la génération de code depuis une image.
Comment BenchCAD note-t-il une reconstruction ?
Par l'IoU entre la pièce rendue et la grille de voxels de référence, complété par les distances de Chamfer et de Hausdorff, le Feature-F1, le rappel des opérations essentielles et le taux d'exécution. Aucun juge LLM n'intervient.
Qu'est-ce que BenchCAD 2.1 ?
La version citée par Anthropic le 9 novembre 2026, décrite comme couvrant la géométrie et les circuits, notée de 0 à 100 avec crédit partiel. Le papier ne mentionne ni version 2.1 ni circuits, et le protocole n'était pas documenté publiquement au 10 novembre 2026.
Sources
BenchCAD dans vos projets
Échanger avec SFEIRArticles liés
Claude Fable 5.2 et Mythos 5.2 : moins cher au token, plus cher à la tâche si l'on pousse l'effort
Claude Fable 5.2 et Mythos 5.2 (9 novembre 2026) : prix au token en baisse de 20 %, scores en hausse. Mais à effort max, Artificial Analysis mesure 26,54 $ par tâche, le double de Fable 5.1. À effort high, il bat Opus 5.5 max pour un peu moins cher.
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.