FrontierCode
Benchmark de Cognition qui note la « mergeability » : un mainteneur fusionnerait-il la pull request produite par l'agent ? Version 2.0 du 27 octobre 2026.
SFEIR AI · Publié le 10 novembre 2026
Une question de mainteneur
FrontierCode est le benchmark de Cognition, l'éditeur de Devin. Il pose la question qu'un mainteneur de projet se pose devant une contribution : fusionnerait-il la pull request produite par l'agent ? Cognition appelle cette qualité la mergeability. Une PR qui passe les tests mais que personne n'accepterait dans son dépôt ne compte pas comme une réussite.
Pour construire les évaluations, Cognition a fait appel à plus de 20 développeurs open source, qui ont consacré plus de 40 heures à chaque tâche, sur les dépôts qu'ils maintiennent eux-mêmes. Chaque tâche porte une rubrique de critères. Le score est un agrégat pondéré de ces critères, et une solution qui échoue à un critère bloquant vaut 0. Le coût publié avec chaque score est la dépense moyenne par rollout au prix catalogue des API.
- v1.0 : juin 2026
- v1.1 : version précédant la 2.0, base de comparaison du classement de Cognition
- v2.0 : 27 octobre 2026
Ce que change la version 2.0
La version 2.0 ajoute deux catégories de tâches, les correctifs de sécurité et les optimisations de performance. Elle durcit surtout la notation : les critères bloquants de complétude (thoroughness) passent de 168 à 501. La solution de référence diffère de la PR amont dans 80 % des tâches, contre 60 % en 1.0.
Le classement publié par Cognition montre l'effet. Tous les modèles baissent entre 1.1 et 2.0, et l'ordre change. Claude Opus 5.5 perd 9 points sans avoir régressé : c'est l'examen qui est devenu plus dur. Les deux versions ne se comparent donc pas.
- Claude Opus 5.5 : 54,6 % → 45,5 %
- GPT-6 Astra : 53,3 % → 42,8 %
- Grok 4.7 : 47,6 % → 28,6 %
- Gemini 4 Argon : 47,5 % → 26,3 %
- Muse Wonder 1.0 : 47,0 % → 24,3 %
- SWE-2 : 50,0 % → 23,9 %
- DeepSeek V4.1 Flash : 43,9 % → 19,3 %
- Kimi K3 : 44,2 % → 17,7 %
Les chiffres d'Anthropic du 9 novembre 2026
Dans l'annonce de Claude Fable 5.2, Anthropic publie ses propres scores FrontierCode : 49,1 % pour Fable 5.2 en effort Xhigh, 45,3 % en effort High « for roughly half the cost per task » d'Opus 5.5, 32,4 % pour Fable 5.1 (Xhigh) et 41,1 % pour Gemini 4 Carbon (Medium). Ces chiffres sont mesurés par Anthropic ; le classement de Cognition reste la référence pour comparer des modèles entre eux. Le coût par tâche fait partie du résultat, comme le défend la notion de coût par résultat.
Comment lire un score FrontierCode
Trois réserves. Le benchmark est conçu par un éditeur d'agent de code qui vend un produit concurrent des modèles qu'il classe. La notation par rubrique laisse une part de jugement, même encadrée par des critères bloquants. Et un score de 49 % représente la moitié des points de rubrique pondérés, pas la moitié des PR fusionnées. Avant de comparer deux chiffres, vérifiez la version (1.1 ou 2.0), le niveau d'effort, le harnais et qui a mesuré.
Questions fréquentes
Qu'est-ce que FrontierCode ?
Un benchmark de Cognition, l'éditeur de Devin, qui évalue si un mainteneur open source fusionnerait la pull request produite par un agent de code. Les évaluations ont été construites par plus de 20 mainteneurs, plus de 40 heures par tâche, sur leurs propres dépôts.
Comment le score est-il calculé ?
Chaque tâche porte une rubrique de critères. Le score est un agrégat pondéré de ces critères ; une solution qui échoue à un critère bloquant vaut 0. Le coût affiché est la dépense moyenne par rollout au prix catalogue des API.
Qu'apporte FrontierCode 2.0 ?
Publiée le 27 octobre 2026, la 2.0 ajoute les correctifs de sécurité et les optimisations de performance, fait passer les critères bloquants de complétude de 168 à 501, et utilise une solution de référence différente de la PR amont dans 80 % des tâches.
Peut-on comparer un score 1.1 et un score 2.0 ?
Non. Tous les modèles baissent entre les deux versions : Claude Opus 5.5 passe de 54,6 % à 45,5 % sans avoir régressé. La 2.0 est un examen plus dur, pas une mesure prolongée.
Un score de 49 % signifie-t-il qu'une PR sur deux serait fusionnée ?
Non. C'est la moitié des points de rubrique pondérés. Une PR peut gagner des points sur plusieurs critères sans être fusionnable, et une solution qui échoue à un critère bloquant vaut 0.
Sources
FrontierCode dans vos projets
Échanger avec SFEIRArticles liés
Claude Fable 5.2 et Mythos 5.2 : moins cher au token, plus cher à la tâche si l'on pousse l'effort
Claude Fable 5.2 et Mythos 5.2 (9 novembre 2026) : prix au token en baisse de 20 %, scores en hausse. Mais à effort max, Artificial Analysis mesure 26,54 $ par tâche, le double de Fable 5.1. À effort high, il bat Opus 5.5 max pour un peu moins cher.
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.