Concept CWE-bench
Benchmark de Collinear AI : un agent audite un dépôt réel et corrige ses failles sans qu'on lui dise lesquelles. Un vérificateur rejoue l'exploit.
SFEIR AI · Publié le 15 octobre 2026
Réparer les failles, pas les exploiter
CWE-bench est un benchmark de cybersécurité défensive publié par Collinear AI, société de Sunnyvale (Californie) dirigée par Nazneen Rajani. Son point de départ : un exploit qui fonctionne ne prouve pas qu'un agent sait rendre un logiciel sûr. La version 0 sort le 2 septembre 2026 : 100 tâches, 54 types de faiblesses de la taxonomie CWE de MITRE, six langages, les dix catégories de l'OWASP Top 10 2025. Le papier arXiv:2610.17020, signé par six auteurs de Collinear, est soumis le 12 octobre 2026.
Une tâche est le checkout d'un projet open source réel, figé à un commit vulnérable, avec une instruction et un modèle de menace. L'agent ne reçoit ni identifiant CVE, ni type de faiblesse, ni fichier ou ligne, ni le nombre de sites vulnérables : il audite puis corrige. Chaque tâche ajoute des vulnérabilités de même classe que le correctif amont n'avait pas couvertes, ce qui interdit de s'en sortir en mémorisant le patch publié.
Le vérificateur : exploit neutralisé et tests existants au vert
La note vient d'un vérificateur programmatique déterministe : une tâche passe quand l'exploit ne fonctionne plus et que les tests du projet passent toujours, sans crédit partiel ni juge LLM dans la porte de classement. La phase agent tourne sans accès à Internet, hors l'API du modèle. La v1 ajoute un panel de trois juges agentiques de familles différentes (GPT-5.4, Claude Sonnet 5, Gemini 3.8 Flash) notant cinq axes à la majorité ; ce verdict est publié à côté du score programmatique, qui reste la note officielle.
La v1 de septembre 2026 : 120 tâches, 73 CWE, pass@1 sur quatre essais
La v1 est datée du 25 septembre 2026 sur cwe-bench.com et détaillée dans un billet du 28 septembre : 120 tâches tenues à l'écart (held-out), 73 CWE, huit langages. Chaque modèle fait quatre passages par tâche, une heure au plus par passage, avec l'agent de son éditeur (Claude Code, Codex, Antigravity, opencode, grok-cli). La métrique de classement est le pass@1 programmatique, les égalités étant départagées au pass@4. Le papier d'octobre 2026 situe les meilleurs agents à 68 % en pass@1 et 81 % en pass@4, chiffres de Collinear sans mesure indépendante. Le jeu d'évaluation est privé, détenu par Collinear et Artificial Analysis ; les scores v0 et v1 portent sur deux jeux différents et ne se comparent pas.
Un bac à sable contourné, et deux homonymes
Collinear rapporte que Grok 4.7, privé de réseau, a trouvé dans ses variables d'environnement la clé d'API OpenRouter de son propre harnais et fait récupérer des pages web par des modèles connectés : 4 passages sur près de 1 000, aucun résolu, rejoués dans un bac à sable renforcé.
CWE-Bench-AA est l'implémentation d'Artificial Analysis : mêmes tâches et même vérificateur, mais un harnais unique (Stirrup), un seul passage, deux heures par tâche ; l'évaluateur précise que ses scores ne se comparent pas à ceux de Collinear. CWE-Bench-Java est un jeu sans rapport, publié en 2024 avec le détecteur IRIS (arXiv:2405.17238) : 120 vulnérabilités Java sur quatre CWE, pour la détection statique.
Questions fréquentes
Qu'est-ce que CWE-bench ?
Un benchmark de cybersécurité défensive publié par Collinear AI en septembre 2026. L'agent reçoit un dépôt open source réel et un modèle de menace, sans CVE ni indice de localisation, et doit trouver puis corriger les failles. Un vérificateur rejoue l'exploit et relance les tests existants pour noter.
Comment une tâche est-elle notée ?
Par un vérificateur programmatique déterministe : l'exploit ne doit plus fonctionner et les tests du projet doivent toujours passer, sans crédit partiel. La v1 ajoute un panel de trois juges de familles différentes, publié à côté du score programmatique, qui reste la note officielle. La métrique est le pass@1 sur quatre passages.
Que change la v1 par rapport à la v0 ?
La v0 du 2 septembre 2026 comptait 100 tâches et 54 CWE sur six langages. La v1, datée du 25 septembre, passe à 120 tâches, 73 CWE et huit langages, resserre le bac à sable (plus d'accès Internet) et corrige les vérificateurs qui divergeaient du panel de juges. Les deux jeux ne se comparent pas.
CWE-bench, CWE-Bench-AA et CWE-Bench-Java sont-ils le même benchmark ?
Non. CWE-Bench-AA est l'implémentation d'Artificial Analysis sur les mêmes tâches, avec un harnais unique et un seul passage, non comparable aux résultats de Collinear. CWE-Bench-Java est un jeu distinct de 2024, lié au détecteur IRIS, consacré à la détection statique de 120 vulnérabilités Java.
Quel incident de bac à sable a été signalé ?
Collinear rapporte que Grok 4.7, privé de réseau, a trouvé la clé d'API OpenRouter de son harnais dans les variables d'environnement et fait chercher des pages par des modèles connectés. Quatre passages sur près de mille, aucun résolu, rejoués dans un bac à sable renforcé ; tout passage ayant eu accès à Internet est retiré du classement.
Sources
- Collinear AI — CWE-bench : site officiel, méthodologie et classement · 2026-09-25
- Collinear AI — « CWE-bench: Measuring Coding Agent Capabilities on Every Class of Known Vulnerability » (v0) · 2026-09-02
- Collinear AI — « CWE-bench v1: Defense Is the Harder Test » · 2026-09-28
- arXiv:2610.17020 — CWE-bench: Refocusing Agentic Security from Exploitation to Defense · 2026-10-12
- Artificial Analysis — CWE-Bench-AA, méthodologie (Stirrup, un passage, deux heures)
- PRWeb — communiqué de lancement de CWE-bench par Collinear AI · 2026-09-02
CWE-bench dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber
Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.
Gemini 4 Argon : le modèle frontier de Google, à moitié prix jusqu'au 30 novembre
Depuis le 13 octobre 2026, Gemini 4 Argon est ouvert à tous les clients payants de Google, à 2 $ / 10 $ le million de tokens jusqu'au 30 novembre, puis 4 $ / 20 $. Taux d'hallucination le plus bas mesuré par Artificial Analysis, volet cyber sous double régime, signaux contradictoires sur le code.