CVE Rediscovery
Évaluation interne d'Anthropic : retrouver une faille connue dans l'instantané d'un projet pris avant sa correction. Run d'octobre 2026 sur 1 829 CVE.
SFEIR AI · Publié le 10 novembre 2026
Retrouver une faille avant sa correction
CVE Rediscovery est une évaluation interne d'Anthropic, sans jeu public. Le principe : on donne au modèle un instantané d'un projet pris avant la correction d'une CVE, et on mesure la part des vulnérabilités qu'il retrouve. Le run publié date d'octobre 2026 et porte sur 1 829 CVE, à cinq niveaux d'effort, de Low à Max.
Les résultats publiés le 9 novembre 2026
Dans l'annonce de Claude Mythos 5.2, Anthropic donne Mythos 5.2 à 89,6 %, Opus 5.5 sans garde-fous à 81,3 % et Mythos 5.1 à 78,3 %. Mythos 5.2 est devant à tous les niveaux d'effort. Anthropic exprime l'écart en volume : 10,2 % de vulnérabilités retrouvées en plus qu'Opus 5.5, 14,4 % de plus que Mythos 5.1.
Anthropic nuance lui-même ce résultat : « On our own evaluations, vulnerability identification is roughly on par with Opus 5.5 ». Un testeur cité par Anthropic rapporte aussi que les modèles précédents surestimaient la gravité d'environ un constat sur vingt, et Mythos 5.2 d'aucun. Ce témoignage n'est pas une mesure.
Ce que l'évaluation ne mesure pas
L'évaluation est interne, donc non reproductible. Elle porte sur la redécouverte de failles connues, ce qui diffère d'une découverte à l'aveugle dans du code jamais audité. Les CVE étant publiques, une partie a pu être vue pendant l'entraînement ; Anthropic ne documente pas comment ce risque de mémorisation est contrôlé.
Pour une équipe de sécurité, le chiffre indique un ordre de grandeur sur la capacité à repérer des classes de failles déjà documentées. Il ne remplace pas un test sur son propre code, avec des failles que le modèle ne peut pas connaître. Les travaux de recherche de vulnérabilités par IA et les jeux publics comme CWE-Bench complètent ce tableau.
Questions fréquentes
Qu'est-ce que CVE Rediscovery ?
Une évaluation interne d'Anthropic : le modèle reçoit l'instantané d'un projet pris avant la correction d'une CVE et doit retrouver la faille. Le run d'octobre 2026 porte sur 1 829 CVE, à cinq niveaux d'effort.
Quels sont les scores publiés ?
Mythos 5.2 à 89,6 %, Opus 5.5 sans garde-fous à 81,3 % et Mythos 5.1 à 78,3 %, selon Anthropic le 9 novembre 2026. Mythos 5.2 est devant à tous les niveaux d'effort.
Mythos 5.2 identifie-t-il mieux les vulnérabilités qu'Opus 5.5 ?
Sur cette évaluation, oui. Anthropic précise toutefois que, sur ses propres évaluations, l'identification de vulnérabilités est « roughly on par with Opus 5.5 ».
Quelles sont les limites de CVE Rediscovery ?
Elle est interne et non reproductible, elle porte sur des failles déjà connues et non sur une découverte à l'aveugle, et le risque que le modèle ait mémorisé des CVE publiques n'est pas documenté.
