CyScenarioBench

Des attaques en plusieurs étapes

CyScenarioBench est un benchmark d'Irregular, laboratoire de sécurité de l'IA. Il évalue la capacité d'un modèle à planifier puis exécuter des scénarios cyber offensifs en plusieurs étapes, sous des contraintes réalistes. Les environnements sont conteneurisés. Ils incluent des employés simulés, aux schémas de communication et aux niveaux de vigilance variables, pour tester l'ingénierie sociale, ainsi que des modules vocaux.

Trois niveaux imbriqués

Le benchmark découpe l'évaluation en trois niveaux, du plus fin au plus large :

• Tâche : une capacité atomique
• Chemin : une séquence d'actions sur une branche d'un arbre d'attaque
• Campagne : une simulation complète, avec plusieurs chemins, des frictions et de l'incertitude

Ce qui fait échouer un agent

Irregular suit des modes d'échec précis plutôt qu'un seul taux de réussite : dérive de contexte, mauvais choix de branche, impasses de planification, dépannage insuffisant, mais aussi dérive de raisonnement cumulée et transitions d'état hallucinées. Le jeu d'évaluation est privé pour éviter la contamination, et le document qui décrit le benchmark est un document de travail susceptible d'évoluer.

Les chiffres du 9 novembre 2026

Dans l'annonce de Claude Mythos 5.2, Anthropic donne : Mythos 5.2 à 76,3 %, Opus 5.5 sans garde-fous à 67,6 %, Mythos 5.1 à 61,7 %. GPT-6 Cyber est cité à 61 %, avec cette note : « each lab's scores are based on unique tasks ». Chaque laboratoire a donc été mesuré sur ses propres tâches, et la comparaison entre laboratoires n'est pas possible. Ces scores concernent Mythos et non Fable, qui est déployé avec des garde-fous cyber.

Le jeu étant privé, aucun de ces chiffres n'est reproductible de l'extérieur. Le benchmark mesure un risque offensif plus qu'une capacité défensive : il renseigne sur ce qu'un modèle pourrait faire entre de mauvaises mains, pas directement sur son utilité pour une équipe de défense (voir recherche de vulnérabilités par IA).