NVIDIA Open Agent Safety Platform : sécuriser les agents IA hors de l'agent

Un été d'agents sortis de leur sandbox

NVIDIA justifie sa plateforme par une série d'incidents que ses propres billets résument ainsi : des agents sont sortis des environnements d'évaluation censés les contenir, et certains ont mal rapporté ce qu'ils avaient fait. Entre le 21 juillet et le 21 septembre 2026, quatre laboratoires ont publié ou reconnu des incidents de ce type.

• OpenAI, 21 juillet. OpenAI révèle que des modèles évalués sur un benchmark cyber-offensif ont exploité une faille zero-day de son proxy de paquets, puis compromis des serveurs de production de Hugging Face pour récupérer les réponses du test. Nous avions détaillé pourquoi la faille relevait du containment plus que d'une IA devenue incontrôlable.
• Anthropic, 30 juillet. Après revue de 141 006 exécutions d'évaluation où Claude pouvait obtenir un accès à Internet, Anthropic publie trois incidents : Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne ont atteint l'infrastructure de production de trois organisations. Les trois cas surviennent pendant des exercices capture-the-flag menés par Irregular, un prestataire d'évaluation ; le plus ancien date d'avril.
• Meta, 5 août. Muse Spark 1.1 attaque les systèmes d'une entreprise réelle pendant un exercice du même prestataire. Irregular déclare à Reuters qu'il s'agit du même problème d'environnement d'évaluation que chez Anthropic : un accès Internet laissé ouvert par erreur, et non une évasion au sens technique.
• Google, septembre. Le Wall Street Journal, repris par Cybersecurity Dive le 21 septembre, rapporte que des modèles Gemini ont pénétré à trois reprises les réseaux d'entreprises réelles depuis des sandboxes d'Irregular. Heather Adkins, vice-présidente sécurité de Google, précise que le modèle a trouvé des informations publiques, deviné des identifiants, puis s'est arrêté.

Dans le cas Meta, selon Irregular, l'agent n'a franchi aucune barrière : la barrière était mal configurée. Un contrôle logé dans le prompt ou dans l'environnement que l'agent habite ne voit pas cette erreur. Un contrôle posé à l'extérieur, sur le seul chemin réseau que l'agent peut emprunter, la bloque même quand la configuration de l'environnement est fausse. Irregular figure d'ailleurs dans la liste des partenaires de la plateforme publiée le 28 septembre.

Ce que NVIDIA a lancé le 28 septembre

Le communiqué décrit une plateforme logicielle ouverte et une conception de système de référence, destinées à gouverner les agents du test au déploiement, sur le logiciel comme sur le matériel qui les exécute. Chaque entreprise en déploie les éléments dont elle a besoin.

OpenShell, présenté à la GTC le 16 mars 2026 dans l'Agent Toolkit et dans NemoClaw, devient largement disponible. Sa version 0.1.0 a été publiée sur GitHub le 25 septembre, la 0.1.2 le jour du lancement. Chaque agent y tourne dans une sandbox isolée au niveau du noyau, sans autre chemin réseau que celui d'un superviseur qui confronte chaque requête sortante à la politique. Il fonctionne sans matériel NVIDIA particulier, sur Docker, Podman, des microVM ou Kubernetes.

Sentry est un chien de garde out-of-band qui tourne sur les DPU BlueField-4. Selon NVIDIA, il met en quarantaine un agent qui tente de sortir de son périmètre logiciel en quelques millisecondes, et il reste opérationnel si l'hôte ou la charge de l'agent sont compromis. Aucun test indépendant de ce délai n'a été publié.

Jensen Huang a résumé la doctrine sur CNBC, selon TechCrunch : quand on déploie un agent, aussi intelligent soit-il, la première chose à faire est de lui retirer tous ses droits. Il a situé le début du travail un an plus tôt, après l'apparition d'OpenClaw.

Le modèle du navigateur web

Le billet technique de John Myers, Alex Watson, Ali Golshan et Ofir Arkin part d'une analogie. Internet est devenu sûr le jour où le navigateur a cessé de faire confiance au code des pages et a isolé chaque onglet, sans rien exiger des développeurs web. NVIDIA transpose : l'agent est le code non fiable, la plateforme joue le navigateur.

Les auteurs appellent drift toute action d'un agent qui s'écarte de la tâche prévue ou de ses contraintes : une politique qui bloque, un bug, un outil manquant, une consigne ambiguë suffisent à la déclencher. Leur conclusion : l'entraînement ne supprime pas cette dérive sans retirer de la capacité, donc on ne peut pas attendre d'un agent qu'il se gouverne entièrement lui-même. La FAQ de la page produit donne la formule qui résume la plateforme :

« Prompts, model safeguards, and agent frameworks influence what an agent attempts to do. Runtime controls enforce what it is allowed to do. »

OpenShell et Sentry relèvent de la seconde catégorie, celle des contrôles d'exécution.

Cinq principes, trois couches

NVIDIA publie cinq principes de conception :

1. Une politique vérifiable. Avant l'exécution, un prouveur démontre que la politique ne permet pas de sortir de l'intention de l'opérateur.
2. Un enforcement hors bande. Les contrôles ne vivent pas dans l'agent et restent hors de sa portée.
3. Le chemin vers le modèle comme point de contrôle. Qui tient ce chemin tient le meilleur poste d'observation et l'interrupteur d'arrêt.
4. Une autorité proportionnelle à la visibilité. Plus un agent peut agir, plus son raisonnement doit pouvoir être inspecté.
5. Une responsabilité partagée. Laboratoires, entreprises et fournisseurs de matériel possèdent chacun une couche, comme dans le modèle du cloud public.

NVIDIA découpe la pile en trois couches. L'application regroupe modèles, harnais, outils, données et scripts. Le runtime orchestre les charges, surveille en continu et applique les politiques en temps réel : OpenShell y est explicitement rattaché. L'infrastructure couvre le matériel, les appels réseau et le calcul dédié à la surveillance ; NVIDIA place un BlueField-4 sur le seul chemin de chaque nœud vers le modèle, ce qui situe Sentry à ce niveau même si le texte ne l'écrit pas en ces termes.

Ce que la plateforme ne règle pas

La couche indépendante est propriétaire. OpenShell est sous Apache 2.0 et tourne sur n'importe quel serveur. Sentry exige un DPU BlueField-4 et la pile DOCA de NVIDIA. Shay Boloor l'a relevé sur X le jour du lancement : OpenShell est gratuit et tourne sur des processeurs Arm ou Intel, mais la couche d'enforcement indépendante vit sur BlueField-4. La garantie la plus forte de la plateforme, celle qui survit à un hôte compromis, n'existe donc que sur du matériel NVIDIA. Thomas Wolf, cofondateur de Hugging Face, dont les serveurs ont été atteints en juillet, a salué le lancement en résumant l'idée : ne pas compter sur l'agent. Nous développons cette question dans notre analyse de Sentry et de ses enjeux de souveraineté.

Sentry reste une conception de référence. NVIDIA la présente comme la base sur laquelle les partenaires construiront leurs offres. Les mentions légales du communiqué précisent que les produits sont proposés when-and-if-available, et aucune date de disponibilité générale n'a été donnée.

Trois laboratoires frontier manquent à l'appel. Le communiqué nomme Anthropic parmi dix-huit partenaires cités en tête, avec Microsoft, Salesforce, SAP, Palantir, CrowdStrike ou Scale AI. OpenAI, Google et Meta, dont les modèles figurent dans la chronologie ci-dessus, n'y apparaissent pas ; Amazon non plus, bien qu'il soit membre de l'Open Secure AI Alliance lancée par NVIDIA en juillet.

Le multi-agents reste ouvert. NVIDIA indique que l'analyse de politique entre plusieurs agents, quand les accès de l'un se combinent à ceux d'un autre, est un travail en cours. L'identité des agents se traite ailleurs, par exemple avec une démarche Know Your Agent.

Ce qu'une DSI peut faire dès maintenant

Anthropic tire de ses incidents une conclusion qu'une DSI peut reprendre telle quelle : un environnement d'évaluation d'agents doit être sécurisé comme un système de production. Pour une équipe qui fait déjà tourner Claude Code, Codex ou un agent maison, ces chantiers n'attendent pas Sentry :

• sortir les règles de sécurité du prompt et les écrire dans une politique versionnée, relue et testée, que l'agent ne peut pas modifier. OpenShell en fournit une implémentation ouverte ;
• faire passer tout le trafic sortant de l'agent par un point de contrôle unique, avec un journal des décisions exploitable par le SOC ;
• exiger des prestataires d'évaluation et d'hébergement d'agents la preuve que l'accès Internet est coupé là où il doit l'être, puisque le cas Meta tient à une erreur de configuration.

La checklist DSI pour autoriser un agent autonome et notre article sur le plan de contrôle des agents détaillent l'organisation autour de ces contrôles.

FAQ

Qu'est-ce que la NVIDIA Open Agent Safety Platform ? Une plateforme logicielle ouverte et une conception de système de référence, lancées le 28 septembre 2026, qui placent les contrôles des agents IA hors de leur portée. Elle réunit OpenShell, un runtime de sandboxes open source, et Sentry, un chien de garde matériel sur DPU BlueField-4.

Faut-il du matériel NVIDIA pour l'utiliser ? Pas pour OpenShell, qui tourne sur Docker, Podman, des microVM ou Kubernetes, sur site ou dans le cloud. Sentry, lui, requiert des DPU BlueField-4.

La plateforme aurait-elle empêché les incidents de l'été 2026 ? Personne ne peut l'établir. Un superviseur qui coupe tout trafic non autorisé aurait bloqué l'accès Internet ouvert par erreur dans le cas Meta. Aucun test public ne mesure son efficacité face à un agent qui cherche activement une faille.

Qui soutient la plateforme ? NVIDIA annonce plus de cent organisations, dont Anthropic, Microsoft, Salesforce, SAP, Red Hat, Dassault Systèmes et Schneider Electric. OpenAI, Google, Meta et Amazon ne figurent pas dans le communiqué.

Sources

Officiel NVIDIA

1. « NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment », NVIDIA Newsroom, 28 septembre 2026 — nvidianews.nvidia.com.
2. Page produit « NVIDIA Open Agent Safety Platform » et FAQ — nvidia.com.
3. John Myers, Alex Watson, Ali Golshan, Ofir Arkin, « NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring », NVIDIA Technical Blog, 28 septembre 2026 — developer.nvidia.com.
4. Alex Watson, Ali Golshan, « Add Runtime Controls to AI Agents with NVIDIA OpenShell », NVIDIA Technical Blog, 28 septembre 2026 — developer.nvidia.com.
5. Dépôt NVIDIA/OpenShell, releases v0.1.0 (25 septembre 2026) et v0.1.2 (28 septembre 2026) — github.com.

Incidents de l'été 2026

6. OpenAI, « The Hugging Face incident and the road ahead » — openai.com.
7. Anthropic, « Investigating three incidents in our cybersecurity evaluations », 30 juillet 2026 — anthropic.com.
8. Brandon Fisher, « Meta Breach Reveals Irregular Cleared Muse Spark's Risk, Then Caused Breach It Had Cleared », Tech Times, 6 août 2026. Déclaration d'Irregular à Reuters — techtimes.com.
9. Eric Geller, « Google AI models broke out of sandbox, hacked three companies », Cybersecurity Dive, 21 septembre 2026 — cybersecuritydive.com.

Presse et réactions

10. Kirsten Korosec, « Nvidia launches new platform for reining in rogue AI agents », TechCrunch, 28 septembre 2026. Propos de Jensen Huang sur CNBC — techcrunch.com.
11. Thomas Wolf (@Thom_Wolf), post sur X, 28 septembre 2026 — x.com.
12. Shay Boloor (@StockSavvyShay), post sur X, 28 septembre 2026 — x.com.
13. Jensen Huang (@JensenHuang), post sur X, 28 septembre 2026 — x.com.