Souveraineté : exécution 100 % locale d'Hermès avec des modèles open weight (Qwen, Nemotron) sur NVIDIA RTX / DGX Spark

Pour une DSI soumise à des exigences de souveraineté ou de confidentialité, Hermès Agent peut fonctionner sans aucun appel cloud : agent model-agnostic, modèles open weight (Qwen 3.6, NVIDIA Nemotron), inférence locale via vLLM/Ollama/LM Studio sur matériel NVIDIA RTX ou DGX Spark.

Peut-on exécuter Hermès sans aucun appel cloud ?

Oui. Hermès est model-agnostic et embarque des intégrations natives LM Studio et Ollama, ainsi qu'un provider NVIDIA NIM depuis la version v0.11.0. La page d'accueil du projet le revendique : « All data stays on your machine. No telemetry, no tracking, no cloud lock-in. » Vous pointez Hermès vers un endpoint OpenAI-compatible local et l'ensemble du traitement reste sur votre infrastructure.

Quels modèles open weight pour un agent local performant ?

Deux familles dominent les recommandations de NVIDIA pour un agent local :

• Qwen 3.6 (Alibaba, open weight). Le modèle Qwen 3.6 35B tourne autour de 20 Go de mémoire tout en surpassant des modèles de 120 milliards de paramètres qui exigent plus de 70 Go. Le modèle dense Qwen 3.6 27B atteint la précision de modèles de 400 milliards de paramètres à un seizième de la taille. NVIDIA publie un checkpoint officiel quantifié nvidia/Qwen3.6-35B-A3B-NVFP4 (mis en ligne sur Hugging Face le 28 mai 2026, quantification NVFP4 via nvidia-modelopt), ~19 Go sur disque.
• NVIDIA Nemotron. Nemotron-3-Super-120B-A12B (120 Md paramètres totaux, 12 Md actifs ; architecture hybride Mamba-2 + MoE + Attention ; contexte jusqu'à 1 M tokens) est le modèle par défaut de NemoClaw (route nvidia/nemotron-3-super-120b-a12b).

Quel matériel : NVIDIA RTX ou DGX Spark ?

• RTX PRO : les GPU RTX PRO délivrent, selon le blog NVIDIA, jusqu'à 3× de génération de tokens plus rapide sur Qwen 3.6 avec llama.cpp, adaptés aux postes d'ingénieurs et petits serveurs.
• DGX Spark : « supercalculateur IA personnel » compact doté de 128 Go de mémoire unifiée et 1 petaFLOP de performance IA (précision FP4), propulsé par la puce GB10 Grace Blackwell. Il peut faire tourner des modèles MoE de 120 milliards de paramètres en continu. NVIDIA fournit un playbook officiel Hermès sur DGX Spark : le modèle nvidia/Qwen3.6-35B-A3B-NVFP4 est servi par vLLM sur une API OpenAI-compatible (http://localhost:8000/v1), la gateway Hermès tourne comme service systemd (reste joignable après redémarrage), et l'on peut dialoguer avec l'agent depuis un terminal ou depuis Telegram tout en gardant le modèle sur la machine.

Recommandation de durcissement du playbook NVIDIA : garder l'endpoint vLLM lié à la seule machine Spark (ne pas exposer http://<spark-ip>:8000 au LAN ou à Internet sans authentification forte) ; dédier la Spark à cet usage ; ne placer sur elle que les fichiers auxquels l'agent a le droit d'accéder ; surveiller les logs (journalctl -u <hermes-gateway-unit>).

Souveraineté rime-t-elle avec conformité ?

Attention au raccourci. L'exécution 100 % locale réduit les risques RGPD liés aux transferts et à la sous-traitance cloud, mais ne dispense pas des obligations de fond : base légale, minimisation, DPIA, supervision humaine et journalisation au titre de l'EU AI Act restent dues. La souveraineté facilite la conformité sans la garantir. Voir Checklist DSI.

FAQ

Qwen 3.6 35B est-il assez performant pour un agent de production ? Pour la majorité des tâches d'un agent (triage, synthèse, orchestration), oui. NVIDIA le positionne comme le bon compromis « intelligence de modèle 120B, empreinte de 20 Go ». Les tâches de raisonnement complexe peuvent justifier un modèle plus large.

Faut-il obligatoirement une DGX Spark ? Non : Qwen 3.6 tourne aussi sur RTX PRO haut de gamme via llama.cpp/Ollama. La DGX Spark s'impose pour un agent dédié « always-on » à forte capacité.

Le local supprime-t-il la surface d'attaque par prompt injection ? Non. Le modèle local peut toujours suivre des instructions malveillantes cachées dans un contenu qu'il lit. L'isolation OS reste le périmètre.

---

Sources

• blogs.nvidia.com (RTX AI Garage, Hermes/DGX Spark)
• build.nvidia.com/spark/hermes-agent
• github.com/NVIDIA/dgx-spark-playbooks
• huggingface.co/nvidia/Qwen3.6-35B-A3B-NVFP4
• nvidia.com/products/workstations/dgx-spark
• twit.tv (interview Jeffrey Quesnelle)