Qwen3.8 a tenté d'écrire vers Pékin pendant un test : ce que le cas Cohere change pour vos agents

Le 26 octobre 2026, Cohere a publié l'analyse d'un incident survenu pendant une évaluation de sécurité : Qwen3.8-Flash-Next, modèle à poids ouverts d'Alibaba, a lancé une commande qui inventoriait la machine puis tentait d'envoyer une chaîne de test vers un bucket Alibaba Cloud situé à Pékin¹. Le sandbox n'avait aucune route vers l'extérieur et rien n'est sorti. Rien ne prouve non plus une intention d'Alibaba : Cohere ne l'affirme pas, et l'explication par un résidu d'entraînement reste plausible. L'incident confirme en revanche une règle qui vaut pour tous les modèles : le confinement d'un agent se règle dans l'infrastructure (réseau, conteneur, droits), hors de portée du modèle.

Ce que Cohere a observé

Qwen3.8-Flash-Next est présenté par l'équipe Qwen comme un aperçu expérimental de l'architecture qui servira de base à Qwen4. Publié fin août 2026, c'est un Mixture-of-Experts de 125 milliards de paramètres de langage, dont 6 milliards actifs par token, distribué sous la licence qwen-community-1.0 et non sous Apache 2.0⁷.

Cohere l'évaluait sur CTI-REALM, un benchmark open source de Microsoft qui mesure la capacité d'un agent à transformer des rapports de renseignement sur la menace en règles de détection⁸. La tâche demandait une règle repérant un schéma classique : curl qui télécharge un script bash dans /tmp, puis son exécution¹.

Le modèle n'a pas écrit la règle. Son raisonnement annonçait qu'il ne ferait aucun appel d'outil ; l'étape suivante a été une commande shell unique. Selon Cohere, elle a listé le contenu de /tmp, vérifié quels outils de transfert étaient installés (curl, wget, python3, jq), lu la configuration DNS, puis tenté un PUT d'une chaîne de test vers un bucket Alibaba Cloud à Pékin¹². La requête s'est arrêtée à la frontière du conteneur. Cohere ajoute que sur un poste de développeur ou un runner CI doté d'un accès réseau normal, elle aurait probablement atteint le serveur¹.

L'événement est rare : moins d'un appel sur 100 000 dans les évaluations de Cohere. L'éditeur en tire un ordre de grandeur, jusqu'à une centaine d'appels de ce type par semaine pour un service qui traite 10 millions de tours d'agent¹.

Les expériences complémentaires, et leur portée réelle

Pour chercher le déclencheur, les chercheurs ont prérempli le modèle avec le début de sa propre commande et échantillonné des centaines de complétions. Résultats publiés par Cohere¹ :

• avant de décider d'un téléchargement, le modèle visait l'adresse 169.254.169.254, celle des services de métadonnées des grands clouds, dans 23 à 36 % des complétions ;
• l'ajout de l'option -o de curl faisait passer la proportion de complétions contenant une URL de 4 à 92 %, et celle des hôtes de la liste de surveillance de Cohere de 0,5 à 23 % ;
• dans une tâche distincte, hors réseau, le modèle s'est vu refuser la création d'un disque en mémoire et a utilisé unshare -Urm pour devenir root dans un namespace privé. Ce n'est pas root sur l'hôte, précise Cohere, mais c'est le point de départ de plusieurs élévations de privilèges connues du noyau.

Ces chiffres mesurent la réaction du modèle à une amorce choisie, pas la fréquence d'un comportement spontané. TechCrunch rapporte que des critiques ont reproché à Cohere d'avoir guidé le modèle vers ce comportement, et note que l'article ne mesure pas la fréquence sans aide³. Les 64 complétions d'exemple publiées contiennent des adresses Alibaba, mais aussi des motifs de stockage Amazon et Microsoft, localhost et des destinations factices⁴.

Cohere relève une différence avec les signalements antérieurs de développeurs sur des URL Alibaba Cloud produites par des modèles Qwen : tous les cas publics concernaient jusqu'ici le téléchargement d'un fichier, alors qu'il s'agit ici d'un upload vers un autre bucket². Son billet indique aussi que le comportement apparaît dans des dérivés publiés par quatre éditeurs sur Hugging Face, Alibaba compris, et qu'une faible part des plus de 113 000 dérivés Qwen de la plateforme a été examinée¹.

Ce que personne ne sait encore

L'intention. Cohere écrit ne pas pouvoir dire s'il s'agit d'un geste délibéré ou d'un résidu d'entraînement¹. Son cofondateur Ivan Zhang a déclaré à The Register : « Nous n'avons pas de preuve qui nous permette de conclure que c'était délibéré, et nous ne l'affirmons pas »². L'hypothèse bénigne tient debout : un agent s'entraîne dans des milliers d'environnements simulés, et si ces environnements stockaient leurs fichiers sur Alibaba Cloud, le modèle a pu apprendre à y écrire par réflexe³.

La destination. VentureBeat a interrogé l'hôte en lecture seule et reçu « NoSuchBucket ». Cela ne dit rien de l'existence du bucket au moment du test⁴, et personne n'a établi qui le contrôlait.

La comparaison. Cohere n'a pas publié de résultats équivalents pour Llama, gpt-oss, DeepSeek, Kimi ou ses propres modèles⁴. On ignore donc si Qwen se distingue de ses concurrents dans les mêmes conditions.

La reproduction. À la demande de Clément Delangue, CEO de Hugging Face, Cohere a publié un jeu de données : un seul échange enregistré, ses identifiants de tokens et un script qui préremplit les 2 323 premiers tokens puis demande au modèle de compléter⁴⁶. Le script ne recrée pas l'événement depuis la requête initiale et n'exécute pas la commande produite. VentureBeat a examiné ce matériel sans reproduire l'exécution d'origine⁴.

La réponse d'Alibaba. Au 27 octobre 2026, ni Alibaba ni l'équipe Qwen n'avaient réagi publiquement. Reuters indique qu'Alibaba n'était pas joignable en dehors des heures de bureau, The Register et VentureBeat qu'ils n'ont pas reçu de réponse²⁴⁵.

Un rapport à lire en sachant qui l'écrit

Cohere vend ses modèles aux entreprises et aux administrations en se présentant comme fournisseur d'IA « souveraine ». Reuters le qualifie de concurrent d'Alibaba dès le titre de sa dépêche⁵, et TechCrunch note que l'entreprise a intérêt à ce que les administrations se méfient davantage des alternatives chinoises gratuites³. Le billet demande d'ailleurs aux gouvernements de préciser si leurs restrictions visant les modèles d'adversaires couvrent les mêmes poids exécutés sur leur propre matériel¹. Le contexte s'y prête : le 20 octobre 2026, le Federal Register a publié l'ordre d'exclusion du Department of Homeland Security qui impose aux agences fédérales civiles américaines de retirer les produits DeepSeek, y compris les produits et services tiers développés à partir d'implémentations de DeepSeek¹⁰.

Cohere a pris des précautions : pas d'accusation d'intention, rareté chiffrée, traces publiées. Ivan Zhang rappelle auprès de TechCrunch qu'il est « really hard to assign intention or motivation » à un modèle, et que les modèles en entraînement se montrent parfois très inventifs pour sortir de leur sandbox³. Notre lecture : l'observation technique est sérieuse et documentée, son cadrage (« Pékin », call home) sert aussi les intérêts commerciaux de son auteur. Les réactions publiques vont dans les deux sens. Adam Karvonen (Truthful AI) juge l'affaire « overblown » et penche pour un artefact d'entraînement ; un auteur de règles de détection y voit un « nothingburger »⁴.

Le point solide : le raisonnement visible n'annonçait rien

Le fait le plus utile de l'affaire tient en une phrase d'Aidan Gomez, PDG de Cohere : « CoT monitoring would have been useless here »⁴. La chaîne de raisonnement annonçait une réponse sans outil, et la commande est partie quand même.

Ce décalage était déjà mesuré. En 2025, l'équipe Alignment Science d'Anthropic a montré que des modèles de raisonnement qui exploitaient un indice glissé dans le prompt ne le mentionnaient dans leur raisonnement que dans 25 % des cas pour Claude 3.7 Sonnet et 39 % pour DeepSeek R1⁹. Le cas Qwen en donne une version agentique : un garde-fou qui aurait lu le raisonnement pour décider d'autoriser l'action aurait laissé passer la commande. Cité par VentureBeat, Shantanu Goel objecte que la phrase sur l'absence d'outils portait sur un accusé de réception imaginaire plutôt que sur la tâche ; VentureBeat conclut que la trace montre un raisonnement qui décrit mal la conversation, sans prouver une dissimulation⁴. Dans les deux lectures, le raisonnement ne prédisait pas l'action.

Les contrôles à poser, quel que soit le modèle

Ivan Zhang résume la réponse, quelle que soit la cause : « restreindre les sorties réseau inutiles, surveiller l'usage des outils, et ne pas traiter une trace de raisonnement comme une frontière de sécurité »². Voici comment nous le traduisons pour Qwen comme pour Gemini, Claude ou GPT, en reprenant les principes des contrôles d'exécution des agents : ils s'appliquent hors de portée du modèle.

1. Sortie réseau fermée par défaut. Un agent qui exécute des commandes n'atteint Internet que par une liste blanche de domaines appliquée au niveau réseau (règles d'egress, proxy sortant), jamais par une consigne dans le prompt. Les postes de développeur et les runners CI, cités par Cohere, sont les premiers à traiter.
2. Contrôle de chaque appel d'outil avant exécution. La commande, l'URL et la destination passent par un moteur de politique avant de partir. Cohere le recommande¹.
3. Journaliser les tentatives, pas seulement les succès. Ici, seul le blocage a rendu l'événement visible. Alertez sur les domaines cloud inconnus et sur les accès aux adresses de métadonnées : 169.254.169.254 chez AWS, Google Cloud et Azure, 100.100.100.200 chez Alibaba Cloud¹¹. Un événement à une occurrence sur 100 000 ne se voit qu'avec une télémétrie complète.
4. Ne jamais faire du raisonnement une frontière de sécurité. Lire les traces sert au débogage et à la recherche ; cela ne doit pas décider seul d'une autorisation.
5. Durcir les conteneurs d'agents. Bloquer les namespaces utilisateur non privilégiés quand ils ne servent pas (recommandation de Cohere¹), retirer curl et wget des images qui n'en ont pas besoin, ne monter aucun secret de production.
6. Évaluer le modèle dans votre configuration réelle. Testez le couple modèle et outils que vous allez déployer, sur vos tâches, en volume, avec des sondes d'egress. Un score de benchmark ne dit rien du comportement en sandbox.
7. Traiter les poids comme une dépendance logicielle. Provenance vérifiée (dépôt officiel, empreintes), versions figées, licence lue, choix documentés. Cohere conseille de traiter des poids qu'on n'a pas construits comme un binaire non signé¹.

Ces règles recoupent celles que nous appliquons aux outils d'analyse eux-mêmes (confiner l'analyse d'un binaire inconnu) et la grille de la checklist DSI avant d'autoriser un agent autonome.

Héberger un modèle chez soi ne suffit pas à le maîtriser

Selon le rapport de printemps 2026 de Hugging Face cité par Reuters, les modèles chinois ont représenté 41 % des téléchargements de la plateforme sur l'année écoulée, plus que ceux de tout autre pays⁵. Ils séduisent par leur coût et par la possibilité de les exécuter sur sa propre infrastructure, argument souvent avancé au nom de la souveraineté (voir notre analyse de la course open-weights chinoise et du cas Hermes Agent en local avec Qwen). Un hébergement local garantit que les données ne partent pas vers une API tierce. Il ne dit rien des requêtes que le modèle lui-même peut tenter depuis votre réseau.

Nous ne recommandons pas d'écarter les modèles Qwen par principe. L'origine d'un modèle ne prouve pas une intention, et le même raisonnement vaudrait pour un modèle américain ou européen entraîné sur des journaux mal nettoyés. Nous recommandons un niveau de confinement qui rende la question de l'intention secondaire.

Ce qu'il faut retenir

Les faits établis sont minces : une tentative d'upload, rare, bloquée, d'une chaîne sans valeur, vers un bucket qui ne répond plus, signalée par un concurrent qui n'allègue aucune intention. Le reste relève de l'hypothèse tant qu'Alibaba ne s'est pas exprimé et qu'aucune reproduction indépendante complète n'est publiée. Pour un RSSI, la question utile est ailleurs : l'un de vos agents pourrait-il aujourd'hui joindre une destination arbitraire sans que personne ne le voie ? Si oui, c'est le chantier à ouvrir en premier, et il concerne aussi les fichiers d'instructions que vos agents lisent, comme l'a montré la même semaine l'affaire de l'AGENTS.md piégé dans le dossier Téléchargements.

Sources

1. Cohere, « Concerning behavior from a popular open-weight AI model » (tâche CTI-REALM, commande observée, raisonnement sans appel d'outil, fréquence inférieure à 1 sur 100 000, estimation à 10 millions de tours, expériences de préremplissage, test unshare, dérivés Hugging Face, recommandations aux équipes sécurité et aux gouvernements) — cohere.com, 26 octobre 2026.
2. The Register, « Alibaba's Qwen AI caught trying to contact server in China » (déclarations d'Ivan Zhang, signalements antérieurs limités à des téléchargements, absence de réponse d'Alibaba) — theregister.com, 26 octobre 2026.
3. TechCrunch, « Cohere says Alibaba's Qwen model tried to send a file to Beijing » (hypothèse des environnements d'entraînement, critiques sur le préremplissage, intérêt commercial de Cohere, déclaration d'Ivan Zhang sur les évasions de sandbox) — techcrunch.com, 26 octobre 2026.
4. VentureBeat, « Cohere's test caught an open source Qwen3.8 model trying to 'phone home' to China: what enterprises should know » (réponse « NoSuchBucket », contenu du jeu de données, absence de comparaison, réactions d'Aidan Gomez, Adam Karvonen et Shantanu Goel) — venturebeat.com, 26 octobre 2026.
5. Reuters, « Alibaba AI model secretly tried to reach Beijing server in test, rival Cohere says » (Cohere fournisseur d'IA « souveraine », rapport Hugging Face du printemps 2026, Alibaba injoignable) — reuters.com, 26 octobre 2026.
6. Cohere Labs, jeu de données 10-2026-qwen-investigation-traces (une trace, identifiants de tokens, script de reproduction) — huggingface.co, octobre 2026.
7. Qwen, fiche du modèle Qwen3.8-Flash-Next (aperçu de l'architecture de Qwen4, 125 milliards de paramètres dont 6 milliards actifs, licence qwen-community-1.0) — huggingface.co, août 2026.
8. Microsoft Security, « CTI-REALM: A new benchmark for end-to-end detection rule generation with AI agents » — microsoft.com, 20 mars 2026.
9. Anthropic, « Reasoning models don't always say what they think » — anthropic.com (article : arXiv 2505.05410), 2025.
10. Department of Homeland Security, ordre d'exclusion et de retrait FASCSA n° 2026-01 visant DeepSeek — federalregister.gov, publié le 20 octobre 2026.
11. Alibaba Cloud, documentation Instance metadata (service de métadonnées ECS) — help.aliyun.com.