En bref
Test qui exécute deux implémentations sur les mêmes entrées et compare leurs résultats ; l'ancien système sert d'oracle au nouveau.
De quoi on parle
Un test différentiel (differential testing) compare deux exécutions sur les mêmes entrées. Pour les migrations à grande échelle, Addy Osmani le résume ainsi sur le blog de Claude Code, le 16 novembre 2026 : « run both the old system and the new system with the same inputs and see if you get different results ».
La technique répond au problème de l'oracle. Quand aucune spécification exécutable ne dit quelle sortie est juste, l'autre implémentation en tient lieu. Dans une migration, l'ancien système sert d'oracle au nouveau.
L'étude menée chez Google
Muhammad Ali Gulzar (UCLA), Yongkang Zhu et Xiaofeng Han (Google) présentent « Perception and Practices of Differential Testing » à ICSE 2019, dans la série Software Engineering in Practice. Leur résumé indique : « Differential testing has been adopted quickly by hundreds of teams across at Google. »
Les auteurs précisent que la technique « does not replace fine-grained testing techniques ». Elle sert quand il n'existe pas d'oracle de test, et elle produit souvent des résultats bruités et instables.
Scientist, la bibliothèque de GitHub
GitHub publie Scientist, que son dépôt présente comme « A Ruby library for carefully refactoring critical paths. » Une expérience Scientist contient deux blocs : use (le control) garde l'ancien comportement, try (le candidate) porte le nouveau.
L'expérience renvoie toujours la valeur du control. Elle exécute les deux blocs dans un ordre aléatoire, compare leurs résultats, puis publie les écarts et les durées. Le README prévient que Scientist « is only safe for wrapping methods that aren't changing data » : une écriture en base ou un appel externe exécutés deux fois corrompent l'état. Il propose aussi de n'activer l'expérience que sur un pourcentage des appels, pour limiter le surcoût de la double exécution. Le dépôt liste des portages, entre autres en .NET, Python (laboratory), Java, Go, Elixir et Node.js.
Les pratiques de l'équipe Claude Code pour les migrations
L'article « How the Claude Code team thinks about verification » décrit trois pratiques pour conduire un test différentiel lors d'une migration :
- choisir les entrées : les générer au hasard ou les échantillonner dans le trafic de production ;
- normaliser : neutraliser les espaces et les autres différences sans importance avant de comparer ;
- tenir « a list of approved changes » : y inscrire les écarts voulus entre l'ancien système et le nouveau.
Dans une réécriture de legacy
L'offre Legacy 10x de SFEIR sert de cadre à la réécriture de legacy ; la fiche modernisation du legacy présente le sujet. L'article sur la vérification du code des agents par l'équipe Claude Code situe le test différentiel à côté du test end-to-end et du test de propriétés.
Questions fréquentes
Le test différentiel remplace-t-il les autres tests ?
Non. L'étude présentée par Gulzar, Zhu et Han à ICSE 2019 précise que la technique « does not replace fine-grained testing techniques ». Elle relève aussi que ses résultats sont souvent bruités et instables.
D'où viennent les entrées d'un test différentiel ?
Selon l'article du blog Claude Code, elles sont générées au hasard ou échantillonnées dans le trafic de production. Les deux systèmes reçoivent les mêmes entrées.
Que faire des écarts voulus entre l'ancien et le nouveau système ?
L'équipe Claude Code recommande de tenir « a list of approved changes » pour les écarts voulus, et de normaliser les espaces et les autres différences sans importance avant la comparaison.
Comment comparer l'ancien et le nouveau code sans changer le résultat renvoyé ?
La bibliothèque Ruby Scientist de GitHub exécute le bloc use (control) et le bloc try (candidate) dans un ordre aléatoire, renvoie toujours la valeur du control, puis publie les écarts et les durées.
Sources
- Muhammad Ali Gulzar, Yongkang Zhu, Xiaofeng Han, « Perception and Practices of Differential Testing », ICSE 2019, Software Engineering in Practice : adoption chez Google, limites · 2019-05-25
Differential testing has been adopted quickly by hundreds of teams across at Google.
- GitHub, dépôt Scientist, consulté le 19 novembre 2026 : blocs use et try, valeur du control, portages · 2026-11-19
A Ruby library for carefully refactoring critical paths.
- Addy Osmani, « How the Claude Code team thinks about verification », blog Claude Code : test différentiel pour les migrations, entrées, écarts approuvés · 2026-11-16
run both the old system and the new system with the same inputs and see if you get different results
Passer à l’action