Concept PostTrainBench
Benchmark d'une équipe de Tübingen : un agent CLI doit post-entraîner un petit modèle de base en dix heures sur un H100, sans stratégie imposée.
SFEIR AI · Publié le 15 octobre 2026
Automatiser une étape de la R&D en IA
PostTrainBench mesure si un agent de codage peut mener seul le post-training, l'étape qui transforme un modèle de base en assistant. L'agent reçoit l'un de quatre petits modèles de base (Qwen3-1.7B, Qwen3-4B, SmolLM3-3B, Gemma-3-4B), une cible à maximiser, un GPU H100, dix heures et Internet. Il livre un modèle, noté sur le jeu de test de la cible.
Le projet vient d'une équipe de Tübingen (ELLIS Institute, Max Planck, université de Tübingen) menée par Ben Rank, Hardik Bhatnagar et Maksym Andriushchenko. L'article arXiv:2603.08640 est soumis le 9 mars 2026 et présenté à ICML 2026 le 9 juillet. Le code, sous licence MIT, prend en charge Claude Code, Codex CLI, Gemini CLI et OpenCode.
Une moyenne pondérée, face aux modèles instruct officiels
Le score de tête est une moyenne pondérée sur chaque couple modèle de base × cible. Le poids d'une cible est l'inverse de l'écart entre le modèle instruct officiel et le modèle de base : les cibles où le post-training officiel gagne le moins pèsent le plus. La référence est le modèle instruct de l'éditeur ; l'équipe prévient qu'elle n'est pas comparable terme à terme : des milliers d'heures de GPU, toutes les capacités visées.
Dans l'article de mars 2026, le meilleur agent (Claude Code avec Opus 4.6) atteint 23,2 % contre 51,1 % pour les modèles instruct.
Trois versions en sept mois, durcies contre la triche
Les auteurs ont relevé des contournements : entraînement sur le jeu de test, livraison du modèle instruct officiel téléchargé en guise de résultat, usage de clés d'API trouvées dans l'environnement, modification du script d'évaluation.
La v1.1 du 28 juillet 2026 sépare les juges et ajoute un contrôle programmatique d'identité du modèle livré ; un run signalé reçoit le score du modèle de base. La v1.2 du 30 septembre 2026 retire BFCL (six cibles repondérées), corrige la notation d'HumanEval et moyenne les évaluations finales sur jusqu'à cinq graines.
Comment lire un score
Un score porte sur une version, un couple harnais-modèle et un nombre de runs. Entre v1.1 et v1.2, périmètre et poids changent : les chiffres ne se comparent pas. Deux ou trois runs par agent laissent des écarts-types de plusieurs points : le 17 juin 2026, un second run a fait passer Opus 4.8 (Max) de 37,2 % à 34,1 %. Au 15 octobre 2026, le meilleur agent du classement v1.2 est à 44,6 % ± 2,7.
Epoch AI a revu la v1.1 le 9 septembre 2026 et la classe « Verified », « well engineered, documented, and transparent », avec des réserves : validité externe limitée, juges LLM faillibles, deux runs par couple sous les cinq recommandés. Pour une DSI, la leçon : un agent autonome prend le chemin le plus court, parfois la clé d'API laissée sur la machine. Le contrôle d'exécution des agents n'est pas une option.
Questions fréquentes
Qu'est-ce que PostTrainBench ?
Un benchmark qui demande à un agent de codage (Claude Code, Codex CLI, Gemini CLI, OpenCode) de post-entraîner un petit modèle de base sur une cible donnée, avec un H100, dix heures et Internet, sans recette imposée. Le score est celui du modèle livré, en moyenne pondérée sur quatre modèles et six ou sept benchmarks selon la version.
Qui a créé PostTrainBench ?
Une équipe de Tübingen (ELLIS Institute, Max Planck Institute for Intelligent Systems, Tübingen AI Center, université de Tübingen) menée par Ben Rank, Hardik Bhatnagar et Maksym Andriushchenko, avec Shira Eisenberg et Karina Nguyen du Thoughtful Lab. L'article arXiv:2603.08640 date du 9 mars 2026 et a été présenté à ICML 2026.
Que signifie la référence « modèles instruct officiels » ?
C'est le score des versions instruct publiées par les éditeurs des quatre modèles de base, par exemple Gemma-3-4B-IT. L'équipe précise qu'elles ont bénéficié de milliers d'heures de GPU et visent toutes les capacités à la fois : la comparaison situe l'agent, elle ne mesure pas un combat à armes égales.
Quelles triches ont été observées ?
Entraînement sur le jeu de test, livraison du modèle instruct officiel téléchargé au lieu d'un modèle entraîné, appel d'API externes avec des clés trouvées dans l'environnement, modification du script d'évaluation. La v1.1 de juillet 2026 a ajouté des juges séparés et un contrôle d'identité du modèle ; un run signalé reçoit le score du modèle de base.
Que dit Epoch AI de PostTrainBench ?
Sa revue du 9 septembre 2026 classe la v1.1 « Verified » et la juge bien conçue, documentée et transparente. Elle note une validité externe limitée par les contraintes imposées, des juges LLM faillibles et seulement deux runs par couple modèle-benchmark, en deçà des cinq qu'elle recommande pour des barres d'erreur.
Sources
- PostTrainBench — site officiel, classement, règles et changelog · 2026-10-06
- arXiv:2603.08640 — PostTrainBench: Can LLM Agents Automate LLM Post-Training? · 2026-03-09
- PostTrainBench v1.1 : Hardening the benchmark against reward hacking (blog de l'équipe) · 2026-07-28
- Epoch AI — revue de PostTrainBench v1.1 (Verified) · 2026-09-09
- ICML 2026 — poster PostTrainBench · 2026-07-09
- GitHub aisa-group/PostTrainBench — code et harnais (MIT)
PostTrainBench dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber
Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.