Vibe Code Bench

De la spécification à l'application déployée

Vibe Code Bench mesure la construction d'une application web entière à partir d'un cahier des charges en langage naturel. Publié par Vals AI en novembre 2025, le benchmark est décrit dans l'article arXiv:2603.04601, signé Hung Tran, Langston Nashold, Rayan Krishnan et Antoine Bigeard (Vals AI) et Alex Gu (MIT), accepté à ACM CAIS 2026.

Le jeu compte 100 spécifications, 50 publiques pour la validation et 50 tenues secrètes pour le test. Le modèle travaille dans un harnais (harness) OpenHands modifié et dispose de cinq heures pour livrer une application déployée.

• Environnement : terminal, base Supabase, Stripe, serveur de mail, Docker, plus de trente outils
• Trois gisements de spécifications : applications grand public connues, idées de startups Y Combinator, études de cas de conseil
• Exemple phare, Zeeter : messages courts avec authentification, publications, commentaires, abonnements et recherche

Noté par un agent navigateur, pas par des tests unitaires

Un agent navigateur fondé sur BrowserUse déroule sur l'application déployée 964 parcours utilisateurs (workflows) écrits en langage naturel, soit 10 131 sous-étapes. Un parcours est validé au-delà de 90 % de sous-étapes réussies, seuil calé, selon Vals AI, sur l'accord entre testeurs humains. Le score est la part de parcours validés.

Dans l'article (mars 2026), le meilleur de 16 modèles atteignait 61,8 % sur le jeu de test. L'auto-test pendant la génération prédit fortement le résultat (r = 0,72). Le choix de l'évaluateur pèse : l'accord par paire au niveau des étapes varie de 31,8 % à 93,6 %.

• Coût de l'évaluation selon Vals AI : 10 à 20 dollars par application, parfois plus que la génération
• L'esthétique n'est pas notée ; dépasser le temps sans déployer vaut zéro

Saturation en vue, et la déclinaison 1-100

En février 2026, la v1 plafonnait à 41,31 %. Sur la v1.1, le classement du 12 octobre 2026 place les trois premiers entre 90,4 % et 92,4 %, des écarts qui ne séparent plus rien.

Vibe Code Bench 1-100, publié le 17 septembre 2026, mesure la maintenance : une application v1.1 qui passe ses tests reçoit jusqu'à dix demandes produit successives et dépendantes, en dix heures. Casser une fonction existante compte comme un échec et le score s'arrête à la première itération ratée. Au 14 octobre 2026, le premier modèle est à 34 %, et 39 % des premiers échecs impliquent une régression.

• 939 demandes sur 100 arcs, 11 299 parcours dont un tiers de non-régression ; 50 arcs de test, 50 de validation
• Cinq types de demandes : transversales (34,6 %), correction de bug (21,4 %), ajout de fonction (16,9 %), retrait ou retour arrière (14,9 %), migration de schéma (12,1 %)

Équipes d'agents : un billet, un cas, une nuance

Le 9 octobre 2026, Vals AI publie « Do Agent Teams Pay Off? » : deux modèles, seuls ou avec cinq sous-agents au plus, à effort moyen et maximal, sur 50 applications. Les équipes coûtent de 1,8 à 5,1 fois plus cher, et un seul des quatre écarts est significatif (+7,3 points) ; passer l'agent seul en effort maximal gagnait davantage (+11,4 points). Vals AI conclut « Neither option was a clear default », sur une seule exécution par configuration.

Comment lire un score Vibe Code Bench

Trois jeux portent le même nom et ne se comparent pas : v1, v1.1 et 1-100. Un score est aussi celui d'un harnais et d'un évaluateur automatique dont l'accord avec un humain n'est pas parfait. Le jeu de test est privé, ce qui limite la contamination mais réserve la mesure à Vals AI. Vibe Code Bench entre aussi dans le secteur code du Vals Index, où il compte une seconde fois.