Concept FrontierSWE
Benchmark de Proximal Labs : 34 projets d'ingénierie de très long horizon, 20 heures de budget, vérificateurs déterministes, score mean@5 de 0 à 1.
SFEIR AI · Publié le 15 octobre 2026
Vingt heures pour un projet entier
FrontierSWE est le benchmark de Proximal Labs (San Francisco) consacré aux tâches de très long horizon, ultra long-horizon dans son vocabulaire : un agent reçoit un environnement Linux complet, souvent avec GPU, et vingt heures pour livrer un projet de plusieurs jours de travail. Chaque tâche est un chantier, pas un ticket.
La première version comptait 17 tâches en trois catégories (implémentation, recherche, performance). Elle date du premier semestre 2026 (dépôt GitHub créé en mars, billet de Proximal daté du 9 juillet). Proximal y justifie une notation continue : « grading them as binary success / failure would not make sense ». Chaque tâche rend un score de 0 à 1 (gain de performance, couverture des exigences), la triche vaut zéro.
- Exemples de tâches : réimplémenter git en Zig, porter PostgreSQL 18 sur SQLite, décoder la parole à partir de signaux MEG, entraîner un modèle de prévision météo
- Co-dirigé par Evan Chu et Rajan Agarwal ; partenaires Modular, Prime Intellect et Thoughtful Lab
La version 2 : 34 tâches, un harnais unique
FrontierSWE v2 est publié le 2 septembre 2026. Il garde 13 des 17 tâches, en retire quatre devenues saturées ou impossibles à noter de façon déterministe, et en ajoute 21 (raisonnement visuel, calcul scientifique, recherche en IA). Les 34 tâches se répartissent en cinq catégories.
Deux changements rendent la v2 incomparable à la v1. La v1 laissait chaque modèle dans son outil natif et classait par score de dominance. La v2 impose un harnais (harness) unique, proximus, décrit comme mini-swe-agent augmenté d'une compaction du contexte, de la vision et d'un outil submit qui conserve une soumission candidate. La métrique devient le mean@5 : cinq essais par tâche, moyenne sur les 34 tâches.
- Dépôt Proximal-Labs/frontier-swe-v2 : énoncés, Dockerfile, vérificateurs et solution de référence par tâche ; aucune licence déclarée au 15 octobre 2026
- Tâches retirées : PCQM4Mv2, optimisation de Pyright, pipeline de rendu Revideo, vérificateur de types dépendants
- Dominance (v1) : taux de victoire face à un adversaire tiré au hasard ; harnais natifs Claude Code, Codex, Gemini CLI, Cursor CLI
- Vérification dans un conteneur neuf démarré depuis une image figée, agent non root, matériel de notation en 0700
- Mutation structurelle des tests à la vérification, panel de juges QA sur les trajectoires
- Tâches de performance notées sur un nombre d'instructions pondéré, pas sur le temps mesuré
Sensibilité au harnais, coût de reproduction
Le même modèle change de score avec le harnais. Sur la v2, Proximal mesure Claude Fable 5.1 à 56,3 % en mean@5 (billet du 2 septembre 2026, effort maximal). Mercor, qui fait tourner le benchmark avec Terminus 2 (5 000 étapes, 20 heures, trois passages), affiche 37,2 % pour le même modèle en effort high et prévient : « We run Terminus 2, so absolute scores are likely lower than Proximal's published numbers ».
Reproduire le classement coûte cher : de cent à plus de mille dollars par essai selon le modèle, pour dix à dix-huit heures d'exécution et 170 essais par modèle, vérification non comprise, poste que Proximal dit le plus lourd. Epoch AI référence FrontierSWE v2 sans l'avoir audité au 15 octobre 2026.
Comment lire un score FrontierSWE
Vérifiez la version : un score de dominance v1 et un mean@5 v2 ne se comparent pas. Vérifiez qui a mesuré et avec quel harnais. Avec 34 tâches, une tâche pèse près de trois points, et les barres d'erreur du classement vont de ±9 à ±14 points : deux modèles séparés de quelques points sont à égalité. Un score de 50 % n'est pas « la moitié des projets livrés » mais une moyenne de crédits partiels. Tâches et solutions de référence étant publiques, le jeu s'expose à la contamination.
Questions fréquentes
Qu'est-ce que FrontierSWE ?
Un benchmark de Proximal Labs qui évalue des agents de code sur des projets d'ingénierie de très long horizon : vingt heures de budget, un environnement Linux souvent équipé de GPU, un vérificateur déterministe par tâche. La version 2, publiée le 2 septembre 2026, compte 34 tâches en cinq catégories.
Comment FrontierSWE note-t-il une tâche ?
Chaque tâche rend un score continu de 0 à 1, calculé par un vérificateur automatique dans un conteneur neuf : gain de performance, couverture des exigences, exactitude des sorties. Le classement affiche le mean@5, moyenne de cinq essais par tâche sur les 34 tâches, avec les bornes du pire et du meilleur essai.
Qu'est-ce que le harnais proximus ?
Le harnais unique imposé par la version 2 : mini-swe-agent augmenté d'une compaction du contexte, de la vision et d'un outil de soumission qui conserve une version candidate du travail. Mercor, qui relève le même benchmark avec Terminus 2, obtient des scores nettement plus bas pour les mêmes modèles.
Pourquoi les scores v1 et v2 ne se comparent-ils pas ?
La v1 laissait chaque modèle dans son outil natif et classait par score de dominance. La v2 impose un harnais unique, retire quatre tâches, en ajoute 21 et passe au mean@5. Le jeu de tâches, la métrique et les conditions d'exécution ont tous changé en même temps.
Peut-on reproduire FrontierSWE en interne ?
Les tâches, les environnements Docker et les vérificateurs sont publics sur GitHub, au format Harbor. Le coût est l'obstacle : le site affiche de cent à plus de mille dollars par essai selon le modèle, pour 170 essais par modèle, et la vérification des résultats pèse autant que l'exécution.
Sources
- FrontierSWE — site officiel et classement v2 (Proximal Labs) · 2026-10-15
- FrontierSWE v2 — billet de lancement (tâches, harnais proximus, mean@5) · 2026-09-02
- Proximal — FrontierSWE v1 : 17 tâches, notation continue, score de dominance · 2026-07-09
- Dépôt GitHub Proximal-Labs/frontier-swe-v2 (tâches Harbor, vérificateurs, solutions de référence) · 2026-09-02
- Mercor — APEX benchmarking methodology (FrontierSWE v2 sous Terminus 2) · 2026-10-15
- Epoch AI — fiche FrontierSWE (v2), sans revue · 2026-10-15
FrontierSWE dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber
Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.
Gemini 4 Argon : le modèle frontier de Google, à moitié prix jusqu'au 30 novembre
Depuis le 13 octobre 2026, Gemini 4 Argon est ouvert à tous les clients payants de Google, à 2 $ / 10 $ le million de tokens jusqu'au 30 novembre, puis 4 $ / 20 $. Taux d'hallucination le plus bas mesuré par Artificial Analysis, volet cyber sous double régime, signaux contradictoires sur le code.
GLM-5.2 : le modèle open-weights de Z.ai qui défie les modèles fermés pour agentique coding !
Annoncé mi-juin 2026, GLM-5.2 de Z.ai (ex-Zhipu AI) est un modèle open-weights — MoE, 744 milliards de paramètres, contexte 1M, licence MIT — optimisé pour le codage agentique long-horizon. Specs, benchmarks constructeur, prix, et les réactions d'experts comme Jeremy Howard ou Mat Velloso.