Remote Labor Index
Benchmark de Scale AI et du Center for AI Safety : 240 projets freelance réels d'Upwork, notés contre le livrable humain de référence.
SFEIR AI · Publié le 10 novembre 2026
Des projets freelance réels
Le Remote Labor Index (RLI) est un benchmark de Scale AI et du Center for AI Safety, publié le 28 octobre 2025 (Mazeika et al., arXiv 2510.26787). Il part de travail réellement commandé et payé : 240 projets freelance issus de 23 sous-catégories d'Upwork, qui ont représenté plus de 6 000 heures de travail humain et plus de 140 000 $ de valeur.
Le jeu est découpé en deux. 230 projets restent privés et servent à l'évaluation quantitative ; 10 sont publics pour l'analyse qualitative. Le jeu privé limite le risque qu'un modèle ait vu les projets pendant son entraînement.
Le taux d'automatisation
La métrique est le taux d'automatisation : la part des projets dont le livrable produit par l'IA est jugé au moins aussi bon que le livrable humain de référence. Des évaluateurs humains notent chaque livrable sur une échelle à trois points ; une note de 2 ou 3 compte comme une réussite.
Au lancement, le meilleur agent, Manus, atteignait 2,5 %. Le benchmark partait donc presque de zéro, ce qui le rendait utile pour suivre une progression.
Les chiffres d'Anthropic du 9 novembre 2026
Dans l'annonce de Claude Fable 5.2, Anthropic publie ses mesures : Fable 5.2 à 41,3 % en effort High, Opus 5.5 à 21,3 %, GPT-6 Astra à 20,8 % et Fable 5.1 à 17,9 %. Ce sont des chiffres de l'éditeur, mesurés avec son propre protocole d'exécution.
Comment lire un score RLI
Le jugement reste humain, avec la variabilité que cela implique. Surtout, 41,3 % ne signifie pas que 41 % du travail à distance est automatisable : les projets du RLI sont autonomes, livrés sans interaction avec un client, sans reprise ni négociation du besoin. Le chiffre mesure la qualité d'un livrable sur un périmètre fermé. Pour une évaluation interne, la même logique s'applique à vos propres commandes : un livrable de référence, une grille, un jugement humain. C'est le cœur de toute démarche d'évaluation.
Questions fréquentes
Qu'est-ce que le Remote Labor Index ?
Un benchmark de Scale AI et du Center for AI Safety, publié le 28 octobre 2025, qui confie à des agents 240 projets freelance réels issus de 23 sous-catégories d'Upwork, représentant plus de 6 000 heures de travail humain et plus de 140 000 $ de valeur.
Comment est calculé le taux d'automatisation ?
C'est la part des projets dont le livrable IA est jugé au moins aussi bon que le livrable humain de référence. Les évaluateurs notent sur une échelle à trois points ; une note de 2 ou 3 vaut réussite.
Quel était le meilleur score au lancement ?
2,5 %, obtenu par l'agent Manus. Le 9 novembre 2026, Anthropic annonce 41,3 % pour Claude Fable 5.2 en effort High, mesuré par ses soins.
Un score de 41 % veut-il dire que 41 % du travail à distance est automatisable ?
Non. Les projets du RLI sont autonomes et livrés sans interaction avec un client. Le score mesure la qualité de livrables sur ce périmètre, pas la part d'un métier qu'un agent peut prendre en charge.
Sources
- arXiv:2510.26787 — Remote Labor Index (Mazeika et al.) · 2025-10-28
- Scale AI — Remote Labor Index, page du papier · 2025-10-28
- Anthropic — Introducing Claude Fable 5.2 and Claude Mythos 5.2 · 2026-11-09
Remote Labor Index dans vos projets
Échanger avec SFEIRArticles liés
Claude Fable 5.2 et Mythos 5.2 : moins cher au token, plus cher à la tâche si l'on pousse l'effort
Claude Fable 5.2 et Mythos 5.2 (9 novembre 2026) : prix au token en baisse de 20 %, scores en hausse. Mais à effort max, Artificial Analysis mesure 26,54 $ par tâche, le double de Fable 5.1. À effort high, il bat Opus 5.5 max pour un peu moins cher.
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.