Concept OSWorld
Benchmark du XLANG Lab (HKU) pour les agents computer use : tâches réelles sur un poste de travail, notées sur l'état final. Versions 1.0, Verified et 2.0.
SFEIR AI · Publié le 15 octobre 2026
Un environnement réel pour évaluer le computer use
OSWorld évalue des agents de computer use : des modèles qui voient l'écran (capture ou arbre d'accessibilité) et agissent au clavier et à la souris dans un vrai système d'exploitation. L'article fondateur du XLANG Lab (université de Hong Kong), arXiv:2404.07972 (Tianbao Xie, Tao Yu et quinze coauteurs, soumis le 11 avril 2024, présenté à NeurIPS 2024), décrit 369 tâches sur Ubuntu évaluées par exécution : un script vérifie l'état final de la machine, pas le texte de l'agent. À la publication, les humains réussissaient 72,36 % des tâches, le meilleur modèle 12,24 %.
OSWorld-Verified, le 28 juillet 2025, corrige environ 300 problèmes signalés par la communauté et passe sur AWS. Le score y dépend du budget de pas : le billet de lancement donne o3 entre 9,1 % et 23,0 %. À l'été 2026, la version est saturée : l'article d'OSWorld 2.0 cite 83,5 % pour Claude Opus 4.8 et 79 à 83 % pour les modèles de pointe.
OSWorld 2.0 : des workflows d'une heure et demie
OSWorld 2.0 (arXiv:2606.29537, soumis le 28 juin 2026 ; Mengqi Yuan et 35 coauteurs, « XLANG Lab and Collaborators ») change d'échelle : 108 workflows de bout en bout, sept domaines professionnels, 31 sites web auto-hébergés et des applications comme LibreOffice, GIMP, VS Code ou GitLab. Selon l'article, une tâche prend à un humain « a median of about 1.6 hours », 48 fois la médiane d'OSWorld 1.0, et demande à Claude Opus 4.7 en réflexion maximale 318 appels d'outil en moyenne, contre une trentaine avant. Les agents « lose track of constraints » et « guess rather than ask the user ».
Complétion binaire, score partiel, sous-ensemble hors ligne
La métrique principale est la complétion binaire dans un budget de 500 pas. S'y ajoute un score partiel : chaque tâche porte des points de contrôle, 27,25 en moyenne, et l'état final est noté contre l'ensemble. À la publication, le meilleur agent (Claude Opus 4.8, réflexion maximale, appels groupés) terminait 20,6 % des tâches pour un score partiel de 54,8 %.
Le site officiel définit un sous-ensemble hors ligne de 82 tâches exécutables sans Internet, liste publiée sur GitHub, pour qu'aucun site tiers ne change pendant l'évaluation. Trois versions cohabitent : v2026.06.24 (lancement), v2026.08.08 et v2.1 (correctifs du 16 septembre 2026, recommandée), et le dépôt demande de ne jamais les mélanger.
Comment lire un score OSWorld
Cinq paramètres avant de comparer : la génération (1.0, Verified, 2.0), la version, le jeu (complet ou hors ligne), le budget de pas et la colonne (binaire ou partiel), plus le réglage d'effort et le mode d'appel d'outils. Comme Terminal-Bench pour le terminal et AutomationBench pour les API, OSWorld note un couple modèle-harnais sur l'état final, et c'est le protocole d'une évaluation interne sur vos propres postes.
Questions fréquentes
Qu'est-ce qu'OSWorld ?
Un benchmark du XLANG Lab (université de Hong Kong) pour les agents qui pilotent un ordinateur par l'écran, le clavier et la souris. Les tâches s'exécutent dans une vraie machine virtuelle et un script vérifie l'état final. La version 1.0 date d'avril 2024, OSWorld-Verified de juillet 2025, OSWorld 2.0 de juin 2026.
Quelle est la différence entre OSWorld-Verified et OSWorld 2.0 ?
OSWorld-Verified corrige les 369 tâches d'origine, des tâches de deux minutes en médiane, et les modèles de pointe y dépassaient 80 % à l'été 2026. OSWorld 2.0 est un nouveau jeu de 108 workflows d'environ 1,6 heure pour un humain, où le meilleur agent terminait 20,6 % des tâches à la publication.
Que signifient complétion binaire et score partiel ?
La complétion binaire compte les workflows terminés, tous points de contrôle validés, dans un budget de 500 pas. Le score partiel note l'état final contre les points de contrôle de la tâche, 27,25 en moyenne, et mesure la part du chemin parcouru. Les deux colonnes se publient ensemble.
Qu'est-ce que le sous-ensemble hors ligne d'OSWorld 2.0 ?
Les 82 tâches, sur 108, qui s'exécutent sans accès à Internet, listées sur le dépôt GitHub. Il évite qu'un site tiers change pendant l'évaluation. Un score sur le jeu complet et un score sur le sous-ensemble hors ligne ne se comparent pas.
Comment lire un score OSWorld ?
Avec la génération (1.0, Verified, 2.0), la version de snapshot (v2026.06.24, v2026.08.08, v2.1), le jeu complet ou hors ligne, le budget de pas, la colonne binaire ou partielle, le réglage d'effort et qui a mesuré. Un score partiel seul est une moitié de résultat.
Sources
- arXiv:2404.07972 — OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments · 2024-04-11
- XLANG Lab — Introducing OSWorld-Verified · 2025-07-28
- arXiv:2606.29537 — OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks · 2026-06-28
- OSWorld 2.0 — site officiel et classement (jeu complet / hors ligne, 82 tâches) · 2026-10-15
- GitHub — xlang-ai/OSWorld-V2 (Apache 2.0, versions v2026.06.24, v2026.08.08, v2.1) · 2026-09-16
- GitHub — xlang-ai/OSWorld (NeurIPS 2024, Apache 2.0)
OSWorld dans vos projets
Échanger avec SFEIRArticles liés
Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille
Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.
GPT-6 Astra : un vrai saut sur les agents, un récit d'AGI taillé pour l'entrée en Bourse
GPT-6 Astra (3 septembre 2026) : gains réels en usage d'ordinateur et en codage, prix aligné sur Fable 5.1, score ARC-AGI-3 qui passe de 99,9 % à 62,7 % selon le harnais. Et un « Welcome to the AGI era » qui arrive six mois après une levée de 122 milliards de dollars.
Claude Haiku 5.5 : ce que le nouveau Haiku change pour vos sous-agents
Claude Haiku 5.5 (7 octobre 2026) rejoint le tarif de GPT-6 Luna sous 100 000 tokens et le devance sur les benchmarks constructeur. Seuil des 100k, tokenizer plus gourmand, verbosité à effort élevé, advisor, migration : à vérifier avant d'en faire le modèle de vos sous-agents.
Claude Opus 5 : l'intelligence quasi-frontier au prix du modèle par défaut
Claude Opus 5, lancé le 24 juillet 2026, « s'approche de l'intelligence frontier de Fable 5 à moitié prix », au tarif inchangé d'Opus 4.8. Et pour une DSI européenne, un détail pèse plus qu'un benchmark : Opus 5 préserve le Zero Data Retention que Fable 5 casse.
Google ouvre Claude Opus 5 à ses ingénieurs, et garde le harnais
Le 14 septembre 2026, Business Insider révèle que Google autorise tous ses ingénieurs à utiliser Claude Opus 5, sous quota et seulement dans Antigravity, sa plateforme agentique. Le modèle change de camp, le point de contrôle reste chez Google : où une DSI doit loger le sien.
La famille de modèles Claude : Haiku, Sonnet, Opus, Fable, quel modèle pour quelle tâche
Au 8 octobre 2026, la gamme Claude compte cinq niveaux et la famille Claude 5.5 est complète : Haiku 5.5, Sonnet 5.5, Opus 5.5, puis la classe Mythos (Fable et Mythos). Ce que chacun sait faire, par complexité de tâche, et pourquoi choisir le niveau est une décision d'architecture.
Claude Fable 5.1 : Anthropic mise sur le travail long et baisse la facture du cache
Claude Fable 5.1 (1er septembre 2026) : même tarif que Fable 5, cache read divisé par quatre, garde-fous qui interviennent moins, score doublé sur Terminal-Bench-Science. Ce que cela change pour vos workloads agentiques, et qui a le modèle inclus dans son plan.
Claude Sonnet 5.5 : le travail cadré au niveau d'Opus 5.5, au prix de Sonnet
Claude Sonnet 5.5 (28 septembre 2026) garde le tarif de Sonnet 5, 2 $/10 $, et se place à deux ou trois points d'Opus 5.5 sur le travail cadré. Benchmarks, coût par tâche selon l'effort, premiers garde-fous cyber sur un Sonnet, ruptures d'API à traiter avant de migrer.
Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber
Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.