GraphWalks

Retrouver une aiguille ne suffit plus

GraphWalks est le benchmark de contexte long publié par OpenAI avec GPT-4.1, en avril 2025, sous licence MIT. Il mesure le raisonnement multi-sauts : le modèle reçoit un graphe orienté décrit par sa liste d'arêtes, dispersée sur un contexte qui peut atteindre un million de tokens, et doit en extraire un ensemble de nœuds.

Le needle in a haystack cache une phrase dans un long texte et demande de la retrouver : une lecture suffit. GraphWalks oblige à suivre une chaîne de relations dont chaque maillon se trouve ailleurs dans le contexte, comme on remonte des dépendances entre services.

Deux opérations, deux tranches de longueur

Les nœuds portent des identifiants hexadécimaux. Deux opérations : parents, tous les nœuds ayant une arête vers un nœud donné, et BFS (parcours en largeur), les nœuds situés exactement à une profondeur donnée depuis un nœud de départ. La première relève surtout de la recherche ; la seconde impose des étapes intermédiaires, et c'est le score le plus cité.

Le jeu compte 1 150 problèmes (550 BFS, 600 parents) en deux fichiers : 750 jusqu'à 128 000 tokens, 400 de 256 000 à un million. Selon Epoch AI, les graphes vont de 44 à 69 867 arêtes ; le modèle répond en un tour, sans outil ni message système.

Le F1 n'est pas un taux de problèmes résolus

La réponse est un ensemble de nœuds comparé à l'ensemble attendu. La précision est la part des nœuds renvoyés qui sont justes, le rappel la part des nœuds attendus qui ont été trouvés, le F1 leur moyenne harmonique. Le score du benchmark est la moyenne des F1 sur les problèmes.

Un F1 de 84 % ne signifie donc pas 84 % de problèmes résolus : huit bons nœuds sur dix attendus, plus deux faux, valent 0,8 sur un problème non résolu. Le code de notation publié tranche les cas limites : une réponse hors format « Final Answer: [...] » vaut 0.

Correction de février 2026, revue d'Epoch AI

Le changelog daté du 27 février 2026 signale que 24 des 400 échantillons parents de la tranche courte contenaient une réponse fausse (le nœud racine y figurait), erreur relevée par la system card de Claude Opus 4.6, et que la consigne BFS, ambiguë sur les nœuds déjà visités, a été reformulée. Les fichiers ont été remplacés sans numéro de version : deux scores mesurés avant et après ne portent pas sur les mêmes données.

Epoch AI a revu le benchmark le 29 septembre 2026 et le classe « Verified » : son vérificateur retrouve la réponse attendue des 1 150 problèmes. Ses réserves : données synthétiques, prompts et solutions publics, BFS longs pouvant dépasser la limite de sortie de certains modèles. À l'automne 2026, seule la tranche longue départage encore les modèles de tête.

Comment lire un score GraphWalks

Avant de comparer deux chiffres, vérifiez ce qu'ils recouvrent.

• La tranche (jusqu'à 128k, ou de 256k à 1M) et l'opération (BFS ou parents) : quatre scores existent, et le « BFS <128k » est le plus cité.
• La métrique : un F1 moyen, pas un pourcentage de problèmes résolus.
• La version des données : avant ou après la correction de février 2026.
• La limite de sortie du modèle et le protocole (un tour, sans outil) : un outil de parcours de graphe changerait ce qui est mesuré.
• La nature synthétique du jeu : il mesure la lecture d'un graphe en contexte long, pas la compréhension d'un SI. Voir les evals LLM sur vos propres cas.