SFEIR
LVBench Concept

LVBench

Benchmark de Zhipu AI et Tsinghua sur les vidéos de plus d'une heure : 103 vidéos, 1 549 QCM, six capacités. Publié en juin 2024, ICCV 2025.

SFEIR AI · Publié le 15 octobre 2026

ia data

Des vidéos d'une heure, pas des clips

LVBench est un benchmark de compréhension de vidéos très longues publié le 12 juin 2024 par des chercheurs de Zhipu AI et de l'université Tsinghua (Weihan Wang, Zehai He, Wenyi Hong et leurs coauteurs, Jie Tang parmi les auteurs correspondants). L'article, arXiv:2406.08035, est accepté à ICCV 2025. Le dépôt vit sous l'organisation GitHub zai-org, ex-THUDM ; le jeu est sous licence CC BY-NC-SA 4.0, réservé à la recherche.

Les benchmarks vidéo de 2024 travaillaient sur des clips, dix minutes au mieux. LVBench retient 103 vidéos YouTube de 30 minutes minimum, 117 heures en tout, 4 101 secondes en moyenne, dans six catégories : sport, documentaire, événements, vie quotidienne, séries, dessins animés. Le jeu ne distribue que les liens, pas les fichiers.

Six capacités, 1 549 QCM à quatre options

Chaque question est un QCM à quatre options, noté en exactitude, et teste une ou plusieurs de six capacités : ancrage temporel, résumé, raisonnement, reconnaissance d'entités, compréhension d'événements, extraction d'informations clés. Les annotateurs regardent la vidéo en entier, rédigent en moyenne 24 questions par heure, construisent trois distracteurs plausibles et marquent le segment minimal nécessaire pour répondre.

Un filtre retire les questions auxquelles GLM-4 et GPT-4 répondent juste sans voir la vidéo. Il reste 1 549 paires. Le contrôle à zéro image ramène les modèles au niveau du hasard ; les annotateurs humains atteignent 94,4 %.

Le piège de lecture : combien d'images le modèle a vues

Un modèle ne lit pas une vidéo, il reçoit une suite d'images échantillonnées. Dans l'article, les modèles conçus pour la vidéo longue reçoivent une image par seconde, sous-échantillonnée au-delà de leur limite ; les autres, un nombre fixe d'images, 32 ou 96. L'ablation est nette : les trois modèles testés progressent de 1 à 8 images, puis font un bond entre 50 images et une image par seconde. Le classement officiel affiche une colonne Frames à côté de chaque score.

Un score LVBench mesure donc un couple modèle et fréquence d'échantillonnage. Quand un évaluateur compare plusieurs modèles, chacun reçoit le nombre d'images que son API accepte, et celui qui en ingère le plus part avantagé. Un tableau qui ne précise pas ce nombre ne se lit pas. Dans la version d'août 2025 de l'article, Gemini 2.5 Pro atteint 67,4 % et Seed1.5-VL 64,0 % à une image par seconde.

Limites : contamination, audio, plafond

Les vidéos sont publiques sur YouTube, et questions et réponses sont publiées depuis juin 2024 : rien n'empêche qu'elles aient rejoint des corpus d'entraînement. Le son est exclu, parce que la plupart des modèles de 2024 ne le traitaient pas. Enfin, d'après les chiffres constructeurs de l'automne 2026, l'écart avec les 94,4 % humains se referme ; comblé, le benchmark ne départagera plus.

  • Le nombre d'images ou la fréquence d'échantillonnage : sans cette donnée, un score ne se compare à rien.
  • Qui a mesuré, et avec quelle limite d'API par modèle.
  • La date : le classement officiel date chaque entrée ; au lancement, en juin 2024, le meilleur modèle y atteignait 33,1 %.
  • Le plancher : un QCM à quatre options donne 25 % au hasard.
  • La licence : usage de recherche seulement, pas d'évaluation commerciale sans accord. Pour vos propres vidéos, voir les evals LLM.

Questions fréquentes

Qu'est-ce que LVBench ?

Un benchmark de compréhension de vidéos très longues, publié en juin 2024 par Zhipu AI et l'université Tsinghua et accepté à ICCV 2025. Il compte 103 vidéos YouTube d'un peu plus d'une heure en moyenne et 1 549 questions à choix multiple, annotées par des humains, qui testent six capacités de compréhension.

Quelles capacités LVBench mesure-t-il ?

Six capacités, combinables dans une même question : l'ancrage temporel, le résumé, le raisonnement, la reconnaissance d'entités, la compréhension d'événements et l'extraction d'informations clés. Chaque vidéo doit comporter des questions sur les six. Le score est une exactitude sur des QCM à quatre options, avec un plancher de 25 % au hasard.

Pourquoi le nombre d'images change-t-il le score ?

Un modèle reçoit une suite d'images échantillonnées, pas la vidéo. L'article montre un bond de performance entre 50 images et une image par seconde. Chaque évaluateur fixe ce nombre selon les limites d'API du modèle : deux scores obtenus avec des échantillonnages différents ne se comparent pas, et le classement officiel affiche ce nombre à côté du score.

LVBench peut-il être contaminé ?

Oui. Les vidéos sont publiques sur YouTube et les questions-réponses sont publiées depuis juin 2024, sans jeu caché. Un modèle entraîné après cette date a pu les rencontrer. Le filtre des auteurs retire les questions auxquelles un modèle répond sans voir la vidéo, mais ne protège pas contre la mémorisation du jeu lui-même.

Peut-on utiliser LVBench pour évaluer un produit ?

Le jeu est sous licence CC BY-NC-SA 4.0, réservé à la recherche, et le dépôt interdit tout usage commercial. Pour un cas d'usage interne (inspection, réunions enregistrées, archives), il sert de repère de génération ; la décision passe par une évaluation sur vos propres vidéos, au taux d'échantillonnage que vous déploierez.

Sources

LVBench dans vos projets

Échanger avec SFEIR

Articles liés

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Lire un tableau de benchmarks IA : les 18 benchmarks de frontière, famille par famille

Vals Index, AutomationBench, OSWorld 2.0, Terminal-Bench 4.0, Riemann-Bench, CWE-bench : dix-huit benchmarks ont remplacé les QCM par du travail d'agent noté sur l'état final. Ce que chacun mesure, comment il note, et les six questions à poser avant de comparer deux scores.

Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber

Gemini 4 Argon : Google reprend la tête des benchmarks, mais garde le modèle pour les défenseurs cyber

Google présente Gemini 4 Argon le 30 septembre 2026 : 1 million de tokens en sortie, tête sur 13 benchmarks sur 18 (mesures Google), tarif d'appel à 2 $ / 10 $. Seuls le gouvernement américain et les défenseurs cyber du programme Fairwind y ont accès. Ce qu'une DSI peut en faire dès maintenant.