Aller au contenu

ConceptBase de connaissances

Pattern Générateur-Critique

SFEIR AI Rédaction humaine et IA · Comment nous écrivons
Publié le

En bref

Boucle où un modèle produit une réponse, un autre (ou le même) la juge selon des critères écrits, jusqu'à validation ou plafond d'itérations.

Qu'est-ce que c'est

Dans le pattern Générateur-Critique, un générateur propose une réponse, un évaluateur la juge selon une grille et renvoie ses remarques, le générateur corrige, et la boucle recommence. Anthropic en fait en décembre 2024 son cinquième workflow, « evaluator-optimizer » : un appel de modèle génère pendant qu'un autre évalue et commente, en boucle. Il le réserve aux cas où les critères d'évaluation sont clairs et où chaque itération apporte un gain mesurable.

Quand le même modèle critique sa propre tentative précédente, on parle d'autocritique ou de Reflexion, du nom de la technique publiée par Noah Shinn et ses coauteurs en mars 2023, que l'architecture de référence d'AWS du 12 novembre 2026 cite parmi ses sources.

Quand l'utiliser

Le pattern sert quand les critères d'acceptation s'écrivent (tests, schéma de sortie, grille de style ou de conformité) et que la qualité compte plus que la latence : traduction, rédaction réglementée, génération de code testé. Sans critère fiable, la critique tourne en rond et chaque passe coûte un appel de modèle de plus.

Erreurs courantes

  • La boucle sans plafond. AWS cite un réglage courant de 3 à 5 itérations sous un budget de tokens ; au-delà, l'agent résume où il en est, puis escalade vers un humain ou demande à l'utilisateur comment continuer.
  • Le critique complaisant. Un modèle-juge sans grille précise laisse passer trop de réponses (voir les biais du LLM-juge dans les evals LLM). Une notation déterministe (tests, validation de schéma, comme les sorties typées de Pydantic AI) tient mieux qu'un jugement libre.
  • La perte du meilleur candidat. Une correction peut dégrader la réponse : il faut garder la meilleure sortie vue, pas la dernière.

Ce qui le distingue de ses voisins

Les evals LLM mesurent un système hors ligne, sur un jeu de cas ; le générateur-critique juge en ligne, pour corriger une réponse pendant l'exécution. Ralph Wiggum relance un agent sur le même objectif sans critique explicite. La boucle de vérification du loopcraft, qui renvoie le travail à l'agent quand il échoue à une grille, en est la version outillée. Sous un superviseur, la boucle se place souvent au niveau de chaque spécialiste.

Questions fréquentes

  • Combien d'itérations prévoir ?

    AWS cite un réglage courant de 3 à 5 itérations sous un budget de tokens. Le bon chiffre se mesure : on regarde le gain de qualité apporté par chaque passe et on coupe quand il devient nul.

  • Le critique doit-il être un autre modèle ?

    Pas forcément. Un même modèle peut critiquer sa tentative précédente (Reflexion). Un autre modèle, ou mieux un contrôle déterministe comme des tests ou un schéma, limite la complaisance envers sa propre production.

  • Quelle différence avec les evals LLM ?

    Les evals mesurent un système hors ligne pour décider d'une mise en production. Le générateur-critique juge chaque réponse pendant l'exécution, pour la corriger avant qu'elle n'arrive à l'utilisateur.

Sources

  1. Anthropic — Building effective agents (Erik Schluntz, Barry Zhang) · 2024-12-19

    one LLM call generates a response while another provides evaluation and feedback in a loop

  2. AWS Architecture Blog — Inside an enterprise AI agent: A governed, observable loop architecture · 2026-11-12

    the self-reflection step from approaches such as Reflexion

  3. arXiv — Reflexion: Language Agents with Verbal Reinforcement Learning (Noah Shinn et al.) · 2023-03-20

Passer à l’action

Pattern Générateur-Critique dans vos projets

Échanger avec SFEIR