- \n
- L’essentiel en 30 secondes<\/a><\/li>\n
- Un LLM au tribunal : la d\u00e9finition<\/a><\/li>\n
- Pourquoi un juge plut\u00f4t qu’une formule ou une arm\u00e9e de relecteurs<\/a><\/li>\n
- Ce qu’on pose sur le bureau du juge<\/a><\/li>\n
- Un juge au travail : le critique d’une cha\u00eene logistique<\/a><\/li>\n
- Cinq fauteuils pour un m\u00eame juge<\/a><\/li>\n
- Deux id\u00e9es re\u00e7ues sur le juge<\/a><\/li>\n<\/ul>\n
L’essentiel en 30 secondes<\/h2>\n
- \n
- Le \u00ab LLM as a judge \u00bb consiste \u00e0 confier la notation \u00e0 un LLM<\/strong> : il examine une sortie et rend un verdict.<\/li>\n
- Le juge re\u00e7oit un dossier pr\u00e9cis<\/strong> : la sortie, une grille de crit\u00e8res, des exemples, parfois une v\u00e9rit\u00e9 terrain, et un seuil.<\/li>\n
- Son verdict prend une forme au choix : une note, une \u00e9tiquette ou une r\u00e9compense<\/strong>, selon ce que le syst\u00e8me en fait.<\/li>\n
- Le m\u00eame r\u00f4le se retrouve \u00e0 cinq postes diff\u00e9rents<\/strong>, du choix d’un mod\u00e8le \u00e0 la r\u00e9compense d’un agent.<\/li>\n
- Le juge reste faillible : il manque les cas rares, et seuls des humains tranchent<\/strong> la cr\u00e9ativit\u00e9 ou le biais.<\/li>\n<\/ul>\n
Un LLM au tribunal : la d\u00e9finition<\/h2>\n
Un LLM<\/a> as a judge<\/strong>, litt\u00e9ralement un \u00ab LLM comme juge \u00bb, est un LLM \u00e0 qui l’on demande d’examiner une sortie et de dire ce qu’il en pense, l\u00e0 o\u00f9 l’on aurait fait calculer un score ou relire une personne. On la rencontre d’abord dans l’\u00e9valuation d’un syst\u00e8me RAG<\/a> : on dispose en g\u00e9n\u00e9ral d’un jeu de questions avec leur v\u00e9rit\u00e9 terrain, et le juge dit si le pipeline a trouv\u00e9 les \u00e9tapes n\u00e9cessaires et si la r\u00e9ponse g\u00e9n\u00e9r\u00e9e est correcte.<\/p>\n
Cette fa\u00e7on d’\u00e9valuer est r\u00e9cente : \u00e0 c\u00f4t\u00e9 de l’\u00e9valuation de la r\u00e9ponse \u00ab comme une t\u00e2che de classification \u00bb, on a vu appara\u00eetre depuis peu l’id\u00e9e de prendre un LLM comme juge du pipeline entier.<\/p>\n
\n
\ud83d\udca1 Intuition<\/strong> Le juge ne r\u00e9dige pas la r\u00e9ponse, il la lit et la note. Rien n’oblige \u00e0 lui donner un mod\u00e8le d’une autre esp\u00e8ce : on peut v\u00e9rifier la coh\u00e9rence d’un agent avec le m\u00eame mod\u00e8le, ou avec un mod\u00e8le voisin.<\/p>\n<\/blockquote>\n
Garde l’image du tribunal pour la suite : un juge, et en dernier recours une cour d’appel humaine.<\/p>\n
Pourquoi un juge plut\u00f4t qu’une formule ou une arm\u00e9e de relecteurs<\/h2>\n
Prends un agent de support qui traite la demande de remboursement d’une tasse f\u00eal\u00e9e, commande A89268. Un bon contr\u00f4le : il demande toujours une photo du dommage avant d’invoquer l’outil
issue_refund<\/code>, m\u00eame quand le client reformule, et il ne se contredit pas quand la conversation glisse du remboursement \u00e0 l’annulation de commande. Ce genre de v\u00e9rification ne se calcule pas avec une formule.<\/p>\nC’est l\u00e0 que l’\u00e9valuation par LLM trouve sa place : on demande au m\u00eame mod\u00e8le, ou \u00e0 un mod\u00e8le voisin, de v\u00e9rifier la coh\u00e9rence, avec quelques exemples de r\u00e9ponses coh\u00e9rentes et pertinentes. L’int\u00e9r\u00eat est le passage \u00e0 l’\u00e9chelle<\/strong>, que des relecteurs humains seuls n’assurent pas.<\/p>\n
Les m\u00e9triques automatiques classiques ont aussi leurs angles morts. Un score unique, comme la correspondance exacte avec une r\u00e9f\u00e9rence, peut favoriser des sorties formula\u00efques ou peu naturelles qui manquent l’intention r\u00e9elle ; et pour la g\u00e9n\u00e9ration ouverte, difficile \u00e0 \u00e9valuer par des m\u00e9triques standard, on se rabat sur l’inspection manuelle ou sur un LLM juge.<\/p>\n
Le probl\u00e8me est plus aigu avec les LLM : d\u00e9tecter des hallucinations<\/strong> ou des contenus inappropri\u00e9s est bien plus difficile que mesurer une exactitude, et c’est dans ce vide que le juge LLM s’installe.<\/p>\n
Ce qu’on pose sur le bureau du juge<\/h2>\n
Un juge sans dossier n’a rien \u00e0 juger. Dans les montages d\u00e9crits, le dossier contient \u00e0 peu pr\u00e8s les m\u00eames pi\u00e8ces :<\/p>\n
- \n
- la sortie \u00e0 examiner : une r\u00e9ponse, un plan ou une action candidate ;<\/li>\n
- une grille de crit\u00e8res fix\u00e9e \u00e0 l’avance, comme l’exactitude, la compl\u00e9tude et le ton pour une r\u00e9ponse, ou la faisabilit\u00e9, le co\u00fbt et le risque pour un plan ;<\/li>\n
- quelques exemples de sorties jug\u00e9es coh\u00e9rentes et pertinentes ;<\/li>\n
- si on en poss\u00e8de une, une v\u00e9rit\u00e9 terrain \u00e0 laquelle comparer ;<\/li>\n
- un seuil de qualit\u00e9, au-del\u00e0 duquel la sortie est accept\u00e9e.<\/li>\n<\/ol>\n
Ce que le juge rend d\u00e9pend de ce que le syst\u00e8me veut en faire. Trois formes reviennent :<\/p>\n
\n\n
\n \nForme du verdict<\/th>\n Exemple<\/th>\n Ce que le syst\u00e8me en fait<\/th>\n<\/tr>\n<\/thead>\n \n Une note<\/td>\n une fid\u00e9lit\u00e9 entre 0 et 1 ; un score de 1 \u00e0 10<\/td>\n mesurer, ou comparer \u00e0 un seuil<\/td>\n<\/tr>\n \n Une \u00e9tiquette<\/td>\n un texte jug\u00e9 \u00ab s\u00fbr \u00bb ou \u00ab non s\u00fbr \u00bb<\/td>\n classer une entr\u00e9e ou une sortie<\/td>\n<\/tr>\n \n Une r\u00e9compense ou une p\u00e9nalit\u00e9<\/td>\n le comportement d’un agent \u00e9valu\u00e9 pendant son entra\u00eenement<\/td>\n guider son apprentissage<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Les notes de type \u00ab m\u00e9trique \u00bb se multiplient dans l’\u00e9valuation d’un syst\u00e8me RAG. La fid\u00e9lit\u00e9 mesure la coh\u00e9rence factuelle de la r\u00e9ponse, entre 0 et 1 ; la pr\u00e9cision du contexte regarde si les \u00e9l\u00e9ments pertinents remontent en haut du contexte ; le rappel des entit\u00e9s examine le rappel du contexte en se concentrant sur les entit\u00e9s. Chacune pose une question distincte au juge<\/strong>.<\/p>\n
Un juge au travail : le critique d’une cha\u00eene logistique<\/h2>\n
Comment faire noter trois plans par un LLM, puis renvoyer ses remarques \u00e0 celui qui les a \u00e9crits ? Dans un montage dit acteur-critique<\/strong>, un premier appel g\u00e9n\u00e8re des candidats (r\u00e9ponses, plans, actions) et un second, le critique, accepte ou rejette chacun selon une grille pr\u00e9d\u00e9finie. Seul ce second appel nous int\u00e9resse ici : c’est lui le juge.<\/p>\n\n\n
![\"La](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch08_boucle_acteur_critique-scaled.png\")
- Le juge re\u00e7oit un dossier pr\u00e9cis<\/strong> : la sortie, une grille de crit\u00e8res, des exemples, parfois une v\u00e9rit\u00e9 terrain, et un seuil.<\/li>\n
- Un LLM au tribunal : la d\u00e9finition<\/a><\/li>\n