\ud83d\udca1 Intuition<\/strong> Si tu peux corriger chaque r\u00e9ponse isol\u00e9ment, tu es en terrain supervis\u00e9. Si tu ne sais juger qu’une suite de d\u00e9cisions une fois jou\u00e9e, tu es en terrain de renforcement.<\/p>\n<\/blockquote>\nCertains savoir-faire rel\u00e8vent d’ailleurs de l’interaction pure. Les mod\u00e8les de langage n’ont qu’une compr\u00e9hension limit\u00e9e du monde r\u00e9el, tant pour le raisonnement de sens commun que pour les relations spatiales : pour progresser, il faut un syst\u00e8me qui laisse l’IA interagir avec un environnement et en apprendre par l’exploration.<\/p>\n
\u00c0 l’inverse, si chaque choix est ind\u00e9pendant du suivant, inutile de suivre un \u00e9tat. Le probl\u00e8me se r\u00e9duit \u00e0 comparer des options, et c’est le terrain des bandits.<\/p>\n
Comparer des variantes : un bandit avant le renforcement complet<\/h2>\n Imagine que tu h\u00e9sites entre trois versions d’une consigne donn\u00e9e \u00e0 un assistant. Un test A\/B r\u00e9partit le trafic de fa\u00e7on rigide. Un bandit bay\u00e9sien, lui, apprend en chemin : chaque bras repr\u00e9sente une variante (invites alternatives, strat\u00e9gies d’orchestration), l’algorithme observe des r\u00e9compenses (t\u00e2ches r\u00e9solues, latence moindre, meilleures notes) et affine ses croyances par des mises \u00e0 jour bay\u00e9siennes.<\/p>\n
Un cas chiffr\u00e9 : un syst\u00e8me teste trois cha\u00eenes de raisonnement pour classer des menaces ambigu\u00ebs. Il d\u00e9marre \u00e0 parts \u00e9gales ; quand l’une am\u00e9liore l’exactitude de 15 %, il lui r\u00e9affecte 70 % des requ\u00eates<\/strong> tout en sondant les autres, pour d\u00e9tecter les \u00e9volutions du comportement des utilisateurs.<\/p>\nLe b\u00e9n\u00e9fice est direct : la majorit\u00e9 des utilisateurs profite de la meilleure configuration d\u00e8s qu’elle est identifi\u00e9e, au lieu de voir un trafic \u00e9gal gaspill\u00e9 sur des variantes sous-optimales.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde la courbe la plus basse : un \u03b5 trop \u00e9lev\u00e9, qui pousse \u00e0 trop explorer, fait moins bien que ne jamais explorer<\/strong>. Un peu d’exploration (\u03b5 = 0,1) fait mieux que la strat\u00e9gie gloutonne, et la r\u00e8gle UCB fait mieux encore.<\/figcaption><\/figure>\n\n\nCette r\u00e8gle choisit \u00e0 chaque pas l’action qui maximise :<\/p>\n
<\/span> <\/span>
Le bandit s’arr\u00eate pourtant l\u00e0 o\u00f9 commence la s\u00e9quence : c’est un syst\u00e8me simpliste qui ne s’applique pas \u00e0 de nombreuses situations r\u00e9elles, celles o\u00f9 le but est plus lointain que le gain imm\u00e9diat. Et la r\u00e8gle UCB, si elle marche tr\u00e8s bien, est difficile \u00e0 appliquer hors des bandits.<\/p>\n
Deux garde-fous si tu t’en sers. Les r\u00e9compenses doivent refl\u00e9ter les vrais objectifs, sans proxys trompeurs<\/strong>. Et il faut surveiller les boucles de r\u00e9troaction pathologiques, ainsi que l’exploitation de tendances \u00e0 court terme au d\u00e9triment d’objectifs \u00e0 long terme ; des a priori neutres et une r\u00e9gularisation \u00e9vitent de biaiser trop t\u00f4t vers une variante.<\/p>\nLe test de la r\u00e9compense : sais-tu \u00e9crire le score ?<\/h2>\n Quand le probl\u00e8me est connu, ou que la r\u00e9compense se d\u00e9finit par une fonction claire et d\u00e9terministe (le score d’un jeu, une condition de victoire ou de d\u00e9faite), sa conception est simple. Dans bien d’autres applications, ce n’est pas possible : les t\u00e2ches sont longues et complexes, les r\u00e9compenses \u00e9parses.<\/p>\n
C’est le point o\u00f9 beaucoup de projets achoppent, parce que la fonction de r\u00e9compense contr\u00f4le le comportement, l’apprentissage et la performance de l’agent. La concevoir est difficile en r\u00e9compenses \u00e9parses, avec un risque de biais qui conduit \u00e0 des comportements inattendus ou \u00e0 une politique sous-optimale.<\/p>\n
\n\n\nTon signal<\/th>\n Verdict<\/th>\n<\/tr>\n<\/thead>\n \n\nScore de jeu, victoire ou d\u00e9faite<\/td>\n R\u00e9compense simple \u00e0 \u00e9crire<\/td>\n<\/tr>\n \nM\u00e9trique automatique, validateur \u00e0 r\u00e8gles, mod\u00e8le de notation, \u00e9valuateur humain<\/td>\n Utilisable en RLVR<\/td>\n<\/tr>\n \nT\u00e2che longue et complexe, retour rare<\/td>\n R\u00e9compense difficile ; un LLM peut aider, avec des r\u00e9serves<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nLe RLVR vise les t\u00e2ches o\u00f9 l’on sait d\u00e9finir un signal d’\u00e9valuation v\u00e9rifiable : qualit\u00e9 de synth\u00e8se, exactitude des appels d’outils, factualit\u00e9 de la recherche de connaissances, respect de contraintes de s\u00e9curit\u00e9. Il est efficace quand on dispose de donn\u00e9es de pr\u00e9f\u00e9rence class\u00e9es ou d’une fonction de score fiable<\/strong>, et id\u00e9al quand l’\u00e9valuation est trop co\u00fbteuse \u00e0 obtenir \u00e0 grande \u00e9chelle par annotation directe.<\/p>\nQuand tu ne sais pas \u00e9crire la r\u00e9compense toi-m\u00eame, un LLM<\/a> peut la fournir : soit par un retour direct, soit en g\u00e9n\u00e9rant le code d’une fonction de r\u00e9compense que tu peux modifier pendant l’entra\u00eenement, par exemple quand l’agent a acquis des comp\u00e9tences et que gagner devient plus difficile. Le proc\u00e9d\u00e9 n’est pas facile pour autant : des ambigu\u00eft\u00e9s surgissent, et le syst\u00e8me ne marche pas toujours avec des instructions de mauvaise qualit\u00e9.<\/p>\nCe que \u00e7a co\u00fbte : calcul, essais, r\u00e9glages<\/h2>\n Une fois le renforcement jug\u00e9 pertinent, le co\u00fbt se pilote par le choix de la famille d’algorithmes. Le tableau croise ta contrainte avec le levier et son prix.<\/p>\n
\n\n\nTa contrainte<\/th>\n Le levier<\/th>\n Ce qu’il te co\u00fbte<\/th>\n<\/tr>\n<\/thead>\n \n\nChaque essai co\u00fbte cher<\/td>\n M\u00e9thodes hors politique : elles r\u00e9utilisent les donn\u00e9es pass\u00e9es, explorent mieux et convergent plus vite<\/td>\n Moins de stabilit\u00e9, plus de variance, plus de complexit\u00e9<\/td>\n<\/tr>\n \nTu veux de la stabilit\u00e9<\/td>\n M\u00e9thodes sur la politique : plus stables, moins de variance<\/td>\n Elles jettent les donn\u00e9es des politiques pr\u00e9c\u00e9dentes et conviennent surtout aux environnements stables<\/td>\n<\/tr>\n \nTu veux un point de d\u00e9part simple<\/td>\n PPO : stable, peu d’hyperparam\u00e8tres ; A2C : plus facile \u00e0 d\u00e9boguer<\/td>\n A2C est en g\u00e9n\u00e9ral plus lente<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nLes deux familles se reconnaissent \u00e0 un exemple. Un assistant conversationnel qui am\u00e9liore sa politique d’apr\u00e8s le retour des utilisateurs rel\u00e8ve du \u00ab sur la politique \u00bb. Un syst\u00e8me de recommandation musicale qui propose du neuf pour explorer genres et nouveaut\u00e9s s\u00e9pare au contraire la politique qui collecte les donn\u00e9es de celle qu’il cherche \u00e0 optimiser.<\/p>\n
Pour un premier essai, la PPO exploite plusieurs \u00e9poques de mises \u00e0 jour par mini-lots, marche bien dans de nombreux cas, et ses valeurs par d\u00e9faut conviennent en g\u00e9n\u00e9ral. Elle tire aussi bon parti des GPU.<\/p>\n
Au-del\u00e0 de l’algorithme, fais le calcul complet : d\u00e9veloppement, d\u00e9ploiement et maintenance face au b\u00e9n\u00e9fice attendu. Les mod\u00e8les sophistiqu\u00e9s r\u00e9clament de grands jeux de donn\u00e9es, une expertise pointue, beaucoup de calcul, des cycles it\u00e9ratifs de test et une infrastructure d’essai (environnements de simulation compris). Le co\u00fbt doit \u00eatre justifi\u00e9 par la valeur apport\u00e9e<\/strong> : si un syst\u00e8me \u00e0 r\u00e8gles fait aussi bien qu’un r\u00e9seau profond, il est plus rentable.<\/p>\nLe r\u00e9flexe de la simplicit\u00e9 vaut aussi en statistique : plus de souplesse n’am\u00e9liore pas toujours les pr\u00e9dictions, car le surajustement guette.<\/p>\n
Quand lever le pied<\/h2>\nPlusieurs t\u00e2ches \u00e0 la fois<\/h3>\n Un agent multit\u00e2che montre souvent des performances tr\u00e8s inf\u00e9rieures \u00e0 celles d’un agent optimis\u00e9 pour une seule t\u00e2che, avec le risque qu’il n’apprenne que les plus faciles et ignore les plus complexes. Si ton besoin est plusieurs comp\u00e9tences \u00e0 la fois, pr\u00e9vois de le traiter comme un sujet de recherche, pas comme une recette.<\/p>\n
Un environnement qui bouge<\/h3>\n Les m\u00e9thodes sur la politique sont peu exploratoires et conviennent aux environnements stables. Les m\u00e9thodes hors politique, avec leur exploration pouss\u00e9e, sont plus utiles dans des environnements complexes et dynamiques, au prix de plus de complexit\u00e9.<\/p>\n
Un LLM dans la boucle<\/h3>\n Confier un r\u00f4le \u00e0 un LLM (d\u00e9cideur, concepteur de r\u00e9compense) all\u00e8ge parfois l’exploration, mais l’agent h\u00e9rite de ses biais<\/strong> et de ses hallucinations, peut mal interpr\u00e9ter une t\u00e2che complexe ou bruit\u00e9e, et reste d\u00e9muni face \u00e0 un environnement que son pr\u00e9-entra\u00eenement n’a jamais montr\u00e9. Compte aussi un co\u00fbt de calcul plus \u00e9lev\u00e9, une latence accrue et des questions de confidentialit\u00e9 dans les domaines sensibles comme la sant\u00e9 ou la finance.<\/p>\nTa grille de d\u00e9cision<\/h2>\n \n\n\nTa situation<\/th>\n La voie \u00e0 privil\u00e9gier<\/th>\n<\/tr>\n<\/thead>\n \n\nTu as des paires entr\u00e9e \/ bonne r\u00e9ponse<\/td>\n Affinage supervis\u00e9 : imiter<\/td>\n<\/tr>\n \nTu as des r\u00e9ponses class\u00e9es de la meilleure \u00e0 la moins bonne<\/td>\n DPO : pr\u00e9f\u00e9rer<\/td>\n<\/tr>\n \nTu disposes d’un \u00e9valuateur fiable pour un mod\u00e8le de langage<\/td>\n RLVR : optimiser le score<\/td>\n<\/tr>\n \nTu compares quelques variantes sur du trafic r\u00e9el<\/td>\n Bandit<\/td>\n<\/tr>\n \nTes d\u00e9cisions s’encha\u00eenent, le retour est tardif, tu peux t’offrir les essais<\/td>\n Renforcement complet, avec la PPO comme point de d\u00e9part<\/td>\n<\/tr>\n \nUne r\u00e8gle ou une am\u00e9lioration sans r\u00e9entra\u00eenement fait aussi bien<\/td>\n Aucun renforcement<\/td>\n<\/tr>\n<\/tbody>\n<\/table>","protected":false},"excerpt":{"rendered":"Exemples d\u00e9j\u00e0 l\u00e0, d\u00e9cisions qui s’encha\u00eenent, score v\u00e9rifiable, co\u00fbt des essais : les questions qui tranchent entre renforcement et alternatives plus simples.<\/p>\n","protected":false},"author":1,"featured_media":342,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-343","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/343","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=343"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/343\/revisions"}],"predecessor-version":[{"id":816,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/343\/revisions\/816"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/342"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=343"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=343"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=343"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Trois](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch07_comparaison_sft_dpo_rlvr-scaled.png\")