- \n
- L’essentiel en 30 secondes<\/a><\/li>\n
- Un seul crit\u00e8re pour trier les terrains : le prix d’un essai<\/a><\/li>\n
- Les jeux : rater autant de fois qu’il le faut<\/a><\/li>\n
- Les mod\u00e8les de langage : le \u00ab score \u00bb est un jugement humain<\/a><\/li>\n
- Les robots : le monde physique ne se rejoue pas<\/a><\/li>\n
- Voiture, sant\u00e9, \u00e9nergie : d\u00e9cider avec plusieurs crit\u00e8res en t\u00eate<\/a><\/li>\n
- Ce qui change d’un terrain \u00e0 l’autre<\/a><\/li>\n<\/ul>\n
L’essentiel en 30 secondes<\/h2>\n
- \n
- Le renforcement vise les probl\u00e8mes o\u00f9 aucun exemple corrig\u00e9 n’est disponible<\/strong> : le mod\u00e8le n’a que le r\u00e9sultat de ses actions.<\/li>\n
- Les jeux sont le terrain r\u00eav\u00e9 : un essai n’y co\u00fbte rien<\/strong>, et un programme peut s’y entra\u00eener en jouant contre lui-m\u00eame.<\/li>\n
- Pour les mod\u00e8les de langage, le \u00ab score \u00bb vient des classements d’\u00e9valuateurs humains<\/strong>, appris par un mod\u00e8le de note.<\/li>\n
- D\u00e8s qu’on touche au monde physique, un essai devient lent, co\u00fbteux ou risqu\u00e9<\/strong>, d’o\u00f9 le recours aux simulations.<\/li>\n
- Pour juger un terrain, pose deux questions : qui dit \u00ab c’est bien \u00bb ?<\/strong> et combien d’essais peut-on s’offrir ?<\/li>\n<\/ul>\n
Un seul crit\u00e8re pour trier les terrains : le prix d’un essai<\/h2>\n
Le renforcement est l’outil des probl\u00e8mes o\u00f9 un mod\u00e8le doit apprendre de ses actions<\/strong> plut\u00f4t que de se faire montrer un exemple positif \u00e0 imiter. Sa version la plus simple, une machine \u00e0 sous aux leviers truqu\u00e9s, ressemble d\u00e9j\u00e0 \u00e0 des situations r\u00e9elles : choisir le meilleur traitement pour un patient, comparer deux variantes dans un test A\/B, mesurer une influence sur les r\u00e9seaux sociaux.<\/p>\n
Apprendre de ses actions suppose pourtant d’en tenter beaucoup. Or un essai n’a pas le m\u00eame prix partout : il ne co\u00fbte rien dans une partie qu’on rejoue, mais devient co\u00fbteux, dangereux ou long<\/strong> d\u00e8s que l’interaction se fait avec le monde r\u00e9el, en robotique ou pour des v\u00e9hicules autonomes.<\/p>\n
Ce prix sert de fil rouge. Les terrains d\u00e9filent ci-dessous du moins cher au plus d\u00e9licat, avec pour chacun la m\u00eame question : d’o\u00f9 vient le signal qui dit \u00ab c’est bien \u00bb ?<\/p>\n
Les jeux : rater autant de fois qu’il le faut<\/h2>\n
Un jeu est un terrain d’essai s\u00fbr : une partie rat\u00e9e ne co\u00fbte rien, ce qui en fait un banc de test pour des id\u00e9es destin\u00e9es ensuite \u00e0 d’autres terrains, la robotique par exemple.<\/p>\n
Mesure ce que le renforcement change en regardant les moteurs d’\u00e9checs d’avant. \u00c0 chaque coup, ils construisaient l’arbre de tous les coups l\u00e9gaux, le parcouraient jusqu’\u00e0 une certaine profondeur et notaient les positions finales avec des r\u00e8gles d’\u00e9valuation \u00e9crites par des humains<\/strong> : s\u00e9curit\u00e9 du roi, structure de pions, contr\u00f4le du centre. Ils \u00e9laguaient ensuite les branches peu prometteuses. Le r\u00e9sultat restait fait de coups souvent sous-optimaux, pour un calcul co\u00fbteux.<\/p>\n
AlphaZero, mis au point par DeepMind en 2017, a pris le probl\u00e8me autrement. Il a d\u00e9pass\u00e9 les meilleurs joueurs humains aux \u00e9checs, au shogi et au go, en partant des seules r\u00e8gles de base. Un unique r\u00e9seau de neurones porte deux t\u00eates : l’une d\u00e9signe les coups \u00e0 consid\u00e9rer, l’autre estime la probabilit\u00e9 de gagner depuis la position.<\/p>\n
Pour choisir un coup, il simule des parties possibles avec une recherche arborescente de Monte Carlo : il planifie plusieurs coups \u00e0 l’avance et explore d’abord les branches que les deux t\u00eates jugent prometteuses. Puis il s’entra\u00eene en jouant contre lui-m\u00eame<\/strong>. Chaque partie laisse des positions, des coups choisis et un r\u00e9sultat, qui servent \u00e0 corriger le r\u00e9seau.<\/p>\n
\n
\ud83d\udca1 Intuition<\/strong> Quand l’environnement est un simulateur, il fabrique lui-m\u00eame les exemples que personne n’aurait le temps d’annoter : l’auto-jeu g\u00e9n\u00e8re bien plus de donn\u00e9es d’entra\u00eenement que l’\u00e9tude de parties humaines.<\/p>\n<\/blockquote>\n
Du plateau au jeu vid\u00e9o<\/h3>\n
Le jeu vid\u00e9o ajoute une difficult\u00e9 : l’agent ne re\u00e7oit que des images. Super Mario Bros sert de banc d’essai parce que ses observations en pixels ressemblent \u00e0 celles des t\u00e2ches de vision du monde r\u00e9el. L’agent n’y voit qu’une partie de la situation, il doit donc explorer, et chaque niveau r\u00e9clame d’autres strat\u00e9gies, avec une difficult\u00e9 croissante.<\/p>\n
Les comp\u00e9tences mises \u00e0 l’\u00e9preuve sont concr\u00e8tes : sauter au bon moment par-dessus obstacles et gouffres, d\u00e9cider d’\u00e9viter ou d’affronter un ennemi, se rep\u00e9rer dans l’espace pour planifier un trajet. Les pi\u00e8ces ramass\u00e9es donnent une r\u00e9compense imm\u00e9diate, terminer le niveau une r\u00e9compense diff\u00e9r\u00e9e<\/strong>, qui oblige \u00e0 viser le long terme.<\/p>\n
Pour l’entra\u00eener, plusieurs agents jouent en parall\u00e8le et partagent un m\u00eame mod\u00e8le global : chacun explore des zones diff\u00e9rentes, ce qui produit des exp\u00e9riences plus vari\u00e9es et une strat\u00e9gie plus g\u00e9n\u00e9rale. Un terme d’entropie d\u00e9courage les choix trop gloutons et \u00e9vite \u00e0 l’agent de rester coinc\u00e9 dans une strat\u00e9gie m\u00e9diocre. Le m\u00eame mod\u00e8le s’applique ensuite \u00e0 d’autres jeux vid\u00e9o.<\/p>\n
Les mod\u00e8les de langage : le \u00ab score \u00bb est un jugement humain<\/h2>\n
Apr\u00e8s son entra\u00eenement initial, un mod\u00e8le de langage<\/a> sait surtout pr\u00e9dire le mot suivant<\/strong> : un autocomplete sophistiqu\u00e9, qui a pourtant absorb\u00e9 un vaste savoir. Cet objectif n’a rien \u00e0 voir avec ce qu’on attend d’un assistant, qui doit \u00eatre utile, honn\u00eate et inoffensif. Laiss\u00e9 tel quel, le mod\u00e8le peut produire un texte biais\u00e9 ou dangereux, ou suivre mal les consignes.<\/p>\n
\u00c9crire cette attente en formule est impossible, car les valeurs humaines sont subjectives. On a donc fait entrer l’humain dans la boucle. Derri\u00e8re le succ\u00e8s de ChatGPT, il y a le RLHF, l’apprentissage par renforcement<\/a> \u00e0 partir du retour humain, qui se d\u00e9roule en trois \u00e9tapes :<\/p>\n
- \n
- Imiter : des annotateurs \u00e9crivent les r\u00e9ponses attendues \u00e0 une liste de consignes (de 10 000 \u00e0 100 000 paires), et le mod\u00e8le est ajust\u00e9 pour les imiter.<\/li>\n
- Apprendre \u00e0 noter : le mod\u00e8le propose plusieurs r\u00e9ponses par consigne, les annotateurs les classent de la plus \u00e0 la moins appr\u00e9ci\u00e9e, et un second mod\u00e8le apprend de ces classements \u00e0 fournir une note unique.<\/li>\n
- Optimiser : l’algorithme de renforcement PPO met \u00e0 jour le mod\u00e8le pour que ses r\u00e9ponses obtiennent une meilleure note, avec une p\u00e9nalit\u00e9 qui l’emp\u00eache de trop s’\u00e9loigner de son texte d’origine.<\/li>\n<\/ol>\n\n\n
![\"Trois](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf.png\")
- Les jeux sont le terrain r\u00eav\u00e9 : un essai n’y co\u00fbte rien<\/strong>, et un programme peut s’y entra\u00eener en jouant contre lui-m\u00eame.<\/li>\n
- Un seul crit\u00e8re pour trier les terrains : le prix d’un essai<\/a><\/li>\n