apprentissage non supervis\u00e9<\/a> retire aussi la cible, mais pour un autre but : r\u00e9v\u00e9ler une structure d\u00e9j\u00e0 pr\u00e9sente dans les donn\u00e9es, comme des regroupements ou des valeurs atypiques.<\/p>\nL’apprentissage par renforcement part d’un troisi\u00e8me principe. Un syst\u00e8me y prend des d\u00e9cisions pour maximiser une r\u00e9compense cumul\u00e9e<\/strong> : personne ne lui dit quelles actions mener, il explore l’environnement et d\u00e9couvre lesquelles paient.<\/p>\nDeux id\u00e9es en d\u00e9coulent. D’abord l’essai-erreur : l’agent n’a que l’exp\u00e9rience pour progresser. Ensuite la r\u00e9compense diff\u00e9r\u00e9e : au jeu d’\u00e9checs, sacrifier une pi\u00e8ce peut ne rapporter que plus tard, quand la partie est gagn\u00e9e.<\/p>\n
\n\ud83d\udca1 Intuition<\/strong> Un \u00e9tiqueteur te dit \u00ab voici la bonne r\u00e9ponse \u00bb. Un environnement, lui, se contente de te dire \u00ab \u00e7a a march\u00e9 \u00bb ou \u00ab \u00e7a a mal tourn\u00e9 \u00bb, parfois bien apr\u00e8s ton geste.<\/p>\n<\/blockquote>\nLes pi\u00e8ces du puzzle : agent, environnement, \u00e9tat, action<\/h2>\n Un syst\u00e8me de renforcement se d\u00e9crit avec six \u00e9l\u00e9ments : un agent, un environnement, un \u00e9tat, une politique, un signal de r\u00e9compense et une fonction de valeur.<\/p>\n
L’agent<\/strong> est l’apprenant, celui qui prend les d\u00e9cisions. L’environnement est tout ce avec quoi il interagit. Un \u00e9tat<\/strong> d\u00e9crit la configuration de cet environnement \u00e0 un instant donn\u00e9, par exemple la position des pi\u00e8ces sur un \u00e9chiquier avant un coup.<\/p>\nFace \u00e0 un \u00e9tat, l’agent choisit une action<\/strong> parmi celles qui lui sont permises. L’ensemble de ces actions peut \u00eatre discret (les d\u00e9placements dans un labyrinthe) ou continu (des vecteurs de valeurs r\u00e9elles). D\u00e8s que l’agent agit, l’environnement change, donc l’\u00e9tat aussi.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis les deux fl\u00e8ches : l’une part de l’agent vers l’environnement, l’autre revient avec deux informations \u00e0 la fois, l’\u00e9tat suivant et la note re\u00e7ue. Ce va-et-vient se r\u00e9p\u00e8te \u00e0 chaque pas de temps.<\/figcaption><\/figure>\n\n\nLa politique<\/strong> est le comportement de l’agent : elle associe une action \u00e0 chaque \u00e9tat. Ce peut \u00eatre une liste de r\u00e8gles, une table de correspondance ou une fonction, d\u00e9terministe ou stochastique (une probabilit\u00e9 par action). Le plus souvent, elle est param\u00e9tr\u00e9e, et c’est un r\u00e9seau de neurones dont un algorithme d’optimisation r\u00e8gle les param\u00e8tres.<\/p>\nIl arrive que l’agent ne voie qu’une partie de l’\u00e9tat. Un robot qui explore un labyrinthe n’a que sa cam\u00e9ra : ce qu’elle lui renvoie est une observation<\/strong>, un sous-ensemble de l’\u00e9tat r\u00e9el.<\/p>\nUn labyrinthe pour tout voir tourner<\/h2>\n Prends un agent qui doit sortir d’un labyrinthe. L’\u00e9tat, c’est sa position. Ses actions : aller \u00e0 l’est, \u00e0 l’ouest, au nord ou au sud. La politique dit quelle direction prendre dans chaque case. La r\u00e9compense peut \u00eatre une p\u00e9nalit\u00e9 quand il choisit une action interdite, comme foncer dans un mur, et le but est de trouver la sortie.<\/p>\n
\u00c0 chaque pas de temps, l’agent observe l’\u00e9tat, choisit une action selon sa politique et re\u00e7oit une r\u00e9compense. Il se retrouve alors dans un nouvel \u00e9tat, et le cycle repart.<\/p>\n
Au d\u00e9but, aucune carte, aucune consigne<\/strong> : seulement des essais. Et la politique n’est pas forc\u00e9ment fig\u00e9e, puisqu’elle peut \u00eatre mise \u00e0 jour \u00e0 la fin de chaque cycle. C’est cette r\u00e9vision, essai apr\u00e8s essai, qui constitue l’apprentissage proprement dit.<\/p>\nR\u00e9compense, retour, valeur : viser le long terme<\/h2>\n La r\u00e9compense est un signal, positif ou n\u00e9gatif, en g\u00e9n\u00e9ral un nombre unique, que l’agent re\u00e7oit \u00e0 chaque pas. Elle lui donne un but, local comme global : perdre une pi\u00e8ce est une r\u00e9compense n\u00e9gative locale, gagner la partie une r\u00e9compense globale.<\/p>\n
Mais la r\u00e9compense ne dit que ce qui est bon tout de suite. La fonction de valeur<\/strong> d\u00e9crit ce qui l’est \u00e0 long terme : la valeur d’un \u00e9tat est la quantit\u00e9 totale de r\u00e9compense que l’agent peut esp\u00e9rer obtenir \u00e0 l’avenir en partant de cet \u00e9tat. Sacrifier une pi\u00e8ce rapporte peu sur le moment, mais peut valoir la victoire.<\/p>\nPour que l’agent vise cette valeur, on lui fait maximiser une somme, le retour
<\/span> <\/span>Dans cette t\u00e2che \u00e0 \u00e9pisodes (une partie, une sortie de labyrinthe),
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Un agent maximise la r\u00e9compense par tous les moyens possibles. Si on r\u00e9compense chaque pi\u00e8ce mang\u00e9e plut\u00f4t que la victoire, il collectionnera les pi\u00e8ces, quitte \u00e0 perdre la partie.<\/p>\n<\/blockquote>\nCe cadre s’appelle un processus de d\u00e9cision markovien. Il r\u00e9duit tout probl\u00e8me \u00e0 trois signaux, les actions, les \u00e9tats et les r\u00e9compenses, et la dynamique de l’environnement s’\u00e9crit avec une probabilit\u00e9 de transition :<\/p>\n
<\/span> <\/span>Lis-la ainsi : sachant que l’agent \u00e9tait dans l’\u00e9tat \n\t\t\t\n\t\t\t\tCet arbre montre l’id\u00e9e centrale de beaucoup d’algorithmes : la valeur de l’\u00e9tat racine est la moyenne, pond\u00e9r\u00e9e par la probabilit\u00e9 de chaque branche, de la r\u00e9compense obtenue plus la valeur actualis\u00e9e de l’\u00e9tat o\u00f9 l’on atterrit.<\/figcaption><\/figure>\n\n\nExplorer ou exploiter : le dilemme du restaurant<\/h2>\n Dans une ville nouvelle, tu essaies d’abord plusieurs restaurants. Tu d\u00e9couvres des favoris et tu y retournes plus souvent : tu exploites<\/strong> ce que tu sais. Mais si tu ne bouges plus de tes habitudes, tu risques de manquer un meilleur endroit. Savoir quand essayer du neuf et quand s’en tenir \u00e0 ce qui marche reste une question ouverte de la th\u00e9orie.<\/p>\nL’agent vit le m\u00eame dilemme : il doit exploiter ses connaissances pour atteindre son but, mais aussi explorer<\/strong> pour mieux choisir plus tard, car le chemin le plus \u00e9vident n’est pas forc\u00e9ment le meilleur.<\/p>\nPour estimer la valeur d’une action, on n’a pas besoin de recalculer toute la moyenne \u00e0 chaque fois. On corrige l’ancienne estimation
<\/span> <\/span>Ici
\n\ud83d\udccc \u00c0 retenir<\/strong> Apprendre, c’est corriger une estimation par l’\u00e9cart entre ce qu’on attendait et ce qu’on a re\u00e7u. Presque tout l’apprentissage par renforcement est une variation sur cette phrase.<\/p>\n<\/blockquote>\nQuand l’environnement est petit, politiques et valeurs tiennent dans de simples fonctions. Quand il devient grand (images, vid\u00e9os, actions continues), elles ne g\u00e9n\u00e9ralisent plus. Le renforcement profond les repr\u00e9sente alors par des r\u00e9seaux de neurones<\/strong>, capables en th\u00e9orie d’approcher n’importe quelle fonction complexe.<\/p>\nLe principe est simple. On initialise un r\u00e9seau de param\u00e8tres
Une variante r\u00e9pandue s\u00e9pare deux r\u00f4les. L’acteur est le d\u00e9cideur, qui apprend \u00e0 am\u00e9liorer ses d\u00e9cisions. Le critique est un conseiller qui estime la valeur de ses actions et lui donne un retour : il calcule une erreur de diff\u00e9rence temporelle, l’\u00e9cart entre sa pr\u00e9vision et ce que l’agent vient d’observer.<\/p>\n
Les m\u00e9thodes se rangent aussi selon un autre axe. Les m\u00e9thodes sans mod\u00e8le<\/strong> apprennent directement des s\u00e9quences \u00e9tat-action-r\u00e9compense et sont plus simples \u00e0 impl\u00e9menter. Celles avec mod\u00e8le se construisent un mod\u00e8le interne de l’environnement pour simuler et planifier : elles \u00e9conomisent des interactions r\u00e9elles, au prix d’une complexit\u00e9 et d’un co\u00fbt de calcul sup\u00e9rieurs.<\/p>\n\u00c0 quoi \u00e7a sert, concr\u00e8tement<\/h2>\n Le terrain d’entra\u00eenement historique, ce sont les jeux<\/strong> : AlphaZero, DQN sur le go, les \u00e9checs ou les jeux Atari. Un jeu offre un environnement complexe, des r\u00e9compenses claires, imm\u00e9diates comme diff\u00e9r\u00e9es, et des benchmarks qui permettent de comparer vite deux algorithmes.<\/p>\nAlphaZero a marqu\u00e9 les esprits : le m\u00eame algorithme sert pour les \u00e9checs, le shogi et le go, sans connaissance humaine, en jouant des millions de parties contre lui-m\u00eame.<\/p>\n
Au-del\u00e0 du jeu, on retrouve le renforcement en robotique, en conduite autonome, en optimisation et contr\u00f4le (finance, sant\u00e9, logistique, automatisation industrielle) et dans la gestion de l’\u00e9nergie.<\/p>\n
Il croise aussi les mod\u00e8les de langage. Des algorithmes de renforcement servent \u00e0 aligner un mod\u00e8le sur les pr\u00e9f\u00e9rences humaines, pour limiter les contenus biais\u00e9s ou toxiques.<\/p>\n
Quand on sait \u00e9crire un \u00e9valuateur mesurable (une m\u00e9trique, un validateur \u00e0 r\u00e8gles, un mod\u00e8le de notation), on peut m\u00eame optimiser un mod\u00e8le directement vers ce signal : c’est le principe du renforcement \u00e0 r\u00e9compenses v\u00e9rifiables.<\/p>\n
Ce que le renforcement ne fait pas (encore)<\/h2>\n Il ne remplace pas la r\u00e9compense bien pos\u00e9e : concevoir la r\u00e9compense reste difficile<\/strong>, surtout quand elle est \u00e9parse, avec un retour limit\u00e9 et tardif. Elle contr\u00f4le tout le comportement, et un biais peut conduire \u00e0 des comportements inattendus.<\/p>\nIl ne g\u00e9n\u00e9ralise pas facilement : entra\u00een\u00e9s dans un environnement simul\u00e9 pr\u00e9cis, les agents y excellent, mais transf\u00e9rer ce savoir \u00e0 des environnements changeants est difficile, ce qui limite l’usage dans le monde r\u00e9el.<\/p>\n
Il n’est pas \u00e9conome. L’ensemble reste gourmand en ressources, et une m\u00e9thode comme A3C peut donner des r\u00e9sultats variables d’un lancement \u00e0 l’autre. M\u00eame AlphaZero a un co\u00fbt de calcul \u00e9norme, et il marche surtout pour les cadres \u00e0 information parfaite.<\/p>\n
Enfin, les m\u00e9thodes avec mod\u00e8le accumulent des erreurs : plus l’horizon de pr\u00e9diction s’allonge, plus l’\u00e9cart avec la trajectoire optimale grandit. Et si l’agent doit apprendre son propre mod\u00e8le de l’environnement, il peut s’y comporter de fa\u00e7on optimale tout en \u00e9tant mauvais dans la r\u00e9alit\u00e9.<\/p>","protected":false},"excerpt":{"rendered":"
Un agent, des essais, des r\u00e9compenses : d\u00e9couvre ce qu’est l’apprentissage par renforcement, ses pi\u00e8ces, sa boucle et ce qui le distingue du supervis\u00e9.<\/p>\n","protected":false},"author":1,"featured_media":328,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-329","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/329","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=329"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/329\/revisions"}],"predecessor-version":[{"id":789,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/329\/revisions\/789"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/328"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=329"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=329"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=329"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Un](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch01_frontiere_classification.png\")