{"id":455,"date":"2026-10-07T14:54:14","date_gmt":"2026-10-07T12:54:14","guid":{"rendered":"https:\/\/www.ranksignal.fr\/blog\/?p=455"},"modified":"2026-10-14T17:25:41","modified_gmt":"2026-10-14T15:25:41","slug":"qu-est-ce-qu-un-llm","status":"publish","type":"post","link":"https:\/\/www.ranksignal.fr\/blog\/inference\/qu-est-ce-qu-un-llm\/","title":{"rendered":"Qu&rsquo;est-ce qu&rsquo;un LLM ? De l&rsquo;autocompl\u00e9tion \u00e0 l&rsquo;assistant"},"content":{"rendered":"<p><\/p>\n<p>\u00c9cris \u00ab Never gonna \u00bb dans la zone de saisie d&rsquo;un grand mod\u00e8le de langage : s&rsquo;il a lu assez de culture populaire, il compl\u00e8te par \u00ab give you up \u00bb, sans que tu lui aies rien demand\u00e9 d&rsquo;autre. Ce petit tour de passe-passe est le c\u0153ur d&rsquo;un LLM, et il explique bien plus de choses qu&rsquo;on ne l&rsquo;imagine. \u00c0 la fin de cette lecture, tu sauras dire ce qu&rsquo;est un LLM en une phrase, comment on passe d&rsquo;un simple compl\u00e9teur de texte \u00e0 un assistant, et ce que tu peux en attendre ou non.<\/p>\n<p><strong>Sommaire<\/strong><\/p>\n<ul>\n<li><a href=\"#l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/a><\/li>\n<li><a href=\"#un-llm-c-est-d-abord-un-jeu-de-completion\">Un LLM, c&rsquo;est d&rsquo;abord un jeu de compl\u00e9tion<\/a><\/li>\n<li><a href=\"#du-texte-aux-tokens-ce-qu-un-llm-lit-et-ecrit\">Du texte aux tokens : ce qu&rsquo;un LLM lit et \u00e9crit<\/a><\/li>\n<li><a href=\"#de-l-autocompletion-a-l-assistant-trois-entrainements\">De l&rsquo;autocompl\u00e9tion \u00e0 l&rsquo;assistant : trois entra\u00eenements<\/a><\/li>\n<li><a href=\"#pourquoi-grand-change-la-nature-du-modele\">Pourquoi \u00ab grand \u00bb change la nature du mod\u00e8le<\/a><\/li>\n<li><a href=\"#un-modele-mille-taches-ce-qu-on-peut-lui-demander\">Un mod\u00e8le, mille t\u00e2ches : ce qu&rsquo;on peut lui demander<\/a><\/li>\n<li><a href=\"#le-meme-moteur-plusieurs-produits\">Le m\u00eame moteur, plusieurs produits<\/a><\/li>\n<li><a href=\"#cinq-idees-recues-a-lacher\">Cinq id\u00e9es re\u00e7ues \u00e0 l\u00e2cher<\/a><\/li>\n<\/ul>\n<h2 id=\"l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/h2>\n<ul>\n<li>Un LLM est <strong>un mod\u00e8le qui pr\u00e9dit le token suivant<\/strong>, un token \u00e0 la fois, en s&rsquo;appuyant sur tout ce qui pr\u00e9c\u00e8de.<\/li>\n<li>Presque toute t\u00e2che (juger un sentiment, r\u00e9pondre, r\u00e9sumer) se reformule en compl\u00e9tion : <strong>une seule m\u00e9canique pour mille usages<\/strong>.<\/li>\n<li>Ce qu&rsquo;il lit et \u00e9crit se compte en <strong>tokens, dans une fen\u00eatre de contexte<\/strong> limit\u00e9e.<\/li>\n<li>Ce sont <strong>l&rsquo;instruction tuning et le RLHF<\/strong> qui transforment l&rsquo;autocompl\u00e9tion en assistant.<\/li>\n<li><strong>Un LLM n&rsquo;est pas un produit<\/strong> : ChatGPT est une application b\u00e2tie dessus, et le mod\u00e8le peut halluciner et h\u00e9riter de biais.<\/li>\n<\/ul>\n<h2 id=\"un-llm-c-est-d-abord-un-jeu-de-completion\">Un LLM, c&rsquo;est d&rsquo;abord un jeu de compl\u00e9tion<\/h2>\n<p>Un <strong>grand mod\u00e8le de langage<\/strong> (LLM, pour <em>large language model<\/em>) est un mod\u00e8le de pr\u00e9diction du token suivant, c&rsquo;est-\u00e0-dire, \u00e0 peu pr\u00e8s, du mot suivant. Il a lu des volumes massifs de texte humain, y a rep\u00e9r\u00e9 des r\u00e9gularit\u00e9s statistiques, et sait proposer une suite plausible \u00e0 un d\u00e9but de phrase.<\/p>\n<p>\u00ab Never gonna \u00bb en est un bon exemple : un mod\u00e8le nourri de suffisamment de culture populaire r\u00e9pondra \u00ab give you up \u00bb. Tout le dispositif tient en trois blocs : une s\u00e9quence entre, un r\u00e9seau de neurones dont chaque connexion porte un poids appris pendant l&rsquo;entra\u00eenement, un mot suivant pr\u00e9dit sort.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e144cc&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e144cc\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2250\" height=\"960\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm.png\" alt=\"Un LLM en trois blocs : une s\u00e9quence en entr\u00e9e, un r\u00e9seau de neurones aux poids appris, un mot suivant pr\u00e9dit en sortie\" class=\"wp-image-449\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm.png 2250w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm-300x128.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm-1024x437.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm-768x328.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm-1536x655.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch01_prediction_llm-2048x874.png 2048w\" sizes=\"auto, (max-width: 2250px) 100vw, 2250px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Lis le sch\u00e9ma de gauche \u00e0 droite : seul le bloc central est le fruit de l&rsquo;entra\u00eenement, car ses poids sont ce que l&rsquo;apprentissage ajuste. L&rsquo;entr\u00e9e et la sortie, elles, restent de simples suites de mots.<\/figcaption><\/figure>\n\n\n<p>Ce m\u00e9canisme semble trop mince pour expliquer ce que font les assistants. Pourtant, <strong>presque toute t\u00e2che se reformule en compl\u00e9tion<\/strong>. Pour juger le sentiment d&rsquo;un avis, on \u00e9crit \u00ab Le sentiment de la phrase j&rsquo;aime la pizza est \u00bb, puis on regarde quel token le mod\u00e8le juge le plus probable ensuite : \u00ab positif \u00bb ou \u00ab n\u00e9gatif \u00bb.<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 19px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-bfa243fb1e01a59076d8838f40a3ea39_l3.png\" height=\"19\" width=\"923\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#80;&#40;&#92;&#116;&#101;&#120;&#116;&#123;&#112;&#111;&#115;&#105;&#116;&#105;&#102;&#125;&#32;&#92;&#109;&#105;&#100;&#32;&#92;&#116;&#101;&#120;&#116;&#123;&#76;&#101;&#32;&#115;&#101;&#110;&#116;&#105;&#109;&#101;&#110;&#116;&#32;&#100;&#101;&#32;&#108;&#97;&#32;&#112;&#104;&#114;&#97;&#115;&#101;&#32;&#106;&#39;&#97;&#105;&#109;&#101;&#32;&#108;&#97;&#32;&#112;&#105;&#122;&#122;&#97;&#32;&#101;&#115;&#116;&#125;&#41;&#44;&#92;&#113;&#113;&#117;&#97;&#100;&#32;&#80;&#40;&#92;&#116;&#101;&#120;&#116;&#123;&#110;&eacute;&#103;&#97;&#116;&#105;&#102;&#125;&#32;&#92;&#109;&#105;&#100;&#32;&#92;&#116;&#101;&#120;&#116;&#123;&#76;&#101;&#32;&#115;&#101;&#110;&#116;&#105;&#109;&#101;&#110;&#116;&#32;&#100;&#101;&#32;&#108;&#97;&#32;&#112;&#104;&#114;&#97;&#115;&#101;&#32;&#106;&#39;&#97;&#105;&#109;&#101;&#32;&#108;&#97;&#32;&#112;&#105;&#122;&#122;&#97;&#32;&#101;&#115;&#116;&#125;&#41;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Le trait vertical se lit \u00ab sachant que \u00bb : \u00e0 gauche, le token candidat ; \u00e0 droite, tout ce qui pr\u00e9c\u00e8de, soit le contexte. On compare les deux probabilit\u00e9s et on retient la plus forte.<\/p>\n<p>Le principe se g\u00e9n\u00e9ralise. Une question devient la probabilit\u00e9 de la bonne r\u00e9ponse sachant la question, un r\u00e9sum\u00e9 la probabilit\u00e9 du r\u00e9sum\u00e9 sachant l&rsquo;article d&rsquo;origine : dans tous les cas, <strong>la r\u00e9ponse est le token le plus probable<\/strong> apr\u00e8s la s\u00e9quence pr\u00e9c\u00e9dente.<\/p>\n<blockquote>\n<p><strong>\ud83d\udca1 Intuition<\/strong> Un LLM ne \u00ab r\u00e9pond \u00bb pas \u00e0 ta question : il \u00e9crit la suite la plus plausible d&rsquo;un texte qui commence par ta question.<\/p>\n<\/blockquote>\n<p>Reste le mot \u00ab grand \u00bb. Pour que le mod\u00e8le apprenne \u00e0 la fois des connaissances et la fa\u00e7on de les utiliser, on l&rsquo;entra\u00eene sur des milliards de mots de sources vari\u00e9es : web, textes \u00e9dit\u00e9s, articles, code publi\u00e9 sur GitHub, langues diff\u00e9rentes. Cette diversit\u00e9 lui apporte des connaissances, mais aussi des exemples de t\u00e2ches.<\/p>\n<h2 id=\"du-texte-aux-tokens-ce-qu-un-llm-lit-et-ecrit\">Du texte aux tokens : ce qu&rsquo;un LLM lit et \u00e9crit<\/h2>\n<p>Le mod\u00e8le ne manipule ni lettres ni mots entiers, mais des <strong>tokens<\/strong> : des nombres qui repr\u00e9sentent des morceaux de texte. Les LLM modernes d\u00e9coupent en sous-mots, avec un token pour un mot courant ou un signe de ponctuation, et plusieurs tokens pour un mot rare. On les appelle aussi \u00ab jetons \u00bb.<\/p>\n<p>Convertir du texte en tokens, et des tokens en texte, ne demande aucun r\u00e9seau de neurones : le tokeniseur est une simple table de correspondance, et l&rsquo;ensemble de cette table forme le vocabulaire du mod\u00e8le. La plupart des mod\u00e8les d\u00e9passent 100 000 tokens de vocabulaire ; moins un sch\u00e9ma de d\u00e9coupage exige de tokens pour \u00e9crire une sortie, plus la g\u00e9n\u00e9ration va vite.<\/p>\n<p>Pour avoir un ordre de grandeur, un token vaut en moyenne les trois quarts d&rsquo;un mot, soit environ quatre caract\u00e8res : <strong>1 000 tokens, environ 750 mots<\/strong> anglais.<\/p>\n<p>Tout ce qui entre et sort pendant une requ\u00eate doit tenir dans la <strong>fen\u00eatre de contexte<\/strong>, le nombre maximal de tokens que le mod\u00e8le peut ing\u00e9rer et sur lesquels il peut porter son attention en un seul appel. C&rsquo;est, en pratique, la m\u00e9moire de travail de la requ\u00eate : ta question, tes consignes, l&rsquo;historique de la conversation et la r\u00e9ponse en cours d&rsquo;\u00e9criture s&rsquo;y partagent la place.<\/p>\n<p>Cette fen\u00eatre a beaucoup grandi. Elle est pass\u00e9e de 4 000 tokens (environ 3 000 mots, 12 pages) \u00e0 8 000 (6 000 mots, 24 pages), puis \u00e0 un maximum de 272 000 tokens en entr\u00e9e pour GPT-5 et Claude 3.7 Sonnet, et jusqu&rsquo;\u00e0 un million pour Gemini 2.5, soit environ 750 000 mots. Dans le cas le plus simple, quand la fen\u00eatre est pleine, seules les interactions les plus r\u00e9centes sont conserv\u00e9es.<\/p>\n<p>Pourquoi s&rsquo;en soucier ? Avec 512 tokens de contexte, un mod\u00e8le qui r\u00e9sume des avis n&rsquo;en voit qu&rsquo;un seul ; avec une fen\u00eatre plus large, il en analyse des centaines. Un contexte long l&rsquo;aide aussi \u00e0 produire des r\u00e9sum\u00e9s plus coh\u00e9rents et \u00e0 suivre toute une conversation.<\/p>\n<p>La r\u00e9ponse s&rsquo;\u00e9crit ensuite en boucle. Un gabarit de conversation fusionne d&rsquo;abord l&rsquo;entr\u00e9e et ses r\u00f4les en une seule s\u00e9quence, qui est tokenis\u00e9e. Une premi\u00e8re phase, le <a href=\"\/blog\/inference\/l-etape-du-prefill-d-un-llm\/\" title=\"prefill\">prefill<\/a>, traite toute la s\u00e9quence d&rsquo;entr\u00e9e ; la seconde, le <a href=\"\/blog\/inference\/l-etape-du-decode-d-un-llm\/\" title=\"decode\">decode<\/a>, produit la r\u00e9ponse un token \u00e0 la fois.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e14aa3&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e14aa3\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2560\" height=\"1109\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-scaled.png\" alt=\"La boucle de g\u00e9n\u00e9ration : le prompt tokenis\u00e9 est trait\u00e9 (prefill), chaque passe produit un token (decode), et la boucle s'arr\u00eate sur un token d'arr\u00eat, la limite de contexte ou max_tokens\" class=\"wp-image-450\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-scaled.png 2560w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-300x130.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-1024x444.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-768x333.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-1536x666.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_boucle_prefill_decode-2048x887.png 2048w\" sizes=\"auto, (max-width: 2560px) 100vw, 2560px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Suis la fl\u00e8che qui revient en arri\u00e8re : tant qu&rsquo;aucune condition d&rsquo;arr\u00eat n&rsquo;est remplie, le token qui vient d&rsquo;\u00eatre \u00e9crit repart en entr\u00e9e pour produire le suivant. La case \u00ab choix du token \u00bb regroupe les r\u00e9glages d&rsquo;al\u00e9a du mod\u00e8le.<\/figcaption><\/figure>\n\n\n<p>La boucle s&rsquo;arr\u00eate dans trois cas : le mod\u00e8le \u00e9met un <strong>token d&rsquo;arr\u00eat<\/strong>, une valeur sp\u00e9ciale qui marque la fin de la s\u00e9quence de sortie ; la fen\u00eatre de contexte est atteinte ; ou la requ\u00eate a pos\u00e9 une limite suppl\u00e9mentaire avec l&rsquo;argument <code>max_tokens<\/code>.<\/p>\n<h2 id=\"de-l-autocompletion-a-l-assistant-trois-entrainements\">De l&rsquo;autocompl\u00e9tion \u00e0 l&rsquo;assistant : trois entra\u00eenements<\/h2>\n<p>Si un LLM n&rsquo;est qu&rsquo;un compl\u00e9teur, pourquoi te r\u00e9pond-il au lieu de prolonger ta question par une autre question ? Parce que l&rsquo;entra\u00eenement dont on vient de parler, le <strong>pr\u00e9-entra\u00eenement<\/strong>, n&rsquo;est que la premi\u00e8re \u00e9tape. \u00c0 ce stade, le mod\u00e8le n&rsquo;est rien de plus qu&rsquo;une autocompl\u00e9tion sophistiqu\u00e9e ; avec cet objectif simple, il acquiert pourtant un vaste savoir et un large \u00e9ventail de comp\u00e9tences.<\/p>\n<p>Mais il n&rsquo;a pas appris \u00e0 ex\u00e9cuter des instructions, alors que la plupart des demandes qu&rsquo;on lui adresse sont des t\u00e2ches pr\u00e9cises : r\u00e9diger un texte, cr\u00e9er une fonction, r\u00e9sumer un article.<\/p>\n<p>Deuxi\u00e8me entra\u00eenement, l&rsquo;<strong>instruction tuning<\/strong> : on poursuit l&rsquo;apprentissage sur des paires instruction\u2013sortie, annot\u00e9es par des humains ou produites par d&rsquo;autres LLM. Les jeux les plus riches couvrent jusqu&rsquo;\u00e0 61 types de t\u00e2ches (questions-r\u00e9ponses, r\u00e9sum\u00e9, classification, traduction, \u00e9criture cr\u00e9ative\u2026), et plus les t\u00e2ches sont vari\u00e9es, meilleur est le jeu.<\/p>\n<p>Reste un obstacle : ce qu&rsquo;on attend d&rsquo;un assistant (qu&rsquo;il soit utile, honn\u00eate, inoffensif) est subjectif et difficile \u00e0 coder dans un objectif math\u00e9matique. On a donc recours au retour humain : c&rsquo;est l&rsquo;<strong><a href=\"\/blog\/machine-learning\/qu-est-ce-qu-un-apprentissage-par-renforcement\/\" title=\"apprentissage par renforcement\">apprentissage par renforcement<\/a> \u00e0 partir du retour humain<\/strong>, ou RLHF, qui se cache derri\u00e8re le succ\u00e8s de ChatGPT. Il se d\u00e9roule en trois \u00e9tapes.<\/p>\n<ol>\n<li>Un fine-tuning supervis\u00e9 : des annotateurs \u00e9crivent les sorties souhait\u00e9es pour une liste de prompts, et le mod\u00e8le apprend \u00e0 les imiter.<\/li>\n<li>Un mod\u00e8le de r\u00e9compense : le mod\u00e8le g\u00e9n\u00e8re plusieurs sorties par prompt, des annotateurs les classent de la plus \u00e0 la moins pr\u00e9f\u00e9r\u00e9e, et un second mod\u00e8le apprend \u00e0 r\u00e9sumer ce classement en une note unique.<\/li>\n<li>Le renforcement : une sortie est produite, la note est pr\u00e9dite, puis l&rsquo;algorithme PPO met \u00e0 jour le mod\u00e8le. Une p\u00e9nalit\u00e9 de divergence \u00e9vite qu&rsquo;il s&rsquo;\u00e9loigne trop de son comportement d&rsquo;origine, pour que le texte reste coh\u00e9rent.<\/li>\n<\/ol>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e14ff4&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e14ff4\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2250\" height=\"1140\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf.png\" alt=\"Les trois \u00e9tapes du RLHF : fine-tuning supervis\u00e9 sur des r\u00e9ponses \u00e9crites par des annotateurs, mod\u00e8le de r\u00e9compense appris sur des classements humains, puis renforcement avec p\u00e9nalit\u00e9\" class=\"wp-image-367\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf.png 2250w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf-300x152.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf-1024x519.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf-768x389.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf-1536x778.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_rlhf-2048x1038.png 2048w\" sizes=\"auto, (max-width: 2250px) 100vw, 2250px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Lis le sch\u00e9ma de gauche \u00e0 droite : chaque \u00e9tape r\u00e9utilise le mod\u00e8le de l&rsquo;\u00e9tape pr\u00e9c\u00e9dente, et seule la derni\u00e8re le fait r\u00e9ellement \u00e9voluer par renforcement. Le tout transforme un LLM brut en assistant align\u00e9 sur les pr\u00e9f\u00e9rences humaines.<\/figcaption><\/figure>\n\n\n<p>Cette recette est lourde : r\u00e9unir des pr\u00e9f\u00e9rences humaines co\u00fbte cher, il faut des annotateurs s\u00e9lectionn\u00e9s pour \u00e9viter des r\u00e9ponses de qualit\u00e9 in\u00e9gale, et le processus est complexe et instable. L&rsquo;<strong>optimisation directe des pr\u00e9f\u00e9rences<\/strong> (DPO) en supprime une partie : plus de mod\u00e8le de r\u00e9compense, un jeu de triplets (prompt, moins bonne r\u00e9ponse, meilleure r\u00e9ponse) et une perte qui monte la probabilit\u00e9 de la meilleure r\u00e9ponse en baissant celle de la moins bonne.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e15521&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e15521\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2560\" height=\"1164\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-scaled.png\" alt=\"Trois m\u00e9thodes d'affinage c\u00f4te \u00e0 c\u00f4te : imiter une r\u00e9ponse id\u00e9ale (SFT), pr\u00e9f\u00e9rer la meilleure de deux r\u00e9ponses (DPO), optimiser une r\u00e9compense v\u00e9rifiable (RLVR)\" class=\"wp-image-451\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-scaled.png 2560w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-300x136.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-1024x465.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-768x349.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-1536x698.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch07_comparaison_sft_dpo_rlvr-2048x931.png 2048w\" sizes=\"auto, (max-width: 2560px) 100vw, 2560px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Lis chaque colonne de haut en bas : ce que le mod\u00e8le re\u00e7oit pendant l&rsquo;entra\u00eenement, puis ce qu&rsquo;il en retient. Le SFT apprend le format et l&rsquo;imitation, la DPO le ton et le style, et la troisi\u00e8me famille, \u00e0 r\u00e9compense v\u00e9rifiable, le raisonnement complexe et les t\u00e2ches dont on peut contr\u00f4ler le r\u00e9sultat.<\/figcaption><\/figure>\n\n\n<blockquote>\n<p><strong>\ud83d\udccc \u00c0 retenir<\/strong> Trois temps pour fabriquer un assistant : pr\u00e9dire (pr\u00e9-entra\u00eenement), ob\u00e9ir (instruction tuning), \u00eatre jug\u00e9 utile (retour humain). C&rsquo;est pourquoi r\u00e9duire un LLM \u00e0 une autocompl\u00e9tion serait injuste : il \u00e9crit un ha\u00efku dans un style donn\u00e9 ou r\u00e9pond \u00e0 une question sur le premier alunissage habit\u00e9.<\/p>\n<\/blockquote>\n<p>Les comp\u00e9tences conversationnelles des LLM ont ainsi progress\u00e9 de fa\u00e7on exponentielle ces derni\u00e8res ann\u00e9es, gr\u00e2ce \u00e0 l&rsquo;alignement et \u00e0 l&rsquo;instruction tuning.<\/p>\n<h2 id=\"pourquoi-grand-change-la-nature-du-modele\">Pourquoi \u00ab grand \u00bb change la nature du mod\u00e8le<\/h2>\n<p>Passer de 1 \u00e0 plus de 100 milliards de param\u00e8tres n&rsquo;ajoute pas seulement un peu de pr\u00e9cision. Les chercheurs y ont observ\u00e9 des <strong>propri\u00e9t\u00e9s \u00e9mergentes<\/strong> : des capacit\u00e9s absentes d&rsquo;un petit mod\u00e8le mais pr\u00e9sentes dans un grand, qui apparaissent brutalement \u00e0 une certaine \u00e9chelle.<\/p>\n<p>En dessous d&rsquo;une taille critique, le mod\u00e8le fait au hasard ; au-del\u00e0, il passe d&rsquo;une performance quasi nulle \u00e0 une performance proche de l&rsquo;\u00e9tat de l&rsquo;art, puis progresse lin\u00e9airement avec la taille. C&rsquo;est ce qu&rsquo;on appelle une transition de phase, et <strong>on ne peut que l&rsquo;observer<\/strong>, pas la pr\u00e9dire \u00e0 l&rsquo;avance.<\/p>\n<blockquote>\n<p><strong>\ud83d\udca1 Intuition<\/strong> C&rsquo;est un peu comme un enfant qui semble incapable de parler puis, pass\u00e9 un certain \u00e2ge, articule des mots, et dont les comp\u00e9tences progressent ensuite r\u00e9guli\u00e8rement.<\/p>\n<\/blockquote>\n<p>Chaque capacit\u00e9 a son seuil :<\/p>\n<ul>\n<li>le calcul arithm\u00e9tique appara\u00eet au-del\u00e0 de 10 milliards de param\u00e8tres ;<\/li>\n<li>l&rsquo;auto-\u00e9valuation, la d\u00e9tection de figures de style et la d\u00e9duction logique, au-del\u00e0 de 100 milliards ;<\/li>\n<li>le jugement causal et la reconnaissance de formes g\u00e9om\u00e9triques, au-del\u00e0 de 500 milliards.<\/li>\n<\/ul>\n<p>Pass\u00e9 100 milliards, le mod\u00e8le comprend aussi des instructions et les suit sans qu&rsquo;on lui montre d&rsquo;exemples.<\/p>\n<blockquote>\n<p><strong>\u26a0\ufe0f Pi\u00e8ge<\/strong> Ces seuils sont contest\u00e9s. Des \u00e9tudes ult\u00e9rieures montrent que les LLM poss\u00e8dent ces capacit\u00e9s, mais qu&rsquo;elles deviennent plus visibles \u00e0 partir d&rsquo;une certaine limite de performance, et que le succ\u00e8s \u00e0 ces t\u00e2ches semble <strong>mal mesur\u00e9<\/strong>. Lis donc ces chiffres comme des ordres de grandeur, pas comme des interrupteurs.<\/p>\n<\/blockquote>\n<h2 id=\"un-modele-mille-taches-ce-qu-on-peut-lui-demander\">Un mod\u00e8le, mille t\u00e2ches : ce qu&rsquo;on peut lui demander<\/h2>\n<p>Avant les grands mod\u00e8les g\u00e9n\u00e9ratifs, b\u00e2tir une application d&rsquo;apprentissage automatique exigeait d&#8217;embaucher un ing\u00e9nieur ou un sp\u00e9cialiste des donn\u00e9es, de collecter des exemples, puis de d\u00e9ployer un mod\u00e8le. Un seul LLM, lui, <strong>s&rsquo;adapte \u00e0 une grande vari\u00e9t\u00e9 de t\u00e2ches<\/strong> sans entra\u00eenement suppl\u00e9mentaire, et un mod\u00e8le pr\u00e9entra\u00een\u00e9 de haute qualit\u00e9 s&rsquo;obtient par un simple appel \u00e0 un service h\u00e9berg\u00e9.<\/p>\n<p>Concr\u00e8tement, il sait :<\/p>\n<ul>\n<li>r\u00e9sumer de longs documents, par exemple en analyse juridique ou en synth\u00e8se de recherche ;<\/li>\n<li>manipuler des donn\u00e9es non structur\u00e9es (courriels, journaux, rapports) ;<\/li>\n<li>\u00e9crire du code et des tests unitaires ;<\/li>\n<li>automatiser des t\u00e2ches r\u00e9p\u00e9titives de service client.<\/li>\n<\/ul>\n<p>Comment lui dit-on quoi faire ? Par le prompt, sans r\u00e9entra\u00eener quoi que ce soit. C&rsquo;est l&rsquo;<strong>apprentissage en contexte<\/strong> : le mod\u00e8le met en rapport l&rsquo;instruction du prompt avec ce qu&rsquo;il a appris, et r\u00e9sout ainsi la t\u00e2che.<\/p>\n<p>Si tu glisses quelques exemples de questions-r\u00e9ponses dans le prompt, on parle de few-shot (one-shot ou two-shot selon leur nombre), et de zero-shot s&rsquo;il n&rsquo;y en a aucun. Demander des \u00e9tapes de raisonnement interm\u00e9diaires, la technique du chain-of-thought, am\u00e9liore les r\u00e9sultats sur les t\u00e2ches de raisonnement complexe. Le mod\u00e8le sait d&rsquo;ailleurs encha\u00eener ses id\u00e9es pour r\u00e9soudre des \u00e9quations ou d\u00e9boguer du code.<\/p>\n<p>Revenons \u00e0 notre pizza. Comment demander le sentiment d&rsquo;une phrase depuis un programme ? Un appel suffit : tu pr\u00e9pares ton prompt (ta consigne et la phrase), tu l&rsquo;envoies au mod\u00e8le, tu lis la r\u00e9ponse.<\/p>\n<pre><code>from langchain_openai import ChatOpenAI\n\nllm = ChatOpenAI(\n    model=&quot;gpt-4o-mini&quot;,\n    temperature=0,\n    max_tokens=None,\n    timeout=None,\n    max_retries=2\n)\nresponse = llm.invoke([(&quot;human&quot;, augmented_prompt)])\nanswer = response.content\nprint(answer)\n<\/code><\/pre>\n<p>Ici, <code>augmented_prompt<\/code> est une simple cha\u00eene de texte pr\u00e9par\u00e9e avant l&rsquo;appel, avec ta question et tes consignes. <code>model<\/code> choisit le mod\u00e8le ; <code>temperature=0<\/code> rend la sortie d\u00e9terministe, puisqu&rsquo;on prend toujours le token le plus probable ; <code>max_tokens=None<\/code> n&rsquo;ajoute aucune limite de sortie en plus de celle de la fen\u00eatre de contexte.<\/p>\n<p>Un LLM seul ne peut pourtant accomplir <strong>aucune action<\/strong> : il produit du texte. Pour agir, il faut le relier \u00e0 des outils. Si tu demandes \u00ab quel animal y a-t-il sur l&rsquo;image ? \u00bb, un LLM orchestrateur d\u00e9duit qu&rsquo;il lui faut un classifieur d&rsquo;images, l&rsquo;appelle, re\u00e7oit sa sortie, puis la met en phrase : \u00ab l&rsquo;animal est un poulet \u00bb.<\/p>\n<h2 id=\"le-meme-moteur-plusieurs-produits\">Le m\u00eame moteur, plusieurs produits<\/h2>\n<p>Quand tu discutes avec ChatGPT, tu n&rsquo;utilises pas \u00ab un LLM \u00bb : tu utilises une interface conversationnelle construite sur des LLM comme GPT-4. La nuance compte. En septembre 2023, la fonction \u00ab Browse with Bing \u00bb a permis \u00e0 ChatGPT Plus d&rsquo;aller chercher des informations en direct sur le web : c&rsquo;est une fonctionnalit\u00e9 de l&rsquo;application, activ\u00e9e par des m\u00e9canismes de recherche, alors que <strong>le mod\u00e8le sous-jacent ne poss\u00e8de toujours pas<\/strong> ces informations.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e15a06&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e15a06\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2400\" height=\"1800\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent.png\" alt=\"Les quatre pi\u00e8ces d'un syst\u00e8me b\u00e2ti autour d'un mod\u00e8le : le mod\u00e8le de fondation raisonne et d\u00e9cide, les outils agissent, la m\u00e9moire retient, l'orchestration planifie et encha\u00eene\" class=\"wp-image-452\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent.png 2400w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent-300x225.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent-1024x768.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent-768x576.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent-1536x1152.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b6_ch02_composants_agent-2048x1536.png 2048w\" sizes=\"auto, (max-width: 2400px) 100vw, 2400px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Le LLM n&rsquo;occupe que la case du haut ; les trois autres cases sont ce qu&rsquo;on construit autour de lui pour qu&rsquo;il puisse agir et se souvenir.<\/figcaption><\/figure>\n\n\n<p>Cette case du haut porte un nom : le <strong>mod\u00e8le de fondation<\/strong>, un grand mod\u00e8le pr\u00e9entra\u00een\u00e9 sur d&rsquo;immenses jeux de donn\u00e9es g\u00e9n\u00e9ralistes, qui lui donnent un vaste socle de connaissances linguistiques et conceptuelles. OpenAI, Anthropic, Google, Meta et DeepSeek en proposent de pointe. Au classement HELM d&rsquo;ao\u00fbt 2025, GPT-5 mini prend la t\u00eate avec un score moyen de 0,819, suivi de pr\u00e8s par o4-mini (0,812) et o3 (0,811) ; Qwen3, Grok 4, Claude 4 et Kimi K2 restent tr\u00e8s comp\u00e9titifs.<\/p>\n<p>Reste \u00e0 choisir entre deux familles, qui ne s&rsquo;opposent pas sur la qualit\u00e9 mais sur l&rsquo;acc\u00e8s :<\/p>\n<table>\n<thead>\n<tr>\n<th><\/th>\n<th>Mod\u00e8les propri\u00e9taires<\/th>\n<th>Mod\u00e8les \u00e0 poids ouverts<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Exemples<\/td>\n<td>GPT, Gemini, Claude<\/td>\n<td>Llama, Mistral, Gemma<\/td>\n<\/tr>\n<tr>\n<td>Acc\u00e8s<\/td>\n<td>par une API ; poids et donn\u00e9es d&rsquo;entra\u00eenement ferm\u00e9s<\/td>\n<td>poids publi\u00e9s : qui a le mat\u00e9riel peut l&rsquo;ex\u00e9cuter sans payer d&rsquo;acc\u00e8s<\/td>\n<\/tr>\n<tr>\n<td>Personnalisation<\/td>\n<td>limit\u00e9e<\/td>\n<td>transparence totale, affinage possible, mais plus d&rsquo;ing\u00e9nierie<\/td>\n<\/tr>\n<tr>\n<td>Infrastructure<\/td>\n<td>g\u00e9r\u00e9e pour toi, mais des co\u00fbts qui peuvent grimper vite<\/td>\n<td>\u00e0 ta charge : jusqu&rsquo;\u00e0 environ 14 milliards de param\u00e8tres sur une carte RTX 3090 (24 Go), un GPU de serveur au-del\u00e0<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Plus gros ne veut pas dire mieux adapt\u00e9. Un petit mod\u00e8le de langage suffit souvent pour une t\u00e2che pr\u00e9cise : il perd en polyvalence, mais consomme bien moins de ressources et tourne sur un GPU grand public, voire un CPU. Il y a toutefois un <strong>plancher de capacit\u00e9<\/strong> : quelques couches suffisent pour la grammaire, il en faut davantage pour la coh\u00e9rence et la cr\u00e9ativit\u00e9, et un mod\u00e8le d&rsquo;une seule couche ne sait pas suivre une instruction.<\/p>\n<p>Pour en obtenir un, trois voies existent : entra\u00eener un petit mod\u00e8le de z\u00e9ro (Mistral 7B et LLaMA 7B l&rsquo;ont \u00e9t\u00e9 ainsi), distiller les connaissances d&rsquo;un grand mod\u00e8le vers un petit, ou r\u00e9duire un mod\u00e8le existant par quantification ou \u00e9lagage.<\/p>\n<p>Reste la question des images. Un LLM, au sens strict, ne lit que du texte : m\u00eame si ChatGPT-4o accepte aujourd&rsquo;hui des images, cette fonction ne fait pas techniquement partie du LLM. Les <a href=\"\/blog\/deep-learning\/qu-est-ce-qu-un-modele-vision-langage\/\" title=\"mod\u00e8les vision-langage\">mod\u00e8les vision-langage<\/a> lui adjoignent un petit encodeur de vision qui convertit images et vid\u00e9os en tokens d&rsquo;image.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e15f19&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e15f19\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2560\" height=\"1024\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-scaled.png\" alt=\"Un mod\u00e8le vision-langage : un encodeur de vision transforme l'image en tokens qui rejoignent le prompt texte \u00e0 l'entr\u00e9e d'un LLM, lequel r\u00e9dige la r\u00e9ponse en texte\" class=\"wp-image-453\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-scaled.png 2560w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-300x120.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-1024x410.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-768x307.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-1536x614.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch10_modele_vision_langage-2048x819.png 2048w\" sizes=\"auto, (max-width: 2560px) 100vw, 2560px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Compare la taille des deux blocs : dans Mistral Large 3, l&rsquo;encodeur de vision p\u00e8se 2 milliards de param\u00e8tres, contre 673 milliards pour le LLM. Une image haute r\u00e9solution ajoute environ 1 000 tokens \u00e0 la s\u00e9quence d&rsquo;entr\u00e9e, qui s&rsquo;additionnent vite.<\/figcaption><\/figure>\n\n\n<h2 id=\"cinq-idees-recues-a-lacher\">Cinq id\u00e9es re\u00e7ues \u00e0 l\u00e2cher<\/h2>\n<h3>\u00ab Il comprend ce qu&rsquo;il dit \u00bb<\/h3>\n<p>Denis Diderot disait qu&rsquo;un perroquet capable de r\u00e9pondre \u00e0 tout m\u00e9riterait, sans h\u00e9siter, d&rsquo;\u00eatre tenu pour un \u00eatre pensant. Un LLM pourrait se d\u00e9finir comme un perroquet sophistiqu\u00e9 : <strong>r\u00e9pondre n&rsquo;est pas comprendre<\/strong>, et l&rsquo;on ne tient donc pas aujourd&rsquo;hui les LLM pour des \u00eatres intelligents. Ils r\u00e9pondent pourtant \u00e0 presque toutes les questions avec un talent \u00e9tonnant.<\/p>\n<h3>\u00ab Il ne se trompe que sur les sujets obscurs \u00bb<\/h3>\n<p>On parle d&rsquo;hallucination quand le mod\u00e8le produit un contenu absurde ou infid\u00e8le. L&rsquo;<strong>hallucination factuelle<\/strong> contredit des faits r\u00e9els et v\u00e9rifiables ; l&rsquo;<em>hallucination de fid\u00e9lit\u00e9<\/em> s&rsquo;\u00e9carte des instructions ou du contexte que tu as donn\u00e9s. Le mod\u00e8le est entra\u00een\u00e9 \u00e0 produire un texte coh\u00e9rent, mais n&rsquo;a aucun moyen de r\u00e9viser sa sortie ni de v\u00e9rifier qu&rsquo;elle est correcte.<\/p>\n<p>Les dates et les chiffres sont les premiers touch\u00e9s. \u00c0 l&rsquo;entra\u00eenement, un concept se renforce par la r\u00e9p\u00e9tition d&rsquo;informations semblables : cela marche bien pour les concepts, moins pour les dates, les valeurs num\u00e9riques ou les informations rares. Les jeux de donn\u00e9es m\u00ealent en outre des informations correctes et incorrectes, souvent contradictoires, et le mod\u00e8le doit choisir parmi ce qu&rsquo;il a appris quand il \u00e9chantillonne sa r\u00e9ponse.<\/p>\n<p>Deux facteurs aggravent les choses. Dans un domaine pointu, la perte est calcul\u00e9e sur l&rsquo;ensemble des textes, donc davantage sur la connaissance g\u00e9n\u00e9rale que sur l&rsquo;information particuli\u00e8re, <strong>quel que soit le nombre de param\u00e8tres<\/strong>. Et augmenter la temp\u00e9rature accro\u00eet l&rsquo;al\u00e9a de l&rsquo;\u00e9chantillonnage, donc le tirage de tokens moins probables.<\/p>\n<h3>\u00ab Ce que je lui fournis l&#8217;emporte sur ce qu&rsquo;il sait \u00bb<\/h3>\n<p>Pas toujours. M\u00eame quand les bons faits figurent dans la requ\u00eate, le mod\u00e8le peut produire une mauvaise sortie : il a ses propres connaissances a priori, et, ajust\u00e9 sur instructions ou align\u00e9, il d\u00e9cide implicitement d&rsquo;utiliser le contexte ou de l&rsquo;ignorer. Plus il est s\u00fbr de sa r\u00e9ponse, moins il est enclin \u00e0 la changer.<\/p>\n<p>Prends la question \u00ab quelle est la dose maximale du m\u00e9dicament X ? \u00bb. Si le mod\u00e8le a vu 20 \u00b5g \u00e0 l&rsquo;entra\u00eenement et que le contexte indique 30, il r\u00e9pond 30 ; si le contexte indique 100, il maintient 20. Les grands mod\u00e8les sont en g\u00e9n\u00e9ral plus s\u00fbrs d&rsquo;eux et pr\u00e9f\u00e8rent leur r\u00e9ponse, alors que les petits utilisent plus volontiers le contexte.<\/p>\n<blockquote>\n<p><strong>\u26a0\ufe0f Pi\u00e8ge<\/strong> Le comportement d\u00e9pend aussi du prompt : des consignes strictes forcent le mod\u00e8le \u00e0 utiliser le contexte, des consignes faibles le poussent vers ses connaissances a priori.<\/p>\n<\/blockquote>\n<h3>\u00ab Il apprend de chacune de nos conversations \u00bb<\/h3>\n<p>Non : ce que tu \u00e9cris reste dans la fen\u00eatre de contexte le temps de la requ\u00eate. Contrairement aux humains, un LLM <strong>ne peut plus apprendre<\/strong> apr\u00e8s la fin du pr\u00e9-entra\u00eenement : l&rsquo;ajustement est co\u00fbteux et ne peut servir \u00e0 r\u00e9p\u00e9tition, si bien que l&rsquo;apprentissage continu reste un probl\u00e8me ouvert.<\/p>\n<h3>\u00ab Il est neutre \u00bb<\/h3>\n<p>Le mod\u00e8le peut g\u00e9n\u00e9rer du contenu toxique et reproduire des st\u00e9r\u00e9otypes envers des groupes d\u00e9mographiques. Ces biais viennent du jeu de pr\u00e9-entra\u00eenement, qui refl\u00e8te les textes humains dont il est tir\u00e9, avec un d\u00e9s\u00e9quilibre entre les textes produits aux \u00c9tats-Unis et ailleurs : le mod\u00e8le h\u00e9rite du point de vue des d\u00e9mographies dominantes.<\/p>\n<p>Les cons\u00e9quences deviennent concr\u00e8tes si un LLM d\u00e9cide de la priorit\u00e9 d&rsquo;acc\u00e8s \u00e0 un traitement m\u00e9dical, \u00e0 un emploi ou \u00e0 un cr\u00e9dit : il peut le faire injustement, \u00e0 cause des biais h\u00e9rit\u00e9s de l&rsquo;entra\u00eenement. Autre risque, ces textes cr\u00e9dibles et convaincants permettent d&rsquo;automatiser la d\u00e9sinformation et l&rsquo;hame\u00e7onnage.<\/p>\n<p>Au bout du compte, un LLM est un compl\u00e9teur de texte entra\u00een\u00e9 \u00e0 tr\u00e8s grande \u00e9chelle, puis dress\u00e9 \u00e0 suivre des instructions et \u00e0 r\u00e9pondre comme les humains le pr\u00e9f\u00e8rent. Garde cette image en t\u00eate : elle explique \u00e0 la fois ses talents et ses faux pas.<\/p>","protected":false},"excerpt":{"rendered":"<p>Un LLM pr\u00e9dit le mot suivant, puis devient assistant par deux entra\u00eenements de plus. D\u00e9couvre ses pi\u00e8ces, ses usages et les id\u00e9es re\u00e7ues \u00e0 l\u00e2cher.<\/p>\n","protected":false},"author":1,"featured_media":454,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17],"tags":[],"class_list":["post-455","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inference"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/455","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=455"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/455\/revisions"}],"predecessor-version":[{"id":793,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/455\/revisions\/793"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/454"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=455"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=455"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=455"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}