adjoint une m\u00e9moire externe<\/strong>, sans changer ses poids.<\/li>\n<\/ul>\nDes milliards de nombres, pas une biblioth\u00e8que<\/h2>\n Un LLM est un r\u00e9seau de neurones dont chaque connexion porte un nombre, un poids, ajust\u00e9 pendant l’entra\u00eenement. Ces poids sont les param\u00e8tres<\/em> du mod\u00e8le. Tout ce qu’il a retenu tient dedans : c’est sa m\u00e9moire param\u00e9trique<\/strong>.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde le bloc du milieu : c’est l\u00e0 que vit tout le savoir. Le sch\u00e9ma ne comporte aucune case \u00ab base de faits \u00bb vers laquelle le mod\u00e8le irait chercher sa r\u00e9ponse.<\/figcaption><\/figure>\n\n\nLes ordres de grandeur donnent le vertige. Le plus grand mod\u00e8le de la famille Llama 3 compte 405 milliards de param\u00e8tres, et GPT-4 en compterait, selon la rumeur, plus de mille milliards. On parle de LLM \u00e0 partir de 10 milliards de param\u00e8tres<\/strong> environ.<\/p>\nTrois choses font grossir ce total : la couche d’embedding (sa taille d\u00e9pend de celle des vecteurs et du vocabulaire), le m\u00e9canisme d’auto-attention, et la profondeur, puisque chaque bloc ajout\u00e9 apporte ses propres param\u00e8tres. Dans un bloc, la plus grande part des poids se trouve dans le r\u00e9seau feed-forward, devant les sous-couches d’attention.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSur la rang\u00e9e du bas, rep\u00e8re le r\u00e9seau feed-forward : c’est le plus gros poste de la m\u00e9moire. Le reste du mod\u00e8le, normalisations comprises, p\u00e8se tr\u00e8s peu.<\/figcaption><\/figure>\n\n\nCette m\u00e9moire a une limite : elle est n\u00e9cessairement limit\u00e9e<\/strong> par le nombre de param\u00e8tres et par la nature des donn\u00e9es d’entra\u00eenement. Plus de param\u00e8tres permettent d’int\u00e9rioriser plus de connaissances, c’est-\u00e0-dire plus d’informations, d’entit\u00e9s et de diff\u00e9rences entre sujets.<\/p>\nLe m\u00eame mot qu’en statistique<\/h3>\n Le mot \u00ab param\u00e9trique \u00bb n’est pas propre aux LLM. En statistique, une m\u00e9thode param\u00e9trique fait d’abord une hypoth\u00e8se sur la forme de la fonction \u00e0 estimer, par exemple une droite :<\/p>\n
<\/span> <\/span>Il ne reste ensuite qu’\u00e0 ajuster les
Garde l’analogie : dans les deux cas, ce qu’on a appris des donn\u00e9es est condens\u00e9 dans des nombres ajust\u00e9s, et plus rien n’est consult\u00e9 ailleurs. Un LLM fait simplement cela avec des milliards de coefficients au lieu de quelques-uns.<\/p>\n
Pour remplir cette m\u00e9moire, on ne dicte aucun fait au mod\u00e8le. On lui montre d’\u00e9normes quantit\u00e9s de texte et on lui demande, encore et encore, de pr\u00e9dire la suite. Soumets \u00ab Never gonna \u00bb \u00e0 un mod\u00e8le qui a lu assez de culture populaire : il r\u00e9pondra \u00ab give you up \u00bb.<\/p>\n
Deux m\u00e9thodes d’entra\u00eenement existent. Dans la premi\u00e8re, le mod\u00e8le pr\u00e9dit le mot suivant \u00e0 partir des seuls mots pr\u00e9c\u00e9dents. Dans la seconde, il reconstruit un mot masqu\u00e9 en s’appuyant \u00e0 la fois sur ce qui pr\u00e9c\u00e8de et ce qui suit.<\/p>\n
La premi\u00e8re version est celle des LLM actuels. La probabilit\u00e9 d’un mot
<\/span> <\/span>Ici produit des probabilit\u00e9s de chaque mot<\/strong> sachant les pr\u00e9c\u00e9dents. Le mod\u00e8le n’a besoin d’aucune \u00e9tiquette, le texte lui fournit sa propre correction.<\/p>\nCe qu’il lit d\u00e9termine ce qu’il pourra retenir. Pour GPT-3, on parle de 410 milliards de jetons issus de Common Crawl, 12 et 55 milliards pour Books1 et Books2, et 3 milliards pour Wikip\u00e9dia. Aujourd’hui, on d\u00e9passe mille milliards de jetons<\/strong>.<\/p>\n\n\ud83d\udca1 Intuition<\/strong> Remplir cette m\u00e9moire est l’\u00e9tape la plus lourde de la vie d’un mod\u00e8le : le pr\u00e9-entra\u00eenement mobilise des milliers de GPU pendant des mois. Les \u00e9tapes suivantes (exemples de bonnes conversations, comparaison de r\u00e9ponses, renforcement) sont bien plus l\u00e9g\u00e8res.<\/p>\n<\/blockquote>\nCe qu’elle retient bien, ce qu’elle retient mal<\/h2>\n Un concept qui revient mille fois sous des formes voisines finit par \u00eatre bien ancr\u00e9. Une date, une valeur num\u00e9rique ou une information rare n’appara\u00eet qu’une poign\u00e9e de fois, voire une seule : la r\u00e9p\u00e9tition qui renforce le savoir leur fait d\u00e9faut.<\/p>\n
\u00c0 cela s’ajoute un probl\u00e8me de fond : les donn\u00e9es d’entra\u00eenement contiennent du vrai et du faux, souvent contradictoires. Au moment de r\u00e9pondre, le mod\u00e8le \u00e9chantillonne une distribution et doit choisir parmi ce qu’il a appris, d’o\u00f9 des hallucinations<\/strong>. Monter la temp\u00e9rature, c’est tirer des mots moins probables, donc en produire davantage.<\/p>\nC’est exactement ce qui est arriv\u00e9 \u00e0 nos Dallas Mavericks. Le mod\u00e8le a appris \u00e0 produire un identifiant qui ressemble<\/em> \u00e0 un identifiant WikiData, pas \u00e0 v\u00e9rifier qu’il correspond \u00e0 la bonne \u00e9quipe. Il est entra\u00een\u00e9 \u00e0 deviner la suite la plus plausible d’un texte, pas \u00e0 contr\u00f4ler des faits.<\/p>\nCe que le mod\u00e8le sait vraiment bien se range en trois familles : la connaissance linguistique<\/strong> (s\u00e9mantique et syntaxe d’une langue), la connaissance du sens commun (les r\u00e8gles que presque tout le monde conna\u00eet sans qu’on les \u00e9crive) et la connaissance de domaine (m\u00e9decine, programmation\u2026).<\/p>\nLa derni\u00e8re est la plus fragile. La perte \u00e9tant calcul\u00e9e sur l’ensemble des textes, l’entra\u00eenement favorise le savoir g\u00e9n\u00e9ral plut\u00f4t que l’information sp\u00e9cialis\u00e9e : un mod\u00e8le g\u00e9n\u00e9raliste se comporte moins bien dans un domaine pointu, quel que soit son nombre de param\u00e8tres<\/strong>.<\/p>\nUne m\u00e9moire arr\u00eat\u00e9e \u00e0 une date<\/h2>\n Une m\u00e9moire fig\u00e9e a deux d\u00e9fauts, et le second est le plus sournois. Le premier est l’ignorance : interrog\u00e9 sur un \u00e9v\u00e9nement de 2024 avec une coupure en octobre 2023, un mod\u00e8le r\u00e9pond qu’il n’en sait rien, ce qui est la r\u00e9ponse la plus honn\u00eate possible.<\/p>\n
Le second est la p\u00e9remption. Fin 2023, Mark Cuban a vendu sa participation majoritaire dans les Mavericks \u00e0 la famille Adelson et aux Dumont, en gardant une part minoritaire. Un mod\u00e8le entra\u00een\u00e9 avant cette vente continuera \u00e0 le pr\u00e9senter comme seul propri\u00e9taire de l’\u00e9quipe<\/strong>.<\/p>\nSa r\u00e9ponse \u00e9tait exacte le jour de l’entra\u00eenement, elle ne l’est plus, et rien dans son ton ne le signale.<\/p>\n
D’autres choses n’ont jamais \u00e9t\u00e9 dans cette m\u00e9moire : les informations internes \u00e0 une organisation, par d\u00e9finition absentes de ses donn\u00e9es d’entra\u00eenement. Le mod\u00e8le ne peut pas non plus apprendre de nouvelles informations en cours de route, ni se souvenir de tes \u00e9changes pass\u00e9s.<\/p>\n
Ce qui la modifie, ce qui la laisse intacte<\/h2>\n Pour am\u00e9liorer un syst\u00e8me, on distingue deux familles. L’apprentissage param\u00e9trique<\/strong> ajuste les poids du mod\u00e8le. L’apprentissage non param\u00e9trique am\u00e9liore la performance sans toucher \u00e0 aucun param\u00e8tre.<\/p>\nC\u00f4t\u00e9 poids, on reprend un mod\u00e8le d\u00e9j\u00e0 entra\u00een\u00e9 et on le modifie par petites touches : par des paires (invite, r\u00e9ponse) soigneusement choisies, par des paires \u00ab bonne r\u00e9ponse contre mauvaise \u00bb, ou par des sorties not\u00e9es par des experts. Entra\u00eener un mod\u00e8le de z\u00e9ro sur des trillions de jetons reste r\u00e9serv\u00e9 aux grands laboratoires.<\/p>\n
Faut-il alors affiner pour y glisser un fait manquant, par exemple que les Denver Nuggets ont gagn\u00e9 le championnat NBA 2023 ? Les \u00e9tudes divergent : certaines montrent un gain de fiabilit\u00e9 factuelle, d’autres que les LLM peinent \u00e0 apprendre de nouveaux faits<\/strong> par ce biais.<\/p>\nL’affinage trouve plut\u00f4t sa place quand la sp\u00e9cialisation de domaine est critique, quand un format ou un ton doit rester constant, quand les appels d’outils doivent \u00eatre pr\u00e9cis. Il demande aussi des centaines \u00e0 des milliers d’exemples soign\u00e9s, des heures de GPU et un plan de r\u00e9entra\u00eenement.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis les trois questions en descendant : un seul \u00ab non \u00bb suffit \u00e0 te renvoyer c\u00f4t\u00e9 non param\u00e9trique. Et le risque est r\u00e9el : une nouvelle version d’un mod\u00e8le propri\u00e9taire peut surpasser ton mod\u00e8le affin\u00e9<\/strong> et an\u00e9antir des mois de r\u00e9entra\u00eenement.<\/figcaption><\/figure>\n\n\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Mettre des exemples dans le prompt n’est pas une mise \u00e0 jour de la m\u00e9moire. Le mot \u00ab apprendre \u00bb est impropre ici : aucun param\u00e8tre n’est modifi\u00e9, donc la comp\u00e9tence acquise n’est que passag\u00e8re.<\/p>\n<\/blockquote>\nCe que fait le mod\u00e8le dans ce cas, c’est exploiter ce qu’il a appris \u00e0 l’entra\u00eenement pour retrouver la relation entre entr\u00e9e et sortie des exemples. Pas de mise \u00e0 jour, donc rapide, mais rien n’est retenu apr\u00e8s coup.<\/p>\n
On peut m\u00eame organiser cette am\u00e9lioration sans toucher aux poids. Il suffit d’enregistrer chaque exp\u00e9rience r\u00e9ussie dans une banque de m\u00e9moire, puis de retrouver les cas semblables pour les remettre dans le prompt : c’est simple, transparent et l\u00e9ger.<\/p>\n
Trois m\u00e9moires, trois r\u00f4les<\/h2>\n Dans une application construite autour d’un LLM, le mod\u00e8le joue le r\u00f4le du cerveau. Il poss\u00e8de sa m\u00e9moire param\u00e9trique, obtenue \u00e0 l’entra\u00eenement, mais on peut lui en ajouter une externe : base vectorielle ou graphe de connaissances<\/a>.<\/p>\nIl faut alors distinguer deux apports. La connaissance<\/strong> apporte au moment de la g\u00e9n\u00e9ration des contenus v\u00e9rifiables (sp\u00e9cifications, politiques, catalogues), en plus de ce que le mod\u00e8le stocke dans ses poids. La m\u00e9moire<\/strong>, elle, garde l’histoire propre de l’agent : \u00e9changes pass\u00e9s, sorties d’outils, \u00e9tats.<\/p>\nEntre les deux, la fen\u00eatre de contexte joue le r\u00f4le de m\u00e9moire \u00e0 court terme : l’historique d’une conversation y est ins\u00e9r\u00e9, et sa longueur limite ce que l’agent peut garder en t\u00eate.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> La m\u00e9moire est l’endroit o\u00f9 le savoir est stock\u00e9 ; l’ing\u00e9nierie de contexte est la fa\u00e7on de l’exploiter pour produire un bon comportement. Les poids sont la premi\u00e8re de ces m\u00e9moires, jamais la seule.<\/p>\n<\/blockquote>\nQuatre id\u00e9es re\u00e7ues \u00e0 ranger<\/h2>\n \u00ab Plus de param\u00e8tres, donc plus juste. \u00bb<\/strong> Un mod\u00e8le plus gros int\u00e9riorise davantage, mais il reste g\u00e9n\u00e9raliste : sur un domaine pr\u00e9cis, il peut faire moins bien, quelle que soit sa taille.<\/p>\n\u00ab Le mod\u00e8le apprend ce que je lui montre. \u00bb<\/strong> Les exemples du prompt ne modifient aucun poids. Ils guident la r\u00e9ponse du moment, rien de plus.<\/p>\n\u00ab Il explique bien, donc il sait. \u00bb<\/strong> Un LLM expose tr\u00e8s bien des concepts, mais retient mal le d\u00e9tail pr\u00e9cis : dates, valeurs num\u00e9riques, informations rares. Une explication fluide n’est pas un indice d’exactitude.<\/p>\n\u00ab Affine-le avec le fait manquant. \u00bb<\/strong> Voir plus haut : les r\u00e9sultats sont partag\u00e9s, et la m\u00e9thode demande bien plus de curation, de calcul et de maintenance qu’on ne l’imagine.<\/p>\nRetiens la r\u00e8gle simple : ce que ton LLM sait, il le sait parce que des milliards de poids l’ont absorb\u00e9 un jour, sous forme de statistiques et non de fiches. Pour tout le reste, il faut lui apporter la source.<\/p>","protected":false},"excerpt":{"rendered":"
La m\u00e9moire param\u00e9trique, c’est tout ce qu’un LLM a retenu dans ses poids. D\u00e9couvre ce qu’elle contient, ce qu’elle oublie et ce qui peut la changer.<\/p>\n","protected":false},"author":1,"featured_media":472,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17],"tags":[],"class_list":["post-473","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inference"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/473","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=473"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/473\/revisions"}],"predecessor-version":[{"id":807,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/473\/revisions\/807"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/472"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=473"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=473"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=473"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Un](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch01_prediction_llm-scaled.png\")