r\u00e9gression logistique<\/a> des ann\u00e9es 1940. Au sein de la famille, ce qui change d’une m\u00e9thode \u00e0 l’autre, c’est l’hypoth\u00e8se faite sur Ce dernier m\u00e9rite qu’on s’y arr\u00eate, car son nom pr\u00eate \u00e0 sourire. Il ne suppose aucune forme param\u00e9trique pour dans chaque classe, les pr\u00e9dicteurs sont ind\u00e9pendants<\/strong> les uns des autres. L’hypoth\u00e8se est presque toujours fausse en toute rigueur, d’o\u00f9 le qualificatif \u00ab na\u00eff \u00bb, mais elle \u00e9vite de mod\u00e9liser les corr\u00e9lations entre pr\u00e9dicteurs et simplifie radicalement l’estimation.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde ce que produit une m\u00e9thode qui n’a pourtant fait que d\u00e9crire ses classes : une ligne de s\u00e9paration. Droite \u00e0 gauche (LDA), courbe \u00e0 droite (QDA, qui laisse chaque classe avoir sa propre matrice de covariance). D\u00e9crire d’abord ne dispense donc pas de d\u00e9cider ensuite.<\/figcaption><\/figure>\n\n\nChez les ing\u00e9nieurs, premier moteur : \u00e9crire la suite, un jeton apr\u00e8s l’autre<\/h2>\n Prends la s\u00e9quence \u00ab to be or not to \u00bb. Un mod\u00e8le de langage estime la probabilit\u00e9 que le mot suivant soit \u00ab be \u00bb, et il le fait pour chaque mot du vocabulaire \u00e0 la fois. La probabilit\u00e9 d’une phrase enti\u00e8re se d\u00e9compose alors en un produit :<\/p>\n
<\/span> <\/span>Lis-la de gauche \u00e0 droite : sachant ce qui a d\u00e9j\u00e0 \u00e9t\u00e9 \u00e9crit<\/strong>. On parle de g\u00e9n\u00e9ration autor\u00e9gressive, ou de mod\u00e9lisation causale du langage, puisque les mots d\u00e9j\u00e0 choisis comptent dans le calcul de la suite.<\/p>\nReste \u00e0 choisir un mot dans cette liste de probabilit\u00e9s. Prendre syst\u00e9matiquement le plus probable (le d\u00e9codage glouton) ne s’utilise plus gu\u00e8re : le r\u00e9sultat est trop pr\u00e9visible, g\u00e9n\u00e9rique et r\u00e9p\u00e9titif. Tirer au hasard produit l’exc\u00e8s inverse, des phrases \u00e9tranges, car le mod\u00e8le peut choisir des mots rares. L’\u00e9chantillonnage top-k tient le milieu : \u00e0 chaque pas, il ne garde que les \u00e9quilibrer qualit\u00e9 et diversit\u00e9<\/strong>.<\/p>\nLa m\u00eame m\u00e9canique accepte un contexte en plus. Dans un syst\u00e8me qui va chercher des documents avant de r\u00e9pondre, chaque probabilit\u00e9 du produit d\u00e9pend aussi de la consigne donn\u00e9e, des documents retrouv\u00e9s et de la question, tous concat\u00e9n\u00e9s.<\/p>\n
Chez les ing\u00e9nieurs, second moteur : partir du bruit<\/h2>\n Une image ne s’\u00e9crit pas mot \u00e0 mot. Le second arch\u00e9type part d’un bruit al\u00e9atoire<\/strong> et le raffine, \u00e9tape apr\u00e8s \u00e9tape, vers la sortie la plus probable : c’est le d\u00e9bruitage it\u00e9ratif. Les mod\u00e8les d’images et de vid\u00e9os fonctionnent ainsi.<\/p>\nLa partie la plus longue d’une g\u00e9n\u00e9ration d’image, ce sont les 30 \u00e0 50 \u00e9tapes de d\u00e9bruitage. Le temps de g\u00e9n\u00e9ration est lin\u00e9aire en nombre d’\u00e9tapes, et chaque passage s’ex\u00e9cute avec un lot de deux : une passe guid\u00e9e par le prompt, une sans. Le param\u00e8tre de guidage r\u00e8gle le poids de l’image guid\u00e9e dans la combinaison des deux.<\/p>\n
Pourquoi ne pas simplement faire moins d’\u00e9tapes ? Des mod\u00e8les y sont entra\u00een\u00e9s : huit \u00e9tapes ou moins, 80 \u00e0 90 % plus rapides<\/strong> que les mod\u00e8les traditionnels. On les obtient par coh\u00e9rence latente (le mod\u00e8le pr\u00e9dit directement le vecteur latent cible et r\u00e9p\u00e8te la pr\u00e9diction deux \u00e0 quatre fois) ou par distillation (un petit mod\u00e8le apprend \u00e0 imiter un grand en moins d’\u00e9tapes).<\/p>\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Cette vitesse a un prix \u00e9crit noir sur blanc : une qualit\u00e9 nettement moindre. Ces mod\u00e8les conviennent aux usages sensibles \u00e0 la latence o\u00f9 la qualit\u00e9 compte moins, comme des filtres g\u00e9n\u00e9ratifs en temps r\u00e9el, pas \u00e0 tout.<\/p>\n<\/blockquote>\nLa vid\u00e9o pousse la m\u00eame logique \u00e0 l’extr\u00eame. L’approche na\u00efve, image apr\u00e8s image, accumule les erreurs : de petits d\u00e9fauts initiaux s’aggravent et la vid\u00e9o part \u00e0 la d\u00e9rive. Les mod\u00e8les modernes gardent donc toute la vid\u00e9o dans l’espace latent<\/strong> et la modifient \u00e0 chaque \u00e9tape : chaque image porte son attention sur toutes les autres, et l’espace latent ajoute une troisi\u00e8me dimension, le temps, aux deux dimensions de l’image.<\/p>\nL’addition est sal\u00e9e : plusieurs secondes d’inf\u00e9rence par seconde de vid\u00e9o, un n\u0153ud de huit GPU mobilis\u00e9 pour une seule requ\u00eate, et des s\u00e9quences qui ne d\u00e9passent pas quelques secondes. Ironie du sort, une piste de recherche revient \u00e0 l’id\u00e9e autor\u00e9gressive : combiner une vue globale de la qualit\u00e9 et une g\u00e9n\u00e9ration it\u00e9rative, ce qui traite en partie le goulot de l’attention.<\/p>\n
Deux arch\u00e9types suffisent \u00e0 ranger presque toutes les modalit\u00e9s. Voici la carte :<\/p>\n
\n\n\nArch\u00e9type<\/th>\n Comment la sortie se construit<\/th>\n Mod\u00e8les concern\u00e9s<\/th>\n<\/tr>\n<\/thead>\n \n\nG\u00e9n\u00e9ration autor\u00e9gressive<\/td>\n \u00e0 partir d’une s\u00e9quence de jetons, on pr\u00e9dit le plus probable \u00e0 chaque pas<\/td>\n LLM, mod\u00e8les vision-langage, embeddings de texte et de multim\u00e9dia, reconnaissance vocale, synth\u00e8se vocale<\/td>\n<\/tr>\n \nD\u00e9bruitage it\u00e9ratif<\/td>\n on part d’un bruit et on le raffine vers la sortie probable<\/td>\n images, vid\u00e9os<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nComment une image entre-t-elle dans le premier moteur ? Un petit encodeur de vision la convertit en jetons d’image, qui rejoignent le texte \u00e0 l’entr\u00e9e du LLM. Au niveau le plus g\u00e9n\u00e9ral, ces jetons ressemblent aux jetons ordinaires, mais ils s’additionnent vite : une image haute r\u00e9solution ajoute environ mille jetons<\/strong> \u00e0 la s\u00e9quence.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis le trajet : une fois l’image transform\u00e9e en jetons, plus rien ne la distingue du texte pour le moteur autor\u00e9gressif qui r\u00e9dige la r\u00e9ponse.<\/figcaption><\/figure>\n\n\nLa parole raconte la m\u00eame parent\u00e9. Aujourd’hui, la plupart des syst\u00e8mes vocaux encha\u00eenent un mod\u00e8le de reconnaissance de la voix, un LLM et un mod\u00e8le de synth\u00e8se vocale. Les mod\u00e8les parole \u00e0 parole unifient ce pipeline en un seul mod\u00e8le, ce que rend possible la ressemblance d’architecture entre ces trois briques, surtout c\u00f4t\u00e9 d\u00e9codeur. \u00c0 la publication, les options ferm\u00e9es de ce type sont nettement moins capables et plus ch\u00e8res que le montage en cascade. Autre cons\u00e9quence d’un format nouveau : on change de m\u00e9trique. Un seul jeton audio n’est pas tr\u00e8s utile, donc on mesure le temps jusqu’au premier mot ou \u00e0 la premi\u00e8re phrase.<\/p>\n
Reste un point de m\u00e9thode. Un mod\u00e8le g\u00e9n\u00e9ratif est une composition de grands et complexes r\u00e9seaux de neurones, et le servir en production est autrement plus complexe que pour un mod\u00e8le classique : aux d\u00e9buts de Baseten, des mod\u00e8les XGBoost tournaient sur de modestes processeurs avec une pile logicielle \u00e9l\u00e9mentaire.<\/p>\n
Trois id\u00e9es re\u00e7ues sur \u00ab g\u00e9n\u00e9ratif \u00bb<\/h2>\n\u00ab G\u00e9n\u00e9ratif veut dire qui cr\u00e9e \u00bb<\/h3>\n Pas n\u00e9cessairement. La LDA, la QDA et le na\u00eff Bayes sont g\u00e9n\u00e9ratifs au sens statistique, et pourtant ils ne fabriquent rien : ils servent \u00e0 classer<\/strong>. Le qualificatif d\u00e9crit la mani\u00e8re de mod\u00e9liser les donn\u00e9es, pas ce que tu fais de la sortie.<\/p>\n\u00ab Un mod\u00e8le na\u00eff est un mauvais mod\u00e8le \u00bb<\/h3>\n Le na\u00eff Bayes r\u00e9pond \u00e0 lui seul. Son hypoth\u00e8se d’ind\u00e9pendance est presque toujours fausse, et il se r\u00e9v\u00e8le pourtant souvent \u00e9tonnamment efficace<\/strong>, en particulier quand les observations sont peu nombreuses ou les pr\u00e9dicteurs relativement nombreux : un domaine o\u00f9 estimer une matrice de covariance<\/a> compl\u00e8te deviendrait p\u00e9rilleux.<\/p>\n\u00ab Un texte fluide est un texte raisonn\u00e9 \u00bb<\/h3>\n Un mod\u00e8le de langage r\u00e9sout le classique probl\u00e8me des 25 chevaux. Remplace \u00ab cheval \u00bb par \u00ab lapin \u00bb : il \u00e9choue, alors que la logique du probl\u00e8me n’a pas boug\u00e9. GPT-4 comme Claude chutent nettement quand on perturbe les noms d’animaux et les nombres. Sur un jeu d’arithm\u00e9tique dont on a modifi\u00e9 les valeurs num\u00e9riques, la performance chute quand on change les chiffres<\/strong> et se d\u00e9grade avec la complexit\u00e9, et le mod\u00e8le se laisse tromper par des phrases ajout\u00e9es sans pertinence, qu’il tente de transformer en op\u00e9rations.<\/p>\nLe d\u00e9bat n’est pas clos. Pour certains, ces mod\u00e8les savent raisonner et il faut seulement le d\u00e9bloquer, par exemple en demandant des \u00e9tapes interm\u00e9diaires. Mais m\u00eame ce gain est contest\u00e9 : jusqu’\u00e0 95 % du gain de cette technique sur un r\u00e9f\u00e9rentiel tr\u00e8s utilis\u00e9 (MMLU) est attribu\u00e9 aux questions contenant le signe \u00ab = \u00bb. Retiens la le\u00e7on pour toute la famille : un mod\u00e8le qui produit des suites probables est excellent pour trouver des motifs, et fragile quand le motif change.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Devant un mod\u00e8le \u00ab g\u00e9n\u00e9ratif \u00bb, demande-lui quelle loi de probabilit\u00e9 il apprend : celle des donn\u00e9es de chaque classe (puis Bayes pour d\u00e9cider), celle du jeton suivant (jeton apr\u00e8s jeton), ou celle d’une image \u00e0 partir du bruit (\u00e9tape apr\u00e8s \u00e9tape). Le reste est une affaire de format et de co\u00fbt.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Classer en d\u00e9crivant chaque groupe, \u00e9crire un jeton apr\u00e8s l’autre, cr\u00e9er une image depuis du bruit : ce que recouvre \u00ab g\u00e9n\u00e9ratif \u00bb et ce qui relie ces m\u00e9thodes.<\/p>\n","protected":false},"author":1,"featured_media":669,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-670","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/670","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=670"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/670\/revisions"}],"predecessor-version":[{"id":824,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/670\/revisions\/824"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/669"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=670"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=670"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=670"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"k\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3422b6bb5c160593658b7c39425d9880_l3.png\" "\\"Rendered")
, on estime d’abord une loi des pr\u00e9dicteurs, not\u00e9e ![\"f_k\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e46c3039858aab18a32d5e2016ea037e_l3.png\" "\\"Rendered")
, valable au sein de cette seule classe. Le th\u00e9or\u00e8me de Bayes en tire ensuite la probabilit\u00e9 de la classe :<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-110fae1a2781de75d00a6668b38dcd64_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\pi_k \times f_k(x)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7b5a5d827fd272c75afd7d795c1855db_l3.png\" "\\"Rendered")
, o\u00f9 ![\"\pi_k\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-88d17dd5f52992a623a09d7bd3fa4be5_l3.png\" "\\"Rendered")
est sa probabilit\u00e9 a priori. Au d\u00e9nominateur, on additionne ce poids sur les ![\"K\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" "\\"Rendered")
classes, ce qui ram\u00e8ne le tout \u00e0 une probabilit\u00e9.<\/p>\n![\"f_k(x)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-76587cc99cf5450ccbf899c39b044133_l3.png\" "\\"Rendered")
: une loi normale \u00e0 covariance commune pour la LDA, une covariance propre \u00e0 chaque classe pour la QDA, des pr\u00e9dicteurs ind\u00e9pendants pour le na\u00eff Bayes.<\/p>\n![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_frontieres_decision_lda_qda-scaled.png\")