affiner un grand mod\u00e8le<\/a> sur ton domaine. Pour aligner un mod\u00e8le sur des pr\u00e9f\u00e9rences humaines, la fourchette est de 10 000 \u00e0 100 000 paires r\u00e9dig\u00e9es par des annotateurs. Et pour de petits mod\u00e8les, l’ajustement supervis\u00e9 peut m\u00eame tourner sur un simple ordinateur portable.<\/p>\nReste le co\u00fbt de l’ajustement lui-m\u00eame : pour un mod\u00e8le de plus de 100 milliards de param\u00e8tres, m\u00eame une l\u00e9g\u00e8re mise \u00e0 jour exige une infrastructure consid\u00e9rable. D’o\u00f9 l’int\u00e9r\u00eat de garder les poids gel\u00e9s. L’id\u00e9e de LoRA : les poids ajust\u00e9s s’\u00e9crivent<\/p>\n
<\/span> <\/span>o\u00f9
Les adaptateurs suivent un autre chemin : de petites couches ajout\u00e9es dans les blocs, qui projettent par exemple de 1 024 vers 24 dimensions puis reviennent \u00e0 1 024, soit moins de 50 000 param\u00e8tres<\/strong> par adaptateur. \u00c0 leur premi\u00e8re \u00e9valuation, ils ont \u00e9gal\u00e9 l’ajustement complet de BERT en n’entra\u00eenant que 3,6 % de param\u00e8tres en plus. LoRA et les adaptateurs restent les techniques les plus utilis\u00e9es.<\/p>\nCe que \u00e7a co\u00fbte une fois en production<\/h2>\n Premier poste : le mat\u00e9riel. Pour ajuster un mod\u00e8le, compte environ une heure sur CPU contre moins de cinq minutes sur GPU.<\/p>\n
Deuxi\u00e8me poste : la m\u00e9moire. Pour \u00e9crire chaque nouveau jeton, il faut le contexte qui pr\u00e9c\u00e8de. Sans pr\u00e9caution, on recalculerait \u00e0 chaque pas les cl\u00e9s et les valeurs de tous les jetons pr\u00e9c\u00e9dents, ce qui donne un co\u00fbt quadratique. Le cache KV les garde, et le co\u00fbt devient proche du lin\u00e9aire, mais la m\u00e9moire devient la contrainte<\/strong> : il faut conserver le cache par jeton, par t\u00eate d’attention et par couche, ce qui limite la fen\u00eatre de contexte utilisable.<\/p>\nL’attention reste l’op\u00e9ration la plus co\u00fbteuse. On l’optimise par des noyaux comme FlashAttention sans perte de qualit\u00e9, ou par de nouveaux algorithmes (fen\u00eatre glissante, attention lin\u00e9aire, Mamba) avec, cette fois, un compromis de qualit\u00e9.<\/p>\n
Troisi\u00e8me poste : l’endroit o\u00f9 tourne le mod\u00e8le. Sur un t\u00e9l\u00e9phone, m\u00eame haut de gamme, le plafond se situe autour d’un ou deux milliards de param\u00e8tres. \u00c0 l’autre extr\u00e9mit\u00e9, un mod\u00e8le de 67 milliards de param\u00e8tres peut r\u00e9clamer plusieurs cartes graphiques haut de gamme, ce qui pousse la plupart des d\u00e9veloppeurs vers une API h\u00e9berg\u00e9e, sauf \u00e0 recourir \u00e0 la quantification.<\/p>\n
Reste \u00e0 comparer API et GPU d\u00e9di\u00e9s. Sur une API, le co\u00fbt est une fonction lin\u00e9aire de l’usage : prix au million de jetons multipli\u00e9 par le nombre de jetons. Sur GPU d\u00e9di\u00e9s, il d\u00e9pend de la taille de lot, des motifs de trafic et des longueurs de s\u00e9quence. Plut\u00f4t que de deviner un prix au jeton \u00e0 partir de ta facture de GPU, calcule ce que te co\u00fbte l’API au total et mets ce chiffre face au d\u00e9di\u00e9.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSur ce trafic, l’API co\u00fbte 6 250 dollars (1 000 millions de jetons d’entr\u00e9e \u00e0 1,25 dollar, 500 millions de jetons de sortie \u00e0 10 dollars), contre 5 600 dollars pour 1 600 heures de GPU \u00e0 3,50 dollars. L’\u00e9cart est mince, et il laisse de c\u00f4t\u00e9 le temps d’ing\u00e9nierie.<\/figcaption><\/figure>\n\n\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Une estimation sur une journ\u00e9e trompe. Mieux vaut mesurer sur sept jours au moins, afin que les pics et les creux d’usage se compensent. Ajoute enfin les heures d’ing\u00e9nierie n\u00e9cessaires pour b\u00e2tir et entretenir le syst\u00e8me : l’ensemble forme le co\u00fbt total de possession.<\/p>\n<\/blockquote>\nQuand il vaut mieux s’en passer<\/h2>\n Premier cas : tu as besoin d’explications<\/strong>. Quand l’objectif est de comprendre comment Second cas : tu veux apporter des faits que le mod\u00e8le ne conna\u00eet pas. On a d’abord pens\u00e9 \u00e0 l’ajustement supervis\u00e9, en lui fournissant des paires question-r\u00e9ponse. Certaines \u00e9tudes y voient un gain de fiabilit\u00e9, d’autres montrent que les mod\u00e8les peinent \u00e0 vraiment apprendre<\/strong> de nouveaux faits ainsi.<\/p>\nL’alternative est la g\u00e9n\u00e9ration augment\u00e9e par r\u00e9cup\u00e9ration : on injecte dans la question les faits pertinents trouv\u00e9s dans une base de documents, plut\u00f4t que de compter sur la m\u00e9moire du mod\u00e8le. Les deux approches se comparent point par point :<\/p>\n
\n\n\nCrit\u00e8re<\/th>\n Recherche dans tes documents<\/th>\n Ajustement du mod\u00e8le<\/th>\n<\/tr>\n<\/thead>\n \n\nMise \u00e0 jour des connaissances<\/td>\n Directe et dynamique : on ajoute ou retire de l’information en temps r\u00e9el<\/td>\n R\u00e9entra\u00eenement, donc statique : impraticable si les changements sont fr\u00e9quents<\/td>\n<\/tr>\n \nEffet sur le mod\u00e8le<\/td>\n Apporte de l’information sans changer comportement ni style<\/td>\n Change le comportement, le style, et peut apporter des comp\u00e9tences nouvelles<\/td>\n<\/tr>\n \nTra\u00e7abilit\u00e9<\/td>\n Permet de suivre les sources d’une r\u00e9ponse<\/td>\n Moins interpr\u00e9table : difficile de savoir d’o\u00f9 vient un comportement<\/td>\n<\/tr>\n \nLatence<\/td>\n Le temps de r\u00e9cup\u00e9ration s’ajoute \u00e0 celui de g\u00e9n\u00e9ration<\/td>\n Latence plus faible<\/td>\n<\/tr>\n \nDonn\u00e9es \u00e0 pr\u00e9parer<\/td>\n Traitement minimal<\/td>\n Jeux de qualit\u00e9, co\u00fbteux \u00e0 constituer (trop peu d’exemples n’apportent pas d’am\u00e9lioration notable)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nLes deux ne s’excluent pas pour autant. Un mod\u00e8le ajust\u00e9 peut mieux comprendre et exploiter le contexte r\u00e9cup\u00e9r\u00e9, et il sert aussi quand les donn\u00e9es ont un format pr\u00e9cis (code, tableaux, XML).<\/p>\n
Cas limites : quand le sujet sort du texte<\/h2>\n Les architectures voisines du Transformer ne se limitent pas aux LLM. Mod\u00e8les vision-langage, d’embedding de texte, de reconnaissance vocale ou de synth\u00e8se vocale reposent sur des architectures proches, si bien que les m\u00eames moteurs et techniques s’appliquent<\/strong>. Pour les images et les vid\u00e9os, le d\u00e9bruitage it\u00e9ratif domine, m\u00eame si les transformeurs de diffusion hybrides tiennent de plus en plus le haut du pav\u00e9 en qualit\u00e9.<\/p>\nUn point de vigilance pour ce m\u00e9lange des genres : la diffusion ne produit qu’une taille de sortie fixe, alors qu’un mod\u00e8le autor\u00e9gressif g\u00e9n\u00e8re une sortie de longueur variable. C’est l’un des probl\u00e8mes que les LLM r\u00e9solvent dans les pipelines d’images.<\/p>\n
Dernier terrain d’essai : la d\u00e9cision s\u00e9quentielle. On peut traiter l’apprentissage par renforcement<\/a> comme un probl\u00e8me de mod\u00e9lisation de s\u00e9quences, ce qui colle \u00e0 la fa\u00e7on dont ces mod\u00e8les sont entra\u00een\u00e9s. Les connaissances pr\u00e9alables r\u00e9duisent le besoin de collecte de donn\u00e9es. En contrepartie, le co\u00fbt de calcul reste \u00e9lev\u00e9, m\u00eame en inf\u00e9rence seule et sans ajustement.<\/p>\nTrancher : cinq questions dans l’ordre<\/h2>\n Parcours ces questions dans l’ordre : d\u00e8s qu’une r\u00e9ponse t’oriente vers une option plus simple, tu peux t’arr\u00eater.<\/p>\n
\n\n\nQuestion<\/th>\n Si oui<\/th>\n Si non<\/th>\n<\/tr>\n<\/thead>\n \n\nTon jeu est-il petit, ou l’explication des r\u00e9sultats compte-t-elle ?<\/td>\n Reste sur un mod\u00e8le lin\u00e9aire ou un lasso<\/td>\n Continue<\/td>\n<\/tr>\n \nTon signal est-il du texte, du son ou une s\u00e9quence riche, avec un grand \u00e9chantillon ?<\/td>\n Un r\u00e9seau profond se justifie ; compare d’abord GRU et convolutions 1D<\/td>\n Un mod\u00e8le plus simple suffit<\/td>\n<\/tr>\n \nExiste-t-il un mod\u00e8le pr\u00e9-entra\u00een\u00e9 de bonne qualit\u00e9, avec une licence compatible ?<\/td>\n Pars de lui, avec un ajustement l\u00e9ger (LoRA, adaptateurs)<\/td>\n R\u00e9\u00e9value le besoin avant d’entra\u00eener de z\u00e9ro<\/td>\n<\/tr>\n \nTes connaissances changent-elles souvent ?<\/td>\n Cherche dans tes documents plut\u00f4t que de r\u00e9entra\u00eener<\/td>\n L’ajustement peut suffire<\/td>\n<\/tr>\n \nTon budget de m\u00e9moire et d’inf\u00e9rence tient-il sur une semaine d’usage ?<\/td>\n Tu peux lancer<\/td>\n R\u00e9duis la taille du mod\u00e8le, ou passe par une API<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nUn Transformer est le bon choix quand tes donn\u00e9es, ta t\u00e2che et ton budget le justifient tous les trois<\/strong>. D\u00e8s que l’un des trois manque, le mod\u00e8le le plus simple qui fait le travail reste la meilleure r\u00e9ponse.<\/p>","protected":false},"excerpt":{"rendered":"Donn\u00e9es, t\u00e2che, budget : les crit\u00e8res et les chiffres pour d\u00e9cider si un Transformer vaut son co\u00fbt, ou si un mod\u00e8le plus simple fera aussi bien.<\/p>\n","protected":false},"author":1,"featured_media":296,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-297","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/297","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=297"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/297\/revisions"}],"predecessor-version":[{"id":815,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/297\/revisions\/815"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/296"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=297"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=297"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=297"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Courbe](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch09_double_descente_interpolation.png\")