ne change pas l’architecture<\/strong> du mod\u00e8le : seul son comportement bouge.<\/li>\n<\/ul>\nUne matrice est un tableau de nombres, mais toutes ses colonnes ne disent pas des choses diff\u00e9rentes. Si la troisi\u00e8me colonne d’un tableau n’est que la somme des deux premi\u00e8res, elle n’apprend rien de neuf : on dit qu’elle est lin\u00e9airement d\u00e9pendante des autres.<\/p>\n
Le nombre maximal de colonnes lin\u00e9airement ind\u00e9pendantes s’appelle le rang<\/strong> de la matrice. Il ne d\u00e9passe jamais la plus petite de ses deux dimensions, et il mesure en quelque sorte la quantit\u00e9 d’information r\u00e9ellement ind\u00e9pendante qu’elle contient. Retiens une cons\u00e9quence : une matrice tr\u00e8s \u00e9troite, avec peu de colonnes, est forc\u00e9ment de rang faible<\/strong>.<\/p>\nPour voir ce rang \u00e0 l’\u0153uvre, il existe un outil : la d\u00e9composition en valeurs singuli\u00e8res, ou SVD. Toute matrice
<\/span> <\/span>o\u00f9 leur nombre non nul \u00e9gale le rang<\/strong> de \n\t\t\t\n\t\t\t\tSuis les panneaux dans l’ordre : le triangle pivote, puis l’\u00e9tirement par \n\t\t\t\n\t\t\t\tTrente valeurs pour toute une image : la compression par SVD<\/h2>\n Une image en niveaux de gris n’est jamais qu’une matrice de valeurs de pixels. En ne conservant que les \n\t\t\t\n\t\t\t\tCompare les vignettes de gauche \u00e0 droite : avec Ce que montre cette photo, c’est qu’une grande matrice peut cacher peu d’information ind\u00e9pendante<\/strong>. C’est exactement ce que suppose l’hypoth\u00e8se du rang intrins\u00e8que pour un r\u00e9seau de neurones : les changements significatifs de ses poids se capturent avec une repr\u00e9sentation de plus petite dimension.<\/p>\nLoRA applique ce pari \u00e0 la correction des poids<\/h2>\n Quand tu ajustes un mod\u00e8le, ses poids n’entra\u00eene qu’elles<\/strong>.<\/p>\n
<\/span> <\/span>Lis cette formule de droite \u00e0 gauche :
Pour que cette somme ait un sens, \n\t\t\t\n\t\t\t\tRegarde les \u00e9tiquettes de tailles : Comme la multiplication matricielle est associative, calculer
\n\ud83d\udca1 Intuition<\/strong> Imagine un calque transparent pos\u00e9 sur un plan : le plan n’est pas redessin\u00e9, on y trace seulement la correction. Et parce que cette correction est de rang faible, elle tient dans un petit rectangle.<\/p>\n<\/blockquote>\nLire une configuration LoRA ligne par ligne<\/h2>\n Tu veux ajuster Phi-3-mini, un mod\u00e8le de 3,8 milliards de param\u00e8tres. Il faut deux gestes : charger le mod\u00e8le sans saturer la m\u00e9moire, puis y brancher LoRA. Voici comment un exemple en Python les \u00e9crit avec les biblioth\u00e8ques transformers<\/code> et peft<\/code> :<\/p>\nimport torch, os\nfrom transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments,\n BitsAndBytesConfig\nfrom peft import LoraConfig, get_peft_model\n...\nBASE_SFT_CKPT = \"microsoft\/Phi-3-mini-4k-instruct\"\n...\nbnb_config = BitsAndBytesConfig(\n load_in_4bit=True,\n bnb_4bit_use_double_quant=True,\n bnb_4bit_compute_dtype=torch.bfloat16\n)\n\nbase = AutoModelForCausalLM.from_pretrained(\n BASE_SFT_CKPT,\n device_map=\"auto\",\n torch_dtype=torch.bfloat16,\n quantization_config=bnb_config\n)\n\nlora_cfg = LoraConfig(\n r=8,\n lora_alpha=16,\n lora_dropout=0.05,\n target_modules=[\"q_proj\", \"k_proj\", \"v_proj\", \"o_proj\", \"gate_proj\",\n \"up_proj\", \"down_proj\"],\n bias=\"none\",\n task_type=\"CAUSAL_LM\",\n)\nmodel = get_peft_model(base, lora_cfg)\n<\/code><\/pre>\nLis le bloc en trois temps, de haut en bas. D’abord BitsAndBytesConfig<\/code>, qui d\u00e9crit le chargement : le mod\u00e8le de base passe en pr\u00e9cision r\u00e9duite, sur 4 bits<\/strong>, pour tenir en m\u00e9moire. C’est un r\u00e9glage de chargement, distinct de LoRA.<\/p>\nVient ensuite LoraConfig<\/code>, qui d\u00e9crit la correction. r=8<\/code> fixe le rang, donc la largeur du goulot des matrices target_modules<\/code> liste sept noms de couches : les projections d’attention (q_proj<\/code>, k_proj<\/code>, v_proj<\/code>, o_proj<\/code>) et celles de la couche dense (gate_proj<\/code>, up_proj<\/code>, down_proj<\/code>). Ce sont les seules couches \u00e0 recevoir l’adaptation<\/strong>.<\/p>\nDeux lignes restent \u00e0 situer. task_type=\"CAUSAL_LM\"<\/code> annonce un mod\u00e8le de langage causal, qui pr\u00e9dit le jeton suivant d’apr\u00e8s les pr\u00e9c\u00e9dents. lora_alpha<\/code>, lora_dropout<\/code> et bias<\/code> sont trois r\u00e9glages d’accompagnement, laiss\u00e9s tels quels dans cet exemple.<\/p>\nReste le dernier geste : get_peft_model(base, lora_cfg)<\/code> enveloppe le mod\u00e8le de base dans les adaptateurs LoRA de rang 8. Le model<\/code> obtenu est celui que tu donneras ensuite \u00e0 l’entra\u00eenement.<\/p>\nLoRA ne d\u00e9cide pas de l’objectif d’entra\u00eenement<\/h2>\n LoRA est-il une m\u00e9thode d’entra\u00eenement au m\u00eame titre que l’affinage supervis\u00e9 ou l’optimisation directe des pr\u00e9f\u00e9rences (DPO) ? Les exemples de code r\u00e9pondent non, et le montrent par deux entr\u00e9es diff\u00e9rentes.<\/p>\n
Pour l’affinage supervis\u00e9, la fonction d’entra\u00eenement re\u00e7oit la configuration sous le nom peft_cfg<\/code> et la transmet \u00e0 l’entra\u00eeneur par peft_config=peft_cfg<\/code>. Pour l’optimisation des pr\u00e9f\u00e9rences, le mod\u00e8le est d’abord envelopp\u00e9 par get_peft_model<\/code>, comme dans le bloc pr\u00e9c\u00e9dent, puis affin\u00e9 avec un entra\u00eeneur DPO. Dans les deux cas, la perte et les donn\u00e9es appartiennent \u00e0 l’entra\u00eenement ; LoRA se contente de limiter les poids qui bougent<\/strong>.<\/p>\nCette s\u00e9paration explique pourquoi on le retrouve partout. Un exemple d’appel de fonctions l’emploie pour n’adapter que des couches cibl\u00e9es, et LoRA comme QLoRA sont cit\u00e9s parmi les techniques qui r\u00e9duisent le co\u00fbt de l’ajustement, avec des biblioth\u00e8ques comme TRL, Unsloth ou Axolotl pour le r\u00e9aliser.<\/p>\n
O\u00f9 vit la partie entra\u00een\u00e9e : LoRA, adaptateurs, pr\u00e9fixes<\/h2>\n LoRA fait partie d’une famille de m\u00e9thodes qui n’entra\u00eenent qu’une poign\u00e9e de param\u00e8tres : le finetuning \u00e0 param\u00e8tres efficients, abr\u00e9g\u00e9 PEFT. Ce qui les distingue, c’est l’endroit o\u00f9 se loge la partie entra\u00een\u00e9e :<\/p>\n
\n\n\nM\u00e9thode<\/th>\n Ce qu’on entra\u00eene<\/th>\n O\u00f9 cela se loge<\/th>\n<\/tr>\n<\/thead>\n \n\nLoRA<\/td>\n deux petites matrices en parall\u00e8le d’une matrice gel\u00e9e, leur produit s’ajoute \u00e0 sa sortie<\/td>\n<\/tr>\n \nAdaptateurs<\/td>\n de petites couches ajustables, de structure proche d’un autoencodeur<\/td>\n \u00e0 l’int\u00e9rieur des blocs du transformeur<\/td>\n<\/tr>\n \nPrompt tuning<\/td>\n un tenseur entra\u00eenable<\/td>\n devant les embeddings d’entr\u00e9e<\/td>\n<\/tr>\n \nPrefix tuning<\/td>\n des tenseurs entra\u00eenables<\/td>\n dans les \u00e9tats cach\u00e9s de toutes les couches<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nLes deux derni\u00e8res lignes touchent \u00e0 ce que le mod\u00e8le voit en entr\u00e9e ou en cours de route, alors que LoRA ajoute sa correction \u00e0 la sortie d’une matrice existante. Le prompt tuning et le prefix tuning peuvent d’ailleurs \u00eatre instables<\/strong>, ce qui explique que LoRA et les adaptateurs dominent l’usage.<\/p>\nCe que LoRA ne fait pas<\/h2>\n\u00ab LoRA modifie l’architecture \u00bb<\/h3>\n Non. Une m\u00eame architecture se d\u00e9cline en plusieurs tailles, en plusieurs variantes (les versions \u00ab base \u00bb et \u00ab instruct \u00bb la partagent) et en un nombre illimit\u00e9 d’affinages, comme LoRA, qui changent le comportement mais pas l’architecture. C’est une bonne nouvelle pour l’ex\u00e9cution : les moteurs d’inf\u00e9rence se r\u00e8glent sur une architecture, donc un d\u00e9ploiement optimis\u00e9 pour elle<\/strong> profite \u00e0 ses variantes.<\/p>\n\u00ab LoRA compresse le mod\u00e8le \u00bb<\/h3>\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> L’analogie de la photo peut tromper : on compresse la correction, pas le mod\u00e8le. Sur la figure, Le passage en 4 bits du bloc de code est un autre levier : il appartient \u00e0 la quantification, qui existe en deux grandes variantes, appliqu\u00e9e apr\u00e8s l’entra\u00eenement ou prise en compte d\u00e8s l’entra\u00eenement. Dans le code, les deux r\u00e9glages vivent d’ailleurs dans deux objets s\u00e9par\u00e9s, BitsAndBytesConfig<\/code> et LoraConfig<\/code>.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> LoRA, c’est un mod\u00e8le laiss\u00e9 intact auquel on ajoute une correction \u00e0 goulot \u00e9troit. L’objectif d’entra\u00eenement, les donn\u00e9es et la pr\u00e9cision du chargement se d\u00e9cident ailleurs.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"LoRA n’entra\u00eene qu’une petite correction, produit de deux matrices de faible rang. Rang, SVD, compression d’image, configuration en code : tout pour comprendre.<\/p>\n","protected":false},"author":1,"featured_media":685,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-686","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=686"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/686\/revisions"}],"predecessor-version":[{"id":689,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/686\/revisions\/689"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/685"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"M\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-10ebb71bad275c1815a8f2a8c5dea0be_l3.png\" "\\"Rendered")
de taille ![\"n \times d\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-5318ec8a850d9431e3fecca4da591a6e_l3.png\" "\\"Rendered")
peut s’\u00e9crire<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-8fcc9166ba3dd01da4d79ef8019109c3_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"U\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2b60fc262803f27ba3717d8ec4eb656d_l3.png\" "\\"Rendered")
et ![\"V\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-63ada879859a9e41fd935f035b7313bc_l3.png\" "\\"Rendered")
sont des matrices orthogonales et ![\"S\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-520cb534cd5b6bed768a61515b57cb7e_l3.png\" "\\"Rendered")
une matrice diagonale. Les \u00e9l\u00e9ments de ![\"Quatre](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch04_decomposition_svd_triangle-scaled.png\")