ridge<\/a> p\u00e9nalise au contraire la somme des carr\u00e9s (p\u00e9nalit\u00e9 \u21132).<\/p>\nDeux forces s’opposent donc. Le RSS pousse \u00e0 garder toutes les variables pour mieux coller aux donn\u00e9es, la p\u00e9nalit\u00e9 pousse chaque coefficient vers z\u00e9ro. Quand \u03bb devient assez grand, la p\u00e9nalit\u00e9 l’emporte sur certains coefficients et les force \u00e0 \u00eatre exactement nuls<\/strong> : les variables correspondantes disparaissent du mod\u00e8le, qui devient parcimonieux (sparse<\/em> en anglais) et bien plus facile \u00e0 lire.<\/p>\n\n\ud83d\udca1 Intuition<\/strong> Vois \u03bb comme un tarif au coefficient. Une variable qui n’apporte pas assez d’ajustement pour couvrir son prix n’a plus sa place dans le mod\u00e8le : elle passe \u00e0 z\u00e9ro.<\/p>\n<\/blockquote>\nDeux \u00e9critures du m\u00eame mod\u00e8le : un tarif ou un budget<\/h2>\n On peut poser le probl\u00e8me autrement, sans prix mais avec un plafond. Minimiser le seul RSS sous la contrainte que la somme des valeurs absolues des coefficients ne d\u00e9passe pas une valeur
<\/span> <\/span>Ici, budget total<\/strong> \u00e0 r\u00e9partir entre tous les coefficients : en accorder davantage \u00e0 une variable, c’est en retirer aux autres. R\u00e9gler Le ridge admet la m\u00eame double \u00e9criture, avec un plafond sur la somme des carr\u00e9s au lieu de la somme des valeurs absolues. La forme de ce plafond va tout changer, comme tu vas le voir.<\/p>\n
Pourquoi un losange fabrique des z\u00e9ros<\/h2>\n Prends un mod\u00e8le \u00e0 deux coefficients, losange dont les coins tombent sur les axes<\/strong> ; pour le ridge, la somme des carr\u00e9s trace un disque.<\/p>\nSuperpose maintenant les courbes de niveau du RSS : ce sont des ellipses centr\u00e9es sur la solution des moindres carr\u00e9s, celle qu’on obtiendrait sans aucune contrainte. La solution du probl\u00e8me sous budget est l’endroit o\u00f9 ces ellipses touchent la zone autoris\u00e9e.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde o\u00f9 les ellipses viennent au contact. Sur le disque, rien ne privil\u00e9gie un point de la fronti\u00e8re, donc aucun coefficient n’a de raison de tomber pile \u00e0 z\u00e9ro. Sur le losange, le contact le plus probable se fait sur un coin<\/strong>, et un coin pos\u00e9 sur un axe, c’est un coefficient nul.<\/figcaption><\/figure>\n\n\nAvec beaucoup de variables, le m\u00eame m\u00e9canisme joue sur des coins o\u00f9 un ou plusieurs coefficients valent z\u00e9ro \u00e0 la fois.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Le z\u00e9ro du Lasso n’est pas un arrondi ni un seuil pos\u00e9 \u00e0 la main : il vient de la g\u00e9om\u00e9trie d’une contrainte aux coins pointus.<\/p>\n<\/blockquote>\nLe Lasso face au tri exhaustif des variables<\/h2>\n \u00c9carter les variables inutiles, d’autres m\u00e9thodes le font d\u00e9j\u00e0, par une route tr\u00e8s diff\u00e9rente. La s\u00e9lection du meilleur sous-ensemble ajuste tous les mod\u00e8les possibles pour chaque taille, retient le meilleur de chaque taille, puis compare les finalistes par leur erreur de test estim\u00e9e. C’est la plus simple \u00e0 comprendre, mais elle exige plus d’un milliard de mod\u00e8les<\/strong> d\u00e8s 30 variables.<\/p>\nLe Lasso ne trie pas avant d’ajuster. Il ajuste un mod\u00e8le avec les
\n\n\nM\u00e9thode<\/th>\n Ce qu’elle fait aux variables<\/th>\n Ce qu’il reste dans le mod\u00e8le<\/th>\n<\/tr>\n<\/thead>\n \n\nMeilleur sous-ensemble<\/td>\n Choisit directement un groupe de variables<\/td>\n Le groupe retenu<\/td>\n<\/tr>\n \nLasso<\/td>\n Contraint les coefficients par la somme des valeurs absolues<\/td>\n Les variables \u00e0 coefficient non nul<\/td>\n<\/tr>\n \nRidge<\/td>\n R\u00e9tr\u00e9cit tous les coefficients<\/td>\n Toutes les variables, aucune annul\u00e9e<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nR\u00e9gler \u03bb : un curseur pos\u00e9 par validation crois\u00e9e<\/h2>\n Tout Lasso se r\u00e8gle avec un seul curseur, \u03bb. On balaie une grille de valeurs, on mesure pour chacune l’erreur de test par validation crois\u00e9e, et la gagnante est celle dont l’erreur est la plus basse.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tNe regarde que le panneau de droite. Chaque coefficient Lasso quitte le mod\u00e8le \u00e0 sa propre valeur de \u03bb, puis y reste absent : choisir un point sur l’axe horizontal, c’est donc choisir en m\u00eame temps quelles variables survivent<\/strong>.<\/figcaption><\/figure>\n\n\nReste \u00e0 estimer l’erreur de test sans r\u00e9server de donn\u00e9es d\u00e9di\u00e9es, car l’erreur d’entra\u00eenement la sous-estime typiquement, parfois tr\u00e8s largement. La validation crois\u00e9e \u00e0 \n\t\t\t\n\t\t\t\tSuis les cinq lignes : le bloc orange change \u00e0 chaque it\u00e9ration, si bien que chaque observation joue une fois<\/strong> le r\u00f4le de donn\u00e9e de test.<\/figcaption><\/figure>\n\n\nEn pratique, avec scikit-learn, la classe ElasticNet<\/code> g\u00e9n\u00e9ralise le ridge et le Lasso ; \u03bb s’y appelle alpha<\/code>, et son argument l1_ratio<\/code> vaut 1 pour obtenir un Lasso pur.<\/p>\nAu-del\u00e0 de la r\u00e9gression lin\u00e9aire : un Lasso sur des essais cliniques<\/h2>\n La p\u00e9nalit\u00e9 \u21131 n’est pas li\u00e9e \u00e0 la seule r\u00e9gression lin\u00e9aire : les m\u00e9thodes de r\u00e9gularisation, ridge et Lasso, s’appliquent telles quelles au mod\u00e8le de Cox<\/a>, un mod\u00e8le de survie qui relie le temps \u00e9coul\u00e9 avant un \u00e9v\u00e9nement \u00e0 des caract\u00e9ristiques.<\/p>\nUn cas r\u00e9el : le d\u00e9lai de publication de plusieurs centaines d’essais cliniques, selon le nombre de centres, un r\u00e9sultat positif ou non et le budget. Un mod\u00e8le de Cox p\u00e9nalis\u00e9 par le Lasso s\u00e9lectionne alors, comme en r\u00e9gression lin\u00e9aire, un sous-ensemble restreint et interpr\u00e9table<\/strong> de pr\u00e9dicteurs, ceux qui sont les plus associ\u00e9s au d\u00e9lai.<\/p>\nLe r\u00e9glage suit la m\u00eame logique : le param\u00e8tre de p\u00e9nalit\u00e9 se contr\u00f4le par validation crois\u00e9e.<\/p>\n
Un mod\u00e8le sobre, pas un mod\u00e8le souple<\/h2>\n Le Lasso ne donne pas de souplesse au mod\u00e8le, il lui en retire<\/strong>. Il restreint encore la flexibilit\u00e9 du mod\u00e8le lin\u00e9aire en for\u00e7ant certains coefficients \u00e0 z\u00e9ro, ce qui le rend plus lisible : la r\u00e9ponse ne d\u00e9pend plus que d’un sous-ensemble r\u00e9duit de variables.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRep\u00e8re le coin sup\u00e9rieur gauche : le Lasso y si\u00e8ge avec la s\u00e9lection de sous-ensembles. Il perd en souplesse ce qu’il gagne en lisibilit\u00e9, et c’est le prix de son tri.<\/figcaption><\/figure>\n\n\n\n\ud83d\udccc \u00c0 retenir<\/strong> Le Lasso ne rend pas ton mod\u00e8le plus malin, il le rend plus sobre : il garde les variables qui valent leur co\u00fbt et laisse les autres \u00e0 z\u00e9ro.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Une p\u00e9nalit\u00e9 sur la valeur absolue des coefficients, un losange aux coins sur les axes : voil\u00e0 comment le Lasso met des variables \u00e0 z\u00e9ro tout seul.<\/p>\n","protected":false},"author":1,"featured_media":426,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-427","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-maths"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/427","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=427"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/427\/revisions"}],"predecessor-version":[{"id":774,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/427\/revisions\/774"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/426"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=427"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=427"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=427"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"\beta_j\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c7b9ff31f3b4a1701cf1073c59582745_l3.png\" "\\"Rendered")
qui rendent la somme des carr\u00e9s des \u00e9carts entre r\u00e9ponses observ\u00e9es et pr\u00e9dites, le RSS<\/a>, la plus petite possible. Le Lasso<\/strong> garde ce crit\u00e8re et lui ajoute un prix : \u03bb fois la somme des valeurs absolues des coefficients.<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-20dd4911bb3fd12f93acc16cf3812916_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"|\beta_j|\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-58051d5522ffa0d5a782d0c98a336980_l3.png\" "\\"Rendered")
mesure ce que le mod\u00e8le \u00ab d\u00e9pense \u00bb en coefficients, et ![\"\lambda \geq 0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-21d0afe89f5d1545ccda3d2bd0d8660a_l3.png\" "\\"Rendered")
est le tarif, un param\u00e8tre de r\u00e9glage que tu fixes toi-m\u00eame. Ce type de p\u00e9nalit\u00e9, sur les valeurs absolues, se nomme p\u00e9nalit\u00e9 \u21131<\/strong> ; le cousin ridge<\/a> p\u00e9nalise au contraire la somme des carr\u00e9s (p\u00e9nalit\u00e9 \u21132).<\/p>\n![\"s\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ae1901659f469e6be883797bfd30f4f8_l3.png\" "\\"Rendered")
revient au m\u00eame probl\u00e8me que la version p\u00e9nalis\u00e9e.<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a224020de7a02b07838eaa4977d6866a_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\beta_1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-002f618dd2d52e6ce129e66c06d48c36_l3.png\" "\\"Rendered")
et ![\"\beta_2\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-153669ba4d14f13c0d9e64613b4b9efc_l3.png\" "\\"Rendered")
, et dessine dans leur plan la zone que le budget autorise. Pour le Lasso, la contrainte ![\"|\beta_1| + |\beta_2| \leq s\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d917e6560412bf0b6e8d806a6bcbc073_l3.png\" "\\"Rendered")
trace un losange dont les coins tombent sur les axes<\/strong> ; pour le ridge, la somme des carr\u00e9s trace un disque.<\/p>\n![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch05_regions_contrainte_ridge_lasso-scaled.png\")