lasso<\/a> ne change qu’un d\u00e9tail, le carr\u00e9 devient une valeur absolue :<\/p>\n
<\/span> <\/span>ce qui revient \u00e0 une contrainte \n\t\t\t\n\t\t\t\tLes ellipses sont les lignes de m\u00eame RSS, centr\u00e9es sur la solution des moindres carr\u00e9s. La solution contrainte est le point o\u00f9 l’ellipse qui s’agrandit touche la r\u00e9gion : sur le losange, ce contact tombe le plus probablement sur un coin, l\u00e0 o\u00f9 un coefficient vaut z\u00e9ro<\/strong> ; sur le disque, aucun point de la fronti\u00e8re n’est privil\u00e9gi\u00e9.<\/figcaption><\/figure>\n\n\nLa cons\u00e9quence est pratique. Ridge inclut toujours les
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> R\u00e9tr\u00e9cir n’est pas \u00e9liminer. Un coefficient ridge tr\u00e8s petit reste un coefficient : le mod\u00e8le utilise encore la variable.<\/p>\n<\/blockquote>\nR\u00e9gulariser un r\u00e9seau de neurones : le m\u00eame geste, un autre contexte<\/h2>\n L’id\u00e9e ne s’arr\u00eate pas aux r\u00e9gressions. Les r\u00e9seaux profonds, avec leurs milliers voire millions de param\u00e8tres, semblent condamn\u00e9s au surajustement ; la p\u00e9nalit\u00e9 ridge s’applique telle quelle aux poids du r\u00e9seau, et le dropout, qui d\u00e9sactive au hasard une fraction des unit\u00e9s cach\u00e9es \u00e0 chaque \u00e9tape, fournit un second m\u00e9canisme.<\/p>\n
Ridge a un concurrent d’une grande simplicit\u00e9 : l’arr\u00eat pr\u00e9coce<\/strong>. On suit l’erreur de validation \u00e0 chaque it\u00e9ration de l’entra\u00eenement et l’on s’arr\u00eate d\u00e8s qu’elle cesse de s’am\u00e9liorer. La diff\u00e9rence de fond : ridge modifie la fonction objectif, l’arr\u00eat pr\u00e9coce n’y touche pas.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Ridge ajoute au RSS une p\u00e9nalit\u00e9 \u03bb sur la somme des carr\u00e9s des coefficients. Il ach\u00e8te de la stabilit\u00e9 avec un peu de biais, r\u00e8gle \u03bb sur des donn\u00e9es de validation, et garde toutes les variables : pour trier les variables, il faut un autre outil.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"La r\u00e9gression ridge ajoute une p\u00e9nalit\u00e9 aux moindres carr\u00e9s. Ce qu’elle change, ce que r\u00e8gle \u03bb, pourquoi elle ne supprime aucune variable.<\/p>\n","protected":false},"author":1,"featured_media":418,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-419","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-maths"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/419","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=419"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/419\/revisions"}],"predecessor-version":[{"id":775,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/419\/revisions\/775"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/418"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=419"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=419"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=419"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"x_0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-87f2a80bc63f8d7bc3df68c45a787402_l3.png\" "\\"Rendered")
se d\u00e9compose exactement en trois morceaux :<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b3c4d1879d45a872976a532639a1fbff_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\hat f(x_0)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a2bce33869271a7afba49f2c14c06308_l3.png\" "\\"Rendered")
est la pr\u00e9diction du mod\u00e8le au point ![\"y_0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d37dc47669aa63f72480eae663d99287_l3.png\" "\\"Rendered")
la vraie r\u00e9ponse, et ![\"\mathrm{Var}(\epsilon)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2f0ad5ae464ad3c985f06586e8a7af2e_l3.png\" "\\"Rendered")
le bruit que personne ne peut \u00e9liminer. Il reste deux termes sur lesquels tu as prise : le carr\u00e9 du biais et la variance.<\/p>\n\n\n![\"Quatre](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch01_decomposition_biais_variance.png\")