Sommaire<\/strong><\/p>\n Devant un nuage de points, le r\u00e9flexe est de croire qu’une m\u00e9thode plus souple fera forc\u00e9ment mieux. Mets-la \u00e0 l’\u00e9preuve avec son concurrent le plus naturel, les K plus proches voisins<\/a> : pour pr\u00e9dire la r\u00e9ponse en un point Le r\u00e9glage de Voici le verdict. Quand la vraie relation est \u00e0 peu pr\u00e8s lin\u00e9aire, la droite gagne presque toujours contre les voisins, m\u00eame avec un \ud83d\udca1 Intuition<\/strong> Les voisins cherchent la forme sans la pr\u00e9supposer ; la droite la devine d’avance. Si ton pari est bon, tu as \u00e9conomis\u00e9 des donn\u00e9es ; s’il est mauvais, c’est toi qui paies.<\/p>\n<\/blockquote>\n Les voisins ne reprennent la main que si la vraie relation s’\u00e9carte nettement de la droite, et cet avantage fond quand le nombre de pr\u00e9dicteurs La droite a son prix, naturellement : elle repose sur une hypoth\u00e8se forte sur la forme de la relation. Elle est simple \u00e0 ajuster, facile \u00e0 interpr\u00e9ter et offre des tests de significativit\u00e9 directs, mais si l’hypoth\u00e8se s’\u00e9loigne trop de la r\u00e9alit\u00e9, sa pr\u00e9cision pr\u00e9dictive en p\u00e2tit<\/strong>. Une m\u00e9thode non param\u00e9trique \u00e9vite l’hypoth\u00e8se, \u00e0 condition de disposer d’un tr\u00e8s grand nombre d’observations.<\/p>\n Garder la droite ne dispense pas de la jauger. Trois lectures te disent vite si elle tient.<\/p>\n L’erreur type r\u00e9siduelle (RSE) est la racine carr\u00e9e de Comme la RSE se mesure dans les unit\u00e9s de la cible, son verdict d\u00e9pend du domaine<\/strong>. Un mod\u00e8le de physique en attendrait une quasi nulle ; en sciences sociales, une RSE bien plus \u00e9lev\u00e9e peut rester honorable.<\/p>\n Le Pour savoir si une pente existe vraiment, on divise l’estimation par son erreur type :<\/p>\n <\/span> <\/span> Cette statistique Un intervalle de confiance \u00e0 95 % s’\u00e9crit Un point aberrant est une observation dont la r\u00e9ponse s’\u00e9carte fortement de la valeur pr\u00e9dite. Il bouge souvent peu la droite, mais il d\u00e9grade nettement la RSE et le Le point \u00e0 fort levier, lui, a une valeur de pr\u00e9dicteur inhabituelle, sans r\u00e9ponse forc\u00e9ment aberrante, et il peut modifier substantiellement la droite. Avec plusieurs pr\u00e9dicteurs il se cache : un point peut para\u00eetre ordinaire sur chaque variable prise seule tout en \u00e9tant atypique une fois toutes consid\u00e9r\u00e9es ensemble<\/strong>. La statistique de levier \u26a0\ufe0f Pi\u00e8ge<\/strong> Regarder chaque colonne l’une apr\u00e8s l’autre ne suffit pas pour d\u00e9tecter un point \u00e0 fort levier : c’est leur combinaison qui le rend atypique.<\/p>\n<\/blockquote>\n Imagine quelques centaines de patients et, pour chacun, des centaines de milliers de mutations g\u00e9n\u00e9tiques mesur\u00e9es. Ou quelques milliers de documents d\u00e9crits par des dizaines de milliers de termes. Les m\u00e9thodes statistiques classiques, dont la droite des moindres carr\u00e9s, ont \u00e9t\u00e9 pens\u00e9es pour La premi\u00e8re touche \u00e0 la pr\u00e9cision. Tant que la relation est \u00e0 peu pr\u00e8s lin\u00e9aire et que La seconde touche \u00e0 la lisibilit\u00e9. Beaucoup de pr\u00e9dicteurs d’un mod\u00e8le multiple ne sont en r\u00e9alit\u00e9 pas associ\u00e9s \u00e0 la r\u00e9ponse, et les moindres carr\u00e9s ordinaires ne mettent presque jamais un coefficient exactement \u00e0 z\u00e9ro. Le mod\u00e8le reste donc inutilement complexe.<\/p>\n Au lieu de laisser les coefficients libres, on les contraint. La r\u00e9gression ridge<\/a> minimise le RSS augment\u00e9 d’une p\u00e9nalit\u00e9 qui punit les gros coefficients :<\/p>\n <\/span> <\/span> o\u00f9 \n
L’essentiel en 30 secondes<\/h2>\n
\n
Pourquoi la droite bat souvent des m\u00e9thodes bien plus souples<\/h2>\n
![\"x_0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-87f2a80bc63f8d7bc3df68c45a787402_l3.png\" "\\"Rendered")
, on moyenne les r\u00e9ponses des ![\"K\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" "\\"Rendered")
observations d’entra\u00eenement les plus proches de .<\/p>\n dose la souplesse. Un petit \u00e9pouse des relations tr\u00e8s irr\u00e9guli\u00e8res, mais la pr\u00e9diction change beaucoup d’un \u00e9chantillon \u00e0 l’autre (variance \u00e9lev\u00e9e). Un grand lisse tout : la pr\u00e9diction se stabilise, au prix d’un biais plus grand, c’est-\u00e0-dire d’une simplification plus grossi\u00e8re.<\/p>\n bien choisi : en imposant la bonne forme d\u00e8s le d\u00e9part, elle garde un biais quasi nul<\/strong> sans payer le co\u00fbt en variance d’une m\u00e9thode non param\u00e9trique.<\/p>\n\n
![\"p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" "\\"Rendered")
grandit. C’est le fl\u00e9au de la dimension<\/strong> : avec beaucoup de pr\u00e9dicteurs, m\u00eame un tr\u00e8s grand jeu de donn\u00e9es n’offre plus de voisins r\u00e9ellement proches. Un mod\u00e8le param\u00e9trique correctement sp\u00e9cifi\u00e9 reste alors souvent pr\u00e9f\u00e9rable d\u00e8s que n’est plus tout petit.<\/p>\nTrois lectures chiffr\u00e9es avant de croire ta droite<\/h2>\n
L’erreur r\u00e9siduelle : de combien te trompes-tu ?<\/h3>\n
![\"\mathrm{RSS}/(n-2)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-f7edcdcb0ed2497ba2716e90607c44c5_l3.png\" "\\"Rendered")
et estime l’\u00e9cart-type de l’erreur ![\"\epsilon\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-729568734d87ffb0f88cf42b1bc6828a_l3.png\" "\\"Rendered")
: grossi\u00e8rement, l’\u00e9cart moyen entre la r\u00e9ponse observ\u00e9e et la vraie droite. Sur un jeu de ventes publicitaires, elle vaut 3,26 : m\u00eame en connaissant les coefficients exacts, chaque pr\u00e9diction resterait fausse d’environ 3 260 unit\u00e9s, soit pr\u00e8s de 23 % des ventes moyennes<\/strong>.<\/p>\n![\"R^2\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3300c1f40e1dcdc79baadc068577395c_l3.png\" "\\"Rendered")
l\u00e8ve ce probl\u00e8me d’\u00e9chelle en exprimant la qualit\u00e9 comme une proportion entre 0 et 1. Avec un seul pr\u00e9dicteur, c’est exactement le carr\u00e9 du coefficient de corr\u00e9lation entre ![\"X\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" "\\"Rendered")
et ![\"Y\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-82606c3098bb09002088b0f6f9ffbb2a_l3.png\" "\\"Rendered")
; l’\u00e9quivalence ne se transpose plus telle quelle d\u00e8s que les pr\u00e9dicteurs se multiplient.<\/p>\nLa pente se distingue-t-elle de z\u00e9ro ?<\/h3>\n
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e120e6fbbde0b43bbc1c57ef8dedd0cd_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4e3cbf5d4c5c6d9b702dd139f14c147_l3.png\" "\\"Rendered")
compte combien d’\u00e9carts-types s\u00e9parent la pente estim\u00e9e ![\"\hat\beta_1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a0f13c67eb468cb4a1e37f91ff997836_l3.png\" "\\"Rendered")
de z\u00e9ro. La p-valeur en tire la probabilit\u00e9 d’observer, par pur hasard, une association aussi forte que celle mesur\u00e9e si la vraie pente valait z\u00e9ro.<\/p>\n![\"\hat\beta_1 \pm 2\,\mathrm{SE}(\hat\beta_1)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7c3950054f458486eeaf37ea9cfdf5e8_l3.png\" "\\"Rendered")
: en r\u00e9p\u00e9tant l’\u00e9chantillonnage un grand nombre de fois, il contiendrait la vraie valeur dans 95 % des cas. Pour la pente li\u00e9e au budget t\u00e9l\u00e9vis\u00e9 des m\u00eames ventes, il vaut [0,042 ; 0,053] : z\u00e9ro est loin<\/strong>, la relation est bien l\u00e0.<\/p>\nLes points qui tirent la droite<\/h3>\n
. Divise son r\u00e9sidu par son erreur type estim\u00e9e : un r\u00e9sidu studentis\u00e9 au-del\u00e0 de 3<\/strong> en valeur absolue signale un point suspect.<\/p>\n![\"h_i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c59cfc50326c96eff701e9f2dda48f94_l3.png\" "\\"Rendered")
le quantifie.<\/p>\n\n
Trop de variables pour trop peu d’observations<\/h2>\n
![\"n \gg p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-32d0efe9d9ccf4bb9648daecb6f3e385_l3.png\" "\\"Rendered")
(beaucoup plus d’observations ![\"n\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b170995d512c659d8668b4e42e1fef6b_l3.png\" "\\"Rendered")
que de variables ) ; ici, c’est le contraire, et l’on parle de haute dimension<\/strong>.<\/p>\nDeux raisons de quitter les moindres carr\u00e9s ordinaires<\/h3>\n
d\u00e9passe largement , les moindres carr\u00e9s ont un faible biais et une faible variance. Quand cesse de dominer nettement , la variance explose<\/strong> ; et si d\u00e9passe , il n’existe plus de solution unique.<\/p>\nR\u00e9tr\u00e9cir les coefficients : ridge ou lasso<\/h3>\n
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-42632361846fd26726229db2fd87727f_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\lambda \geq 0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-21d0afe89f5d1545ccda3d2bd0d8660a_l3.png\" "\\"Rendered")
r\u00e8gle la s\u00e9v\u00e9rit\u00e9 de la contrainte. La p\u00e9nalit\u00e9 \u00e9pargne l’ordonn\u00e9e \u00e0 l’origine ![\"\beta_0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e8e6326368351396d0034aff61919281_l3.png\" "\\"Rendered")
, qui n’est que la moyenne de la r\u00e9ponse. Contrairement aux moindres carr\u00e9s, les coefficients ridge d\u00e9pendent fortement de l’\u00e9chelle des pr\u00e9dicteurs : standardise-les<\/strong> (moyenne nulle, \u00e9cart-type un) avant d’ajuster.<\/p>\n
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-20dd4911bb3fd12f93acc16cf3812916_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\lambda\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2b5c45836864531b8e37025dabadd24a_l3.png\" "\\"Rendered")
est assez grand, certains coefficients deviennent exactement nuls<\/strong>. Le lasso fait donc de la s\u00e9lection de variables et produit des mod\u00e8les parcimonieux, bien plus lisibles qu’un ridge qui garde syst\u00e9matiquement les ![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch05_chemin_coefficients_ridge_lasso-scaled.png\")