r\u00e9gression ordinaire<\/a> se comporte bien quand les colonnes apportent des informations distinctes et que les lignes sont nombreuses. Deux cas la prennent en d\u00e9faut, et la PCR vise les deux.<\/p>\nDes colonnes qui disent presque la m\u00eame chose<\/h3>\n Reprends nos 200 march\u00e9s. Une r\u00e9gression des ventes sur la presse \u00e9crite seule montrait un effet net ; avec la t\u00e9l\u00e9vision et la radio dans le mod\u00e8le, il devient quasiment nul et non significatif. Rien de contradictoire : l\u00e0 o\u00f9 l’on d\u00e9pense plus en radio, on d\u00e9pense aussi plus en presse. Ce ph\u00e9nom\u00e8ne s’appelle la colin\u00e9arit\u00e9<\/strong> : plusieurs pr\u00e9dicteurs sont fortement corr\u00e9l\u00e9s, et leurs effets deviennent difficiles \u00e0 s\u00e9parer.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tCompare les deux cartes : \u00e0 gauche, la cuvette a un fond pr\u00e9cis ; \u00e0 droite, des pr\u00e9dicteurs fortement corr\u00e9l\u00e9s l’\u00e9tirent en une vall\u00e9e \u00e9troite, et la position exacte du minimum devient floue.<\/figcaption><\/figure>\n\n\nUn indicateur chiffre ce flou, le facteur d’inflation de la variance (VIF) : au-del\u00e0 de 5 ou 10<\/strong>, la colin\u00e9arit\u00e9 devient pr\u00e9occupante. Deux rem\u00e8des classiques existent : retirer l’une des variables redondantes, ou combiner les variables colin\u00e9aires en un seul indicateur synth\u00e9tique. Garde cette seconde id\u00e9e en t\u00eate : la PCR travaille exactement dans cet esprit.<\/p>\nPlus de colonnes que de lignes<\/h3>\n Imagine des centaines de milliers de mutations g\u00e9n\u00e9tiques mesur\u00e9es sur quelques centaines de patients, ou des dizaines de milliers de termes pour quelques milliers de documents. Quand le nombre de variables
Dans ce r\u00e9gime, les moindres carr\u00e9s ordinaires deviennent inutilisables : une infinit\u00e9 de solutions<\/strong> reproduisent l’entra\u00eenement sans la moindre erreur (RSS nul), et pr\u00e9disent pourtant tr\u00e8s mal des donn\u00e9es nouvelles. La r\u00e9duction de dimension, elle, reste applicable, parce qu’elle impose au mod\u00e8le final une forme de simplicit\u00e9.<\/p>\nLe principe : changer les colonnes, garder le mod\u00e8le<\/h2>\n La PCR ne touche pas \u00e0 la r\u00e9gression elle-m\u00eame : elle change ce qu’on lui donne \u00e0 manger. On construit Le mod\u00e8le final s’\u00e9crit donc :<\/p>\n
<\/span> <\/span>Les coefficients
Ce proc\u00e9d\u00e9 repose sur une hypoth\u00e8se de travail. Si les directions o\u00f9 les pr\u00e9dicteurs varient le plus sont aussi les plus li\u00e9es \u00e0 la r\u00e9ponse, quelques composantes suffisent \u00e0 porter l’essentiel du signal utile, hypoth\u00e8se raisonnable en pratique mais jamais garantie. Le gain : beaucoup moins de param\u00e8tres \u00e0 estimer, donc moins de risque de surajustement<\/strong>.<\/p>\nFabriquer les composantes<\/h2>\n Pour voir d’o\u00f9 sortent les \n\t\t\t\n\t\t\t\tLe trait plein \u00e9pouse l’\u00e9tirement maximal du nuage : c’est la premi\u00e8re composante. Le pointill\u00e9, perpendiculaire, prend la direction qui reste.<\/figcaption><\/figure>\n\n\nLa premi\u00e8re composante est la combinaison lin\u00e9aire des pr\u00e9dicteurs dont la variance est la plus grande :<\/p>\n
<\/span> <\/span>Chaque
Pour la deuxi\u00e8me, m\u00eame recette sous une condition suppl\u00e9mentaire : aucune corr\u00e9lation avec la premi\u00e8re<\/strong>, ce qui revient \u00e0 lui \u00eatre perpendiculaire. La suite s’encha\u00eene jusqu’\u00e0 \n\t\t\t\n\t\t\t\tRegarde le panneau de droite : chaque observation est r\u00e9duite \u00e0 un seul nombre, sa position le long de PC1. Ce nombre est la valeur de Reviens maintenant au probl\u00e8me du d\u00e9but. Comme deux composantes successives sont non corr\u00e9l\u00e9es, les ne se recoupent plus<\/strong> : l\u00e0 o\u00f9 presse et radio se disputaient un m\u00eame effet, la r\u00e9gression travaille sur des axes ind\u00e9pendants.<\/p>\nChoisir M et l’\u00e9crire en Python<\/h2>\n Le nombre de composantes 5 ou 10 blocs<\/strong>.<\/p>\nImagine un tableau X<\/code> de pr\u00e9dicteurs et une r\u00e9ponse Y<\/code>, d\u00e9j\u00e0 charg\u00e9s, avec un entier M<\/code> \u00e0 tester. Le bloc ci-dessous est une session interactive : In [24]:<\/code> d\u00e9signe la commande num\u00e9ro 24 de la session.<\/p>\nIn [24]: pca = PCA(n_components=M)\n linreg = skl.LinearRegression()\n pipe = Pipeline([('pca', pca),\n ('linreg', linreg)])\n pipe.fit(X, Y)\n<\/code><\/pre>\nChaque ligne a son r\u00f4le : PCA(n_components=M)<\/code> fabrique les skl.LinearRegression()<\/code> est la r\u00e9gression ordinaire, et le Pipeline<\/code> les encha\u00eene, si bien qu’un seul pipe.fit(X, Y)<\/code> ex\u00e9cute les deux temps de la m\u00e9thode. Il reste \u00e0 relancer ce bloc pour chaque valeur de M<\/code> et \u00e0 comparer les erreurs de validation crois\u00e9e.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> La PCR vaut le d\u00e9tour quand tes pr\u00e9dicteurs se recoupent (un VIF au-del\u00e0 de 5 ou 10) ou quand ils d\u00e9passent tes observations en nombre. Elle consiste en deux gestes : fabriquer Deux colonnes qui se recoupent brouillent la r\u00e9gression. La PCR les remplace par des composantes principales : principe, choix de M et code Python.<\/p>\n","protected":false},"author":1,"featured_media":708,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-709","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/709","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=709"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/709\/revisions"}],"predecessor-version":[{"id":785,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/709\/revisions\/785"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/708"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=709"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=709"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=709"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" "\\"Rendered")
pr\u00e9dicteurs par ![\"M < p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-156b2eb1c82bbc119aca5f1ae9122029_l3.png\" "\\"Rendered")
combinaisons lin\u00e9aires, puis on les confie \u00e0 une r\u00e9gression ordinaire.<\/li>\n![\"M\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-10ebb71bad275c1815a8f2a8c5dea0be_l3.png\" "\\"Rendered")
est un r\u00e9glage, fix\u00e9 par validation crois\u00e9e<\/strong>.<\/li>\n<\/ul>\n![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_collinearite_contours_rss-scaled.png\")