r\u00e9gression<\/strong> ; quand c’est une cat\u00e9gorie, de classification. Dans le premier cas, tu cherches \u00e0 traduire les caract\u00e9ristiques d’une nouvelle observation en un nombre.<\/p>\nPour \u00e9crire cela, on pose que la r\u00e9ponse
<\/span> <\/span>o\u00f9 toute l’information que Estimer une fonction enti\u00e8rement arbitraire en
<\/span> <\/span>Il ne reste qu’\u00e0 estimer
Une m\u00e9thode qui proc\u00e8de ainsi, en posant une hypoth\u00e8se sur la forme de param\u00e9trique<\/strong>. Avec un seul pr\u00e9dicteur, le r\u00e9sultat s’\u00e9crit l’estimation sera mauvaise<\/strong>.<\/p>\nPr\u00e9dire ou comprendre : \u00e0 quoi sert la droite<\/h2>\n On estime
La premi\u00e8re est de pr\u00e9dire<\/strong>. Les entr\u00e9es sont faciles \u00e0 mesurer, la sortie ne l’est pas : on calcule La seconde est de comprendre<\/strong>. Ici Les deux objectifs se m\u00e9langent souvent. Le mod\u00e8le lin\u00e9aire offre alors une inf\u00e9rence simple et lisible<\/strong>, au prix d’une pr\u00e9cision parfois inf\u00e9rieure \u00e0 celle d’approches plus souples, dont l’interpr\u00e9tation est en retour bien plus difficile.<\/p>\nM\u00eame avec une estimation parfaite de
<\/span> <\/span>La premi\u00e8re vient de l’\u00e9cart entre la vraie
\n\ud83d\udca1 Intuition<\/strong> L’erreur irr\u00e9ductible est un plancher : aucune droite, aucun mod\u00e8le<\/strong> ne descendra en dessous, et sa valeur reste presque toujours inconnue en pratique.<\/p>\n<\/blockquote>\nJuger une droite : la moyenne des carr\u00e9s des \u00e9carts<\/h2>\n Pour choisir parmi toutes les droites possibles, il faut un score. En r\u00e9gression, la mesure de r\u00e9f\u00e9rence est l’erreur quadratique moyenne (MSE), la moyenne des carr\u00e9s des \u00e9carts entre valeurs observ\u00e9es et valeurs pr\u00e9dites :<\/p>\n
<\/span> <\/span>Chaque \u00e9cart \n\t\t\t\n\t\t\t\tChaque segment gris est un r\u00e9sidu. La droite orange est celle pour laquelle la somme de leurs carr\u00e9s est la plus petite : toute autre droite, plus pench\u00e9e ou plus haute, allongerait l’ensemble des segments.<\/figcaption><\/figure>\n\n\nPourquoi des carr\u00e9s et pas des valeurs absolues ? Les deux sont envisageables, mais la valeur absolue n’est pas d\u00e9rivable<\/strong>, ce qui g\u00eane la suite du calcul. Le carr\u00e9 r\u00e8gle ce souci : c’est la m\u00e9thode des moindres carr\u00e9s.<\/p>\nReste un pi\u00e8ge. Calcul\u00e9e sur les donn\u00e9es qui ont servi \u00e0 ajuster le mod\u00e8le, la MSE s’appelle MSE d’entra\u00eenement ; or tu connais d\u00e9j\u00e0 ces r\u00e9ponses. Ce qui t’int\u00e9resse, c’est la capacit\u00e9 \u00e0 pr\u00e9dire des observations nouvelles<\/strong> : la MSE de test. On en prend souvent la racine, qui s’exprime dans la m\u00eame unit\u00e9 que la cible.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde l’\u00e9cart entre les deux courbes : l’erreur d’entra\u00eenement ne cesse de baisser quand le mod\u00e8le gagne en souplesse, alors que l’erreur de test suit un U. Le point bas du U est le niveau de souplesse qui pr\u00e9dit le mieux le futur.<\/figcaption><\/figure>\n\n\nDeux fa\u00e7ons de calculer les coefficients<\/h2>\n Une fois le score choisi, il reste \u00e0 trouver les coefficients qui le minimisent. Deux routes m\u00e8nent au m\u00eame point.<\/p>\n
D’un seul coup : l’\u00e9quation normale<\/h3>\n Minimiser le co\u00fbt revient \u00e0 annuler ses d\u00e9riv\u00e9es partielles, c’est-\u00e0-dire sa pente par rapport \u00e0 chaque coefficient, les autres \u00e9tant tenus constants. Avec une seule variable, on obtient un syst\u00e8me de deux \u00e9quations lin\u00e9aires, que l’on r\u00e9sout explicitement.<\/p>\n
Une condition suffit pour que la solution existe : tes valeurs Avec plusieurs variables, on range les \u00e9quation normale<\/strong>,<\/p>\n
<\/span> <\/span>qui g\u00e9n\u00e9ralise \u00e0
Pas \u00e0 pas : la descente de gradient<\/h3>\n Cette solution exacte suppose de calculer co\u00fbteuse, voire impossible<\/strong> quand la matrice n’est pas inversible ou que les variables sont tr\u00e8s nombreuses. On pr\u00e9f\u00e8re alors une m\u00e9thode it\u00e9rative : partir de valeurs quelconques des coefficients, puis les mettre \u00e0 jour en se d\u00e9pla\u00e7ant dans la direction oppos\u00e9e au gradient, jusqu’\u00e0 ce que l’erreur devienne assez petite.<\/p>\nLe gradient pointe vers la plus forte augmentation de la fonction ; aller \u00e0 l’oppos\u00e9 la fait donc d\u00e9cro\u00eetre. Chaque pas a une taille, le taux d’apprentissage : trop grand, tu d\u00e9passes le minimum sans jamais t’en rapprocher ; trop petit, la convergence devient extr\u00eamement lente.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis la trajectoire orange : \u00e0 chaque pas, le point traverse perpendiculairement la ligne de niveau o\u00f9 il se trouve et se rapproche du centre. Appliqu\u00e9e \u00e0 une r\u00e9gression lin\u00e9aire, la m\u00e9thode converge peu \u00e0 peu vers la m\u00eame solution que la formule ferm\u00e9e<\/strong>.<\/figcaption><\/figure>\n\n\n\n\n\t\t\t\n\t\t\t\tLa courbe montre l’erreur d’ajustement, qui tombe d’environ 270 \u00e0 moins de 50 en dix it\u00e9rations, puis s’aplatit lentement vers z\u00e9ro.<\/figcaption><\/figure>\n\n\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Avant une descente de gradient, ram\u00e8ne tes variables \u00e0 une m\u00eame \u00e9chelle<\/strong>, par exemple entre 0 et 1 : sans cela, une variable aux grandes valeurs domine le calcul du gradient du seul fait de son \u00e9chelle.<\/p>\n<\/blockquote>\nCe que la droite suppose sur le bruit<\/h2>\n Le m\u00eame probl\u00e8me se reformule avec des probabilit\u00e9s :
En maximisant la vraisemblance sous ces hypoth\u00e8ses, on retrouve exactement la m\u00eame \u00e9quation normale<\/strong>, et l’on obtient en prime un estimateur de la variance du bruit. Les coefficients ainsi calcul\u00e9s sont non biais\u00e9s : sur de nombreux \u00e9chantillons, ils tombent en moyenne sur les vraies valeurs.<\/p>\nUn mod\u00e8le rigide face aux mod\u00e8les souples<\/h2>\n Cette hypoth\u00e8se de droite a un co\u00fbt, que le compromis biais-variance d\u00e9crit bien. Le biais<\/strong> est l’erreur introduite quand on approxime un ph\u00e9nom\u00e8ne complexe par un mod\u00e8le trop simple : la r\u00e9gression lin\u00e9aire en introduit n\u00e9cessairement d\u00e8s que la vraie relation n’est pas lin\u00e9aire. La variance<\/strong> mesure \u00e0 quel point le mod\u00e8le changerait si on l’estimait sur un autre \u00e9chantillon.<\/p>\nUn test parlant : coupe un m\u00eame jeu de donn\u00e9es en deux moiti\u00e9s et ajuste chacune. Une r\u00e9gression lin\u00e9aire simple donne des droites quasi identiques, signe d’une faible variance. Un polyn\u00f4me de degr\u00e9 5 ajust\u00e9 s\u00e9par\u00e9ment produit des courbes sensiblement diff\u00e9rentes : forte variance.<\/p>\n
<\/span> <\/span>L’erreur de test attendue est la somme de la variance, du carr\u00e9 du biais et du bruit irr\u00e9ductible. Plus une m\u00e9thode est flexible, plus son biais baisse et sa variance monte : au d\u00e9but le biais chute plus vite, puis l’inverse se produit, d’o\u00f9 le U de l’erreur de test.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tLa droite se situe tout \u00e0 gauche de cet axe : peu flexible, donc biais\u00e9e si la relation est courbe, mais tr\u00e8s stable d’un \u00e9chantillon \u00e0 l’autre.<\/figcaption><\/figure>\n\n\nSa stabilit\u00e9 a pourtant une limite. Tant que elle explose<\/strong> ; et si Le rem\u00e8de classique est la r\u00e9gression ridge<\/a> : on ajoute \u00e0 l’objectif des moindres carr\u00e9s une p\u00e9nalit\u00e9 proportionnelle \u00e0 la somme des carr\u00e9s des coefficients, r\u00e9gl\u00e9e par un param\u00e8tre les coefficients r\u00e9tr\u00e9cissent<\/strong>. L’estimateur devient l\u00e9g\u00e8rement biais\u00e9, mais sa variance diminue parfois consid\u00e9rablement, et on choisit Voir tourner une r\u00e9gression avec scikit-learn<\/h2>\n Passons \u00e0 la pratique. Tu as un fichier de couples LinearRegression<\/code> de scikit-learn et mesure le coefficient de d\u00e9termination from sklearn.model_selection import train_test_split\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.metrics import r2_score\nimport matplotlib.pyplot as plt\nimport pandas as pd\nimport numpy as np\n\n# Load cleaned dataset\ncleaned_data = pd.read_csv('cleaned_data.csv')\n\nX_clean = cleaned_data[['X']].values\ny_clean = cleaned_data['Y'].values\n\n# Split data (70% train, 30% test)\nX_train, X_test, y_train, y_test = train_test_split(\nX_clean, y_clean, test_size=0.3, random_state=42)\n\n# Train model\nmodel = LinearRegression()\nmodel.fit(X_train, y_train)\n\n# Predict and evaluate\ny_pred = model.predict(X_test)\n\ntrain_r2 = r2_score(y_train, model.predict(X_train))\ntest_r2 = r2_score(y_test, y_pred)\n\nprint("\\nModel Report:")\nprint(f"Coefficient (slope): {model.coef_[0]:.4f}")\nprint(f"Intercept: {model.intercept_:.4f}")\nprint(f"Training R\u00b2: {train_r2:.4f}")\nprint(f"Test R\u00b2: {test_r2:.4f}")\n<\/code><\/pre>\nX_clean<\/code> contient le pr\u00e9dicteur et y_clean<\/code> la r\u00e9ponse ; train_test_split<\/code> en r\u00e9serve 30 % pour le test. L’ajustement se fait sur l’entra\u00eenement seul (model.fit<\/code>), puis model.predict<\/code> produit les pr\u00e9dictions sur le test. Les lignes d’affichage te rendent la pente (coef_<\/code>) et l’ordonn\u00e9e \u00e0 l’origine (intercept_<\/code>) : ce sont Le script applique une r\u00e8gle simple : un mod\u00e8le s’entra\u00eene sur l’ensemble d’entra\u00eenement, se r\u00e8gle sur un ensemble de validation et s’\u00e9value enfin sur un ensemble de test que le mod\u00e8le n’a jamais vu<\/strong>.<\/p>\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Un Quatre id\u00e9es re\u00e7ues sur la droite et ses chiffres<\/h2>\n \u00ab Mon R\u00b2 a mont\u00e9, mon mod\u00e8le est meilleur. \u00bb<\/strong> Pas forc\u00e9ment : le \u00ab Ce coefficient est significatif : le lien est r\u00e9el. \u00bb<\/strong> Avec un grand nombre de pr\u00e9dicteurs, tu t’attends \u00e0 voir par pur hasard quelques p-valeurs individuelles sous 0,05, m\u00eame sans aucune vraie association. La statistique \u00ab La pr\u00e9diction est un chiffre exact. \u00bb<\/strong> Trois sources d’incertitude s’accumulent : l’impr\u00e9cision des coefficients, l’approximation de supposer lstat = 10<\/code>), la m\u00eame pr\u00e9diction de 25,05 est entour\u00e9e d’un intervalle de confiance \u00e0 95 % de (24,47 ; 25,63) pour la r\u00e9ponse moyenne, mais d’un intervalle de pr\u00e9diction bien plus large<\/strong>, (12,82 ; 37,28), pour une observation individuelle.<\/p>\n\u00ab Ce lien prouve une influence. \u00bb<\/strong> Une r\u00e9gression simple peut attribuer \u00e0 une variable l’effet d’une autre qui lui est corr\u00e9l\u00e9e. C’est le m\u00e9canisme des ventes de glaces et des attaques de requins : ce n’est pas la glace qui attire les requins, mais la chaleur qui pousse \u00e0 la fois \u00e0 consommer des glaces et \u00e0 se baigner.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Une r\u00e9gression lin\u00e9aire pose que la r\u00e9ponse est une combinaison lin\u00e9aire des pr\u00e9dicteurs plus un bruit, cherche les coefficients qui minimisent la moyenne des carr\u00e9s des \u00e9carts, et ne vaut que par ce qu’elle pr\u00e9dit sur des donn\u00e9es nouvelles.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Une r\u00e9gression lin\u00e9aire pr\u00e9dit un nombre \u00e0 partir d’autres nombres. Ce qu’elle suppose, comment on trouve sa droite, et les id\u00e9es re\u00e7ues \u00e0 \u00e9carter.<\/p>\n","protected":false},"author":1,"featured_media":303,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-304","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/304","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=304"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/304\/revisions"}],"predecessor-version":[{"id":810,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/304\/revisions\/810"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/303"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=304"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=304"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=304"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"X\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" "\\"Rendered")
et le r\u00e9sultat ![\"Y\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-82606c3098bb09002088b0f6f9ffbb2a_l3.png\" "\\"Rendered")
qui l’a suivie, et on te demande de deviner le ![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-18aa7c1f1a2341107fcccf2d4f3711f7_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"f\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-9c09a708375fde2676da319bcdfe8b24_l3.png\" "\\"Rendered")
est une fonction fixe mais inconnue des pr\u00e9dicteurs ![\"X = (X_1, \dots, X_p)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-88b87db0530fe655bff3b22ae18362be_l3.png\" "\\"Rendered")
et ![\"\epsilon\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-729568734d87ffb0f88cf42b1bc6828a_l3.png\" "\\"Rendered")
un terme d’erreur al\u00e9atoire, ind\u00e9pendant de ![\"p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" "\\"Rendered")
dimensions est un chantier sans fin. La r\u00e9gression lin\u00e9aire le raccourcit par un pari : ![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2445e9bf0cf241783cd31e6fcb2d4cfd_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"p + 1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-eb1b983c54c63d874f699ecd7fd3da66_l3.png\" "\\"Rendered")
nombres : l’ordonn\u00e9e \u00e0 l’origine ![\"\beta_0\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e8e6326368351396d0034aff61919281_l3.png\" "\\"Rendered")
et les pentes ![\"\beta_1, \dots, \beta_p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d522605f05ed1e878ff5f3c893244dc5_l3.png\" "\\"Rendered")
(on les trouve aussi not\u00e9es ![\"a_0, a_1, \dots\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e31dabab3b5e6553dc101cf2ba2da131_l3.png\" "\\"Rendered")
).<\/p>\n![\"\hat y = \hat\beta_0 + \hat\beta_1 x\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-762833a3e2f6cbe3d2908e81e13ea8c4_l3.png\" "\\"Rendered")
: les chapeaux signalent des estimations tir\u00e9es des donn\u00e9es, par opposition aux vrais coefficients, inconnus. Le prix du pari est clair : si la forme choisie s’\u00e9carte trop de la r\u00e9alit\u00e9, l’estimation sera mauvaise<\/strong>.<\/p>\n![\"\hat Y = \hat f(X)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b19aa5222c030599085de44880aca47c_l3.png\" "\\"Rendered")
et la forme exacte de ![\"\hat f\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c4e596600f1870f7672c5a0a81e1a827_l3.png\" "\\"Rendered")
importe peu, du moment que les pr\u00e9dictions sont pr\u00e9cises. Imagine estimer, \u00e0 partir de mesures sanguines faciles \u00e0 obtenir, le risque d’une r\u00e9action ind\u00e9sirable grave \u00e0 un m\u00e9dicament : l’objectif est de ne pas le prescrire aux patients \u00e0 haut risque, sans se soucier du m\u00e9canisme biologique.<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-433d8a0f8f804ea69c288d9d19963dbb_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d06595b8f429705627aa119beb7a286e_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"y_i - \hat y_i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7b5d14a6d090c208f2258ffedd5534f0_l3.png\" "\\"Rendered")
porte le nom de r\u00e9sidu.<\/p>\n\n\n![\"Nuage](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/09\/b2_ch02_droite_regression_moindres_carres.png\")