Cette courbe en S transforme une combinaison des entr\u00e9es en une probabilit\u00e9 ; la ligne pointill\u00e9e est l\u00e0 o\u00f9 cette probabilit\u00e9 vaut exactement 0,5, c’est-\u00e0-dire l\u00e0 o\u00f9 le mod\u00e8le bascule d’une classe \u00e0 l’autre.<\/figcaption><\/figure>\n\n\nUn cas concret en code : qui va faire d\u00e9faut sur sa carte ?<\/h2>\n Passons \u00e0 des donn\u00e9es chiffr\u00e9es. Question pos\u00e9e aux donn\u00e9es : une personne va-t-elle manquer le remboursement de sa carte de cr\u00e9dit (Oui ou Non), quand on ne conna\u00eet que le solde mensuel de sa carte et son revenu sur l’ann\u00e9e ? Le taux de d\u00e9faut global n’est que d’environ 3 %<\/strong>, mais les individus en d\u00e9faut pr\u00e9sentent des soldes nettement plus \u00e9lev\u00e9s que les autres.<\/p>\nLes lignes In [n]:<\/code> et Out[n]:<\/code> ci-dessous sont les entr\u00e9es et les sorties num\u00e9rot\u00e9es d’une session Python interactive. Default<\/code> d\u00e9signe le tableau des clients ; MS<\/code> et sm<\/code> sont des outils d\u00e9j\u00e0 import\u00e9s.<\/p>\nIn [12]: X = MS(['balance']).fit_transform(Default)\n y = Default.default == 'Yes'\n glm = sm.GLM(y, X, family=sm.families.Binomial())\n results = glm.fit()\n summarize(results)\nOut[12]:\n coef std err z P>|z|\nintercept -10.6513 0.361 -29.491 0.0\nbalance 0.0055 0.000 24.952 0.0\n<\/code><\/pre>\nX<\/code> ne garde que le solde (balance<\/code>) comme pr\u00e9dicteur, y<\/code> vaut vrai quand le client est en d\u00e9faut, et sm.GLM<\/code> avec la famille Binomial()<\/code> ajuste une r\u00e9gression logistique. Le mod\u00e8le apprend deux nombres : une ordonn\u00e9e \u00e0 l’origine de Reste \u00e0 transformer les probabilit\u00e9s en d\u00e9cisions. Le code suivant utilise results<\/code>, le mod\u00e8le ajust\u00e9 ci-dessus, fixe un seuil \u00e0 50 % et croise les pr\u00e9dictions avec la r\u00e9alit\u00e9 :<\/p>\nIn [15]: probs = results.predict()\n labels = np.array(['No']*10000)\n labels[probs>0.5] = "Yes"\n confusion_table(labels, Default.default)\n<\/code><\/pre>\nOn part de 10 000 \u00e9tiquettes \u00ab No \u00bb, on bascule en \u00ab Yes \u00bb tous les clients dont la probabilit\u00e9 d\u00e9passe 0,5, puis confusion_table<\/code> fabrique le tableau qui croise pr\u00e9dictions et statut r\u00e9el. En faisant varier le seuil<\/strong>, tu explores le compromis entre les deux types d’erreur.<\/p>\nUn mod\u00e8le supervis\u00e9 se construit \u00e0 partir de trois ensembles de donn\u00e9es<\/strong> aux r\u00f4les distincts. L’ensemble d’entra\u00eenement sert \u00e0 apprendre la relation entre entr\u00e9es et cibles. L’ensemble de validation guide le choix des hyperparam\u00e8tres<\/strong>, des r\u00e9glages fix\u00e9s \u00e0 l’avance par toi plut\u00f4t qu’appris par le mod\u00e8le. L’ensemble de test, enfin, est r\u00e9serv\u00e9 \u00e0 l’\u00e9valuation finale : le mod\u00e8le ne doit jamais l’avoir vu.<\/p>\nL’objectif n’est jamais de m\u00e9moriser parfaitement les exemples, mais de bien g\u00e9n\u00e9raliser \u00e0 de nouvelles donn\u00e9es<\/strong>. Tout ce qui suit sert cette id\u00e9e.<\/p>\nFixer une forme, puis ajuster ses coefficients<\/h3>\n Le plus simple pour r\u00e9duire le probl\u00e8me est de supposer une forme pour
<\/span> <\/span>\n\t\t\t\n\t\t\t\tChaque segment gris est l’\u00e9cart entre une observation et la droite, un r\u00e9sidu. La droite retenue est celle qui rend la somme des carr\u00e9s de ces \u00e9carts la plus petite possible.<\/figcaption><\/figure>\n\n\nCette hypoth\u00e8se a un prix : le mod\u00e8le choisi ne correspond en g\u00e9n\u00e9ral pas exactement \u00e0 la vraie forme de aucune hypoth\u00e8se sur la forme<\/strong> de Mesurer l’erreur<\/h3>\n En r\u00e9gression, l’erreur quadratique moyenne et sa racine mesurent l’\u00e9cart moyen entre valeurs pr\u00e9dites et observ\u00e9es ; la racine, exprim\u00e9e dans la m\u00eame unit\u00e9 que la cible, est souvent pr\u00e9f\u00e9r\u00e9e. Sur les ventes de ton client, m\u00eame avec les coefficients exacts, tes pr\u00e9visions de ventes se tromperaient encore en moyenne d’environ 3 260 unit\u00e9s<\/strong>, soit pr\u00e8s d’un quart des ventes moyennes. Cette lecture d\u00e9pend du contexte : un mod\u00e8le de physique attendrait une erreur quasi nulle, alors qu’en sciences sociales une erreur bien plus \u00e9lev\u00e9e peut rester honorable.<\/p>\nEn classification, on compte les observations mal class\u00e9es. Dans les deux cas, on distingue l’erreur d’entra\u00eenement de l’erreur de test, et c’est la seconde qui nous int\u00e9resse en priorit\u00e9.<\/p>\n
Des exemples propres avant tout<\/h3>\n Avant de mod\u00e9liser, quelques v\u00e9rifications \u00e9vitent des mod\u00e8les trompeurs :<\/p>\n
\nClasses d\u00e9s\u00e9quilibr\u00e9es<\/strong> : si une classe domine, un mod\u00e8le entra\u00een\u00e9 sans pr\u00e9caution pr\u00e9dit toujours cette classe ; avec seulement 3 % de d\u00e9fauts, un mod\u00e8le paresseux qui r\u00e9pondrait toujours \u00ab non \u00bb aurait presque toujours raison. On r\u00e9\u00e9quilibre en sous-\u00e9chantillonnant la classe majoritaire ou en sur-\u00e9chantillonnant la minoritaire.<\/li>\nIncoh\u00e9rences : des donn\u00e9es identiques en apparence mais associ\u00e9es \u00e0 des cibles diff\u00e9rentes signalent souvent qu’il manque une caract\u00e9ristique explicative, comme l’\u00e2ge d’un client dans une pr\u00e9diction d’achat.<\/li>\n Valeurs manquantes<\/strong> : si les donn\u00e9es restantes suffisent, mieux vaut retirer les observations concern\u00e9es que les remplacer par la moyenne, qui risque d’introduire un biais.<\/li>\n<\/ul>\nLe pi\u00e8ge de l’apprentissage par c\u0153ur<\/h2>\n\u00ab Le meilleur mod\u00e8le est celui qui colle le mieux aux exemples \u00bb<\/h3>\n Sans donn\u00e9es de test sous la main, on pourrait choisir la m\u00e9thode qui minimise l’erreur d’entra\u00eenement. C’est une tentation dangereuse : rien ne garantit qu’elle minimise aussi l’erreur de test. \u00c0 mesure que la flexibilit\u00e9 d’une m\u00e9thode augmente, l’erreur d’entra\u00eenement baisse sans cesse<\/strong>, alors que l’erreur de test dessine typiquement une courbe en U.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis la courbe orange : elle descend jusqu’\u00e0 l’optimum, puis remonte. Au-del\u00e0, le mod\u00e8le est devenu si souple qu’il \u00e9pouse le bruit propre aux exemples plut\u00f4t que la structure partag\u00e9e avec les nouveaux cas. On parle de surajustement pr\u00e9cis\u00e9ment quand une m\u00e9thode moins flexible aurait obtenu une erreur de test plus faible.<\/figcaption><\/figure>\n\n\nUn m\u00eame jeu de donn\u00e9es bruit\u00e9es illustre les trois r\u00e9gimes. Un mod\u00e8le lin\u00e9aire trop simple ignore la structure sinuso\u00efdale sous-jacente : c’est le sous-apprentissage. Un polyn\u00f4me de degr\u00e9 mod\u00e9r\u00e9 la capte fid\u00e8lement. Un polyn\u00f4me de degr\u00e9 tr\u00e8s \u00e9lev\u00e9 \u00e9pouse jusqu’au moindre bruit, au d\u00e9triment de toute g\u00e9n\u00e9ralisation.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tL’image se lit de gauche \u00e0 droite : \u00e0 gauche la droite rate la tendance, au centre la courbe la suit, \u00e0 droite elle colle aux points au point de perdre toute valeur pour de nouveaux cas. Ajouter des caract\u00e9ristiques ou complexifier le mod\u00e8le rem\u00e9die au sous-apprentissage ; pour le sur-apprentissage, on p\u00e9nalise artificiellement la complexit\u00e9, par la r\u00e9gression ridge (un terme de p\u00e9nalit\u00e9 proportionnel \u00e0 la somme des carr\u00e9s des coefficients) ou l’arr\u00eat pr\u00e9coce.<\/figcaption><\/figure>\n\n\n\u00ab Plus un mod\u00e8le est souple, mieux il pr\u00e9dit \u00bb<\/h3>\n Si ton but est purement pr\u00e9dictif, ne faut-il pas toujours choisir la m\u00e9thode la plus flexible ? La r\u00e9ponse est non, et c’est l’un des constats les plus contre-intuitifs du domaine. Une m\u00e9thode tr\u00e8s souple se montre parfois moins pr\u00e9cise sur des cas nouveaux<\/strong> qu’une m\u00e9thode plus simple, justement parce qu’elle s’ajuste trop.<\/p>\n\u00ab Une m\u00e9thode finit toujours par l’emporter \u00bb<\/h3>\n Il n’existe pas de m\u00e9thode universellement meilleure<\/strong> que les autres : sur un jeu de donn\u00e9es donn\u00e9, l’une fonctionne le mieux, mais une autre l’emportera sur un jeu voisin mais diff\u00e9rent. Choisir est donc une \u00e9tape essentielle et souvent d\u00e9licate.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Un bon mod\u00e8le supervis\u00e9 se juge sur ce qu’il fait des cas qu’il n’a pas vus, jamais sur sa fid\u00e9lit\u00e9 aux exemples d’entra\u00eenement.<\/p>\n<\/blockquote>\nCe qui change quand il n’y a plus de r\u00e9ponse \u00e0 comparer<\/h2>\n L’apprentissage non supervis\u00e9 observe un vecteur de mesures
Cela change surtout la fa\u00e7on de juger le r\u00e9sultat. Sans \u00ab bonne r\u00e9ponse \u00bb \u00e0 comparer, il n’existe aucune fa\u00e7on directe<\/strong> de calculer une erreur de test ou d’appliquer la validation crois\u00e9e. Le r\u00e9sultat reste, par nature, plus exploratoire.<\/p>\nLe regroupement exige donc du jugement : faut-il standardiser les variables ? Quelle mesure de dissimilarit\u00e9 choisir ? Combien de groupes retenir ? Ces choix peuvent modifier substantiellement les groupes obtenus, alors qu’en supervis\u00e9 l’erreur de test offre un crit\u00e8re relativement objectif<\/strong> entre mod\u00e8les concurrents. Pour les lign\u00e9es canc\u00e9reuses, les groupes se sont pourtant r\u00e9v\u00e9l\u00e9s coh\u00e9rents avec les 14 types de cancer r\u00e9ellement pr\u00e9sents, alors que cette information n’avait pas servi \u00e0 les former.<\/p>\nEntre les deux, il arrive qu’on dispose des r\u00e9ponses pour une partie seulement des observations : on parle d’apprentissage semi-supervis\u00e9, ce qui rappelle que ces cat\u00e9gories ne sont pas cloisonn\u00e9es.<\/p>\n
Enfin, l’approche d\u00e9borde largement la statistique classique : l’ajustement par instructions d’un mod\u00e8le de langage<\/a>, qui le rend plus apte \u00e0 suivre des consignes, est une sous-cat\u00e9gorie de l’apprentissage supervis\u00e9.<\/p>","protected":false},"excerpt":{"rendered":"Entr\u00e9es, sortie, erreur de test, surajustement : comprends ce qu’est l’apprentissage supervis\u00e9, de la r\u00e9gression \u00e0 la classification, avec des cas chiffr\u00e9s.<\/p>\n","protected":false},"author":1,"featured_media":375,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-376","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/376","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=376"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/376\/revisions"}],"predecessor-version":[{"id":790,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/376\/revisions\/790"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/375"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=376"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=376"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=376"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"X\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" "\\"Rendered")
avec un indice pour les distinguer : ![\"X_1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-451209c728f2696c4f1d6415233754c9_l3.png\" "\\"Rendered")
pour la t\u00e9l\u00e9vision, ![\"X_2\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e81eda0cf26ae2d4609b3681d327ed2c_l3.png\" "\\"Rendered")
pour la radio, ![\"X_3\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c08d7974ac81a8d454dcc330f686c21d_l3.png\" "\\"Rendered")
pour la presse. Les ventes forment la variable de sortie, not\u00e9e ![\"Y\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-82606c3098bb09002088b0f6f9ffbb2a_l3.png\" "\\"Rendered")
. On parle aussi de pr\u00e9dicteurs ou de features<\/em> pour les entr\u00e9es, et de r\u00e9ponse pour la sortie.<\/p>\n![\"x_i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c8700e0258243116de0d4f288e2e3b44_l3.png\" "\\"Rendered")
est ainsi accompagn\u00e9e d’une mesure de r\u00e9ponse ![\"y_i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-bb3c186e5c65fcd066bb23dec8f4e48a_l3.png\" "\\"Rendered")
: cette r\u00e9ponse \u00ab supervise \u00bb l’analyse, au sens o\u00f9 elle sert de rep\u00e8re.<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-18aa7c1f1a2341107fcccf2d4f3711f7_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"X = (X_1, \dots, X_p)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-88b87db0530fe655bff3b22ae18362be_l3.png\" "\\"Rendered")
. La lettre ![\"f\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-9c09a708375fde2676da319bcdfe8b24_l3.png\" "\\"Rendered")
d\u00e9signe une r\u00e8gle fixe, que personne ne conna\u00eet, qui fait passer des entr\u00e9es \u00e0 la sortie ; ![\"\epsilon\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-729568734d87ffb0f88cf42b1bc6828a_l3.png\" "\\"Rendered")
est un al\u00e9a de moyenne nulle, sans lien avec ![\"\hat{Y} = \hat{f}(X)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-89717ab53c550f5c1933f1938e453d61_l3.png\" "\\"Rendered")
, o\u00f9 ![\"\hat{f}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-951d9dd89ec5b9234d00b1ec6f24bd53_l3.png\" "\\"Rendered")
est ton estimation de ![\"Nuage](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch01_tradeoff_flexibilite_interpretabilite.png\")