matrice de covariance<\/a> Le r\u00e9sultat cl\u00e9 est que les composantes principales sont les vecteurs propres de
<\/span> <\/span>c’est-\u00e0-dire que la variance captur\u00e9e \u00e9gale la valeur propre<\/strong> : la premi\u00e8re composante porte exactement Combien d’axes garder ?<\/h3>\n Chaque composante porte une part de la variance totale. Le rapport<\/p>\n
<\/span> <\/span>donne le pourcentage de variation captur\u00e9 par la
On lit cette proportion de variance expliqu\u00e9e sur un scree plot<\/strong>, ou graphique d’\u00e9boulis : il la trace pour chaque composante, par ordre d\u00e9croissant. On y cherche un coude, au-del\u00e0 duquel les composantes suppl\u00e9mentaires ne rajoutent plus qu’une contribution marginale.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Pour les moineaux, les deux premi\u00e8res composantes portent pr\u00e8s de 83 % de la variance totale : c’est ce chiffre qui autorise \u00e0 dessiner la carte en deux dimensions et \u00e0 y chercher les individus atypiques.<\/p>\n<\/blockquote>\nLe m\u00eame calcul en Python<\/h3>\n Imagine maintenant que tu tiens un tableau de mesures, ici USArrests<\/code>, d\u00e9j\u00e0 charg\u00e9, et que tu veux savoir combien d’axes en r\u00e9sument l’essentiel. Les blocs ci-dessous sont des sessions Python interactives : In [n]:<\/code> marque une commande que tu tapes, num\u00e9rot\u00e9e dans l’ordre de la session.<\/p>\nIn [8]: scaler = StandardScaler(with_std=True,\n with_mean=True)\n USArrests_scaled = scaler.fit_transform(USArrests)\n pcaUS = PCA()\n pcaUS.fit(USArrests_scaled)\n\nIn [12]: pcaUS.explained_variance_ratio_\n<\/code><\/pre>\nStandardScaler<\/code> centre et r\u00e9duit les variables, ce qui correspond \u00e0 la premi\u00e8re \u00e9tape de la recette ; PCA()<\/code> calcule les composantes. L’attribut explained_variance_ratio_<\/code> donne la proportion de variance expliqu\u00e9e par chaque composante, dans l’ordre d\u00e9croissant : ce sont exactement les valeurs du scree plot. Les coordonn\u00e9es des observations projet\u00e9es s’obtiennent avec .transform()<\/code>.<\/p>\nFaire des paquets : k-moyennes puis dendrogramme<\/h2>\n Le clustering a deux grandes approches : le partitionnement en k-moyennes (K-means) et le clustering hi\u00e9rarchique. Elles ne demandent pas le m\u00eame effort au d\u00e9part.<\/p>\n
K-moyennes : fixer K, puis alterner deux gestes<\/h3>\n Les k-moyennes exigent de fixer d’embl\u00e9e le nombre K de groupes<\/strong>. L’algorithme cherche alors la partition en K groupes qui minimise la variation intra-groupe totale : la somme, pour chaque groupe, des distances au carr\u00e9 entre chaque observation et le centre de son groupe, appel\u00e9 centro\u00efde.<\/p>\nTester toutes les partitions est hors de port\u00e9e : il existe qui alterne deux \u00e9tapes<\/strong>, \u00e0 partir d’une affectation initiale al\u00e9atoire, jusqu’\u00e0 ce qu’aucune r\u00e9affectation ne change plus la partition :<\/p>\n\nrecalculer le centro\u00efde de chaque groupe, c’est-\u00e0-dire la moyenne des observations qui lui sont affect\u00e9es ;<\/li>\n r\u00e9affecter chaque observation au groupe dont le centro\u00efde est le plus proche.<\/li>\n<\/ul>\n\n\n\n\t\t\t\n\t\t\t\tChaque croix est la moyenne des points de son groupe. Si tu la d\u00e9places, certains points se retrouvent plus pr\u00e8s d’une autre croix et changent de groupe : c’est exactement ce que l’algorithme r\u00e9p\u00e8te jusqu’\u00e0 stabilisation.<\/figcaption><\/figure>\n\n\nLe dendrogramme : ne pas fixer K<\/h3>\n Le clustering hi\u00e9rarchique \u00e9vite de fixer K \u00e0 l’avance. Son principe, dit agglom\u00e9ratif : on part de dendrogramme<\/strong>, un arbre invers\u00e9 dont chaque jonction se place \u00e0 une hauteur proportionnelle \u00e0 la dissimilarit\u00e9 entre les deux groupes fusionn\u00e9s.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tLis l’arbre de bas en haut : plus deux observations fusionnent bas, plus elles se ressemblent. La jonction la plus haute r\u00e9unit deux ensembles tr\u00e8s dissemblables, qui ne se rejoignent qu’\u00e0 la derni\u00e8re \u00e9tape.<\/figcaption><\/figure>\n\n\nPour obtenir un nombre pr\u00e9cis de groupes, coupe l’arbre horizontalement : plus la coupe est basse, plus tu obtiens de groupes. Un seul arbre donne tous les d\u00e9coupages<\/strong>, sans jamais relancer l’algorithme.<\/p>\nReste une question : que veut dire \u00ab les deux groupes les plus proches \u00bb ? Il faut une dissimilarit\u00e9 non seulement entre observations (le plus souvent la distance euclidienne), mais aussi entre groupes : c’est le r\u00f4le du linkage<\/strong>. Trois choix reviennent :<\/p>\n\nle linkage complet retient la plus grande distance entre deux observations, une de chaque groupe ;<\/li>\n le linkage moyen retient la distance moyenne entre toutes les paires ;<\/li>\n le linkage simple retient la plus petite distance, et tend \u00e0 produire des cha\u00eenes \u00e9tir\u00e9es et d\u00e9s\u00e9quilibr\u00e9es.<\/li>\n<\/ul>\nLes deux premiers sont les plus utilis\u00e9s, car ils produisent des dendrogrammes \u00e9quilibr\u00e9s.<\/p>\n
Passons \u00e0 la pratique, avec un tableau de mesures X<\/code> d\u00e9j\u00e0 charg\u00e9 : deux groupes par k-moyennes, puis un arbre hi\u00e9rarchique complet.<\/p>\nIn [24]: kmeans = KMeans(n_clusters=2,\n random_state=2,\n n_init=20).fit(X)\n kmeans.labels_\n\nIn [31]: hc_comp = HClust(distance_threshold=0,\n n_clusters=None,\n linkage='complete')\n hc_comp.fit(X)\n<\/code><\/pre>\nn_clusters=2<\/code> demande deux groupes, et n_init=20<\/code> multiplie les d\u00e9parts : on verra plus bas pourquoi c’est une pr\u00e9caution. C\u00f4t\u00e9 hi\u00e9rarchique, linkage='complete'<\/code> choisit le linkage complet, et n_clusters=None<\/code> avec distance_threshold=0<\/code> laisse l’arbre se construire jusqu’au bout, sans nombre de groupes fix\u00e9.<\/p>\nO\u00f9 le non supervis\u00e9 se glisse dans un projet de pr\u00e9diction<\/h2>\n Un projet de donn\u00e9es n’est pas une ligne droite : on collecte, on explore, on mod\u00e9lise, on pr\u00e9sente, et chaque \u00e9tape peut renvoyer \u00e0 la pr\u00e9c\u00e9dente, comme une roue qui tourne. Si la mod\u00e9lisation r\u00e9v\u00e8le qu’il manque une caract\u00e9ristique importante, on retourne collecter des donn\u00e9es. C’est \u00e0 l’\u00e9tape d’exploration<\/strong> que l’ACP entre en sc\u00e8ne, pour visualiser des donn\u00e9es \u00e0 plusieurs dimensions, aux c\u00f4t\u00e9s d’outils \u00e9l\u00e9mentaires comme les bo\u00eetes \u00e0 moustaches qui rep\u00e8rent la dispersion des valeurs.<\/p>\nL’ACP peut aussi se placer en amont d’une pr\u00e9diction. La r\u00e9gression sur composantes principales (PCR)<\/a> construit sans jamais regarder la r\u00e9ponse<\/strong> Les moindres carr\u00e9s partiels (PLS) corrigent ce d\u00e9faut en construisant les combinaisons de fa\u00e7on supervis\u00e9e : la premi\u00e8re direction donne le plus grand poids aux pr\u00e9dicteurs les plus fortement corr\u00e9l\u00e9s \u00e0 la r\u00e9ponse. Mais PLS ne fait pas forc\u00e9ment mieux. Le gain en biais (l’erreur d’un mod\u00e8le trop simple) se paie souvent d’une variance accrue (l’estimation change davantage d’un \u00e9chantillon \u00e0 l’autre), et le b\u00e9n\u00e9fice net reste le plus souvent \u00e0 peu pr\u00e8s nul<\/strong>.<\/p>\nDans le code, la PCR s’\u00e9crit en cha\u00eenant la r\u00e9duction de dimension et la r\u00e9gression lin\u00e9aire dans un m\u00eame Pipeline<\/code>. X<\/code> contient les pr\u00e9dicteurs, Y<\/code> la r\u00e9ponse, et M<\/code> le nombre de composantes \u00e0 garder.<\/p>\nIn [24]: pca = PCA(n_components=M)\n linreg = skl.LinearRegression()\n pipe = Pipeline([('pca', pca),\n ('linreg', linreg)])\n pipe.fit(X, Y)\n<\/code><\/pre>\nFaire varier n_components<\/code> et \u00e9valuer chaque pipeline par validation crois\u00e9e permet de retrouver le nombre optimal de composantes pour les donn\u00e9es consid\u00e9r\u00e9es.<\/p>\nQuatre id\u00e9es re\u00e7ues sur ce que ces m\u00e9thodes trouvent<\/h2>\n\u00ab L’algorithme trouve le meilleur d\u00e9coupage \u00bb<\/h3>\n Les k-moyennes convergent toujours, mais vers un optimum local<\/strong>, jamais n\u00e9cessairement global : le r\u00e9sultat d\u00e9pend de l’affectation initiale tir\u00e9e au hasard. D’o\u00f9 la pr\u00e9caution n_init=20<\/code> du code plus haut. On relance l’algorithme depuis des d\u00e9parts diff\u00e9rents et on garde la solution qui minimise le plus la variation intra-groupe totale.<\/p>\n\u00ab Deux feuilles voisines se ressemblent \u00bb<\/h3>\n Sur un dendrogramme, l’ordre gauche-droite des feuilles n’a aucune signification : chaque fusion peut pivoter librement sans changer la structure de l’arbre. Deux observations c\u00f4te \u00e0 c\u00f4te ne sont donc pas forc\u00e9ment proches. Seule compte la hauteur<\/strong> \u00e0 laquelle elles fusionnent.<\/p>\n\u00ab L’ACP choisit les bonnes variables \u00bb<\/h3>\n La PCR n’est pas une m\u00e9thode de s\u00e9lection de variables : chaque composante retenue reste une combinaison de tous les pr\u00e9dicteurs<\/strong> d’origine. L’ACP extrait de nouvelles caract\u00e9ristiques, alors que la s\u00e9lection se contente de retenir un sous-ensemble des attributs d’origine, sans les combiner.<\/p>\nUn exemple de s\u00e9lection : on calcule la corr\u00e9lation entre toutes les paires de caract\u00e9ristiques, on rep\u00e8re la paire la plus corr\u00e9l\u00e9e, on retire celle des deux dont la corr\u00e9lation moyenne avec les autres est la plus \u00e9lev\u00e9e, puis on recommence jusqu’\u00e0 ce qu’aucune corr\u00e9lation ne d\u00e9passe le seuil fix\u00e9.<\/p>\n
\u00ab Normaliser, c’est de la cosm\u00e9tique \u00bb<\/h3>\n Centrer les donn\u00e9es place l’origine au centre du nuage et facilite l’interpr\u00e9tation. Normaliser, c’est donner \u00e0 chaque variable une variance unitaire : cela \u00e9vite qu’une caract\u00e9ristique domine le calcul parce que son unit\u00e9 produit de grandes valeurs. Or r\u00e9p\u00e9ter l’ACP avant puis apr\u00e8s normalisation peut conduire \u00e0 des directions principales sensiblement diff\u00e9rentes<\/strong>, car la normalisation change la contribution de chaque dimension \u00e0 la variance totale.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Un apprentissage non supervis\u00e9 ne rend pas de verdict : il propose des axes et des groupes dont la forme d\u00e9pend de r\u00e9glages que tu fixes, du point de d\u00e9part des k-moyennes au linkage, en passant par la normalisation.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Des donn\u00e9es, aucune r\u00e9ponse \u00e0 pr\u00e9dire : d\u00e9couvre comment l’apprentissage non supervis\u00e9 fait \u00e9merger des axes et des groupes, avec l’ACP et les k-moyennes.<\/p>\n","protected":false},"author":1,"featured_media":393,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-394","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/394","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=394"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/394\/revisions"}],"predecessor-version":[{"id":788,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/394\/revisions\/788"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/393"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=394"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=394"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=394"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"x_1, \dots, x_n\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d77903c38ea4d325874dd7827799504a_l3.png\" "\\"Rendered")
: pour chaque individu, une s\u00e9rie de valeurs, et rien d’autre. Pour chaque moineau, ce sont ses cinq mesures corporelles ; aucune r\u00e9ponse ![\"Y\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-82606c3098bb09002088b0f6f9ffbb2a_l3.png\" "\\"Rendered")
n’y est rattach\u00e9e. Le but devient de faire appara\u00eetre une structure<\/strong> \u00e0 l’int\u00e9rieur des donn\u00e9es.<\/p>\n![\"p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" "\\"Rendered")
d\u00e9passe deux ou trois, un nuage de points ordinaire devient impossible<\/strong>. L’ACP y r\u00e9pond en projetant les observations sur les deux ou trois premi\u00e8res composantes.<\/p>\n![\"Cinq](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch01_projection_pca_jouet-scaled.png\")