validation crois\u00e9e<\/strong>, en une ligne de scikit-learn.<\/li>\n<\/ul>\nUne fronti\u00e8re entre deux camps : laquelle choisir ?<\/h2>\n Les machines \u00e0 vecteurs de support (SVM) forment une famille de m\u00e9thodes de classification, longtemps compt\u00e9e parmi les meilleurs classifieurs \u00ab pr\u00eats \u00e0 l’emploi \u00bb. Elles se construisent par couches successives, en partant d’une id\u00e9e purement g\u00e9om\u00e9trique.<\/p>\n
Commen\u00e7ons par le mot hyperplan<\/strong>. En dimension 2, c’est une droite ; en dimension 3, un plan ordinaire ; avec
<\/span> <\/span>Les
Si les deux classes se s\u00e9parent parfaitement, une infinit\u00e9 d’hyperplans conviennent : tu peux toujours en d\u00e9caler un peu un sans qu’il se trompe. Le SVM d\u00e9partage en choisissant l’hyperplan dont la distance minimale aux observations d’entra\u00eenement<\/strong> est la plus grande. Cette distance s’appelle la marge.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde la bande gris\u00e9e : sa droite centrale est la fronti\u00e8re retenue, et les deux lignes pointill\u00e9es touchent chacune les points les plus proches de leur camp. Aucun point ne peut entrer dans la bande.<\/figcaption><\/figure>\n\n\n\n\ud83d\udca1 Intuition<\/strong> Ta route entre les deux villages passe par la ligne m\u00e9diane de la plus large bande qu’on puisse tracer sans toucher une seule maison.<\/p>\n<\/blockquote>\nLes seuls points qui comptent : les vecteurs de support<\/h2>\n Voici le fait le plus \u00e9tonnant de la m\u00e9thode. La position de l’hyperplan ne d\u00e9pend que d’un tout petit nombre d’observations<\/strong>, celles pos\u00e9es exactement sur le bord de la marge. On les appelle les vecteurs de support.<\/p>\nD\u00e9place n’importe quel autre point, \u00e0 condition qu’il reste en dehors de la marge : rien ne bouge. L’hyperplan est \u00ab soutenu \u00bb par ces quelques points seulement, d’o\u00f9 le nom de la m\u00e9thode.<\/p>\n
C’est aussi une bonne nouvelle pour la lecture du mod\u00e8le : au lieu de retenir des milliers de lignes, il suffit de savoir quels points tiennent la bande.<\/p>\n
Quand les camps se chevauchent : la marge souple<\/h2>\n Reste un probl\u00e8me de taille. Cette construction exige que les classes soient parfaitement s\u00e9parables<\/strong> par un hyperplan, une condition rarement remplie en pratique.<\/p>\nEt m\u00eame quand elle l’est, le s\u00e9parateur parfait est fragile : ajouter un seul point peut d\u00e9placer radicalement<\/strong> la marge et l’hyperplan. C’est un sympt\u00f4me classique de surajustement.<\/p>\nLa parade s’appelle le classifieur \u00e0 vecteurs de support : il accepte une marge souple<\/strong>. On tol\u00e8re qu’un certain nombre de points passent du mauvais c\u00f4t\u00e9 de la marge, voire du mauvais c\u00f4t\u00e9 de l’hyperplan. Cette tol\u00e9rance se r\u00e8gle avec un param\u00e8tre de budget, not\u00e9 Le r\u00e9glage est un curseur biais-variance. Une marge \u00e9troite, cal\u00e9e sur peu de vecteurs de support, donne un mod\u00e8le \u00e0 faible biais mais forte variance<\/strong>, tr\u00e8s sensible aux points isol\u00e9s. Une marge large, appuy\u00e9e sur de nombreux vecteurs de support, rend le mod\u00e8le plus rigide : variance plus faible, biais potentiellement plus \u00e9lev\u00e9. Comme toujours, \n\u26a0\ufe0f Pi\u00e8ge<\/strong> Le sens de Courber la fronti\u00e8re sans changer de m\u00e9thode : le noyau<\/h2>\n Le classifieur \u00e0 vecteurs de support reste, par construction, lin\u00e9aire<\/strong> : sa fronti\u00e8re est toujours un hyperplan. Or beaucoup de probl\u00e8mes ont une fronti\u00e8re manifestement courbe, que m\u00eame une marge souple g\u00e9n\u00e9reuse ne rattrape pas.<\/p>\nL’astuce consiste \u00e0 travailler comme si l’on avait enrichi les variables de carr\u00e9s et de produits crois\u00e9s, puis \u00e0 tracer la droite dans cet espace enrichi. Revenue dans l’espace d’origine, elle devient une courbe. Le tour de force est de ne jamais calculer ces nouvelles coordonn\u00e9es<\/strong>, qui peuvent \u00eatre en nombre immense, voire infini.<\/p>\nComment ? La solution du probl\u00e8me d’optimisation ne d\u00e9pend des observations que par leurs produits scalaires deux \u00e0 deux<\/strong>. On remplace donc chaque produit scalaire par une fonction \n\t\t\t\n\t\t\t\tLe volet de droite est le m\u00eame probl\u00e8me vu \u00e0 travers le noyau : la s\u00e9paration redevient une simple droite, et c’est elle qui, ramen\u00e9e \u00e0 gauche, dessine la fronti\u00e8re courbe.<\/figcaption><\/figure>\n\n\nDeux noyaux courants. Le noyau polynomial de degr\u00e9
<\/span> <\/span>Le noyau radial, lui, produit une fronti\u00e8re plus flexible et fortement locale<\/strong> :<\/p>\n
<\/span> <\/span>Ici
Le param\u00e8tre \n\ud83d\udccc \u00c0 retenir<\/strong> Le noyau radial correspond implicitement \u00e0 un espace de dimension infinie. Calculer dedans serait impossible, alors que le noyau n’a besoin que de produits scalaires entre paires de points.<\/p>\n<\/blockquote>\nUn SVM en quelques lignes de Python<\/h2>\n Passons \u00e0 la pratique. Tu as des variables dans X<\/code>, des classes dans y<\/code>, et tu veux voir l’effet de la souplesse sur la marge. La classe SVC<\/code> de scikit-learn ajuste aussi bien un classifieur lin\u00e9aire qu’un SVM \u00e0 noyau, selon l’argument kernel<\/code>.<\/p>\nUne pr\u00e9cision de lecture : les marqueurs In [n]:<\/code> d\u00e9signent les cellules qu’on a saisies dans un notebook, et leur num\u00e9ro n’a pas de signification particuli\u00e8re.<\/p>\nIn [5]: svm_linear = SVC(C=10, kernel='linear')\n svm_linear.fit(X, y)\n\nIn [7]: svm_linear_small = SVC(C=0.1, kernel='linear')\n svm_linear_small.fit(X, y)\n<\/code><\/pre>\nAvec la plus petite valeur de C<\/code>, on observe une marge plus large<\/strong> et donc davantage de vecteurs de support. C’est bien le compromis d\u00e9crit plus haut.<\/p>\nPasser \u00e0 une fronti\u00e8re courbe ne demande de changer qu’un argument :<\/p>\n
In [22]: svm_rbf = SVC(kernel="rbf", gamma=1, C=1)\n svm_rbf.fit(X_train, y_train)\n<\/code><\/pre>\ngamma<\/code> est le C<\/code> avec chaque valeur de gamma<\/code> :<\/p>\nIn [24]: kfold = skm.KFold(5,\n random_state=1,\n shuffle=True)\n grid = skm.GridSearchCV(svm_rbf,\n {'C':[0.1,1,10,100,1000],\n 'gamma':[0.5,1,2,3,4]},\n refit=True,\n cv=kfold,\n scoring='accuracy')\n grid.fit(X_train, y_train)\n grid.best_params_\n<\/code><\/pre>\nChaque combinaison est \u00e9valu\u00e9e, et best_params_<\/code> renvoie celle qui maximise l’exactitude (accuracy).<\/p>\nUn cousin de la r\u00e9gression logistique, pas un \u00e9tranger<\/h2>\n On pr\u00e9sente parfois le SVM comme une bo\u00eete \u00e0 part. C’est une fausse piste : le probl\u00e8me d’optimisation du classifieur \u00e0 vecteurs de support se r\u00e9\u00e9crit comme la minimisation d’une fonction de perte particuli\u00e8re, la hinge loss<\/strong>, assortie d’une p\u00e9nalit\u00e9 de type ridge sur les coefficients. La structure rappelle directement la r\u00e9gression logistique<\/a> p\u00e9nalis\u00e9e.<\/p>\nLes deux m\u00e9thodes donnent des r\u00e9sultats tr\u00e8s proches quand les classes sont proches d’\u00eatre s\u00e9parables. La diff\u00e9rence tient surtout \u00e0 la fonction de perte et au comportement quand les classes sont bien s\u00e9par\u00e9es.<\/p>\n
Deux nuances pratiques. La r\u00e9gression logistique fournit directement des probabilit\u00e9s de classe interpr\u00e9tables<\/strong>, tandis que les SVM s’en sortent plut\u00f4t mieux lorsque les deux camps sont nettement distincts.<\/p>\nAutre id\u00e9e re\u00e7ue \u00e0 l\u00e2cher : l’astuce du noyau n’est pas propre aux SVM. Elle peut s’appliquer, avec des pr\u00e9cautions de calcul, \u00e0 la r\u00e9gression logistique ou \u00e0 d’autres m\u00e9thodes ; c’est surtout pour des raisons historiques qu’on l’associe aux seules machines \u00e0 vecteurs de support.<\/p>\n
Au-del\u00e0 de deux classes, on combine plusieurs SVM binaires, par des strat\u00e9gies un contre un ou un contre tous.<\/p>","protected":false},"excerpt":{"rendered":"
Marge, vecteurs de support, marge souple, noyau : comprends ce qu’est une machine \u00e0 vecteurs de support et comment elle trace sa fronti\u00e8re, avec le code.<\/p>\n","protected":false},"author":1,"featured_media":615,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-616","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-machine-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/616","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=616"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/616\/revisions"}],"predecessor-version":[{"id":773,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/616\/revisions\/773"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/615"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=616"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=616"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=616"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"p\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" "\\"Rendered")
variables, un sous-espace de dimension ![\"p-1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7758c8dad8f016ae4950f6927bbaff12_l3.png\" "\\"Rendered")
. Son \u00e9quation est :<\/p>\n![\"\[\beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p = 0\]\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-38fc157ba7dad055eb9f1a6ff2fca048_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"\beta\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b6a7605b1bcca8f1b416eaf733f34e08_l3.png\" "\\"Rendered")
sont les coefficients qui orientent et placent l’hyperplan, et les ![\"X\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" "\\"Rendered")
les variables. Le signe de cette expression te dit de quel c\u00f4t\u00e9 de l’hyperplan se trouve un point : c’est ce qui sert \u00e0 ranger une observation dans la classe ![\"-1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7b34c01098c83fa602de54e9d74d63a9_l3.png\" "\\"Rendered")
ou ![\"+1\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4932b1a489a055f2908670bac049524_l3.png\" "\\"Rendered")
.<\/p>\n![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_classificateur_marge_maximale.png\")