{"id":700,"date":"2026-10-09T17:19:04","date_gmt":"2026-10-09T15:19:04","guid":{"rendered":"https:\/\/www.ranksignal.fr\/blog\/?p=700"},"modified":"2026-10-14T17:14:17","modified_gmt":"2026-10-14T15:14:17","slug":"le-classificateur-naive-bayes","status":"publish","type":"post","link":"https:\/\/www.ranksignal.fr\/blog\/deep-learning\/le-classificateur-naive-bayes\/","title":{"rendered":"Naive Bayes : classer en multipliant des indices ind\u00e9pendants"},"content":{"rendered":"<p><\/p>\n<p>Un enqu\u00eateur rel\u00e8ve une empreinte, une trace de boue et un t\u00e9moignage. Aucun de ces trois indices ne d\u00e9signe un coupable \u00e0 lui seul, mais pour chaque suspect il sait \u00e0 peu pr\u00e8s \u00e0 quel point chacun lui ressemble. Le classificateur Naive Bayes proc\u00e8de comme lui : il p\u00e8se les indices un par un, puis les combine en un verdict. \u00c0 la fin, tu sauras ce qu&rsquo;il calcule, pourquoi on le dit \u00ab na\u00eff \u00bb et ce que cette na\u00efvet\u00e9 te co\u00fbte ou te rapporte.<\/p>\n<p><strong>Sommaire<\/strong><\/p>\n<ul>\n<li><a href=\"#l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/a><\/li>\n<li><a href=\"#ce-que-calcule-un-classificateur-generatif\">Ce que calcule un classificateur g\u00e9n\u00e9ratif<\/a><\/li>\n<li><a href=\"#naif-une-hypothese-qui-transforme-tout-en-produit\">\u00ab Na\u00eff \u00bb : une hypoth\u00e8se qui transforme tout en produit<\/a><\/li>\n<li><a href=\"#un-calcul-a-la-main-deux-indices-deux-classes\">Un calcul \u00e0 la main : deux indices, deux classes<\/a><\/li>\n<li><a href=\"#pourquoi-une-hypothese-fausse-peut-bien-classer\">Pourquoi une hypoth\u00e8se fausse peut bien classer<\/a><\/li>\n<\/ul>\n<h2 id=\"l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/h2>\n<ul>\n<li>Le Naive Bayes est un <strong>classificateur g\u00e9n\u00e9ratif<\/strong> : il d\u00e9crit d&rsquo;abord la r\u00e9partition des pr\u00e9dicteurs dans chaque classe, puis applique le th\u00e9or\u00e8me de Bayes.<\/li>\n<li>Sa seule hypoth\u00e8se, <strong>les pr\u00e9dicteurs sont ind\u00e9pendants<\/strong> au sein de chaque classe, lui vaut le qualificatif \u00ab na\u00eff \u00bb.<\/li>\n<li>Cette hypoth\u00e8se est presque toujours fausse en toute rigueur, mais elle <strong>\u00e9pargne l&rsquo;estimation des corr\u00e9lations<\/strong> entre pr\u00e9dicteurs.<\/li>\n<li>Il se r\u00e9v\u00e8le souvent tr\u00e8s efficace quand <strong>les exemples d&rsquo;entra\u00eenement manquent<\/strong> ou que les variables abondent.<\/li>\n<li>Sa fronti\u00e8re de d\u00e9cision est <strong>plus flexible que celle de la <a href=\"\/blog\/machine-learning\/la-methode-d-analyse-discriminante-lda\/\" title=\"LDA\">LDA<\/a><\/strong>, sans covariance crois\u00e9e \u00e0 estimer.<\/li>\n<\/ul>\n<h2 id=\"ce-que-calcule-un-classificateur-generatif\">Ce que calcule un classificateur g\u00e9n\u00e9ratif<\/h2>\n<p>Classer une observation, c&rsquo;est lui attribuer une cat\u00e9gorie. La plupart des m\u00e9thodes y parviennent <strong>en deux temps<\/strong> : elles estiment d&rsquo;abord la probabilit\u00e9 d&rsquo;appartenir \u00e0 chaque cat\u00e9gorie, puis en d\u00e9duisent une classe. Le meilleur choix possible est connu : retenir la classe dont la probabilit\u00e9 <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-09dabaf84c76a9d4fd6a64993bb98592_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#80;&#114;&#40;&#89;&#32;&#61;&#32;&#106;&#32;&#92;&#109;&#105;&#100;&#32;&#88;&#32;&#61;&#32;&#120;&#95;&#48;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"150\" style=\"vertical-align: -5px;\"\/> est la plus grande. Le seul obstacle est que cette probabilit\u00e9 reste inconnue en pratique, ce qui fait de ce choix id\u00e9al un \u00e9talon inatteignable.<\/p>\n<p>Le Naive Bayes la reconstruit par le chemin inverse. Au lieu de mod\u00e9liser directement cette probabilit\u00e9, il d\u00e9crit d&rsquo;abord, classe par classe, la fa\u00e7on dont les pr\u00e9dicteurs <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#88;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> se r\u00e9partissent : <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-9ad6329daea834a5871bc14407c1f0f6_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#107;&#40;&#120;&#41;&#32;&#61;&#32;&#92;&#80;&#114;&#40;&#88;&#32;&#61;&#32;&#120;&#32;&#92;&#109;&#105;&#100;&#32;&#89;&#32;&#61;&#32;&#107;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"209\" style=\"vertical-align: -5px;\"\/>. Le th\u00e9or\u00e8me de Bayes ram\u00e8ne ensuite de cette description \u00e0 la probabilit\u00e9 cherch\u00e9e :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 46px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e87986081bd71e7cf26599fe37d0e3d5_l3.png\" height=\"46\" width=\"274\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#92;&#80;&#114;&#40;&#89;&#61;&#107;&#32;&#92;&#109;&#105;&#100;&#32;&#88;&#61;&#120;&#41;&#32;&#61;&#32;&#92;&#102;&#114;&#97;&#99;&#123;&#92;&#112;&#105;&#95;&#107;&#32;&#102;&#95;&#107;&#40;&#120;&#41;&#125;&#123;&#92;&#115;&#117;&#109;&#95;&#123;&#108;&#61;&#49;&#125;&#94;&#75;&#32;&#92;&#112;&#105;&#95;&#108;&#32;&#102;&#95;&#108;&#40;&#120;&#41;&#125;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Dans cette formule, <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-88d17dd5f52992a623a09d7bd3fa4be5_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#112;&#105;&#95;&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"11\" width=\"17\" style=\"vertical-align: -3px;\"\/> porte le nom de <strong>a priori<\/strong> : la fr\u00e9quence attendue de la classe <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3422b6bb5c160593658b7c39425d9880_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"9\" style=\"vertical-align: 0px;\"\/> avant d&rsquo;avoir regard\u00e9 <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ede05c264bba0eda080918aaa09c4658_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#120;\" title=\"Rendered by QuickLaTeX.com\" height=\"8\" width=\"10\" style=\"vertical-align: 0px;\"\/>. Le terme <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-76587cc99cf5450ccbf899c39b044133_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#107;&#40;&#120;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"40\" style=\"vertical-align: -5px;\"\/> est la <strong>vraisemblance<\/strong> : il dit \u00e0 quel point les valeurs observ\u00e9es sont typiques de la classe <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3422b6bb5c160593658b7c39425d9880_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"9\" style=\"vertical-align: 0px;\"\/>.<\/p>\n<p>Rapporte le produit <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e14bfa766c4da4baa7d6eb5bdc9f9e5b_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#112;&#105;&#95;&#107;&#32;&#102;&#95;&#107;&#40;&#120;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"58\" style=\"vertical-align: -5px;\"\/> \u00e0 son total sur les <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#75;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> classes : tu obtiens la probabilit\u00e9 <strong>a posteriori<\/strong>, celle qui int\u00e8gre les donn\u00e9es une fois vues. Le Naive Bayes suit ce sch\u00e9ma \u00e0 la lettre, en ajoutant une seule hypoth\u00e8se sur la fa\u00e7on de construire <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e46c3039858aab18a32d5e2016ea037e_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"16\" width=\"16\" style=\"vertical-align: -4px;\"\/>.<\/p>\n<blockquote>\n<p><strong>\ud83d\udca1 Intuition<\/strong> Reprends l&rsquo;enqu\u00eateur. L&rsquo;a priori, c&rsquo;est sa premi\u00e8re impression avant d&rsquo;examiner quoi que ce soit. La vraisemblance, c&rsquo;est ce que chaque suspect aurait pu laisser comme indices. L&rsquo;a posteriori, c&rsquo;est son opinion apr\u00e8s avoir tout confront\u00e9.<\/p>\n<\/blockquote>\n<h2 id=\"naif-une-hypothese-qui-transforme-tout-en-produit\">\u00ab Na\u00eff \u00bb : une hypoth\u00e8se qui transforme tout en produit<\/h2>\n<p>Reste \u00e0 fabriquer <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-76587cc99cf5450ccbf899c39b044133_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#107;&#40;&#120;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"40\" style=\"vertical-align: -5px;\"\/>. Le pi\u00e8ge est que <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ede05c264bba0eda080918aaa09c4658_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#120;\" title=\"Rendered by QuickLaTeX.com\" height=\"8\" width=\"10\" style=\"vertical-align: 0px;\"\/> regroupe plusieurs pr\u00e9dicteurs \u00e0 la fois : d\u00e9crire leur r\u00e9partition d&rsquo;ensemble oblige \u00e0 mod\u00e9liser leurs corr\u00e9lations. Le Naive Bayes coupe court avec <strong>une seule hypoth\u00e8se<\/strong> : classe par classe, les pr\u00e9dicteurs sont ind\u00e9pendants entre eux.<\/p>\n<p>Quand deux \u00e9v\u00e9nements sont ind\u00e9pendants, savoir que l&rsquo;un s&rsquo;est produit n&rsquo;apprend rien sur l&rsquo;autre, et la r\u00e8gle de multiplication se simplifie en <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-456b1e4ec1cec8337d5468f1adc15fc2_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#80;&#40;&#65;&#32;&#92;&#99;&#97;&#112;&#32;&#66;&#41;&#32;&#61;&#32;&#80;&#40;&#65;&#41;&#92;&#44;&#80;&#40;&#66;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"184\" style=\"vertical-align: -5px;\"\/>. Appliqu\u00e9e aux <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3bf85f1087e9fbed3a319341134ac1a2_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#112;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"10\" style=\"vertical-align: -4px;\"\/> pr\u00e9dicteurs d&rsquo;une m\u00eame classe, elle fait \u00e9clater la loi d&rsquo;ensemble en un produit de lois \u00e0 une seule variable :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 53px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-652409b3d03975d12ab2d5c800672315_l3.png\" height=\"53\" width=\"425\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#102;&#95;&#107;&#40;&#120;&#41;&#32;&#61;&#32;&#102;&#95;&#123;&#107;&#49;&#125;&#40;&#120;&#95;&#49;&#41;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#102;&#95;&#123;&#107;&#50;&#125;&#40;&#120;&#95;&#50;&#41;&#92;&#116;&#105;&#109;&#101;&#115;&#92;&#99;&#100;&#111;&#116;&#115;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#102;&#95;&#123;&#107;&#112;&#125;&#40;&#120;&#95;&#112;&#41;&#32;&#61;&#32;&#92;&#112;&#114;&#111;&#100;&#95;&#123;&#106;&#61;&#49;&#125;&#94;&#123;&#112;&#125;&#32;&#102;&#95;&#123;&#107;&#106;&#125;&#40;&#120;&#95;&#106;&#41;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Le facteur <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-20d1ee7c9bf3df0f060a372b6266eddf_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#123;&#107;&#106;&#125;\" title=\"Rendered by QuickLaTeX.com\" height=\"18\" width=\"22\" style=\"vertical-align: -6px;\"\/> d\u00e9crit le seul pr\u00e9dicteur <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-43c82d5bb00a7568d935a12e3bd969dd_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#106;\" title=\"Rendered by QuickLaTeX.com\" height=\"16\" width=\"9\" style=\"vertical-align: -4px;\"\/> dans la classe <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3422b6bb5c160593658b7c39425d9880_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"9\" style=\"vertical-align: 0px;\"\/>. Il suffit de glisser ce produit \u00e0 la place de <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-76587cc99cf5450ccbf899c39b044133_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#107;&#40;&#120;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"40\" style=\"vertical-align: -5px;\"\/> dans la formule de Bayes : chaque indice se d\u00e9crit \u00e0 part, classe par classe, comme chez ton enqu\u00eateur.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46ca3c96&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46ca3c96\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"1800\" height=\"1650\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee.png\" alt=\"Lignes de niveau elliptiques et inclin\u00e9es d'une loi normale \u00e0 deux variables corr\u00e9l\u00e9es positivement, avec un nuage de points orange align\u00e9s sur la m\u00eame diagonale\" class=\"wp-image-698\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee.png 1800w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee-300x275.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee-1024x939.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee-768x704.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch11_normale_bivariee-1536x1408.png 1536w\" sizes=\"auto, (max-width: 1800px) 100vw, 1800px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Regarde l&rsquo;inclinaison des ellipses : elle mat\u00e9rialise la corr\u00e9lation entre les deux variables, celle que doit encoder toute description conjointe. L&rsquo;hypoth\u00e8se na\u00efve <strong>renonce \u00e0 mod\u00e9liser ce genre de lien<\/strong>, et c&rsquo;est pr\u00e9cis\u00e9ment ce renoncement qui simplifie l&rsquo;estimation.<\/figcaption><\/figure>\n\n\n<blockquote>\n<p><strong>\u26a0\ufe0f Pi\u00e8ge<\/strong> Ind\u00e9pendant ne se r\u00e9duit pas \u00e0 \u00ab covariance nulle \u00bb : la covariance ne mesure que la d\u00e9pendance lin\u00e9aire, et une covariance nulle n&rsquo;implique pas l&rsquo;ind\u00e9pendance. Retiens aussi que l&rsquo;hypoth\u00e8se vaut classe par classe : c&rsquo;est une ind\u00e9pendance conditionnellement \u00e0 la classe.<\/p>\n<\/blockquote>\n<h2 id=\"un-calcul-a-la-main-deux-indices-deux-classes\">Un calcul \u00e0 la main : deux indices, deux classes<\/h2>\n<p>Passons aux chiffres. Les nombres ci-dessous sont invent\u00e9s pour suivre le calcul, ce ne sont pas des mesures. Deux classes, A et B, et deux indices observ\u00e9s sur une m\u00eame observation :<\/p>\n<table>\n<thead>\n<tr>\n<th><\/th>\n<th>Classe A<\/th>\n<th>Classe B<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>a priori <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-88d17dd5f52992a623a09d7bd3fa4be5_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#112;&#105;&#95;&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"11\" width=\"17\" style=\"vertical-align: -3px;\"\/><\/td>\n<td>0,3<\/td>\n<td>0,7<\/td>\n<\/tr>\n<tr>\n<td>vraisemblance de l&rsquo;indice 1<\/td>\n<td>0,8<\/td>\n<td>0,2<\/td>\n<\/tr>\n<tr>\n<td>vraisemblance de l&rsquo;indice 2<\/td>\n<td>0,5<\/td>\n<td>0,4<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Pour chaque classe, multiplie l&rsquo;a priori par les deux vraisemblances, comme le prescrit le produit ci-dessus :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 17px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e8cc3543d1ab622c74caa3c2497552df_l3.png\" height=\"17\" width=\"439\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#65;&#32;&#58;&#32;&#48;&#123;&#44;&#125;&#51;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#48;&#123;&#44;&#125;&#56;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#48;&#123;&#44;&#125;&#53;&#32;&#61;&#32;&#48;&#123;&#44;&#125;&#49;&#50;&#32;&#92;&#113;&#113;&#117;&#97;&#100;&#32;&#66;&#32;&#58;&#32;&#48;&#123;&#44;&#125;&#55;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#48;&#123;&#44;&#125;&#50;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#48;&#123;&#44;&#125;&#52;&#32;&#61;&#32;&#48;&#123;&#44;&#125;&#48;&#53;&#54;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Le d\u00e9nominateur de la formule de Bayes est la somme de ces deux r\u00e9sultats, soit <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2e1039b5e64e0d69baccb46e4fb19769_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#48;&#123;&#44;&#125;&#49;&#55;&#54;\" title=\"Rendered by QuickLaTeX.com\" height=\"17\" width=\"41\" style=\"vertical-align: -4px;\"\/>. Les probabilit\u00e9s a posteriori valent donc <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-75c75341cfc4b81ce56e4d81f9b34a39_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#48;&#123;&#44;&#125;&#49;&#50;&#32;&#47;&#32;&#48;&#123;&#44;&#125;&#49;&#55;&#54;&#32;&#92;&#97;&#112;&#112;&#114;&#111;&#120;&#32;&#54;&#56;&#92;&#44;&#92;&#37;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"139\" style=\"vertical-align: -5px;\"\/> pour A et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-5ef1eb6ac2c3d84608350e572c5c80f4_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#48;&#123;&#44;&#125;&#48;&#53;&#54;&#32;&#47;&#32;&#48;&#123;&#44;&#125;&#49;&#55;&#54;&#32;&#92;&#97;&#112;&#112;&#114;&#111;&#120;&#32;&#51;&#50;&#92;&#44;&#92;&#37;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"148\" style=\"vertical-align: -5px;\"\/> pour B. L&rsquo;observation est rang\u00e9e dans la classe la plus probable, ici A.<\/p>\n<p>Observe le renversement : B \u00e9tait la classe la plus fr\u00e9quente, avec 70 % d&rsquo;a priori, et pourtant <strong>les deux indices font basculer le verdict<\/strong> vers A. Un seul indice isol\u00e9 aurait pu ne pas suffire ; leur produit, si.<\/p>\n<h2 id=\"pourquoi-une-hypothese-fausse-peut-bien-classer\">Pourquoi une hypoth\u00e8se fausse peut bien classer<\/h2>\n<p>Une hypoth\u00e8se presque toujours fausse en toute rigueur, et pourtant un mod\u00e8le \u00e9tonnamment efficace : l&rsquo;apparente contradiction se r\u00e9sout en regardant ce qu&rsquo;il faut estimer. La <a href=\"\/blog\/maths\/qu-est-ce-qu-une-matrice-de-covariance\/\" title=\"matrice de covariance\">matrice de covariance<\/a> range d&rsquo;un c\u00f4t\u00e9 la dispersion de chaque variable, de l&rsquo;autre les liens qui les unissent deux \u00e0 deux. L&rsquo;estimer pour de bon devient p\u00e9rilleux quand les lignes sont rares ou les colonnes nombreuses, alors que le Naive Bayes <strong>ne l&rsquo;estime jamais<\/strong>.<\/p>\n<p>Cette \u00e9conomie le distingue de ses cousines g\u00e9n\u00e9ratives. La LDA suppose une loi normale et une covariance commune \u00e0 toutes les classes, la QDA une covariance propre \u00e0 chaque classe. Le Naive Bayes n&rsquo;impose aucune forme pr\u00e9cise aux <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-20d1ee7c9bf3df0f060a372b6266eddf_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#102;&#95;&#123;&#107;&#106;&#125;\" title=\"Rendered by QuickLaTeX.com\" height=\"18\" width=\"22\" style=\"vertical-align: -6px;\"\/> : il ne retient que l&rsquo;ind\u00e9pendance. Il obtient une fronti\u00e8re plus flexible que la LDA, sans covariances crois\u00e9es \u00e0 estimer.<\/p>\n<p>Face \u00e0 la <a href=\"\/blog\/machine-learning\/qu-est-ce-qu-une-regression-logistique\/\" title=\"r\u00e9gression logistique\">r\u00e9gression logistique<\/a>, la diff\u00e9rence est de nature : elle mod\u00e9lise directement <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-be7a43d8f539320e79cd69560a3df7bc_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#80;&#114;&#40;&#89;&#32;&#61;&#32;&#107;&#32;&#92;&#109;&#105;&#100;&#32;&#88;&#32;&#61;&#32;&#120;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"144\" style=\"vertical-align: -5px;\"\/>, alors que le Naive Bayes passe par la description des classes. Comme les autres <a href=\"\/blog\/deep-learning\/que-sont-les-methodes-generatives\/\" title=\"m\u00e9thodes g\u00e9n\u00e9ratives\">m\u00e9thodes g\u00e9n\u00e9ratives<\/a>, il s&rsquo;\u00e9tend naturellement \u00e0 plus de deux classes.<\/p>\n<p>Rien de tout cela ne fait de lui le gagnant universel : <strong>aucune m\u00e9thode ne l&#8217;emporte<\/strong> partout. Ton choix d\u00e9pendra de la vraie forme de la fronti\u00e8re, du nombre d&rsquo;exemples dont tu disposes et du poids que tu donnes \u00e0 l&rsquo;interpr\u00e9tabilit\u00e9.<\/p>\n<blockquote>\n<p><strong>\ud83d\udccc \u00c0 retenir<\/strong> Naive Bayes, c&rsquo;est le th\u00e9or\u00e8me de Bayes plus une seule hypoth\u00e8se : des pr\u00e9dicteurs ind\u00e9pendants dans chaque classe. Cette hypoth\u00e8se fait du calcul un simple produit d&rsquo;indices, au prix d&rsquo;une promesse que les donn\u00e9es tiennent rarement.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"<p>Le classificateur Naive Bayes applique le th\u00e9or\u00e8me de Bayes en supposant les pr\u00e9dicteurs ind\u00e9pendants dans chaque classe. Principe, calcul chiffr\u00e9 et limites.<\/p>\n","protected":false},"author":1,"featured_media":699,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-700","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/700","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=700"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/700\/revisions"}],"predecessor-version":[{"id":779,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/700\/revisions\/779"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/699"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=700"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=700"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=700"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}