sigmo\u00efde<\/a>, qui ram\u00e8ne tout entre 0 et 1.<\/li>\n<\/ul>\nLa r\u00e9ponse suit une loi de Bernoulli : deux issues possibles, 0 ou 1, et le mod\u00e8le produit une probabilit\u00e9 p(X) de l’issue 1 . Pour que p reste entre 0 et 1, on la fabrique avec la sigmo\u00efde :<\/p>\n
<\/span> <\/span>\n\t\t\t\n\t\t\t\tRegarde la courbe orange : elle ne sort jamais de l’intervalle, ce qui permet de la lire comme une probabilit\u00e9. La droite bleue, elle, prend des valeurs qui n’en sont pas.<\/figcaption><\/figure>\n\n\nPour une observation, la probabilit\u00e9 donn\u00e9e \u00e0 ce qui s’est r\u00e9ellement pass\u00e9 vaut p si l’\u00e9tiquette est y = 1, et 1 \u2212 p si y = 0. Une seule \u00e9criture couvre les deux cas :
On prend ensuite le logarithme de cette quantit\u00e9 et on la change de signe : l’entropie crois\u00e9e binaire<\/strong> est la valeur \u00e0 rendre petite. Pour une observation, elle vaut :<\/p>\n
<\/span> <\/span>Ce que la perte punit : la confiance fausse<\/h2>\n Regarde les deux termes s\u00e9par\u00e9ment. Si y = 1, seul le terme la perte grimpe sans borne<\/strong>. Le second terme joue le m\u00eame r\u00f4le pour y = 0, avec Ce principe rappelle celui de l’entropie crois\u00e9e des mod\u00e8les de langage, o\u00f9 la perte se r\u00e9duit \u00e0 la probabilit\u00e9 du mot r\u00e9ellement observ\u00e9 . Ici, \u00e0 deux issues, c’est la probabilit\u00e9 de l’issue r\u00e9ellement arriv\u00e9e qui est jug\u00e9e.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> La perte ne compte pas les bonnes r\u00e9ponses : elle mesure la probabilit\u00e9 donn\u00e9e \u00e0 la bonne r\u00e9ponse. Deux mod\u00e8les qui tranchent pareil peuvent avoir des pertes tr\u00e8s diff\u00e9rentes.<\/p>\n<\/blockquote>\nCette perte sert aussi \u00e0 corriger le mod\u00e8le. Pour la r\u00e9gression logistique, la d\u00e9riv\u00e9e de la perte par rapport \u00e0 un coefficient prend une forme tr\u00e8s simple : l’\u00e9cart entre la probabilit\u00e9 pr\u00e9dite et l’\u00e9tiquette, multipli\u00e9 par la valeur de la variable concern\u00e9e.<\/p>\n
Un client \u00e0 0,6 % de risque : deux pertes tr\u00e8s diff\u00e9rentes<\/h2>\n Reprenons les donn\u00e9es de d\u00e9faut de carte de cr\u00e9dit. Un solde de 1 000 $ donne une probabilit\u00e9 de d\u00e9faut de 0,6 %, un solde de 2 000 $ en donne 58,6 %. Prenons le client au solde de 1 000 $, avec p = 0,006 . Le log d\u00e9signe ici le logarithme n\u00e9p\u00e9rien.<\/p>\n
Deux issues sont possibles :<\/p>\n
\ns’il n’a pas fait d\u00e9faut (y = 0), la perte vaut s’il a fait d\u00e9faut (y = 1), elle vaut Le mod\u00e8le annonce la m\u00eame probabilit\u00e9 dans les deux cas. La m\u00eame probabilit\u00e9, deux pertes<\/strong>, parce que la note d\u00e9pend de ce qui est arriv\u00e9, pas seulement de la probabilit\u00e9 annonc\u00e9e.<\/p>\nPourquoi ne pas garder l’erreur quadratique<\/h2>\n On pourrait croire que l’erreur quadratique, celle qui sert \u00e0 pr\u00e9dire un nombre, ferait aussi bien. Elle est faite pour mesurer un \u00e9cart entre deux valeurs num\u00e9riques<\/strong> : c’est le choix naturel en r\u00e9gression, alors que l’entropie crois\u00e9e est celui de la classification .<\/p>\nQuant \u00e0 la r\u00e9gression lin\u00e9aire appliqu\u00e9e directement \u00e0 une r\u00e9ponse 0\/1, elle ne tient pas : ses pr\u00e9dictions peuvent sortir de [0, 1], donc ne se lisent plus comme des probabilit\u00e9s .<\/p>\n
\n\ud83d\udca1 Intuition<\/strong> Si tu regardes la sigmo\u00efde comme un traducteur qui transforme un score en probabilit\u00e9, la perte est le juge qui note cette probabilit\u00e9 au regard de ce qui est arriv\u00e9. Les deux vont ensemble.<\/p>\n<\/blockquote>\nO\u00f9 la perte se branche dans PyTorch<\/h2>\n Dans un classifieur \u00e0 deux cat\u00e9gories, la sortie passe par une sigmo\u00efde avant d’arriver \u00e0 la perte . La ligne qui fixe la perte tient en une instruction :<\/p>\n
criterion = nn.BCELoss()\n<\/code><\/pre>\n\u00c0 chaque lot, la perte se calcule entre la sortie du mod\u00e8le et les \u00e9tiquettes<\/strong>. Dans la ligne suivante, output<\/code> d\u00e9signe la sortie du mod\u00e8le pour ce lot et labels<\/code> ses \u00e9tiquettes ; labels.float()<\/code> les convertit en nombres d\u00e9cimaux avant le calcul :<\/p>\nloss = criterion(output.squeeze(), labels.float())\n<\/code><\/pre>\nloss.backward()<\/code> d\u00e9clenche ensuite la r\u00e9tropropagation : PyTorch calcule les gradients automatiquement, gr\u00e2ce \u00e0 son module autograd<\/code>, pour toute fonction d\u00e9rivable .<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> L’entropie crois\u00e9e binaire juge une probabilit\u00e9 \u00e0 partir de l’issue r\u00e9ellement observ\u00e9e. Elle est presque nulle quand la probabilit\u00e9 donn\u00e9e \u00e0 la bonne issue est haute, et tr\u00e8s lourde quand elle est basse. BCELoss<\/code> en est la version PyTorch, \u00e0 brancher apr\u00e8s une sigmo\u00efde.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"La perte d’entropie crois\u00e9e binaire, sa formule lue terme par terme, ce qu’elle punit et ce que fait BCELoss dans un mod\u00e8le PyTorch.<\/p>\n","protected":false},"author":1,"featured_media":739,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-740","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/740","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=740"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/740\/revisions"}],"predecessor-version":[{"id":766,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/740\/revisions\/766"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/739"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=740"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=740"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=740"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-de471d9a35ab653d7aea0b888dc38eb6_l3.png\" "\\"Rendered")
<\/p><\/p>\n\n\n![\"Courbe](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/09\/b2_ch03_fonction_logistique_sigmoide.png\")