se parall\u00e9lise facilement<\/strong>, ce qui explique son choix.<\/p>\nPremier ingr\u00e9dient : les connexions r\u00e9siduelles<\/strong>. Elles font passer l’information entre deux couches sans la faire traverser la transformation interm\u00e9diaire. D\u00e9velopp\u00e9es d’abord pour les r\u00e9seaux convolutifs, elles cr\u00e9ent un raccourci qui aide le gradient \u00e0 redescendre vers les couches basses. Dans le transformeur, il y en a autour de l’attention et autour du feed-forward : l’entr\u00e9e est simplement additionn\u00e9e \u00e0 la sortie.<\/p>\nElles lissent aussi la surface de la fonction de perte, ce qui aide le mod\u00e8le \u00e0 trouver un meilleur minimum sans rester coinc\u00e9 dans un minimum local. L’effet est spectaculaire sur les visualisations de paysage de perte publi\u00e9es par Li et ses coll\u00e8gues.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Une couche de plus n’est pas une garantie de plus : sans raccourci, c’est le signal d’erreur qui peine \u00e0 redescendre vers les \u00e9tages du bas.<\/p>\n<\/blockquote>\nSecond ingr\u00e9dient : la normalisation de couche<\/strong>, qui facilite l’entra\u00eenement parce qu’elle garde les valeurs des couches cach\u00e9es dans une plage donn\u00e9e. Pour chaque vecteur, on calcule la moyenne et l’\u00e9cart-type, puis on le met \u00e0 l’\u00e9chelle ; c’est une alternative \u00e0 la normalisation par lots.<\/p>\nDeux r\u00e9flexes \u00e0 corriger<\/h2>\n\u00ab Chaque couche de la pile est indispensable \u00bb<\/h3>\n
Pas forc\u00e9ment. Une fois un mod\u00e8le entra\u00een\u00e9, on peut l’all\u00e9ger par l’\u00e9lagage<\/strong> : supprimer des poids, des connexions, voire des couches enti\u00e8res. La version non structur\u00e9e est la plus simple : on met \u00e0 z\u00e9ro les connexions dont la valeur est sous un seuil, car les poids d\u00e9j\u00e0 proches de z\u00e9ro contiennent peu d’information. Revers : elle peut cr\u00e9er des mod\u00e8les creux, dont l’inf\u00e9rence est sous-optimale.<\/p>\nL’\u00e9lagage structur\u00e9 est plus sophistiqu\u00e9. Il \u00e9limine des neurones, des groupes de neurones, des couches ou des blocs entiers, en cherchant \u00e0 pr\u00e9server la performance<\/strong> tout en \u00e9quilibrant pr\u00e9cision et compression. La pile n’est donc pas un monolithe : on peut en retirer des morceaux.<\/p>\n\u00ab Plus on entra\u00eene, mieux c’est \u00bb<\/h3>\n
Suis, \u00e0 chaque it\u00e9ration, l’erreur sur les donn\u00e9es d’entra\u00eenement et sur des donn\u00e9es de validation mises de c\u00f4t\u00e9. La premi\u00e8re d\u00e9cro\u00eet sans cesse. La seconde commence par baisser, puis se remet \u00e0 monter<\/strong> : c’est le signe que le r\u00e9seau apprend les particularit\u00e9s de son jeu d’entra\u00eenement plut\u00f4t que la structure g\u00e9n\u00e9rale des donn\u00e9es.<\/p>\nL’arr\u00eat pr\u00e9coce en tire la cons\u00e9quence : on interrompt l’entra\u00eenement d\u00e8s que l’erreur de validation cesse de s’am\u00e9liorer. \u00c0 chaque it\u00e9ration, on ne garde le mod\u00e8le que s’il bat le meilleur obtenu jusque-l\u00e0, et l’on s’arr\u00eate d\u00e8s que ce n’est plus le cas. Sa simplicit\u00e9 en fait une seconde ligne de d\u00e9fense, sans toucher \u00e0 la fonction objectif.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Un r\u00e9seau profond, c’est un bloc qu’on r\u00e9p\u00e8te entre une entr\u00e9e et une sortie, avec une taille de vecteur qui \u00e9volue et des raccourcis qui gardent l’ensemble stable. Sa hauteur se r\u00e8gle, se taille, et se surveille pendant l’entra\u00eenement.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Entr\u00e9e, bloc r\u00e9p\u00e9t\u00e9 des dizaines de fois, sortie : d\u00e9couvre ce que contient un r\u00e9seau profond, pourquoi on empile les couches et ce qui tient la pile.<\/p>\n","protected":false},"author":1,"featured_media":673,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-674","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/674","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=674"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/674\/revisions"}],"predecessor-version":[{"id":801,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/674\/revisions\/801"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/673"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=674"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=674"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=674"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch03_anatomie_bloc_transformer-scaled.png\")