{"id":657,"date":"2026-10-09T16:31:48","date_gmt":"2026-10-09T14:31:48","guid":{"rendered":"https:\/\/www.ranksignal.fr\/blog\/?p=657"},"modified":"2026-10-14T17:47:08","modified_gmt":"2026-10-14T15:47:08","slug":"que-sont-les-couches-d-auto-attention","status":"publish","type":"post","link":"https:\/\/www.ranksignal.fr\/blog\/deep-learning\/que-sont-les-couches-d-auto-attention\/","title":{"rendered":"Les couches d&rsquo;auto-attention : ce qu&rsquo;elles font vraiment"},"content":{"rendered":"<p><\/p>\n<p>\u00ab J&rsquo;ai d\u00e9cid\u00e9 d&rsquo;\u00e9crire un roman parce que je pensais que cela serait facile, mais cela s&rsquo;est r\u00e9v\u00e9l\u00e9 difficile. \u00bb \u00c0 quoi renvoie ce \u00ab cela \u00bb ? Tu le sais sans y penser, mais un mod\u00e8le de langage doit le calculer, et la pi\u00e8ce qui s&rsquo;en charge s&rsquo;appelle une couche d&rsquo;auto-attention. Tu vas voir ce qu&rsquo;elle re\u00e7oit, ce qu&rsquo;elle rend, ce qu&rsquo;elle apprend, et ce que le pr\u00e9fixe \u00ab auto \u00bb vient faire l\u00e0.<\/p>\n<p><strong>Sommaire<\/strong><\/p>\n<ul>\n<li><a href=\"#l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/a><\/li>\n<li><a href=\"#un-tableau-entre-un-tableau-de-meme-taille-sort\">Un tableau entre, un tableau de m\u00eame taille sort<\/a><\/li>\n<li><a href=\"#le-mot-cela-a-quoi-sert-cette-couche\">Le mot \u00ab cela \u00bb : \u00e0 quoi sert cette couche<\/a><\/li>\n<li><a href=\"#pourquoi-on-dit-auto\">Pourquoi on dit \u00ab auto \u00bb<\/a><\/li>\n<li><a href=\"#trois-matrices-apprises-puis-une-moyenne-ponderee\">Trois matrices apprises, puis une moyenne pond\u00e9r\u00e9e<\/a><\/li>\n<li><a href=\"#des-tetes-en-parallele-des-couches-en-serie\">Des t\u00eates en parall\u00e8le, des couches en s\u00e9rie<\/a><\/li>\n<li><a href=\"#trois-idees-recues-sur-la-couche-d-auto-attention\">Trois id\u00e9es re\u00e7ues sur la couche d&rsquo;auto-attention<\/a><\/li>\n<\/ul>\n<h2 id=\"l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/h2>\n<ul>\n<li>Une couche d&rsquo;auto-attention prend <strong>un tableau de vecteurs, un par jeton<\/strong>, et en rend un de m\u00eame taille, o\u00f9 chaque jeton a consult\u00e9 les autres.<\/li>\n<li>\u00ab Auto \u00bb veut dire que requ\u00eates, cl\u00e9s et valeurs viennent de <strong>la m\u00eame s\u00e9quence<\/strong> ; avec l&rsquo;attention crois\u00e9e, les requ\u00eates viennent d&rsquo;ailleurs.<\/li>\n<li>Ce qu&rsquo;elle apprend tient dans <strong>trois matrices de poids<\/strong> (plus une projection finale quand il y a plusieurs t\u00eates), qui fabriquent Q, K et V.<\/li>\n<li>Une couche r\u00e9elle lance <strong>plusieurs t\u00eates en parall\u00e8le<\/strong>, et un mod\u00e8le empile des dizaines \u00e0 des centaines de blocs qui en contiennent.<\/li>\n<li>Ce n&rsquo;est pas elle qui p\u00e8se le plus : <strong>les sous-couches lin\u00e9aires portent plus de poids<\/strong> qu&rsquo;elle.<\/li>\n<\/ul>\n<h2 id=\"un-tableau-entre-un-tableau-de-meme-taille-sort\">Un tableau entre, un tableau de m\u00eame taille sort<\/h2>\n<p>Avant de parler d&rsquo;attention, un mot sur le mot \u00ab couche \u00bb. Dans un <a href=\"\/blog\/deep-learning\/que-sont-les-reseaux-de-neurones\/\" title=\"r\u00e9seau de neurones\">r\u00e9seau de neurones<\/a>, l&rsquo;unit\u00e9 de base est le n\u0153ud : un petit programme qui prend une entr\u00e9e, la multiplie par des poids, ajoute un biais et renvoie le r\u00e9sultat. Un groupe de n\u0153uds forme une <strong>couche<\/strong>, et chaque couche lit la sortie de la pr\u00e9c\u00e9dente.<\/p>\n<p>Les sorties des couches interm\u00e9diaires s&rsquo;appellent des <strong>\u00e9tats cach\u00e9s<\/strong> : des repr\u00e9sentations internes des donn\u00e9es, dont une caract\u00e9ristique cl\u00e9 est la taille des vecteurs, ou dimensionnalit\u00e9. Pour du texte, ces vecteurs comptent des centaines ou des milliers de nombres, afin de capter le sens.<\/p>\n<p>Une couche d&rsquo;auto-attention est l&rsquo;une de ces couches interm\u00e9diaires. Elle re\u00e7oit la matrice <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#88;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> issue de l&rsquo;<a href=\"\/blog\/rag\/que-sont-les-embeddings\/\" title=\"embedding\">embedding<\/a> : <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b170995d512c659d8668b4e42e1fef6b_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#110;\" title=\"Rendered by QuickLaTeX.com\" height=\"8\" width=\"11\" style=\"vertical-align: 0px;\"\/> lignes (une par jeton) et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-4e8716946f6a868f015e0d62f28bc540_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#100;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"10\" style=\"vertical-align: 0px;\"\/> colonnes (les dimensions de l&#8217;embedding). Elle en ressort avec <strong>exactement les m\u00eames dimensions<\/strong>.<\/p>\n<p>Dans un bloc, la sortie de la couche est ajout\u00e9e \u00e0 l&rsquo;entr\u00e9e, puis normalis\u00e9e :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 22px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-908285c875d8af94df1f64ba49e24399_l3.png\" height=\"22\" width=\"400\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#72;&#61;&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#76;&#97;&#121;&#101;&#114;&#78;&#111;&#114;&#109;&#125;&#92;&#98;&#105;&#103;&#108;&#40;&#88;&#43;&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#77;&#117;&#108;&#116;&#105;&#72;&#101;&#97;&#100;&#83;&#101;&#108;&#102;&#65;&#116;&#116;&#101;&#110;&#116;&#105;&#111;&#110;&#125;&#40;&#88;&#41;&#92;&#98;&#105;&#103;&#114;&#41;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#88;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> est le tableau d&rsquo;entr\u00e9e ; <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4386cf971e56e67b63e4990f3843dd8_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#77;&#117;&#108;&#116;&#105;&#72;&#101;&#97;&#100;&#83;&#101;&#108;&#102;&#65;&#116;&#116;&#101;&#110;&#116;&#105;&#111;&#110;&#125;&#40;&#88;&#41;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"214\" style=\"vertical-align: -5px;\"\/> est ce que rend la couche, de m\u00eame taille, d&rsquo;o\u00f9 la possibilit\u00e9 de l&rsquo;additionner \u00e0 <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#88;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> ; <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-73edb0c76dbfc6ecb3f0241c07c003f1_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#76;&#97;&#121;&#101;&#114;&#78;&#111;&#114;&#109;&#125;\" title=\"Rendered by QuickLaTeX.com\" height=\"16\" width=\"87\" style=\"vertical-align: -4px;\"\/> garde les valeurs dans une plage stable ; et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-379db1fc1f84b7ce56b92463183097f9_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#72;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> est le nouveau tableau, toujours de taille <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-5318ec8a850d9431e3fecca4da591a6e_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#110;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#100;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"42\" style=\"vertical-align: 0px;\"\/>.<\/p>\n<blockquote>\n<p><strong>\ud83d\udca1 Intuition<\/strong> Imagine le tableau comme une feuille de calcul : une ligne par mot. En entr\u00e9e, chaque ligne ne d\u00e9crit que son mot. En sortie, la feuille a la m\u00eame forme, mais chaque ligne est r\u00e9\u00e9crite en tenant compte des autres lignes.<\/p>\n<\/blockquote>\n<h2 id=\"le-mot-cela-a-quoi-sert-cette-couche\">Le mot \u00ab cela \u00bb : \u00e0 quoi sert cette couche<\/h2>\n<p>Reprends la phrase d&rsquo;ouverture. Pris isol\u00e9ment, \u00ab cela \u00bb ne veut rien dire : son sens vient du reste de la phrase. L&rsquo;attention est le m\u00e9canisme qui relie un jeton aux autres jetons de la s\u00e9quence, et elle montre ici que <strong>\u00ab cela \u00bb renvoie \u00e0 l&rsquo;\u00e9criture du roman<\/strong>.<\/p>\n<p>Un humain interpr\u00e8te sans effort ces relations entre les mots ; l&rsquo;attention donne la m\u00eame capacit\u00e9 aux <a href=\"\/blog\/inference\/qu-est-ce-qu-un-llm\/\" title=\"LLM\">LLM<\/a>.<\/p>\n<p>Pour y parvenir, la couche r\u00e9alise une s\u00e9rie de comparaisons entre les composantes de la s\u00e9quence, ici les jetons. Elle obtient ainsi une s\u00e9quence de sortie, r\u00e9utilisable ensuite pour des t\u00e2ches tr\u00e8s diverses. Le vecteur de \u00ab cela \u00bb repart donc enrichi des mots qui l&rsquo;\u00e9clairent, au lieu de rester une repr\u00e9sentation isol\u00e9e.<\/p>\n<h2 id=\"pourquoi-on-dit-auto\">Pourquoi on dit \u00ab auto \u00bb<\/h2>\n<p>Le pr\u00e9fixe ne se comprend que par contraste. Le m\u00e9canisme d&rsquo;attention est n\u00e9 en traduction, avec deux s\u00e9quences : pour \u00e9crire un mot fran\u00e7ais, le mod\u00e8le compare l&rsquo;\u00e9tat courant du d\u00e9codeur <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3d7efbed8b8f0a834c811a4716e3373c_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#115;&#95;&#123;&#105;&#45;&#49;&#125;\" title=\"Rendered by QuickLaTeX.com\" height=\"11\" width=\"30\" style=\"vertical-align: -3px;\"\/> \u00e0 chaque \u00e9tat <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-dea7e557ed361fdae12f86a770ad2164_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#104;&#95;&#106;\" title=\"Rendered by QuickLaTeX.com\" height=\"18\" width=\"16\" style=\"vertical-align: -6px;\"\/> de l&rsquo;encodeur. Premier geste, mesurer leur ressemblance :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 19px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-fc2c3d47b5a2a66dd07162baf95fb01b_l3.png\" height=\"19\" width=\"161\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#101;&#95;&#123;&#105;&#44;&#106;&#125;&#61;&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#115;&#99;&#111;&#114;&#101;&#125;&#40;&#115;&#95;&#123;&#105;&#45;&#49;&#125;&#44;&#104;&#95;&#106;&#41;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Le score peut \u00eatre un produit scalaire, une similarit\u00e9 cosinus ou un petit r\u00e9seau feedforward.<\/p>\n<p>Deuxi\u00e8me geste, passer tous ces scores dans une softmax, qui les \u00e9crase entre 0 et 1 et donne \u00e0 chaque \u00e9tat une importance relative :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 46px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3f4a38bc5a4a53e5097aa0df4af17606_l3.png\" height=\"46\" width=\"293\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#97;&#95;&#123;&#105;&#44;&#106;&#125;&#61;&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#115;&#111;&#102;&#116;&#109;&#97;&#120;&#125;&#40;&#101;&#95;&#123;&#105;&#44;&#106;&#125;&#41;&#61;&#92;&#102;&#114;&#97;&#99;&#123;&#92;&#101;&#120;&#112;&#40;&#101;&#95;&#123;&#105;&#44;&#106;&#125;&#41;&#125;&#123;&#92;&#115;&#117;&#109;&#95;&#123;&#107;&#61;&#49;&#125;&#94;&#123;&#116;&#125;&#92;&#101;&#120;&#112;&#40;&#101;&#95;&#123;&#105;&#44;&#107;&#125;&#41;&#125;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Troisi\u00e8me geste, faire la somme des \u00e9tats pond\u00e9r\u00e9e par ces poids :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 55px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a25802e1e58ce97fa598c6c0f01fb830_l3.png\" height=\"55\" width=\"115\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#99;&#95;&#105;&#61;&#92;&#115;&#117;&#109;&#95;&#123;&#106;&#61;&#49;&#125;&#94;&#123;&#84;&#125;&#97;&#95;&#123;&#105;&#44;&#106;&#125;&#92;&#44;&#104;&#95;&#106;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Le r\u00e9sultat <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-73f745a16381e58d8cc648594702fab4_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#99;&#95;&#105;\" title=\"Rendered by QuickLaTeX.com\" height=\"11\" width=\"13\" style=\"vertical-align: -3px;\"\/> est un vecteur de contexte de longueur fixe, qui informe sur l&rsquo;ensemble des \u00e9tats cach\u00e9s.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46aa6bf4&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46aa6bf4\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"1485\" height=\"1219\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_attention_alignement.png\" alt=\"Matrice d'alignement entre une phrase anglaise en colonnes et sa traduction fran\u00e7aise en lignes, chaque case donnant le poids d'attention\" class=\"wp-image-282\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_attention_alignement.png 1485w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_attention_alignement-300x246.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_attention_alignement-1024x841.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_attention_alignement-768x630.png 768w\" sizes=\"auto, (max-width: 1485px) 100vw, 1485px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Regarde la forme du tableau : quatre colonnes pour six lignes, car \u00ab she doesn&rsquo;t like potatoes \u00bb donne \u00ab elle n&rsquo;aime pas les pommes de terre \u00bb. Les deux s\u00e9quences n&rsquo;ont pas la m\u00eame longueur, donc la matrice est rectangulaire (les valeurs sont illustratives, par exemple 0,85 entre \u00ab elle \u00bb et \u00ab she \u00bb).<\/figcaption><\/figure>\n\n\n<p>L&rsquo;<strong>auto-attention<\/strong> est la variante qui extrait l&rsquo;information directement de l&rsquo;entr\u00e9e, sans forc\u00e9ment la comparer \u00e0 autre chose. Q, K et V viennent de la m\u00eame s\u00e9quence. Dans l&rsquo;attention crois\u00e9e, au contraire, Q vient d&rsquo;une autre s\u00e9quence que K et V, ce qui conditionne Q par une information externe.<\/p>\n<p>Les LLM emploient l&rsquo;auto-attention. Les mod\u00e8les de g\u00e9n\u00e9ration d&rsquo;images et les mod\u00e8les multimodaux emploient aussi l&rsquo;attention crois\u00e9e, par exemple entre l&rsquo;image en cours de g\u00e9n\u00e9ration et le prompt associ\u00e9.<\/p>\n<blockquote>\n<p><strong>\ud83d\udccc \u00c0 retenir<\/strong> Avec \u00ab auto \u00bb, la s\u00e9quence joue les deux r\u00f4les \u00e0 la fois : elle pose la question et fournit la r\u00e9ponse. Les tableaux <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-520cb534cd5b6bed768a61515b57cb7e_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#83;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"12\" style=\"vertical-align: 0px;\"\/> et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-650eb7688af6737ac325425b5c9a5982_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#80;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"14\" style=\"vertical-align: 0px;\"\/> de l&rsquo;attention sont alors carr\u00e9s, de taille <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-4baf35605d041d4b70147e126302e8a7_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#78;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#78;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"54\" style=\"vertical-align: 0px;\"\/>, au lieu d&rsquo;\u00eatre rectangulaires comme dans la traduction.<\/p>\n<\/blockquote>\n<h2 id=\"trois-matrices-apprises-puis-une-moyenne-ponderee\">Trois matrices apprises, puis une moyenne pond\u00e9r\u00e9e<\/h2>\n<p>La couche part de <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#88;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> et en tire trois versions, chacune par une matrice de poids qui lui est propre :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 17px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-60b1b8c99c0762f15118e803bf414627_l3.png\" height=\"17\" width=\"341\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#81;&#61;&#88;&#87;&#95;&#81;&#44;&#92;&#113;&#113;&#117;&#97;&#100;&#32;&#75;&#61;&#88;&#87;&#95;&#75;&#44;&#92;&#113;&#113;&#117;&#97;&#100;&#32;&#86;&#61;&#88;&#87;&#95;&#86;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Ces matrices <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7fccbd0094f3f2e5ddc2c992d4c746ff_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#87;&#95;&#81;\" title=\"Rendered by QuickLaTeX.com\" height=\"18\" width=\"28\" style=\"vertical-align: -6px;\"\/>, <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-524fd3133c66387f8df55c37c833cf78_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#87;&#95;&#75;\" title=\"Rendered by QuickLaTeX.com\" height=\"15\" width=\"30\" style=\"vertical-align: -3px;\"\/> et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a73c8e79b62237676f09765c314f8bcf_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#87;&#95;&#86;\" title=\"Rendered by QuickLaTeX.com\" height=\"15\" width=\"28\" style=\"vertical-align: -3px;\"\/> sont <strong>les poids de la couche<\/strong> : on les initialise au hasard et l&rsquo;entra\u00eenement les apprend. Chaque jeton se retrouve ainsi d\u00e9crit trois fois : par <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2c758bec4c272382411b95fc0e7ee250_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#81;\" title=\"Rendered by QuickLaTeX.com\" height=\"16\" width=\"14\" style=\"vertical-align: -4px;\"\/>, les requ\u00eates, vers lesquelles se centre l&rsquo;attention du moment ; par <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#75;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/>, les cl\u00e9s, qui situent les autres entr\u00e9es ; et par <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-63ada879859a9e41fd935f035b7313bc_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#86;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"14\" style=\"vertical-align: 0px;\"\/>, les valeurs, dont on tire l&rsquo;information finale.<\/p>\n<p>Les trois gestes vus plus haut sont toujours l\u00e0. Le produit scalaire <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b73f56284f1a0b59708c7dbc60f522ed_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#81;&#75;&#94;&#123;&#84;&#125;\" title=\"Rendered by QuickLaTeX.com\" height=\"19\" width=\"40\" style=\"vertical-align: -4px;\"\/> remplace la fonction de score, la softmax donne les poids, et le produit par <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-63ada879859a9e41fd935f035b7313bc_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#86;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"14\" style=\"vertical-align: 0px;\"\/> fait la somme pond\u00e9r\u00e9e :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 45px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4a0c8ab6def29e3f6029fce3672b97c_l3.png\" height=\"45\" width=\"321\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#65;&#116;&#116;&#101;&#110;&#116;&#105;&#111;&#110;&#125;&#40;&#81;&#44;&#75;&#44;&#86;&#41;&#61;&#92;&#109;&#97;&#116;&#104;&#114;&#109;&#123;&#115;&#111;&#102;&#116;&#109;&#97;&#120;&#125;&#92;&#33;&#92;&#108;&#101;&#102;&#116;&#40;&#92;&#102;&#114;&#97;&#99;&#123;&#81;&#75;&#94;&#123;&#84;&#125;&#125;&#123;&#92;&#115;&#113;&#114;&#116;&#123;&#100;&#95;&#107;&#125;&#125;&#92;&#114;&#105;&#103;&#104;&#116;&#41;&#86;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p>Ici <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-6fa015e5bd0565207e887ee6db0d642d_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#100;&#95;&#107;\" title=\"Rendered by QuickLaTeX.com\" height=\"15\" width=\"16\" style=\"vertical-align: -3px;\"\/> est la dimension des cl\u00e9s : diviser par sa racine carr\u00e9e stabilise les gradients. Pour une couche, c&rsquo;est donc la formule compl\u00e8te, avec une softmax et un produit de matrices.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46aa7313&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46aa7313\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2340\" height=\"1320\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv.png\" alt=\"Auto-attention : l'entr\u00e9e est projet\u00e9e en question, \u00e9tiquette et contenu, puis la softmax du produit question-\u00e9tiquette pond\u00e8re les contenus\" class=\"wp-image-284\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv.png 2340w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv-300x169.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv-1024x578.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv-768x433.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv-1536x866.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_auto_attention_qkv-2048x1155.png 2048w\" sizes=\"auto, (max-width: 2340px) 100vw, 2340px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">La comparaison, la softmax et la somme pond\u00e9r\u00e9e ne font que combiner leurs r\u00e9sultats.<\/figcaption><\/figure>\n\n\n<p>Ce dispositif a un avantage : il extrait <strong>plusieurs repr\u00e9sentations de la m\u00eame entr\u00e9e<\/strong>, puisque rien n&#8217;emp\u00eache de poser plusieurs questions \u00e0 la m\u00eame s\u00e9quence.<\/p>\n<h2 id=\"des-tetes-en-parallele-des-couches-en-serie\">Des t\u00eates en parall\u00e8le, des couches en s\u00e9rie<\/h2>\n<p>Une couche r\u00e9elle ne lance pas un seul calcul de ce genre, mais plusieurs. Chaque t\u00eate est une op\u00e9ration d&rsquo;attention compl\u00e8te, et les t\u00eates tournent en parall\u00e8le dans la m\u00eame sous-couche. Chacune peut se charger de relations diff\u00e9rentes, comme l&rsquo;accord sujet-verbe ou la r\u00e9solution de cor\u00e9f\u00e9rence, le cas de notre \u00ab cela \u00bb.<\/p>\n<p>Au fil de l&rsquo;entra\u00eenement, chaque t\u00eate voit ses matrices <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#75;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> et <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2c758bec4c272382411b95fc0e7ee250_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#81;\" title=\"Rendered by QuickLaTeX.com\" height=\"16\" width=\"14\" style=\"vertical-align: -4px;\"\/> se sp\u00e9cialiser sur un type de relation. Les <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b170995d512c659d8668b4e42e1fef6b_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#110;\" title=\"Rendered by QuickLaTeX.com\" height=\"8\" width=\"11\" style=\"vertical-align: 0px;\"\/> t\u00eates donnent <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b170995d512c659d8668b4e42e1fef6b_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#110;\" title=\"Rendered by QuickLaTeX.com\" height=\"8\" width=\"11\" style=\"vertical-align: 0px;\"\/> sorties, concat\u00e9n\u00e9es puis pass\u00e9es dans une <strong>projection lin\u00e9aire finale<\/strong> qui ram\u00e8ne la dimension \u00e0 celle de l&rsquo;entr\u00e9e : c&rsquo;est elle qui garantit la forme <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-5318ec8a850d9431e3fecca4da591a6e_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#110;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#100;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"42\" style=\"vertical-align: 0px;\"\/> du d\u00e9but.<\/p>\n<p>Ensuite, on empile. Le corps d&rsquo;un LLM est une s\u00e9rie de dizaines \u00e0 centaines de blocs transformeurs, entre une couche d&#8217;embedding qui transforme les tokens en vecteurs et une couche de sortie qui convertit les \u00e9tats cach\u00e9s en un score par token du vocabulaire.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46aa7869&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46aa7869\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2560\" height=\"1067\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-scaled.png\" alt=\"Pipeline d'un mod\u00e8le transformer : embedding, blocs r\u00e9p\u00e9t\u00e9s des dizaines \u00e0 centaines de fois, t\u00eate de sortie ; un bloc contient l'attention multi-t\u00eates et le r\u00e9seau feed-forward\" class=\"wp-image-484\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-scaled.png 2560w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-300x125.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-1024x427.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-768x320.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-1536x640.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch03_anatomie_bloc_transformer-2048x853.png 2048w\" sizes=\"auto, (max-width: 2560px) 100vw, 2560px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Rep\u00e8re la ligne du bas : elle ouvre un bloc, et la couche d&rsquo;auto-attention n&rsquo;y est qu&rsquo;une pi\u00e8ce, \u00e0 c\u00f4t\u00e9 du r\u00e9seau feed-forward et des normalisations. C&rsquo;est ce bloc entier qui se r\u00e9p\u00e8te.<\/figcaption><\/figure>\n\n\n<p>Chaque \u00e9tage s&rsquo;appuie sur le pr\u00e9c\u00e9dent : l&rsquo;information apprise par les premi\u00e8res couches peut servir aux suivantes, et en avan\u00e7ant dans le mod\u00e8le, les couches apprennent des repr\u00e9sentations diff\u00e9rentes.<\/p>\n<p>Comment regarder ce travail ? Avec <a href=\"\/blog\/deep-learning\/la-bibliotheque-bertviz\/\" title=\"BERTviz\">BERTviz<\/a>, une vue d&rsquo;ensemble affiche l&rsquo;attention de toutes les couches et de toutes les t\u00eates d&rsquo;un <a href=\"\/blog\/deep-learning\/le-modele-bert\/\" title=\"mod\u00e8le BERT\">mod\u00e8le BERT<\/a>. Elle attend trois objets d\u00e9j\u00e0 pr\u00eats : les poids d&rsquo;attention, la liste des jetons, et l&rsquo;indice o\u00f9 commence la seconde phrase d&rsquo;une paire. Puis un seul appel suffit :<\/p>\n<pre><code>model_view(attention, tokens, sentence_b_start)\n<\/code><\/pre>\n<p>Dans cette vue, l&rsquo;intensit\u00e9 de la couleur indique un poids d&rsquo;attention plus fort : les couleurs sombres sont des poids proches de 1.<\/p>\n<h2 id=\"trois-idees-recues-sur-la-couche-d-auto-attention\">Trois id\u00e9es re\u00e7ues sur la couche d&rsquo;auto-attention<\/h2>\n<h3>\u00ab C&rsquo;est la couche d&rsquo;attention qui porte l&rsquo;essentiel des poids \u00bb<\/h3>\n<p>Non. Dans un LLM, les sous-couches lin\u00e9aires forment la majorit\u00e9 des poids entra\u00eenables, devant les sous-couches d&rsquo;attention, deuxi\u00e8me composant en taille. Normalisations et fonctions d&rsquo;activation sont une erreur d&rsquo;arrondi dans la taille du mod\u00e8le.<\/p>\n<p>Le nombre de param\u00e8tres d\u00e9pend de trois facteurs : la couche d&#8217;embedding, le m\u00e9canisme d&rsquo;auto-attention (plusieurs matrices de poids, \u00e9ventuellement plusieurs t\u00eates) et la profondeur, car chaque bloc de plus ajoute des param\u00e8tres.<\/p>\n<h3>\u00ab Elle sait dans quel ordre sont les mots \u00bb<\/h3>\n<p>Pas du tout : l&rsquo;auto-attention n&rsquo;a <strong>aucune notion intrins\u00e8que d&rsquo;ordre<\/strong>. Cette information est ajout\u00e9e avant la couche : une fonction enregistre la position de chaque jeton, et son r\u00e9sultat s&rsquo;additionne aux vecteurs d&#8217;embedding.<\/p>\n<h3>\u00ab Sans auto-attention, pas de mod\u00e8le de langage \u00bb<\/h3>\n<p>C&rsquo;est moins s\u00fbr. Elle a un co\u00fbt quadratique en fonction du nombre de jetons, et on cherche donc \u00e0 s&rsquo;en passer. Mamba, un mod\u00e8le d&rsquo;espace d&rsquo;\u00e9tats s\u00e9lectif, remplace l&rsquo;auto-attention par une mise \u00e0 jour d&rsquo;\u00e9tat r\u00e9currente, avec une croissance lin\u00e9aire en longueur de s\u00e9quence.<\/p>\n<p>Les applications de ces mod\u00e8les restent limit\u00e9es, mais des mod\u00e8les hybrides, qui m\u00e9langent blocs de type Mamba et blocs transformeurs, gagnent du terrain, avec des mod\u00e8les ouverts comme NVIDIA Nemotron 3 Nano.<\/p>\n<blockquote>\n<p><strong>\u26a0\ufe0f Pi\u00e8ge<\/strong> Parler de \u00ab la \u00bb couche d&rsquo;auto-attention d&rsquo;un mod\u00e8le est trompeur : il y en a des dizaines, avec des poids diff\u00e9rents. Chacune re\u00e7oit un tableau et en rend un de m\u00eame taille, mais aucune ne calcule la m\u00eame chose que sa voisine.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"<p>Une couche d&rsquo;auto-attention re\u00e7oit un tableau de vecteurs et en rend un de m\u00eame taille, enrichi de contexte. Ce qu&rsquo;elle apprend, et ce que \u00ab auto \u00bb change.<\/p>\n","protected":false},"author":1,"featured_media":656,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-657","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/657","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=657"}],"version-history":[{"count":4,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/657\/revisions"}],"predecessor-version":[{"id":822,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/657\/revisions\/822"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/656"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=657"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=657"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=657"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}