{"id":336,"date":"2026-10-05T16:15:28","date_gmt":"2026-10-05T14:15:28","guid":{"rendered":"https:\/\/www.ranksignal.fr\/blog\/?p=336"},"modified":"2026-10-14T16:55:26","modified_gmt":"2026-10-14T14:55:26","slug":"a-quels-problemes-reels-appliquer-les-transformers","status":"publish","type":"post","link":"https:\/\/www.ranksignal.fr\/blog\/deep-learning\/a-quels-problemes-reels-appliquer-les-transformers\/","title":{"rendered":"Transformers : les probl\u00e8mes r\u00e9els o\u00f9 ils font la diff\u00e9rence"},"content":{"rendered":"<p><\/p>\n<p>Lundi matin, ta boutique en ligne re\u00e7oit un message : \u00ab Ma tasse est arriv\u00e9e f\u00eal\u00e9e. \u00bb Une photo est jointe. Puis un client laisse un message vocal, et un autre pose une question sur ta politique de retour. Texte, image, voix : trois formats, et pourtant une seule famille d&rsquo;architectures sait s&rsquo;attaquer aux trois. Voici la carte des probl\u00e8mes r\u00e9els o\u00f9 un <a href=\"\/blog\/deep-learning\/qu-est-ce-qu-un-transformer\/\" title=\"Transformer\">Transformer<\/a> s&rsquo;applique, avec de quoi placer le tien dessus.<\/p>\n<p><strong>Sommaire<\/strong><\/p>\n<ul>\n<li><a href=\"#l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/a><\/li>\n<li><a href=\"#une-architecture-six-familles-de-problemes\">Une architecture, six familles de probl\u00e8mes<\/a><\/li>\n<li><a href=\"#chercher-dans-tes-documents-par-le-sens\">Chercher dans tes documents par le sens<\/a><\/li>\n<li><a href=\"#relier-une-photo-et-une-phrase\">Relier une photo et une phrase<\/a><\/li>\n<li><a href=\"#fabriquer-des-images-des-voix-des-sons\">Fabriquer des images, des voix, des sons<\/a><\/li>\n<li><a href=\"#ecrire-avec-toi-conversation-terminal-et-code\">\u00c9crire avec toi : conversation, terminal et code<\/a><\/li>\n<li><a href=\"#tenir-un-metier-les-agents\">Tenir un m\u00e9tier : les agents<\/a><\/li>\n<li><a href=\"#donner-un-plan-d-action-a-un-robot-ou-a-un-vehicule\">Donner un plan d&rsquo;action \u00e0 un robot ou \u00e0 un v\u00e9hicule<\/a><\/li>\n<li><a href=\"#la-ou-ca-se-gate\">L\u00e0 o\u00f9 \u00e7a se g\u00e2te<\/a><\/li>\n<li><a href=\"#reperer-ton-probleme-etroit-mesurable-teste\">Rep\u00e9rer ton probl\u00e8me : \u00e9troit, mesurable, test\u00e9<\/a><\/li>\n<\/ul>\n<h2 id=\"l-essentiel-en-30-secondes\">L&rsquo;essentiel en 30 secondes<\/h2>\n<ul>\n<li>Un Transformer s&rsquo;applique \u00e0 <strong>tout ce qui devient une suite de jetons<\/strong> : texte, morceaux d&rsquo;image, son, notes de musique, ADN.<\/li>\n<li>Sur le texte, il sert \u00e0 <strong>chercher par le sens<\/strong> dans tes propres documents, puis \u00e0 r\u00e9diger la r\u00e9ponse.<\/li>\n<li>Avec l&rsquo;image et la voix, il permet de <strong>relier photo, l\u00e9gende et parole<\/strong>, et de fabriquer des images.<\/li>\n<li>C\u00f4t\u00e9 conversation et code, il \u00e9quipe des <strong>assistants, terminaux et copilotes<\/strong> ; avec des outils, il devient un agent de m\u00e9tier.<\/li>\n<li>Les \u00e9checs co\u00fbteux viennent d&rsquo;<strong>actions mal contr\u00f4l\u00e9es<\/strong> : commence par un cas \u00e9troit, mesurable et test\u00e9.<\/li>\n<\/ul>\n<h2 id=\"une-architecture-six-familles-de-problemes\">Une architecture, six familles de probl\u00e8mes<\/h2>\n<p>Pour savoir \u00e0 quelle porte frapper, regarde ce qui entre et ce qui sort. Un mod\u00e8le se d\u00e9crit par sa <strong>modalit\u00e9<\/strong> : les types d&rsquo;entr\u00e9es qu&rsquo;il accepte et les types de sorties qu&rsquo;il cr\u00e9e.<\/p>\n<table>\n<thead>\n<tr>\n<th>Ce qui entre<\/th>\n<th>Ce qui sort<\/th>\n<th>Probl\u00e8me typique<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Texte<\/td>\n<td>Texte<\/td>\n<td>conversation, assistant, aide au code<\/td>\n<\/tr>\n<tr>\n<td>Texte ou image<\/td>\n<td>Vecteur de nombres<\/td>\n<td>recherche par le sens, regroupement<\/td>\n<\/tr>\n<tr>\n<td>Texte et image (ou vid\u00e9o)<\/td>\n<td>Texte<\/td>\n<td>poser des questions sur une photo<\/td>\n<\/tr>\n<tr>\n<td>Voix<\/td>\n<td>Texte<\/td>\n<td>transcription<\/td>\n<\/tr>\n<tr>\n<td>Texte<\/td>\n<td>Voix<\/td>\n<td>synth\u00e8se vocale<\/td>\n<\/tr>\n<tr>\n<td>Texte<\/td>\n<td>Image<\/td>\n<td>g\u00e9n\u00e9ration d&rsquo;images<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Ce qui rend ce tableau possible tient en une phrase : si l&rsquo;on sait transformer un type de donn\u00e9es en vecteurs, on peut le donner aux blocs d&rsquo;un Transformer. Il reste \u00e0 trouver, pour chaque type de donn\u00e9e, la bonne repr\u00e9sentation num\u00e9rique ; la suite du travail est la m\u00eame.<\/p>\n<p>Quant \u00e0 la fa\u00e7on de produire la sortie, deux m\u00e9canismes dominent : pr\u00e9dire le jeton suivant, ou partir d&rsquo;un bruit al\u00e9atoire et le raffiner pas \u00e0 pas.<\/p>\n<h2 id=\"chercher-dans-tes-documents-par-le-sens\">Chercher dans tes documents par le sens<\/h2>\n<p>Un client demande : \u00ab Puis-je \u00eatre rembours\u00e9 si ma tasse arrive f\u00eal\u00e9e ? \u00bb La r\u00e9ponse dort dans ta politique de retour, mais la question et le texte ne partagent peut-\u00eatre aucun mot. Ce qui les rapproche, c&rsquo;est leur sens, et c&rsquo;est exactement ce que capturent les <a href=\"\/blog\/rag\/que-sont-les-embeddings\/\" title=\"embeddings\">embeddings<\/a>.<\/p>\n<p>Un ordinateur ne traite que des nombres : un embedding transforme un mot, une phrase ou un document en vecteur, et le mod\u00e8le apprend \u00e0 placer c\u00f4te \u00e0 c\u00f4te ce qui signifie la m\u00eame chose. Avec une seule dimension, on peine \u00e0 repr\u00e9senter fid\u00e8lement \u00ab chien \u00bb, \u00ab aboyer \u00bb et \u00ab voler \u00bb ; <strong>plus de dimensions donnent plus de finesse<\/strong> au sens.<\/p>\n<p>En pratique, tu n&rsquo;entra\u00eenes presque jamais ce mod\u00e8le toi-m\u00eame. Il en existe de pr\u00eats \u00e0 l&#8217;emploi : ceux d&rsquo;OpenAI sortent des vecteurs de 1 536 ou 3 072 dimensions, celui de Google jusqu&rsquo;\u00e0 768, et d&rsquo;autres viennent de Mistral AI ou de Cohere. Certains sont <strong>sp\u00e9cialis\u00e9s par domaine<\/strong>, comme voyage-law-2 pour le juridique et voyage-code-2 pour le code.<\/p>\n<p>Pour choisir, le classement MTEB compare ces mod\u00e8les sur plusieurs t\u00e2ches : classification, recherche, regroupement.<\/p>\n<p>Reste \u00e0 fabriquer la r\u00e9ponse. On d\u00e9coupe d&rsquo;abord les documents en petits morceaux, car le mod\u00e8le, comme une personne, n&rsquo;a pas besoin de relire toute une longue ressource, seulement la partie utile. On encode ces morceaux et on les range dans une base vectorielle.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e2a47c&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e2a47c\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2560\" height=\"1164\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-scaled.png\" alt=\"Deux temps d'un syst\u00e8me de questions-r\u00e9ponses sur documents : hors ligne, les documents sont d\u00e9coup\u00e9s, encod\u00e9s et rang\u00e9s dans une base vectorielle ; en ligne, la question retrouve les morceaux proches et un mod\u00e8le g\u00e9n\u00e9ratif r\u00e9dige la r\u00e9ponse\" class=\"wp-image-332\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-scaled.png 2560w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-300x136.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-1024x465.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-768x349.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-1536x698.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch06_pipeline_rag-2048x931.png 2048w\" sizes=\"auto, (max-width: 2560px) 100vw, 2560px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Suis le sch\u00e9ma en deux temps : le haut se pr\u00e9pare une fois pour toutes, le bas se rejoue \u00e0 chaque question, avec le mod\u00e8le g\u00e9n\u00e9ratif qui lit la question et les morceaux retrouv\u00e9s avant d&rsquo;\u00e9crire. C&rsquo;est la <strong>g\u00e9n\u00e9ration augment\u00e9e par la recherche<\/strong>, qui rend les r\u00e9ponses plus riches en contexte.<\/figcaption><\/figure>\n\n\n<h2 id=\"relier-une-photo-et-une-phrase\">Relier une photo et une phrase<\/h2>\n<p>Ton client a joint la photo de la tasse. Pour les images, les Transformers ont fait leur entr\u00e9e avec le <strong>Vision Transformer (ViT)<\/strong>, sup\u00e9rieur aux r\u00e9seaux convolutifs sur plusieurs t\u00e2ches : classification d&rsquo;images, d\u00e9tection d&rsquo;objets, segmentation.<\/p>\n<p>Le principe est de transformer l&rsquo;image en suite de jetons. Une image de <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-379db1fc1f84b7ce56b92463183097f9_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#72;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> pixels de haut sur <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-4caed22919a1780df1b6310b338b904e_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#87;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"19\" style=\"vertical-align: 0px;\"\/> de large, coup\u00e9e en carr\u00e9s de <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-650eb7688af6737ac325425b5c9a5982_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#80;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"14\" style=\"vertical-align: 0px;\"\/> pixels de c\u00f4t\u00e9, fournit :<\/p>\n<p><p class=\"ql-center-displayed-equation\" style=\"line-height: 37px;\"><span class=\"ql-right-eqno\"> &nbsp; <\/span><span class=\"ql-left-eqno\"> &nbsp; <\/span><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-410d9081f32d8334f57f14bef7f04a7a_l3.png\" height=\"37\" width=\"83\" class=\"ql-img-displayed-equation quicklatex-auto-format\" alt=\"&#92;&#91; &#78;&#61;&#92;&#102;&#114;&#97;&#99;&#123;&#72;&#87;&#125;&#123;&#80;&#94;&#123;&#50;&#125;&#125;&#46;&#92;&#93;\" title=\"Rendered by QuickLaTeX.com\"\/><\/p><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-5793832f979c2268e3694c246d53b1bb_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#78;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"16\" style=\"vertical-align: 0px;\"\/> est le nombre de jetons que re\u00e7oit le Transformer : plus les carr\u00e9s sont petits, plus l&rsquo;image fournit de jetons. Chaque jeton a ensuite pour longueur <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-15a237a9a68a9dcfc6e361043115d4b8_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#80;&#94;&#50;&#32;&#92;&#116;&#105;&#109;&#101;&#115;&#32;&#67;\" title=\"Rendered by QuickLaTeX.com\" height=\"15\" width=\"57\" style=\"vertical-align: 0px;\"\/>, o\u00f9 <img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-f34f74d98915e33f37a086f8cbfb996a_l3.png\" class=\"ql-img-inline-formula quicklatex-auto-format\" alt=\"&#67;\" title=\"Rendered by QuickLaTeX.com\" height=\"12\" width=\"14\" style=\"vertical-align: 0px;\"\/> vaut 3 pour une image en couleur et 1 en noir et blanc, avant d&rsquo;\u00eatre projet\u00e9 \u00e0 une taille choisie.<\/p>\n<p>Classer une photo ne suffit pas pour la relier \u00e0 du texte. Il faut un espace commun o\u00f9 une image et sa l\u00e9gende deviennent voisines : c&rsquo;est ce que fait <strong>CLIP<\/strong>, entra\u00een\u00e9 sur 400 millions de paires (image, texte) collect\u00e9es sur internet. Un Transformer encode les images, un autre les l\u00e9gendes, et l&rsquo;entra\u00eenement maximise la similarit\u00e9 d&rsquo;une image avec sa bonne l\u00e9gende tout en la minimisant avec les autres.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e2aca7&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e2aca7\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"1238\" height=\"1330\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_clip_contrastif.png\" alt=\"Matrice 5\u00d75 croisant cinq images et cinq l\u00e9gendes : la diagonale, surlign\u00e9e, regroupe les bonnes paires \u00e0 rapprocher, les autres cases les mauvais appariements \u00e0 \u00e9loigner\" class=\"wp-image-333\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_clip_contrastif.png 1238w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_clip_contrastif-279x300.png 279w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_clip_contrastif-953x1024.png 953w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch03_clip_contrastif-768x825.png 768w\" sizes=\"auto, (max-width: 1238px) 100vw, 1238px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Rep\u00e8re la diagonale : l&rsquo;entra\u00eenement la renforce et affaiblit tout le reste, lot apr\u00e8s lot.<\/figcaption><\/figure>\n\n\n<p>Avec une biblioth\u00e8que de mod\u00e8les pr\u00eats \u00e0 l&#8217;emploi, comparer images et l\u00e9gendes tient en quelques lignes. On suppose ici que <code>images<\/code> et <code>captions<\/code> sont deux listes pr\u00e9par\u00e9es, des images et leurs l\u00e9gendes :<\/p>\n<pre><code>from sentence_transformers import SentenceTransformer, util\nmodel = SentenceTransformer('clip-ViT-B-32')\nimage_embeddings = model.encode(images, convert_to_tensor=True)\ncaption_embeddings = model.encode(\n    captions, convert_to_tensor=True)\nsimilarity_matrix = util.cos_sim(\n    image_embeddings, caption_embeddings)\n<\/code><\/pre>\n<p>La matrice obtenue compare chaque image \u00e0 chaque l\u00e9gende. Elle ouvre trois probl\u00e8mes concrets : <strong>classer une image sans l&rsquo;avoir vue<\/strong> (classification dite zero-shot, \u00e0 partir d&rsquo;une simple liste d&rsquo;\u00e9tiquettes), chercher dans de grands jeux d&rsquo;images, et regrouper des images puis nommer les groupes avec des mots-cl\u00e9s.<\/p>\n<p>CLIP a une limite : il ne produit pas de texte. Pour d\u00e9crire la photo de la tasse ou r\u00e9pondre \u00e0 des questions sur elle, il faut un <a href=\"\/blog\/deep-learning\/qu-est-ce-qu-un-modele-vision-langage\/\" title=\"mod\u00e8le vision-langage\">mod\u00e8le vision-langage<\/a>. BLIP-2 en donne la recette : au lieu de partir de z\u00e9ro, on relie un <a href=\"\/blog\/inference\/qu-est-ce-qu-un-llm\/\" title=\"LLM\">LLM<\/a> et un ViT par un petit pont, le Q-Former, qui est la seule partie entra\u00een\u00e9e. Le mod\u00e8le sait alors d\u00e9crire une image et dialoguer \u00e0 son sujet.<\/p>\n<h2 id=\"fabriquer-des-images-des-voix-des-sons\">Fabriquer des images, des voix, des sons<\/h2>\n<p>Les Transformers ne font pas que comprendre : ils cr\u00e9ent. Stable Diffusion, jalon de la g\u00e9n\u00e9ration texte-image, comprend trois \u00e9l\u00e9ments : un encodeur de texte (souvent CLIP) qui rend un vecteur, un g\u00e9n\u00e9rateur (un U-Net) qui produit une repr\u00e9sentation compacte de l&rsquo;image, dite latente, et un d\u00e9codeur qui la transforme en image.<\/p>\n<p>Les mod\u00e8les d&rsquo;images plus r\u00e9cents reposent sur des <strong>transformeurs de diffusion<\/strong>, qui traitent des petits carr\u00e9s de 2 \u00d7 2 ou 4 \u00d7 4 pixels, avec recouvrement, dans cet espace latent.<\/p>\n<p>Le progr\u00e8s se mesure en comparant SDXL \u00e0 la famille Qwen Image. Cette derni\u00e8re d\u00e9passe largement l&rsquo;ancien mod\u00e8le en fid\u00e9lit\u00e9 au texte demand\u00e9, en exactitude des visages, des mains et des d\u00e9tails, et en rendu lisible du texte. Elle prend aussi en charge l&rsquo;image-vers-image. Le d\u00e9bruiteur passe de moins de 4 \u00e0 <strong>20 milliards de param\u00e8tres<\/strong>, soit cinq fois plus.<\/p>\n<p>Ces gains ne tiennent pas \u00e0 une id\u00e9e neuve : ils viennent de composants plus gros et de pipelines plus complexes.<\/p>\n<p>C\u00f4t\u00e9 son, la liste est longue : la transcription convertit la voix en texte, la synth\u00e8se vocale fait l&rsquo;inverse, et d&rsquo;autres mod\u00e8les font de la parole \u00e0 parole, de la musique, de la vid\u00e9o ou de la 3D.<\/p>\n<p>Pour ton message vocal, la voix pose un probl\u00e8me de fond : elle transporte des informations absentes de l&rsquo;\u00e9crit (intonation, pauses) qui peuvent changer le sens d&rsquo;un message. Une musique, une s\u00e9rie temporelle ou une s\u00e9quence d&rsquo;ADN restent des s\u00e9quences, qu&rsquo;un Transformer sait lire.<\/p>\n<h2 id=\"ecrire-avec-toi-conversation-terminal-et-code\">\u00c9crire avec toi : conversation, terminal et code<\/h2>\n<p>La modalit\u00e9 la plus r\u00e9pandue reste le texte : chatbots de service client, assistants de productivit\u00e9, outils en ligne de commande. Il convient quand la communication doit \u00eatre <strong>claire, asynchrone ou consultable<\/strong>, car il laisse une trace de chaque \u00e9change.<\/p>\n<p>Le terminal en est un bon exemple. Warp traduit des commandes en langage naturel, compl\u00e8te intelligemment la saisie et explique les erreurs ; Claude Code et Gemini CLI vont jusqu&rsquo;\u00e0 g\u00e9n\u00e9rer du code, l&rsquo;ex\u00e9cuter et manipuler des fichiers depuis la ligne de commande. L\u00e0 o\u00f9 il fallait m\u00e9moriser des options, tu d\u00e9cris ton intention et l&rsquo;outil l&rsquo;interpr\u00e8te.<\/p>\n<p>Un d\u00e9faut guette ces interfaces : la <strong>d\u00e9couvrabilit\u00e9<\/strong>. Rien ne dit \u00e0 l&rsquo;utilisateur ce que l&rsquo;agent sait faire. La parade consiste \u00e0 annoncer ses fonctions d\u00e8s l&rsquo;accueil : annuler une commande, suivre une livraison, modifier un compte.<\/p>\n<p>Les interfaces graphiques prennent le relais quand la structure visuelle compte. Des \u00e9diteurs comme Cursor, Windsurf ou Cline int\u00e8grent le langage naturel au flux de codage : poser des questions, g\u00e9n\u00e9rer du code, refactoriser, recevoir des explications. Perplexity, lui, produit des fiches structur\u00e9es, des listes de r\u00e9f\u00e9rences et des tableaux adapt\u00e9s \u00e0 la question.<\/p>\n<p>Le texte brille surtout quand pr\u00e9cision, tra\u00e7abilit\u00e9 et \u00e9changes asynchrones comptent : support client, messageries comme Slack, Teams ou WhatsApp, traitement de sinistres, recherche documentaire.<\/p>\n<h2 id=\"tenir-un-metier-les-agents\">Tenir un m\u00e9tier : les agents<\/h2>\n<p>Un assistant qui ne fait que r\u00e9pondre s&rsquo;arr\u00eate l\u00e0 o\u00f9 ton probl\u00e8me commence souvent : il faut <strong>agir<\/strong>. Rembourser, mettre \u00e0 jour une commande, isoler une machine : ce sont les outils, des capacit\u00e9s pr\u00e9cises qu&rsquo;un agent peut d\u00e9clencher, qui permettent de faire de vrais changements.<\/p>\n<p>Voici sept m\u00e9tiers o\u00f9 l&rsquo;on construit d\u00e9j\u00e0 de tels agents :<\/p>\n<table>\n<thead>\n<tr>\n<th>M\u00e9tier<\/th>\n<th>Ce que fait l&rsquo;agent<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Support client<\/td>\n<td>traite les demandes courantes, g\u00e8re les remboursements, met \u00e0 jour les commandes, escalade vers un humain<\/td>\n<\/tr>\n<tr>\n<td>Services financiers<\/td>\n<td>aide sur les comptes et les pr\u00eats, enqu\u00eate sur la fraude, r\u00e9\u00e9quilibre un portefeuille<\/td>\n<\/tr>\n<tr>\n<td>Accueil en sant\u00e9<\/td>\n<td>enregistre les patients, v\u00e9rifie les assurances, \u00e9value les sympt\u00f4mes, planifie les consultations<\/td>\n<\/tr>\n<tr>\n<td>Support informatique<\/td>\n<td>g\u00e8re les acc\u00e8s, d\u00e9panne r\u00e9seaux et syst\u00e8mes, r\u00e9pond aux incidents de s\u00e9curit\u00e9<\/td>\n<\/tr>\n<tr>\n<td>Revue juridique<\/td>\n<td>relit des contrats, contr\u00f4le la conformit\u00e9, suit les \u00e9ch\u00e9ances<\/td>\n<\/tr>\n<tr>\n<td>Centre d&rsquo;op\u00e9rations de s\u00e9curit\u00e9<\/td>\n<td>trie les alertes, interroge les journaux, isole les machines compromises<\/td>\n<\/tr>\n<tr>\n<td>Cha\u00eene logistique<\/td>\n<td>optimise les stocks, suit les exp\u00e9ditions, pr\u00e9voit la demande<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Plusieurs agents peuvent aussi se partager un travail long. Dans un laboratoire virtuel, des agents jouent le doctorant, le post-doctorant, l&rsquo;ing\u00e9nieur ML et le professeur : ils font la recherche bibliographique, \u00e9crivent et testent le code, puis r\u00e9digent un rapport en LaTeX.<\/p>\n<p>Le point cl\u00e9 est la place de l&rsquo;humain : les agents prennent les t\u00e2ches r\u00e9p\u00e9titives et laissent la main l\u00e0 o\u00f9 la cr\u00e9ativit\u00e9 ou le jugement comptent. <strong>Le retour humain \u00e0 diverses \u00e9tapes am\u00e9liore sensiblement<\/strong> la qualit\u00e9 des r\u00e9sultats.<\/p>\n<h2 id=\"donner-un-plan-d-action-a-un-robot-ou-a-un-vehicule\">Donner un plan d&rsquo;action \u00e0 un robot ou \u00e0 un v\u00e9hicule<\/h2>\n<p>Dernier territoire : l&rsquo;<a href=\"\/blog\/machine-learning\/qu-est-ce-qu-un-apprentissage-par-renforcement\/\" title=\"apprentissage par renforcement\">apprentissage par renforcement<\/a>, o\u00f9 un agent apprend par essais et erreurs en agissant sur un environnement qui lui renvoie un retour. Les LLM peuvent l&rsquo;aider de quatre fa\u00e7ons.<\/p>\n\n\n<figure data-wp-context=\"{&quot;imageId&quot;:&quot;6adef46e2b115&quot;}\" data-wp-interactive=\"core\/image\" data-wp-key=\"6adef46e2b115\" class=\"wp-block-image size-large wp-lightbox-container\"><img loading=\"lazy\" decoding=\"async\" width=\"2340\" height=\"1140\" data-wp-class--hide=\"state.isContentHidden\" data-wp-class--show=\"state.isContentVisible\" data-wp-init=\"callbacks.setButtonStyles\" data-wp-on--click=\"actions.showLightbox\" data-wp-on--load=\"callbacks.setButtonStyles\" data-wp-on--pointerdown=\"actions.preloadImage\" data-wp-on--pointerenter=\"actions.preloadImageWithDelay\" data-wp-on--pointerleave=\"actions.cancelPreload\" data-wp-on-window--resize=\"callbacks.setButtonStyles\" src=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl.png\" alt=\"Trois fa\u00e7ons de combiner apprentissage par renforcement et LLM : le renforcement am\u00e9liore le LLM, le LLM am\u00e9liore l'agent de renforcement (encadr\u00e9 central, mis en \u00e9vidence), ou les deux fonctionnent c\u00f4te \u00e0 c\u00f4te\" class=\"wp-image-334\" srcset=\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl.png 2340w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl-300x146.png 300w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl-1024x499.png 1024w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl-768x374.png 768w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl-1536x748.png 1536w, https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch08_llm_et_rl-2048x998.png 2048w\" sizes=\"auto, (max-width: 2340px) 100vw, 2340px\" \/><button\n\t\t\tclass=\"lightbox-trigger\"\n\t\t\ttype=\"button\"\n\t\t\taria-haspopup=\"dialog\"\n\t\t\tdata-wp-bind--aria-label=\"state.thisImage.triggerButtonAriaLabel\"\n\t\t\tdata-wp-init=\"callbacks.initTriggerButton\"\n\t\t\tdata-wp-on--click=\"actions.showLightbox\"\n\t\t\tdata-wp-style--right=\"state.thisImage.buttonRight\"\n\t\t\tdata-wp-style--top=\"state.thisImage.buttonTop\"\n\t\t>\n\t\t\t<svg xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"12\" height=\"12\" fill=\"none\" viewBox=\"0 0 12 12\">\n\t\t\t\t<path fill=\"#fff\" d=\"M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z\" \/>\n\t\t\t<\/svg>\n\t\t<\/button><figcaption class=\"wp-element-caption\">Regarde l&rsquo;encadr\u00e9 central : c&rsquo;est celui qui nous int\u00e9resse ici, o\u00f9 le LLM vient en aide \u00e0 l&rsquo;agent, et non l&rsquo;inverse.<\/figcaption><\/figure>\n\n\n<ul>\n<li><strong>Processeur d&rsquo;information<\/strong> : un robot re\u00e7oit des instructions de formes tr\u00e8s vari\u00e9es ; le LLM les traduit en un langage formel standard, plus facile \u00e0 apprendre.<\/li>\n<li>Concepteur de r\u00e9compenses : dans un jeu, la victoire donne un signal clair. Quand les t\u00e2ches sont longues et complexes, le LLM \u00e9value le comportement de l&rsquo;agent, ou \u00e9crit le code d&rsquo;une fonction de r\u00e9compense.<\/li>\n<li><strong>D\u00e9cideur<\/strong> : dans un jeu textuel, l&rsquo;espace d&rsquo;actions est immense ; le LLM le r\u00e9duit en proposant des candidates raisonnables, ce qui acc\u00e9l\u00e8re l&rsquo;entra\u00eenement.<\/li>\n<li>G\u00e9n\u00e9rateur : il simule des trajectoires pour que l&rsquo;agent apprenne et planifie, comme dans des jeux vid\u00e9o.<\/li>\n<\/ul>\n<p>Il peut aussi expliquer en langage naturel pourquoi un agent a pris telle d\u00e9cision, ce qui aide \u00e0 v\u00e9rifier sa s\u00fbret\u00e9.<\/p>\n<p>Les domaines vis\u00e9s sont concrets : la robotique, la <strong>conduite autonome<\/strong> (capteurs visuels, lidar et radar combin\u00e9s au code de la route, avec des r\u00e9compenses qui tiennent compte de la s\u00e9curit\u00e9 mais aussi du confort des passagers), les recommandations en sant\u00e9 et la gestion de l&rsquo;\u00e9nergie.<\/p>\n<h2 id=\"la-ou-ca-se-gate\">L\u00e0 o\u00f9 \u00e7a se g\u00e2te<\/h2>\n<p>Un agent qui agit peut se tromper en grand. Un agent d&rsquo;achat peut d\u00e9penser de l&rsquo;argent de fa\u00e7on inattendue ou divulguer une information sensible ; un agent de codage peut supprimer des fichiers importants ou pousser en production un d\u00e9p\u00f4t plein de bogues. Deux principes y r\u00e9pondent : la <strong>transparence<\/strong> et le contr\u00f4le, pour que l&rsquo;utilisateur puisse v\u00e9rifier le r\u00e9sultat et la compr\u00e9hension de la t\u00e2che.<\/p>\n<p>C\u00f4t\u00e9 outils, le garde-fou est le moindre pouvoir : ne donner au mod\u00e8le que les outils dont il a strictement besoin, journaliser chaque appel, et d\u00e9clencher des alertes sur les motifs suspects comme les suppressions massives.<\/p>\n<p>Quand l&rsquo;agent \u00e9crit son propre code \u00e0 la vol\u00e9e, trois soucis s&rsquo;ajoutent : la qualit\u00e9 et la s\u00e9curit\u00e9 du code produit, la porte ouverte \u00e0 un code nuisible, et la <strong>r\u00e9p\u00e9tabilit\u00e9<\/strong>. Qu&rsquo;un appel r\u00e9ussisse ne garantit pas que le suivant r\u00e9ussira, et de petits changements d&rsquo;invite m\u00e8nent \u00e0 des chemins de code diff\u00e9rents, ce qui complique d\u00e9bogage, tests et conformit\u00e9.<\/p>\n<p>Enfin, un LLM plac\u00e9 dans une boucle d&rsquo;apprentissage h\u00e9rite de ses faiblesses : biais, hallucinations, mauvaise lecture de donn\u00e9es complexes ou bruit\u00e9es. Il s&rsquo;adapte mal \u00e0 un environnement absent de son pr\u00e9-entra\u00eenement, et il ajoute co\u00fbt de calcul et latence.<\/p>\n<blockquote>\n<p><strong>\u26a0\ufe0f Pi\u00e8ge<\/strong> Les t\u00e2ches tr\u00e8s sp\u00e9cialis\u00e9es n&rsquo;ont souvent pas \u00e9t\u00e9 vues pendant le pr\u00e9-entra\u00eenement : sur ton domaine pointu, ne suppose pas que le mod\u00e8le s&rsquo;en sortira.<\/p>\n<\/blockquote>\n<h2 id=\"reperer-ton-probleme-etroit-mesurable-teste\">Rep\u00e9rer ton probl\u00e8me : \u00e9troit, mesurable, test\u00e9<\/h2>\n<p>Pour ne pas t&rsquo;y perdre, rapproche ta situation de cette carte :<\/p>\n<table>\n<thead>\n<tr>\n<th>Ton probl\u00e8me ressemble \u00e0\u2026<\/th>\n<th>Famille<\/th>\n<th>Premi\u00e8re v\u00e9rification<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Retrouver la bonne r\u00e9ponse dans tes documents<\/td>\n<td>Embeddings et g\u00e9n\u00e9ration augment\u00e9e<\/td>\n<td>Comparer les mod\u00e8les d&#8217;embeddings, dont un mod\u00e8le sp\u00e9cialis\u00e9 de ton domaine<\/td>\n<\/tr>\n<tr>\n<td>Comprendre ou l\u00e9gender des photos<\/td>\n<td>ViT, CLIP, mod\u00e8le vision-langage<\/td>\n<td>CLIP retrouve et classe, mais ne r\u00e9dige pas<\/td>\n<\/tr>\n<tr>\n<td>Produire des images ou des voix<\/td>\n<td>Mod\u00e8les texte-image, synth\u00e8se vocale<\/td>\n<td>Fid\u00e9lit\u00e9 \u00e0 la demande, mains, texte lisible<\/td>\n<\/tr>\n<tr>\n<td>Discuter, \u00e9crire, coder avec l&rsquo;utilisateur<\/td>\n<td>Assistants et copilotes<\/td>\n<td>L&rsquo;utilisateur sait-il ce que l&rsquo;outil sait faire ?<\/td>\n<\/tr>\n<tr>\n<td>Ex\u00e9cuter des actions<\/td>\n<td>Agents avec outils<\/td>\n<td>Moindre pouvoir, appels journalis\u00e9s<\/td>\n<\/tr>\n<tr>\n<td>Piloter un robot ou un v\u00e9hicule<\/td>\n<td>LLM combin\u00e9 \u00e0 l&rsquo;apprentissage par renforcement<\/td>\n<td>Biais, co\u00fbt, latence<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Dans tous les cas, la m\u00e9thode est la m\u00eame : <strong>d\u00e9marrer sur une tranche \u00e9troite et mesurable<\/strong>, comme l&rsquo;annulation de commande, plut\u00f4t que sur un p\u00e9rim\u00e8tre vague ou d\u00e9mesur\u00e9. Un prototype devient fiable par une conception it\u00e9rative, une \u00e9valuation rigoureuse et des tests en conditions r\u00e9elles.<\/p>\n<p>M\u00eame les \u00e9quipes expertes se trompent en croyant progresser. D&rsquo;o\u00f9 l&rsquo;\u00e9valuation automatis\u00e9e hors ligne : un jeu de cas qui grandit \u00e0 chaque outil ajout\u00e9, et qui d\u00e9finit l&rsquo;\u00e9tat d&rsquo;entr\u00e9e et le r\u00e9sultat attendu. Voici le cas de la tasse f\u00eal\u00e9e, o\u00f9 la commande compte deux articles et o\u00f9 seule la tasse doit \u00eatre rembours\u00e9e :<\/p>\n<pre><code>{\n  &quot;order&quot;: {\n    &quot;order_id&quot;: &quot;A89268&quot;,\n    ...\n  },\n  &quot;conversation&quot;: [\n    {&quot;role&quot;: &quot;customer&quot;, &quot;content&quot;: '''Hi, my coffee mug arrived cracked. Can I\n        get a replacement or refund?'''},\n    {&quot;role&quot;: &quot;assistant&quot;, &quot;content&quot;: '''I'm very sorry about that! Could you\n        please send us a quick photo of the damage so we can process a full\n        refund?'''},\n    {&quot;role&quot;: &quot;customer&quot;, &quot;content&quot;: &quot;Sure, here's the photo.&quot;}\n  ],\n  &quot;expected&quot;: {\n    &quot;final_state&quot;: {\n      &quot;tool_calls&quot;: [\n        {&quot;tool&quot;: &quot;issue_refund&quot;, &quot;params&quot;: {&quot;order_id&quot;: &quot;A12345&quot;,\n         &quot;amount&quot;: 19.99}}\n      ],\n      &quot;customer_msg_contains&quot;: [&quot;been processed&quot;, &quot;business days&quot;]\n    }\n  }\n}\n<\/code><\/pre>\n<p>Le bloc <code>order<\/code> (\u00e9lid\u00e9 ici) d\u00e9crit la commande ; <code>conversation<\/code> rejoue l&rsquo;\u00e9change ; <code>expected<\/code> fixe ce qu&rsquo;on doit observer : un appel \u00e0 l&rsquo;outil de remboursement pour 19,99, et un message final qui mentionne le traitement du remboursement et des jours ouvr\u00e9s. Si l&rsquo;agent remboursait la commande enti\u00e8re ou oubliait cette formulation, des m\u00e9triques comme le <strong>rappel d&rsquo;outils<\/strong> et l&rsquo;exactitude des param\u00e8tres le signaleraient aussit\u00f4t.<\/p>\n<p>Ces cas s&rsquo;\u00e9crivent \u00e0 la main, s&rsquo;extraient des journaux de production ou se g\u00e9n\u00e8rent avec un mod\u00e8le, puis des humains les relisent. Des r\u00e9f\u00e9rentiels publics comme MMLU, BBH ou HELM situent le mod\u00e8le dans le paysage, mais <strong>un r\u00e9f\u00e9rentiel sur mesure reste indispensable<\/strong> pour un agent sp\u00e9cialis\u00e9.<\/p>\n<blockquote>\n<p><strong>\ud83d\udccc \u00c0 retenir<\/strong> Ton probl\u00e8me est un bon candidat quand il s&rsquo;exprime en jetons et que tu sais d\u00e9crire \u00e0 quoi ressemble une bonne r\u00e9ponse, avec assez de cas pour le v\u00e9rifier.<\/p>\n<\/blockquote>\n<p>Ta premi\u00e8re \u00e9tape est donc modeste : \u00e9cris quelques cas comme celui de la tasse, avant de choisir quoi que ce soit d&rsquo;autre.<\/p>","protected":false},"excerpt":{"rendered":"<p>Recherche par le sens, photos, voix, images, code, agents : la carte des probl\u00e8mes r\u00e9els o\u00f9 un Transformer s&rsquo;applique, et comment rep\u00e9rer le tien.<\/p>\n","protected":false},"author":1,"featured_media":335,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-336","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/336","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=336"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/336\/revisions"}],"predecessor-version":[{"id":761,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/336\/revisions\/761"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/335"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=336"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=336"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=336"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}