LLM<\/a> compare les trois r\u00e9ponses. Comme elles concordent, il r\u00e9pond avec assurance.<\/li>\n<\/ol>\nLe LLM ne reconna\u00eet donc rien lui-m\u00eame : il arbitre entre des sp\u00e9cialistes concordants<\/strong>. Dans cette d\u00e9monstration, le mod\u00e8le de langage sert de chef d’orchestre, et la vision reste confi\u00e9e \u00e0 des mod\u00e8les d\u00e9di\u00e9s.<\/p>\nTrois fa\u00e7ons de faire voir un mod\u00e8le de langage<\/h2>\n
Le probl\u00e8me est de choisir le canal par lequel l’image parvient au mod\u00e8le. Trois solutions ont \u00e9t\u00e9 essay\u00e9es.<\/p>\n
\n- \n
La premi\u00e8re est la l\u00e9gende : un autre mod\u00e8le d\u00e9crit l’image, et la description est gliss\u00e9e dans le prompt. Elle est simple, car elle r\u00e9utilise des mod\u00e8les existants, mais la l\u00e9gende fait perdre de l’information<\/strong> et ne rend pas la complexit\u00e9 de ce qui est vu.<\/p>\n<\/li>\n- \n
La deuxi\u00e8me consiste \u00e0 plonger les images dans le m\u00eame espace latent que les jetons de texte : PaLM-E les fait passer par les blocs du mod\u00e8le trait\u00e9es comme des entr\u00e9es textuelles, puis ajuste l’ensemble pour relier les modalit\u00e9s.<\/p>\n<\/li>\n
- \n
La troisi\u00e8me, celle de BLIP-2, garde deux mod\u00e8les d\u00e9j\u00e0 entra\u00een\u00e9s, laisse leurs poids gel\u00e9s, et n’entra\u00eene qu’un petit module entre deux mod\u00e8les gel\u00e9s<\/strong>. Le gain est un entra\u00eenement bien plus l\u00e9ger, et l’absence d’oubli catastrophique : le mod\u00e8le ne perd pas ce qu’il savait faire, puisque le LLM n’a jamais \u00e9t\u00e9 align\u00e9 sur la vision.<\/p>\n<\/li>\n<\/ul>\n\n\ud83d\udca1 Intuition<\/strong> La l\u00e9gende revient \u00e0 d\u00e9crire un paysage \u00e0 quelqu’un au t\u00e9l\u00e9phone : l’essentiel passe, les nuances se perdent en route.<\/p>\n<\/blockquote>\nLes trois voies visent le m\u00eame but : que le mod\u00e8le de langage ait acc\u00e8s \u00e0 l’image sous une forme qu’il exploite. Elles diff\u00e8rent surtout par le co\u00fbt d’entra\u00eenement et par ce qui se perd en chemin.<\/p>\n
Un VLM n’apprend pas \u00e0 voir et \u00e0 parler d’un seul coup. Dans la recette de BLIP-2, l’entra\u00eenement se fait en deux \u00e9tapes. Le pont associe d’abord image et l\u00e9gende<\/strong>, \u00e0 partir de paires image-l\u00e9gende.<\/p>\nLa seconde \u00e9tape transmet au LLM les repr\u00e9sentations apprises, pr\u00e9sent\u00e9es comme un texte d’instructions : c’est ce qu’on appelle un soft prompt<\/em>. Conditionn\u00e9 de la sorte, le mod\u00e8le de langage produit du texte \u00e0 propos d’images, et l’on peut ensuite lui poser plusieurs questions \u00e0 la suite.<\/p>\nIl existe enfin un troisi\u00e8me type de donn\u00e9es, l’affinage de vision, qui s’appuie sur des paires image-\u00e9tiquette pour am\u00e9liorer la compr\u00e9hension multimodale.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Un VLM apprend deux choses s\u00e9par\u00e9es : \u00e0 associer une image \u00e0 des mots, puis \u00e0 utiliser ces mots pour r\u00e9pondre.<\/p>\n<\/blockquote>\nTrois id\u00e9es re\u00e7ues \u00e0 \u00e9carter<\/h2>\n
Ces mod\u00e8les attirent des contresens tenaces<\/strong>. Voici les trois qui reviennent le plus souvent.<\/p>\nNon, il ne fabrique pas d’images<\/h3>\n
Sa sortie est du texte, et rien d’autre. Les mod\u00e8les qui fabriquent des images suivent un autre arch\u00e9type : ils partent d’un bruit al\u00e9atoire et le raffinent \u00e9tape apr\u00e8s \u00e9tape. Les mod\u00e8les dits \u00ab omni \u00bb, qui acceptent plusieurs types d’entr\u00e9es et en produisent plusieurs, forment une cat\u00e9gorie \u00e0 part, qui ne se confond pas avec la d\u00e9finition d’un VLM.<\/p>\n
Non, il lit moins bien qu’un OCR d\u00e9di\u00e9<\/h3>\n
Beaucoup de VLM savent reconna\u00eetre un texte dans une image, mais cette capacit\u00e9 int\u00e9gr\u00e9e reste en de\u00e7\u00e0 des mod\u00e8les d’OCR sp\u00e9cialis\u00e9s, souvent d’une fraction de leur taille. Si ta t\u00e2che consiste uniquement \u00e0 lire du texte, un mod\u00e8le d\u00e9di\u00e9 est g\u00e9n\u00e9ralement plus rapide et plus pr\u00e9cis.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Un VLM qui lit bien quelques panneaux n’est pas pour autant un OCR : sur des volumes importants, mesure les deux avant de choisir.<\/p>\n<\/blockquote>\nNon, une vid\u00e9o n’est pas juste beaucoup d’images<\/h3>\n
Une vid\u00e9o ne se r\u00e9duit pas \u00e0 la somme de ses images : c’est le mouvement qui relie les images, et il dispara\u00eet si on les regarde une \u00e0 une. Les VLM sont donc entra\u00een\u00e9s sur des clips vid\u00e9o pour cette dimension temporelle.<\/p>\n
Le co\u00fbt, lui, explose. Une seconde de vid\u00e9o cin\u00e9matographique compte 24 images ; un clip de quatre secondes, si l’on gardait chacune d’elles, atteindrait pr\u00e8s de 100 000 jetons. Le sous-\u00e9chantillonnage est presque obligatoire<\/strong>, en r\u00e9duisant la r\u00e9solution et la cadence. Enfin, beaucoup de VLM ne traitent pas l’audio : il faut le transcrire \u00e0 part et l’ajouter au prompt.<\/p>\nO\u00f9 il se place : un maillon d’un syst\u00e8me<\/h2>\n
Un VLM s’ins\u00e8re volontiers dans un syst\u00e8me plut\u00f4t qu’il ne le remplace. Imagine un PDF qui contient des tableaux et des graphiques : on peut retrouver le passage voulu, puis les graphiques qui l’accompagnent, et le mod\u00e8le s’appuie sur texte et graphiques dans la m\u00eame r\u00e9ponse<\/strong>. Pour changer de mod\u00e8le dans un tel syst\u00e8me, il suffit de remplacer le mod\u00e8le d’embedding.<\/p>\nCe confort a un prix : les mod\u00e8les multimodaux co\u00fbtent plus cher que les LLM textuels. Pour un usage purement langagier, un mod\u00e8le textuel reste plus simple et plus rapide. Le bon r\u00e9flexe consiste donc \u00e0 se demander si l’image est vraiment n\u00e9cessaire.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Un VLM g\u00e9n\u00e9raliste r\u00e9pond \u00e0 tout, mais r\u00e9pondre \u00e0 tout n’est pas r\u00e9pondre le mieux : pour une t\u00e2che pr\u00e9cise, compare-le \u00e0 un mod\u00e8le sp\u00e9cialis\u00e9. Ces derniers sont souvent plus rapides et plus pr\u00e9cis dans leur domaine.<\/p>\n<\/blockquote>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Un VLM r\u00e9pond \u00e0 partir d’une traduction de l’image en jetons : c’est ce qui le rend polyvalent, et ce qui fixe ses limites.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Un mod\u00e8le vision-langage lit une image et r\u00e9pond \u00e0 ta question par \u00e9crit. Comment il est mont\u00e9, comment on l’entra\u00eene, et ce qu’il ne fait pas.<\/p>\n","protected":false},"author":1,"featured_media":749,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-750","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/750","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=750"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/750\/revisions"}],"predecessor-version":[{"id":796,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/750\/revisions\/796"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/749"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=750"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=750"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=750"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Sch\u00e9ma](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch10_modele_vision_langage-scaled.png\")