graphes de connaissances<\/a>. Un mod\u00e8le d’embedding de graphe apprend une projection qui pr\u00e9serve la structure et l’information. Avec TransE, les relations deviennent des vecteurs : pour un triplet ![\"(h, r, t)\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c9ee10aa0aaec21405ab9c7cb318484e_l3.png\" "\\"Rendered")
, il apprend un espace o\u00f9 ![\"h + r \approx t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-82716a19170c77c2bed190de40460b15_l3.png\" "\\"Rendered")
. D’autres m\u00e9thodes pr\u00e9servent la sym\u00e9trie ou la composition des relations, ou, comme ATTH, des structures hi\u00e9rarchiques dans un espace hyperbolique.<\/p>\nCe qu’on croit \u00e0 tort des embeddings<\/h2>\n\u00ab Plus de dimensions, c’est toujours mieux \u00bb<\/h3>\n
Des vecteurs plus longs encodent plus d’information, mais la dimension ne change gu\u00e8re le temps d’inf\u00e9rence : elle p\u00e8se sur le stockage, la r\u00e9cup\u00e9ration et le calcul de similarit\u00e9. Chaque dimension en virgule flottante demande 4 octets, ce qui peut co\u00fbter exorbitant \u00e0 grande \u00e9chelle.<\/p>\n
D’o\u00f9 l’int\u00e9r\u00eat de comprimer. La quantification binaire garde 1 bit par dimension et r\u00e9duit la m\u00e9moire jusqu’\u00e0 32 fois<\/strong>. La plus simple applique un seuil nul :<\/p>\n <\/span> <\/span>![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-1b1ab3c48d28ee8e4924b9d11e54b0cd_l3.png\" "\\"Rendered")
<\/p><\/p>\nChaque composante positive devient 1, toute autre devient 0. On compare alors les vecteurs par la distance de Hamming, adapt\u00e9e aux vecteurs binaires. Cette compression donne une vitesse et un gain de m\u00e9moire sans pr\u00e9c\u00e9dent, mais co\u00fbte en g\u00e9n\u00e9ral de la performance ; des versions plus fines, avec une nouvelle notation des r\u00e9sultats trouv\u00e9s, conservent jusqu’\u00e0 96 %<\/strong> de la similarit\u00e9. Un bon compromis consiste souvent \u00e0 passer du format float32 \u00e0 int8, qui repr\u00e9sente les valeurs avec 256 niveaux, en recalibrant les vecteurs.<\/p>\nUne autre voie, les repr\u00e9sentations Matriochka, place l’information la plus importante dans les premi\u00e8res dimensions : on peut tronquer le vecteur en gardant la performance sur les t\u00e2ches aval. Pour v\u00e9rifier qu’un mod\u00e8le d’embedding quantifi\u00e9 reste fid\u00e8le, on passe les m\u00eames entr\u00e9es dans l’original et dans la version quantifi\u00e9e, puis on compare les vecteurs : il faut au moins 99 %<\/strong> de similarit\u00e9 pour \u00eatre en confiance.<\/p>\n\u00ab Deux vecteurs de m\u00eame longueur se comparent \u00bb<\/h3>\n
Les vecteurs d’un mod\u00e8le d’embedding ne se comparent en g\u00e9n\u00e9ral pas de fa\u00e7on significative \u00e0 ceux d’un autre, m\u00eame de m\u00eame longueur : chaque mod\u00e8le encode les entr\u00e9es dans son propre espace s\u00e9mantique. Une longueur identique ne garantit pas un rep\u00e8re identique.<\/p>\n
\u00ab Un embedding peut r\u00e9sumer n’importe quel texte \u00bb<\/h3>\n
Aucun mod\u00e8le d’embedding actuel ne g\u00e8re les contextes tr\u00e8s longs : le maximum est de 32 000 jetons. Un texte plus long doit donc \u00eatre d\u00e9coup\u00e9 avant d’\u00eatre encod\u00e9.<\/p>\n
\u00ab L’espace des embeddings est neutre \u00bb<\/h3>\n
Ces espaces refl\u00e8tent les textes dont ils sont tir\u00e9s. Les mod\u00e8les d’embedding peuvent amplifier les biais, et l’on y a identifi\u00e9 l’association de contenus nocifs \u00e0 des groupes et \u00e0 des minorit\u00e9s. Les approches de d\u00e9biaisage montrent un potentiel, mais restent loin d’\u00eatre efficaces. La parade passe par le jeu de pr\u00e9-entra\u00eenement : le d\u00e9sintoxiquer avant l’entra\u00eenement et varier les sources, car les textes produits aux \u00c9tats-Unis dominent ceux d’ailleurs.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Un embedding n’est pas un sens, c’est une position apprise : celle que les voisins d’un mot, d’une phrase ou d’une image lui ont donn\u00e9e pendant l’entra\u00eenement. Sa force est de rendre le sens calculable ; sa limite est qu’il ne sait rien de plus que ce que ses donn\u00e9es lui ont montr\u00e9.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Un embedding donne \u00e0 un mot, une phrase ou une image une adresse dans un espace o\u00f9 le voisinage a un sens. Comment il s’apprend, \u00e0 quoi il sert, o\u00f9 il se trompe.<\/p>\n","protected":false},"author":1,"featured_media":486,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-487","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-rag"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/487","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=487"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/487\/revisions"}],"predecessor-version":[{"id":823,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/487\/revisions\/823"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/486"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=487"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=487"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=487"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Cha\u00eene](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch01_chaine_representations.png\")