\nParam\u00e8tres<\/td>\n 110 millions<\/td>\n 340 millions<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nR : des repr\u00e9sentations<\/h3>\n Le dernier mot du nom annonce ce que BERT fournit : non pas du texte, mais une repr\u00e9sentation du texte<\/strong> que d’autres composants exploitent. C’est elle qui sert ensuite aux t\u00e2ches pour lesquelles il a \u00e9t\u00e9 pens\u00e9, du r\u00e9sum\u00e9 \u00e0 la comparaison de documents.<\/p>\nApprendre \u00e0 lire avec un texte \u00e0 trous<\/h2>\n Pour qu’un mod\u00e8le apprenne une langue sans qu’on lui fournisse d’exemples annot\u00e9s, il faut une t\u00e2che dont la r\u00e9ponse est d\u00e9j\u00e0 dans le texte. Deux grandes familles existent. Dans la premi\u00e8re, le causal language modeling<\/em>, le mod\u00e8le \u00e9crit la suite sans jamais voir autre chose que le pass\u00e9. Dans la seconde, le masked language modeling<\/em> (MLM), on perce des trous dans le texte et le mod\u00e8le les comble en regardant avant comme apr\u00e8s.<\/p>\nBERT rel\u00e8ve de la seconde famille, exactement comme dans ton exercice d’ouverture : un jeton est remplac\u00e9 par un jeton sp\u00e9cial <MASK><\/code>, et le mod\u00e8le doit retrouver le mot cach\u00e9. \u00c0 l’origine, 15 % des jetons<\/strong> \u00e9taient masqu\u00e9s au hasard. On ne cache pas le futur comme chez un mod\u00e8le causal, puisque l’on veut que le mod\u00e8le ait conscience de tout le contexte. La perte se calcule comme pour la pr\u00e9diction du mot suivant, avec le jeton masqu\u00e9 \u00e0 la place.<\/p>\n\n\ud83d\udca1 Intuition<\/strong> Un mod\u00e8le causal lit comme on \u00e9coute une phrase au fil de la parole. BERT lit comme on corrige une copie, stylo en main, avec toute la page sous les yeux.<\/p>\n<\/blockquote>\nCette t\u00e2che est plus souple qu’il n’y para\u00eet : le principe g\u00e9n\u00e9ral consiste \u00e0 corrompre l’entr\u00e9e puis \u00e0 demander au mod\u00e8le de la reconstruire. Masquer n’est qu’une fa\u00e7on de la corrompre ; on peut aussi r\u00e9ordonner les \u00e9l\u00e9ments ou appliquer d’autres transformations. Cette souplesse se paie : seuls 15 % des jetons servent \u00e0 apprendre \u00e0 chaque passage, ce qui rend le mod\u00e8le peu efficace<\/strong>.<\/p>\nLe syst\u00e8me a un second exercice. On peut en effet l’\u00e9tendre \u00e0 la pr\u00e9diction de la phrase suivante, qui consiste \u00e0 deviner si deux phrases sont li\u00e9es (paraphrase, coh\u00e9rence, implication). BERT a \u00e9t\u00e9 entra\u00een\u00e9 avec des paires de phrases reli\u00e9es positivement et non reli\u00e9es, un jeton [SEP]<\/code> plac\u00e9 entre elles et une softmax finale pour la classification. Cela montre \u00e0 quel point le dispositif s’adapte \u00e0 des t\u00e2ches diff\u00e9rentes.<\/p>\nClasser des documents pour une question : deux montages<\/h2>\n Imagine une collection de documents et une question. Un moteur de recherche doit apparier la question aux documents pertinents, puis les renvoyer par ordre de pertinence. La recherche par mots-cl\u00e9s comme BM25 y trouve ses limites : elle comprend mal la s\u00e9mantique<\/strong>, ne capte pas le contexte des termes polys\u00e9miques et souffre de l’inad\u00e9quation de vocabulaire, quand la question et les documents ne se recouvrent pas.<\/p>\nLa parade consiste \u00e0 utiliser des vecteurs denses qui contiennent de l’information contextuelle, et un encodeur bidirectionnel comme BERT sait en produire. Pour cela, deux strat\u00e9gies existent.<\/p>\n
Premier montage : un encodeur unique<\/h3>\n On donne au mod\u00e8le la question et le document en m\u00eame temps<\/strong>, au format [CLS]<\/code> question [SEP]<\/code> document. L’auto-attention bidirectionnelle circule alors sur tous les jetons : la repr\u00e9sentation du document tient compte de la question, et inversement. La repr\u00e9sentation du jeton [CLS]<\/code> passe ensuite dans une couche lin\u00e9aire qui produit le score de similarit\u00e9 ; c’est cette couche que l’on ajuste.<\/p>\nDeux contraintes p\u00e8sent sur ce montage. D’abord, la taille : pour BERT, le contexte est de 512 jetons<\/strong>, question et document compris, donc on traite des fragments qui ne se recouvrent pas plut\u00f4t que des documents entiers. Ensuite, le co\u00fbt : il faut repasser la question avec chaque document du corpus.<\/p>\nSecond montage : le bi-encodeur<\/h3>\n Pour r\u00e9duire ce co\u00fbt, on a con\u00e7u le bi-encodeur. Un encodeur extrait la repr\u00e9sentation de la question, not\u00e9e [CLS]q<\/code>, et un autre celle de chaque document ou fragment, not\u00e9e [CLS]d<\/code>. Les repr\u00e9sentations des documents se calculent une fois pour toutes et se rangent dans une base ; \u00e0 l’arriv\u00e9e d’une question, il suffit de la comparer \u00e0 tous les vecteurs de la base.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tCompare les deux moiti\u00e9s du sch\u00e9ma : en A, un seul BERT voit la question et le document c\u00f4te \u00e0 c\u00f4te ; en B, ils ne se rencontrent qu’\u00e0 la fin, au moment du calcul de similarit\u00e9. La comparaison se fait par le cosinus de l’angle entre les deux vecteurs :<\/figcaption><\/figure>\n\n\n
<\/span> <\/span>Ici
\n\n\n<\/th>\n Encodeur unique<\/th>\n Bi-encodeur<\/th>\n<\/tr>\n<\/thead>\n \n\nCe que re\u00e7oit BERT<\/td>\n question et document ensemble<\/td>\n question d’un c\u00f4t\u00e9, document de l’autre<\/td>\n<\/tr>\n \nInteractions entre les mots<\/td>\n toutes conserv\u00e9es<\/td>\n en partie perdues<\/strong><\/td>\n<\/tr>\n\nDocuments<\/td>\n repass\u00e9s \u00e0 chaque question<\/td>\n vecteurs calcul\u00e9s d’avance, rang\u00e9s en base<\/td>\n<\/tr>\n \nVitesse<\/td>\n lent<\/td>\n rapide<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nReclasser des r\u00e9sultats : le code<\/h2>\n Voici le premier montage au travail. Une recherche a d\u00e9j\u00e0 ramen\u00e9 des documents ; il s’agit de les remettre dans l’ordre de leur pertinence pour la question, avec un BERT pr\u00e9entra\u00een\u00e9.<\/p>\n
def rerank_documents(query, documents):\n """\n Reranks the retrieved documents based on their relevance to the\nquery using a pre-trained\n BERT model.\n Args:\n query (str): The user's query.\n documents (list): A list of documents retrieved from the\nsearch.\n Returns:\n list: A list of reranked documents, sorted by relevance.\n """\n inputs = [rerank_tokenizer.encode_plus(query, doc, return_\ntensors='pt', truncation=True, padding=True) for doc in documents]\n scores = []\n for input in inputs:\n outputs = rerank_model(**input)\n logits = outputs.logits\n probabilities = F.softmax(logits, dim=1)\n positive_class_probability = probabilities[:, 1].item()\n scores.append(positive_class_probability)\n ranked_docs = sorted(zip(documents, scores), key=lambda x: x[1],\nreverse=True)\n return [doc for doc, score in ranked_docs]\n<\/code><\/pre>\nCe code suppose d\u00e9j\u00e0 charg\u00e9s rerank_tokenizer<\/code> (le d\u00e9coupeur de texte en jetons) et rerank_model<\/code> (le mod\u00e8le BERT), ainsi que F<\/code>, les fonctions de PyTorch.<\/p>\nLis-le en trois temps. Pour chaque document, encode_plus(query, doc, ...)<\/code> pr\u00e9pare la question et le document ensemble<\/strong>, exactement comme dans le montage \u00e0 encodeur unique. Le mod\u00e8le rend alors des scores bruts (logits<\/code>), que F.softmax<\/code> convertit en probabilit\u00e9s. Enfin, probabilities[:, 1]<\/code> isole la probabilit\u00e9 de la classe positive, qui sert de note au document.<\/p>\nLa derni\u00e8re ligne trie les documents par note d\u00e9croissante. Comme ce montage repasse la question avec chaque document, il est logique de ne l’appliquer qu’\u00e0 une courte liste d\u00e9j\u00e0 retrouv\u00e9e plut\u00f4t qu’\u00e0 tout un corpus.<\/p>\n
La famille BERT : variantes et all\u00e8gements<\/h2>\n BERT a fait \u00e9cole, et plusieurs variantes en sont n\u00e9es. RoBERTa en est une. SpanBERT masque un segment entier<\/strong> plut\u00f4t qu’un seul jeton, avec de meilleurs r\u00e9sultats : le trou de l’exercice d’ouverture devient plus large, et la devinette change. SciBERT, lui, est adapt\u00e9 \u00e0 un domaine.<\/p>\nPour all\u00e9ger, on distille : DistilBERT est une version distill\u00e9e de BERT. Un mod\u00e8le distill\u00e9 capte les connaissances d’un mod\u00e8le bien plus grand sans perte notable de performance, tout en \u00e9tant beaucoup plus maniable.<\/p>\n
Une autre voie ne touche presque pas au mod\u00e8le. Les adaptateurs sont de petites couches ajustables, gliss\u00e9es \u00e0 l’int\u00e9rieur des blocs et construites comme un autoencodeur. Si les couches du mod\u00e8le ont 1 024 dimensions, un adaptateur projette vers 24 puis reprojette vers 1 024, ce qui repr\u00e9sente moins de 50 000 param\u00e8tres<\/strong> par adaptateur. Lors de leurs d\u00e9buts, ils ont rattrap\u00e9 l’ajustement complet de BERT pour seulement 3,6 % de param\u00e8tres suppl\u00e9mentaires \u00e0 entra\u00eener, l\u00e0 o\u00f9 la m\u00e9thode classique les entra\u00eene tous.<\/p>\n\n\ud83d\udccc \u00c0 retenir<\/strong> La famille BERT d\u00e9cline une m\u00eame id\u00e9e dans trois directions : changer l’exercice de masquage (SpanBERT), changer le domaine (SciBERT), r\u00e9duire le co\u00fbt (DistilBERT, adaptateurs).<\/p>\n<\/blockquote>\nBERT face aux mod\u00e8les qui g\u00e9n\u00e8rent<\/h2>\n Les mod\u00e8les de type GPT font le choix inverse : ils sont causaux, chaque jeton ne voit que son pass\u00e9, et ils produisent le texte un jeton \u00e0 la fois. Les grands mod\u00e8les de langage<\/a> actuels sont, pour la plupart, des d\u00e9codeurs seuls. Les mod\u00e8les \u00e0 encodeur seul, dont la famille BERT pour l’embedding de texte \u00e0 l’ancienne, sont devenus rares<\/strong>.<\/p>\nL’architecture encodeur-d\u00e9codeur n’a pas disparu pour autant : elle sert de nombreux mod\u00e8les d’autres modalit\u00e9s. Whisper, populaire pour la transcription audio, emploie un encodeur pour traiter le son et un d\u00e9codeur pour g\u00e9n\u00e9rer les jetons de texte.<\/p>\n
C\u00f4t\u00e9 embeddings<\/a>, le paysage se divise en deux. D’un c\u00f4t\u00e9, des mod\u00e8les b\u00e2tis comme BERT, sous le milliard de param\u00e8tres ; de l’autre, des mod\u00e8les d\u00e9riv\u00e9s de grands mod\u00e8les de langage, qui montent jusqu’\u00e0 huit milliards et affichent des capacit\u00e9s nettement sup\u00e9rieures.<\/p>\nQuatre id\u00e9es re\u00e7ues sur BERT<\/h2>\n\u00ab Il comprend si bien qu’il r\u00e9dige aussi bien \u00bb<\/h3>\n Non : un encodeur dress\u00e9 par masquage se pr\u00eate mal \u00e0 la g\u00e9n\u00e9ration, contrairement aux d\u00e9codeurs. Lire dans les deux sens et \u00e9crire de gauche \u00e0 droite sont deux m\u00e9tiers diff\u00e9rents.<\/p>\n
\u00ab Il lit n’importe quel document en entier \u00bb<\/h3>\n Sa fen\u00eatre est de 512 jetons, question comprise. Au-del\u00e0, il faut d\u00e9couper les documents en fragments avant de les lui pr\u00e9senter.<\/p>\n
\u00ab Il apprend sur tout le texte \u00e0 chaque passage \u00bb<\/h3>\n Pas tout \u00e0 fait : avec le masquage, seuls 15 % des jetons<\/strong> nourrissent l’apprentissage. C’est le prix \u00e0 payer pour que le mod\u00e8le voie les deux c\u00f4t\u00e9s du trou.<\/p>\n\u00ab Puisqu’il est devenu rare, il ne sert plus \u00e0 rien \u00bb<\/h3>\n Ce serait aller trop vite. Les mod\u00e8les de type BERT servent encore \u00e0 des t\u00e2ches simples et sensibles \u00e0 la latence, comme la classification, l\u00e0 o\u00f9 la rapidit\u00e9 de r\u00e9ponse compte.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> \u00ab Bidirectionnel \u00bb ne veut pas dire \u00ab meilleur partout \u00bb. C’est un outil pour comprendre un texte d\u00e9j\u00e0 \u00e9crit : pour en produire un, on prend l’architecture inverse.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"BERT lit chaque mot avec ce qui le pr\u00e9c\u00e8de et ce qui le suit. Son nom d\u00e9cod\u00e9, son entra\u00eenement \u00e0 trous, ses usages en recherche de documents et ses limites.<\/p>\n","protected":false},"author":1,"featured_media":662,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-663","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/663","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=663"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/663\/revisions"}],"predecessor-version":[{"id":782,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/663\/revisions\/782"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/662"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=663"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=663"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=663"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Deux](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch02_masque_causal_bidirectionnel.png\")