- \n
- L’essentiel en 30 secondes<\/a><\/li>\n
- Ce que le mod\u00e8le re\u00e7oit avant d’\u00e9crire un mot<\/a><\/li>\n
- Le prefill en une phrase : lire d’un coup, puis \u00e9crire<\/a><\/li>\n
- Ce que calcule le mod\u00e8le pour chaque token<\/a><\/li>\n
- Le cache KV : la trace que laisse la lecture<\/a><\/li>\n
- Pourquoi un prompt long co\u00fbte plus qu’un prompt court<\/a><\/li>\n
- Trois id\u00e9es re\u00e7ues sur le prefill<\/a><\/li>\n
- Quand le prefill devient le poste qui p\u00e8se<\/a><\/li>\n<\/ul>\n
L’essentiel en 30 secondes<\/h2>\n
- \n
- Le prefill est la premi\u00e8re phase<\/strong> de l’inf\u00e9rence : le mod\u00e8le traite d’un coup toute la s\u00e9quence d’entr\u00e9e.<\/li>\n
- Il laisse deux produits : le cache KV et le premier token<\/strong>.<\/li>\n
- Chaque token d’entr\u00e9e re\u00e7oit sa requ\u00eate, sa cl\u00e9 et sa valeur : des calculs parall\u00e8les<\/strong>, que les GPU dig\u00e8rent bien.<\/li>\n
- Le co\u00fbt de l’attention cro\u00eet avec le carr\u00e9 de la longueur du prompt<\/strong>.<\/li>\n
- Le prefill ne domine la charge que si les entr\u00e9es sont longues et le trafic massif<\/strong>.<\/li>\n<\/ul>\n
Ce que le mod\u00e8le re\u00e7oit avant d’\u00e9crire un mot<\/h2>\n
Imagine que tu construis un assistant cens\u00e9 r\u00e9pondre \u00e0 \u00ab Who won the 2023 Cricket World Cup? \u00bb en s’appuyant sur des documents. Il n’envoie pas la question seule au mod\u00e8le : il va d’abord chercher un passage pertinent dans une base, puis colle question, passage et consignes dans un seul texte.<\/p>\n
query = "Who won the 2023 Cricket World Cup?"\nretrieved_docs = vector_store.similarity_search(query, k=2)\nretrieved_context = retrieved_docs[0].page_content\n\naugmented_prompt = f"""\nGiven the context below, answer the question.\nQuestion: {query}\nContext : {retrieved_context}\nRemember to answer only based on the context provided and not from any other\nsource.\nIf the question cannot be answered based on the provided context, say I don't\nknow.\n"""\n<\/code><\/pre>\nIci,
vector_store<\/code> est la base de passages d\u00e9j\u00e0 index\u00e9s, etsimilarity_search<\/code> en ram\u00e8ne lesk=2<\/code> plus proches de la question. Le code garde le premier, l’ins\u00e8re dans le texte avec une consigne stricte (r\u00e9pondre uniquement d’apr\u00e8s ce contexte), et range le tout dansaugmented_prompt<\/code>.<\/p>\nC’est ce texte entier, converti en tokens, que le mod\u00e8le re\u00e7oit. La question tient en une ligne ; le passage r\u00e9cup\u00e9r\u00e9, lui, peut \u00eatre bien plus long. Or la latence augmente beaucoup avec un long prompt<\/strong>, et le co\u00fbt par requ\u00eate aussi.<\/p>\n
Avant qu’un seul mot de r\u00e9ponse ne sorte, tout ce texte doit donc \u00eatre lu. Cette lecture a un nom : le prefill.<\/p>\n
Le prefill en une phrase : lire d’un coup, puis \u00e9crire<\/h2>\n
Le prefill<\/strong> est la phase o\u00f9 le moteur traite la s\u00e9quence d’entr\u00e9e pour calculer l’attention de chaque token d’entr\u00e9e et ranger le r\u00e9sultat dans un cache KV. Contrairement \u00e0 ce que l’on pourrait croire, il ne lit pas token apr\u00e8s token : son attention parcourt toute la s\u00e9quence d’entr\u00e9e d’un coup<\/strong>.<\/p>\n
Il se termine par le calcul du premier token. Le moteur de prefill produit alors le cache KV et ce premier token, puis passe la main \u00e0 la phase de g\u00e9n\u00e9ration, le decode<\/a>, qui calcule tous les suivants.<\/p>\n
\n
\ud83d\udca1 Intuition<\/strong> Pense \u00e0 un traducteur qui lit tout le paragraphe avant de poser le premier mot de sa traduction. Le prefill est cette lecture ; le decode, la r\u00e9daction qui s’appuie sur elle.<\/p>\n<\/blockquote>\n
\u00c0 quoi sert de lire avant d’\u00e9crire ? \u00c0 ne pas relire. Le cache KV garde les paires cl\u00e9-valeur de chaque token pr\u00e9c\u00e9dent : au lieu de les recalculer \u00e0 chaque fois<\/strong>, on les lit en m\u00e9moire.<\/p>\n
Ce que calcule le mod\u00e8le pour chaque token<\/h2>\n
Place-toi \u00e0 l’entr\u00e9e du mod\u00e8le. Ton prompt est un tableau
![\"X\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d4ee28752517d6062a3ca0314890342d_l3.png\" "\\"Rendered")
: une ligne par token, chaque ligne \u00e9tant le vecteur qui le repr\u00e9sente. Trois matrices de poids apprises, ![\"W_Q\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-7fccbd0094f3f2e5ddc2c992d4c746ff_l3.png\" "\\"Rendered")
, ![\"W_K\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-524fd3133c66387f8df55c37c833cf78_l3.png\" "\\"Rendered")
et ![\"W_V\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a73c8e79b62237676f09765c314f8bcf_l3.png\" "\\"Rendered")
, le transforment en trois nouveaux tableaux.<\/p>\n<\/span> <\/span>
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-60b1b8c99c0762f15118e803bf414627_l3.png\" "\\"Rendered")
<\/p><\/p>\nLis ces trois produits comme trois r\u00f4les.
![\"Q\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2c758bec4c272382411b95fc0e7ee250_l3.png\" "\\"Rendered")
, la requ\u00eate, est le centre d’attention du moment ; ![\"K\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ea9c87a513e4a72624155d392fae86e2_l3.png\" "\\"Rendered")
, les cl\u00e9s, renseignent le mod\u00e8le sur les entr\u00e9es pr\u00e9c\u00e9dentes ; ![\"V\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-63ada879859a9e41fd935f035b7313bc_l3.png\" "\\"Rendered")
, les valeurs, servent \u00e0 en extraire l’information finale. Comme contient tous les tokens du prompt, un seul produit de matrices<\/strong> donne , et pour chacun d’eux.<\/p>\n\n\n![\"Auto-attention](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch02_auto_attention_qkv.png\")
- Il laisse deux produits : le cache KV et le premier token<\/strong>.<\/li>\n
- Ce que le mod\u00e8le re\u00e7oit avant d’\u00e9crire un mot<\/a><\/li>\n