Cours & Tutoriels : Inference

Les FLOPS comptent les opérations en virgule flottante qu’un GPU enchaîne par seconde. Ce que le chiffre mesure, comment le lire, et ce qu’il ignore.

Le rapport ops:octet d’un GPU, c’est ses FLOPS divisés par sa bande passante : apprends à le calculer, à le lire et à l’utiliser pour choisir ton matériel.

FlashAttention accélère le calcul de l’attention, PagedAttention range mieux le cache KV : deux idées mémoire, deux rôles, et comment les distinguer.

Le decode, c’est la phase où un LLM écrit sa réponse, un token par passe. Ce que contient un tour de boucle et pourquoi la mémoire en fixe le rythme.

Avant d’écrire, un LLM lit tout ton prompt d’un coup. Ce que calcule le prefill, ce qu’il laisse derrière lui, et pourquoi un prompt long coûte plus cher.

Le finetuning reprend un modèle déjà entraîné et déplace ses poids vers ton usage. Ce qui change, comment ça se passe, et ce que ça ne fait pas.

Une mémoire non paramétrique garde le savoir d’un agent hors de ses poids : on l’écrit, on la relit, on la corrige. Comment elle marche, et où elle s’arrête.

La mémoire paramétrique, c’est tout ce qu’un LLM a retenu dans ses poids. Découvre ce qu’elle contient, ce qu’elle oublie et ce qui peut la changer.

Un LLM prédit le mot suivant, puis devient assistant par deux entraînements de plus. Découvre ses pièces, ses usages et les idées reçues à lâcher.

Cible chiffrée, bonne couche, modèle adapté, coût des essais : les signaux qui justifient d’optimiser un moteur d’inférence, et ceux qui disent stop.