Modèle d’apprentissage profond : des couches qui apprennent
Neurones, couches, activation, rétropropagation : comprends ce qu’est un modèle d’apprentissage profond et comment il apprend seul à lire images et textes.
Apprentissage de l'IA
Neurones, couches, activation, rétropropagation : comprends ce qu’est un modèle d’apprentissage profond et comment il apprend seul à lire images et textes.
État caché, mémoire d’un pas à l’autre, LSTM et GRU : comprends ce qu’est un réseau récurrent, comment il lit une séquence et où sa mémoire s’arrête.
Variances sur la diagonale, covariances ailleurs : découvre ce que contient une matrice de covariance, comment la lire et à quoi elle sert vraiment.
L’analyse discriminante linéaire décrit chaque classe par une cloche, puis applique Bayes pour trancher. Hypothèses, score, forces et limites expliqués sans jargon.
Marge, vecteurs de support, marge souple, noyau : comprends ce qu’est une machine à vecteurs de support et comment elle trace sa frontière, avec le code.
Les FLOPS comptent les opérations en virgule flottante qu’un GPU enchaîne par seconde. Ce que le chiffre mesure, comment le lire, et ce qu’il ignore.
Le rapport ops:octet d’un GPU, c’est ses FLOPS divisés par sa bande passante : apprends à le calculer, à le lire et à l’utiliser pour choisir ton matériel.
FlashAttention accélère le calcul de l’attention, PagedAttention range mieux le cache KV : deux idées mémoire, deux rôles, et comment les distinguer.
Le step-back prompting remplace une question pointue par une question plus large pour retrouver le bon document, puis répond à la question d’origine.
Le decode, c’est la phase où un LLM écrit sa réponse, un token par passe. Ce que contient un tour de boucle et pourquoi la mémoire en fixe le rythme.