Les couches d’auto-attention : ce qu’elles font vraiment
Une couche d’auto-attention reçoit un tableau de vecteurs et en rend un de même taille, enrichi de contexte. Ce qu’elle apprend, et ce que « auto » change.
Apprentissage de l'IA
Réseaux de neurones, CNN, transformers et rétropropagation : les principes du deep learning expliqués pas à pas, avec du code Python.
Une couche d’auto-attention reçoit un tableau de vecteurs et en rend un de même taille, enrichi de contexte. Ce qu’elle apprend, et ce que « auto » change.
Neurones, couches, activation, rétropropagation : comprends ce qu’est un modèle d’apprentissage profond et comment il apprend seul à lire images et textes.
État caché, mémoire d’un pas à l’autre, LSTM et GRU : comprends ce qu’est un réseau récurrent, comment il lit une séquence et où sa mémoire s’arrête.
Recherche par le sens, photos, voix, images, code, agents : la carte des problèmes réels où un Transformer s’applique, et comment repérer le tien.
Données, tâche, budget : les critères et les chiffres pour décider si un Transformer vaut son coût, ou si un modèle plus simple fera aussi bien.
Un Transformer, c’est une pile de blocs où chaque mot regarde tous les autres. Découvre ses pièces, comment il apprend et où il s’arrête.