- \n
- L’essentiel en 30 secondes<\/a><\/li>\n
- Des scores bruts \u00e0 une distribution<\/a><\/li>\n
- La formule, morceau par morceau<\/a><\/li>\n
- Le calcul sur trois scores<\/a><\/li>\n
- Choisir une action au hasard, pas toujours la meilleure<\/a><\/li>\n
- Un score ou toute une liste : softmax et sigmo\u00efde<\/a><\/li>\n
- Dans l’attention : un budget de 1 par mot<\/a><\/li>\n
- Adoucir une distribution avec la temp\u00e9rature<\/a><\/li>\n
- Deux id\u00e9es re\u00e7ues \u00e0 \u00e9carter<\/a><\/li>\n<\/ul>\n
L’essentiel en 30 secondes<\/h2>\n
- \n
- Softmax prend une liste de scores bruts<\/strong> (les logits) et rend une liste de probabilit\u00e9s.<\/li>\n
- Chaque probabilit\u00e9 est comprise entre 0 et 1<\/strong>, et l’ensemble des sorties totalise 1.<\/li>\n
- Elle se calcule avec l’exponentielle de chaque score, divis\u00e9e par la somme<\/strong> de toutes ces exponentielles.<\/li>\n
- Elle sert \u00e0 classer, \u00e0 choisir une action, \u00e0 pond\u00e9rer l’attention : la m\u00eame op\u00e9ration, quatre m\u00e9tiers<\/strong>.<\/li>\n
- Elle ne choisit rien<\/strong> : elle fournit la distribution, le tirage ou le maximum viennent apr\u00e8s.<\/li>\n<\/ul>\n
Des scores bruts \u00e0 une distribution<\/h2>\n
Un r\u00e9seau qui doit d\u00e9partager plusieurs options ne produit pas directement des probabilit\u00e9s. Sa derni\u00e8re couche rend un vecteur de logits<\/strong>, avec un score par option ; pour un mod\u00e8le de langage, ce vecteur a la longueur du vocabulaire. C’est seulement apr\u00e8s une normalisation que ces scores repr\u00e9sentent la probabilit\u00e9 que chaque option soit la bonne r\u00e9ponse.<\/p>\n
Cette normalisation, c’est la softmax. Elle \u00e9crase les scores entre 0 et 1 et attribue \u00e0 chacun une importance relative par rapport aux autres.<\/p>\n
\n
\ud83d\udca1 Intuition<\/strong> Imagine un g\u00e2teau \u00e0 partager entre les options. Les logits disent qui m\u00e9rite la plus grosse part ; la softmax d\u00e9coupe le g\u00e2teau pour qu’il ne reste aucune miette en trop ni en moins.<\/p>\n<\/blockquote>\n
La formule, morceau par morceau<\/h2>\n
Pour un vecteur de scores
![\"x\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-ede05c264bba0eda080918aaa09c4658_l3.png\" "\\"Rendered")
qui compte plusieurs entr\u00e9es, la softmax de la i-\u00e8me entr\u00e9e s’\u00e9crit :<\/p>\n<\/span> <\/span>
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2c8acafe0e4d26bf3e4ae4ec13e1427e_l3.png\" "\\"Rendered")
<\/p><\/p>\nEn pratique, on la calcule d’un coup sous forme vectorielle :
![\"y = e^{x} / \mathrm{sum}(e^{x})\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2e61f092294099cb428267f2e2da49d4_l3.png\" "\\"Rendered")
.<\/p>\nLis-la en deux temps. Au num\u00e9rateur,
![\"e^{x_i}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-9491c9ee798d271644f271f116f1aa4f_l3.png\" "\\"Rendered")
est l’exponentielle du score de l’option ![\"i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-695d9d59bd04859c6c99e7feb11daab6_l3.png\" "\\"Rendered")
. Au d\u00e9nominateur, la somme de toutes les exponentielles joue le r\u00f4le de total \u00e0 partager : c’est elle qui garantit que les poids d’une m\u00eame position somment \u00e0 1<\/strong>.<\/p>\nLe m\u00eame motif appara\u00eet quand on l’applique \u00e0 des scores d’alignement
![\"e_{i,j}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-647dc95cf79844742fdf2dc93bb0b70e_l3.png\" "\\"Rendered")
:<\/p>\n<\/span> <\/span>
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3f4a38bc5a4a53e5097aa0df4af17606_l3.png\" "\\"Rendered")
<\/p><\/p>\nIci le d\u00e9nominateur additionne les
![\"t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4e3cbf5d4c5c6d9b702dd139f14c147_l3.png\" "\\"Rendered")
scores de la ligne , et chaque ![\"a_{i,j}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-fb98d3bf5126abc18f4ad8a7803f562f_l3.png\" "\\"Rendered")
en est la part.<\/p>\nLe calcul sur trois scores<\/h2>\n
Prenons un agent qui apprend \u00e0 jouer \u00e0 un jeu vid\u00e9o, avec trois actions possibles : gauche, droite, saut. Son r\u00e9seau rend les logits 2, 1 et 0 (valeurs choisies pour l’illustration). Applique la formule :<\/p>\n
\n\n
\n \nAction<\/th>\n Score<\/th>\n Exponentielle<\/th>\n Probabilit\u00e9<\/th>\n<\/tr>\n<\/thead>\n \n gauche<\/td>\n 2<\/td>\n 7,39<\/td>\n 66,5 %<\/td>\n<\/tr>\n \n droite<\/td>\n 1<\/td>\n 2,72<\/td>\n 24,5 %<\/td>\n<\/tr>\n \n saut<\/td>\n 0<\/td>\n 1,00<\/td>\n 9,0 %<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n La somme des exponentielles vaut 11,11. Chaque exponentielle divis\u00e9e par ce total donne la derni\u00e8re colonne, qui totalise bien 100 %.<\/p>\n
Regarde l’\u00e9cart entre les scores : un point de score de plus<\/strong> multiplie la probabilit\u00e9 par
![\"e \approx 2{,}72\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-3fb8d552d2037408571b83389d22507f_l3.png\" "\\"Rendered")
, il ne l’augmente pas d’un m\u00eame nombre de points. \u00ab Gauche \u00bb gagne de peu au score et nettement en probabilit\u00e9. Le saut, avec un score nul, garde pourtant 9 % de chance : aucune option n’est \u00e9limin\u00e9e.<\/p>\nChoisir une action au hasard, pas toujours la meilleure<\/h2>\n
Cet agent n’est pas imaginaire. Dans l’algorithme A3C, qui apprend \u00e0 jouer \u00e0 un jeu vid\u00e9o, le mod\u00e8le local produit pour chaque \u00e9tat un ensemble de probabilit\u00e9s<\/strong>, dont on tire une action par \u00e9chantillonnage.<\/p>\n
for _ in range(opt.num_local_steps):\n curr_step += 1\n logits, value, h_0, c_0 = local_model(state, h_0, c_0)\n policy = F.softmax(logits, dim=1)\n log_policy = F.log_softmax(logits, dim=1)\n entropy = -(policy * log_policy).sum(1, keepdim=True)\n m = Categorical(policy)\n action = m.sample().item()\n state, reward, done, _ = env.step(action)\n ...\n<\/code><\/pre>\nSuis la cha\u00eene.
opt<\/code> regroupe les r\u00e9glages de l’entra\u00eenement,env<\/code> est l’environnement du jeu etF<\/code> vient de PyTorch.local_model<\/code> rend leslogits<\/code> (et d’autres sorties dont on ne se sert pas ici) ;F.softmax<\/code> en fait lapolicy<\/code>, c’est-\u00e0-dire la distribution sur les actions ;Categorical(policy)<\/code> permet de tirer une action selon ces probabilit\u00e9s ;env.step(action)<\/code> l’ex\u00e9cute dans le jeu. \u00c0 chaque pas, on enregistre le logarithme de la probabilit\u00e9 de l’action choisie et l’entropie de la politique, calcul\u00e9s \u00e0 partir depolicy<\/code> et delog_policy<\/code>.<\/p>\nAvec nos trois actions, le tirage donne \u00ab saut \u00bb environ une fois sur onze. Cette part de hasard permet \u00e0 l’agent d’essayer d’autres actions que la plus probable.<\/p>\n
Un score ou toute une liste : softmax et sigmo\u00efde<\/h2>\n
Une autre fonction transforme elle aussi un score en probabilit\u00e9 : la sigmo\u00efde<\/a>. Elle prend un seul nombre<\/strong> et le place entre 0 et 1.<\/p>\n
Dans l’apprentissage de repr\u00e9sentations de mots, elle r\u00e9pond \u00e0 une question \u00e0 deux issues : le mot
![\"c\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-41a04eeea923a1a0c28094a8a4680525_l3.png\" "\\"Rendered")
est-il attendu dans le contexte du mot ![\"w\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-dfee5c980777976ae8cf6541893fb572_l3.png\" "\\"Rendered")
, oui ou non ? Le score est le produit scalaire ![\"c\cdot w\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e4d8d2cf04e2db55e2b30e2e4cbe15c5_l3.png\" "\\"Rendered")
de leurs vecteurs, et la sigmo\u00efde le convertit en probabilit\u00e9 :<\/p>\n<\/span> <\/span>
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-85ac149f69d9f0f6c2594c4520a80256_l3.png\" "\\"Rendered")
<\/p><\/p>\nUn seul score entre, une seule probabilit\u00e9 sort.<\/p>\n\n\n
![\"Courbe](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b4_ch03_fonction_logistique_sigmoide.png\")
- Chaque probabilit\u00e9 est comprise entre 0 et 1<\/strong>, et l’ensemble des sorties totalise 1.<\/li>\n
- Des scores bruts \u00e0 une distribution<\/a><\/li>\n