- \n
- L’essentiel en 30 secondes<\/a><\/li>\n
- Le probl\u00e8me : un r\u00e9seau classique n’a aucune m\u00e9moire<\/a><\/li>\n
- Une boucle et un \u00e9tat cach\u00e9 : ce qui d\u00e9finit un r\u00e9seau r\u00e9current<\/a><\/li>\n
- Ce que calcule chaque pas de temps<\/a><\/li>\n
- \u00c0 quoi servent les r\u00e9seaux r\u00e9currents<\/a><\/li>\n
- Se souvient-il vraiment de tout ? Les limites du r\u00e9seau simple<\/a><\/li>\n
- LSTM : une m\u00e9moire longue prot\u00e9g\u00e9e par des portes<\/a><\/li>\n
- GRU : la m\u00eame id\u00e9e avec deux portes<\/a><\/li>\n
- Les trois couches c\u00f4te \u00e0 c\u00f4te dans PyTorch<\/a><\/li>\n
- Face \u00e0 l’attention : ce que les r\u00e9currents laissent ouvert<\/a><\/li>\n<\/ul>\n
L’essentiel en 30 secondes<\/h2>\n
- \n
- Un r\u00e9seau r\u00e9current garde un \u00e9tat interne<\/strong> d’un \u00e9l\u00e9ment de la s\u00e9quence au suivant : ses sorties d\u00e9pendent donc des entr\u00e9es pr\u00e9c\u00e9dentes.<\/li>\n
- \u00c0 chaque pas, il applique la m\u00eame op\u00e9ration, avec les m\u00eames poids<\/strong> : il lit des s\u00e9quences de longueur quelconque avec un nombre fixe de param\u00e8tres.<\/li>\n
- Il sert \u00e0 classer un texte, traduire, reconna\u00eetre la voix ou pr\u00e9voir une s\u00e9rie temporelle<\/strong>.<\/li>\n
- Sa m\u00e9moire est courte : le gradient \u00e9vanescent<\/strong> l’emp\u00eache d’apprendre les d\u00e9pendances lointaines.<\/li>\n
- LSTM et GRU y r\u00e9pondent par des portes qui filtrent l’information<\/strong> : un LSTM se souvient jusqu’\u00e0 100 pas, un r\u00e9seau simple commence \u00e0 oublier apr\u00e8s 7.<\/li>\n<\/ul>\n
Le probl\u00e8me : un r\u00e9seau classique n’a aucune m\u00e9moire<\/h2>\n
Une couche de r\u00e9seau classique (on dit feedforward<\/em>) traite chaque entr\u00e9e pour elle-m\u00eame. Pour un vecteur
![\"x_t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e95410b7a7a6a79cbcbdc56ca038a68e_l3.png\" "\\"Rendered")
qui repr\u00e9sente l’\u00e9l\u00e9ment \u00e0 l’instant ![\"t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4e3cbf5d4c5c6d9b702dd139f14c147_l3.png\" "\\"Rendered")
, elle calcule<\/p>\n<\/span> <\/span>
![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-a3398378fa7924498bbbc49a3c39ba53_l3.png\" "\\"Rendered")
<\/p><\/p>\nc’est-\u00e0-dire une somme pond\u00e9r\u00e9e de l’entr\u00e9e, pass\u00e9e dans une fonction d’activation
![\"\sigma\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-1c9cc40f96a1492e298e7da85a2c1692_l3.png\" "\\"Rendered")
. Rien de ce qui a pr\u00e9c\u00e9d\u00e9 n’y appara\u00eet.<\/p>\nPour une image isol\u00e9e, ce n’est pas grave. Pour une s\u00e9quence de mots, c’est un handicap : le mot \u00e0 l’instant
d\u00e9pend de celui qui le pr\u00e9c\u00e8de, et le dernier mot d’une phrase d\u00e9pend souvent de plusieurs mots ant\u00e9rieurs. C’est ce qui te permet de finir \u00ab les pommes de\u2026 \u00bb sans conna\u00eetre la suite. Il faut donc un r\u00e9seau capable de conserver une trace des entr\u00e9es pass\u00e9es<\/strong>.<\/p>\nUne boucle et un \u00e9tat cach\u00e9 : ce qui d\u00e9finit un r\u00e9seau r\u00e9current<\/h2>\n
Un r\u00e9seau r\u00e9current<\/strong> (RNN, pour recurrent neural network<\/em>) maintient un \u00e9tat interne qui m\u00e9morise ce qu’il a d\u00e9j\u00e0 vu. On l’appelle l’\u00e9tat cach\u00e9<\/strong> : une sorte de m\u00e9moire qui r\u00e9sume tout ce qui a \u00e9t\u00e9 lu jusque-l\u00e0.<\/p>\n
\u00c0 chaque pas de temps, le r\u00e9seau re\u00e7oit deux choses : la nouvelle entr\u00e9e, et l’\u00e9tat cach\u00e9 produit au pas pr\u00e9c\u00e9dent. Il en tire une sortie et un nouvel \u00e9tat cach\u00e9, qu’il passera au pas suivant.<\/p>\n\n\n
![\"Quatre](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b2_ch09_architecture_rnn_sequence-scaled.png\")
- \u00c0 chaque pas, il applique la m\u00eame op\u00e9ration, avec les m\u00eames poids<\/strong> : il lit des s\u00e9quences de longueur quelconque avec un nombre fixe de param\u00e8tres.<\/li>\n
- Le probl\u00e8me : un r\u00e9seau classique n’a aucune m\u00e9moire<\/a><\/li>\n