sigmo\u00efde<\/a> La porte de mise \u00e0 jour La porte de r\u00e9initialisation Un pas de calcul : du brouillon \u00e0 l’\u00e9tat suivant<\/h2>\n Une fois \u00e9tat candidat<\/strong>
<\/span> <\/span>Lis la premi\u00e8re \u00e9galit\u00e9 : le pass\u00e9
La seconde \u00e9galit\u00e9 est le c\u0153ur du dispositif. Les poids une moyenne pond\u00e9r\u00e9e<\/strong>. Avec Le LSTM, lui, r\u00e8gle l’oubli et l’ajout avec deux portes ind\u00e9pendantes,
GRU contre LSTM : ce que la simplification retire<\/h2>\n Le tableau met face \u00e0 face les deux cellules, telles que leurs \u00e9quations les d\u00e9crivent :<\/p>\n
\n\n\n<\/th>\n LSTM<\/th>\n GRU<\/th>\n<\/tr>\n<\/thead>\n \n\n\u00c9tats entretenus<\/td>\n deux : un seul : \nPortes<\/td>\n trois (oubli, entr\u00e9e, sortie), ind\u00e9pendantes<\/td>\n deux (mise \u00e0 jour, r\u00e9initialisation), reli\u00e9es<\/td>\n<\/tr>\n \nBlocs de poids dans les \u00e9quations<\/td>\n quatre ( trois ( \nValeurs rendues par la couche PyTorch<\/td>\n sortie, \u00e9tat cach\u00e9 et \u00e9tat de cellule<\/td>\n sortie et \u00e9tat cach\u00e9<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\n\n\n\t\t\t\n\t\t\t\tRep\u00e8re la ligne du haut, celle de la m\u00e9moire longue Cette ligne en moins se traduit par moins de param\u00e8tres et moins de calcul<\/strong>. Le GRU sait quand m\u00eame traiter de longues s\u00e9quences sans oublier les entr\u00e9es pass\u00e9es, et il se comporte bien sur de nombreuses t\u00e2ches textuelles, en reconnaissance vocale ou en g\u00e9n\u00e9ration musicale.<\/p>\nUn GRU au travail : lire un avis de film<\/h2>\n Question concr\u00e8te : comment faire lire un avis \u00e0 un r\u00e9seau pour qu’il rende un verdict, positif ou n\u00e9gatif ? On empile des couches GRU qui avalent le texte mot apr\u00e8s mot. Avant de l’assembler, regarde la brique seule. Les extraits supposent que numpy<\/code> et torch<\/code> sont d\u00e9j\u00e0 import\u00e9s ; on fabrique un tenseur al\u00e9atoire de dimensions 10, 5, 3 et on le passe dans une couche GRU :<\/p>\ndata_tensor = torch.tensor(np.random.random((10, 5, 3)),\n dtype=torch.float32)\nGRU =nn.GRU(input_size=3, hidden_size=10,\n num_layers=1, batch_first=True)\noutput, hidden = GRU(data_tensor)\n<\/code><\/pre>\nChaque \u00e9l\u00e9ment de la s\u00e9quence est d\u00e9crit par 3 nombres (input_size=3<\/code>) et l’\u00e9tat cach\u00e9 en compte 10 (hidden_size=10<\/code>). Remarque la derni\u00e8re ligne : la couche rend output<\/code> et hidden<\/code>, rien d’autre. Pas d’\u00e9tat de cellule<\/strong>, comme le tableau de la section pr\u00e9c\u00e9dente l’annon\u00e7ait.<\/p>\nPour le vrai classifieur, l’avis brut est converti en indices de mots, compl\u00e9t\u00e9 par du remplissage, puis transform\u00e9 en vecteurs de 300 dimensions. Ces vecteurs entrent dans un GRU de 3 couches de 256 unit\u00e9s avec un dropout de 0,5, et une couche lin\u00e9aire suivie d’une sigmo\u00efde fournit la pr\u00e9diction.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis le sch\u00e9ma de gauche \u00e0 droite : le GRU occupe l’\u00e9tape centrale et transforme une suite de vecteurs en une repr\u00e9sentation que la couche lin\u00e9aire r\u00e9sume en une seule probabilit\u00e9.<\/figcaption><\/figure>\n\n\nLe code qui fixe ces dimensions tient en quelques lignes :<\/p>\n
# Hyperparameters\nno_layers = 3\nvocab_size = len(vocab) + 1 # extra 1 for padding\nembedding_dim = 300\noutput_dim = 1\nhidden_dim = 256\n# Initialize the model\nmodel = SentimentRNN(no_layers, vocab_size, hidden_dim,\n embedding_dim, drop_prob=0.5)\n<\/code><\/pre>\nvocab<\/code> est le vocabulaire des avis, auquel on ajoute une place pour le remplissage ; SentimentRNN<\/code> est le mod\u00e8le qui assemble embedding, couches GRU et couche lin\u00e9aire. output_dim = 1<\/code> correspond \u00e0 la probabilit\u00e9 unique que l’avis soit positif, et le dropout stabilise l’entra\u00eenement. Le verdict n’ayant que deux issues, l’entra\u00eenement s’appuie sur l’entropie crois\u00e9e binaire<\/a> et l’optimiseur Adam.<\/p>\nL\u00e9ger ne veut pas dire gratuit<\/h2>\n Deux id\u00e9es re\u00e7ues \u00e0 ranger.<\/p>\n
\u00ab Un GRU est un LSTM au rabais. \u00bb<\/strong> Non : \u00e0 performances comparables, il demande moins de param\u00e8tres et peut converger plus vite. Mais il est moins efficace que le LSTM<\/strong> pour mod\u00e9liser des d\u00e9pendances \u00e0 tr\u00e8s long terme ou des motifs complexes.<\/p>\n\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Moins de param\u00e8tres, c’est aussi plus de risque de surapprentissage<\/strong>. Un GRU l\u00e9ger n’est pas un GRU sans r\u00e9glage de r\u00e9gularisation, comme le dropout de l’exemple pr\u00e9c\u00e9dent.<\/p>\n<\/blockquote>\n\u00ab Les portes sont cod\u00e9es \u00e0 la main. \u00bb<\/strong> Non plus : \n\ud83d\udccc \u00c0 retenir<\/strong> Un GRU est un r\u00e9seau r\u00e9current \u00e0 une seule m\u00e9moire et deux portes : Un GRU (Gated Recurrent Unit) est un LSTM all\u00e9g\u00e9 : un seul \u00e9tat, deux portes. D\u00e9couvre ce que font z et r, comment l’\u00e9tat se met \u00e0 jour et ses limites.<\/p>\n","protected":false},"author":1,"featured_media":704,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-705","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/705","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=705"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/705\/revisions"}],"predecessor-version":[{"id":792,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/705\/revisions\/792"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/704"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=705"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=705"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=705"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"z\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-4586e340cb83d5b642972e97a288fec2_l3.png\" "\\"Rendered")
et la porte de r\u00e9initialisation ![\"r\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c409433a9e2dfcdb83360a974d243f18_l3.png\" "\\"Rendered")
.<\/li>\n![\"h\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-14b463d0ecd5b350ced6cf1d6a12eef3_l3.png\" "\\"Rendered")
, utile \u00e0 l’instant ![\"t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b4e3cbf5d4c5c6d9b702dd139f14c147_l3.png\" "\\"Rendered")
, et une m\u00e9moire longue ![\"c\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-41a04eeea923a1a0c28094a8a4680525_l3.png\" "\\"Rendered")
. Le GRU n’en tient qu’une seule<\/strong>, son \u00e9tat cach\u00e9 ![\"x_t\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-e95410b7a7a6a79cbcbdc56ca038a68e_l3.png\" "\\"Rendered")
et de l’\u00e9tat pr\u00e9c\u00e9dent ![\"h^{(t-1)}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-b42e7d0229e1695947d3b9bbecaae71d_l3.png\" "\\"Rendered")
:<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d7f7bbabbbd9d55a8253374e865f271d_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"b_z\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-751f1fe2814f49852094cc2c217075b9_l3.png\" "\\"Rendered")
, ![\"b_r\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-bf1457977f0d30415a1af36540dda25e_l3.png\" "\\"Rendered")
) et ses matrices de poids : ![\"W\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-4caed22919a1780df1b6310b338b904e_l3.png\" "\\"Rendered")
pond\u00e8re l’entr\u00e9e, ![\"U\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-2b60fc262803f27ba3717d8ec4eb656d_l3.png\" "\\"Rendered")
pond\u00e8re le pass\u00e9. La ![\"\sigma\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-1c9cc40f96a1492e298e7da85a2c1692_l3.png\" "\\"Rendered")
ram\u00e8ne chaque composante entre 0 et 1, ce qui donne \u00e0 la porte son r\u00f4le d’interrupteur progressif.<\/p>\n![\"\tilde h^{(t)}\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-177b472bf86e5f546878eecd3036ffda_l3.png\" "\\"Rendered")
, le brouillon du nouvel \u00e9tat, puis le m\u00e9lange avec l’ancien :<\/p>\n![\"\[](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-c34892536a1f3411a84ac02065f97f54_l3.png\" "\\"Rendered")
<\/p><\/p>\n![\"1-z\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-0d370947d5cda05da7ccba83a4e9107a_l3.png\" "\\"Rendered")
s’additionnent \u00e0 1 : le nouvel \u00e9tat est une moyenne pond\u00e9r\u00e9e<\/strong>. Avec ![\"f\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-9c09a708375fde2676da319bcdfe8b24_l3.png\" "\\"Rendered")
et ![\"i\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-695d9d59bd04859c6c99e7feb11daab6_l3.png\" "\\"Rendered")
. Le GRU n’en utilise qu’une : tout ce qu’il garde de l’ancien, il le retire au nouveau.<\/p>\n![\"g\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-d208fd391fa57c168dc0f151de829fee_l3.png\" "\\"Rendered")
, ![\"o\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-673447f599d9874842c6998af0efc0ed_l3.png\" "\\"Rendered")
)<\/td>\n![\"\tilde h\"](\"https:\/\/www.ranksignal.fr\/wp-content\/ql-cache\/quicklatex.com-76ec5ff1ccb97f752aba6f42c9c25c3c_l3.png\" "\\"Rendered")
)<\/td>\n<\/tr>\n![\"Cellule](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b1_ch01_cellule_lstm.png\")