mod\u00e8le d’apprentissage profond<\/a>. Le r\u00e9seau de neurones lui-m\u00eame se compose de neurones organis\u00e9s en couches : il prend un tenseur en entr\u00e9e et produit un tenseur en sortie.<\/p>\nChaque neurone pond\u00e8re ses entr\u00e9es, les additionne, puis fait passer la somme dans une fonction d’activation. Voil\u00e0 la brique de base, et tout le reste n’est qu’une affaire d’assemblage.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tRegarde les deux bords du sch\u00e9ma plut\u00f4t que son milieu : \u00e0 gauche, quatre valeurs entrent ; \u00e0 droite, une seule ressort. Entre les deux, chaque couche lit ce que la pr\u00e9c\u00e9dente a produit.<\/figcaption><\/figure>\n\n\n\n\ud83d\udca1 Intuition<\/strong> Un r\u00e9seau de neurones ressemble \u00e0 une prise normalis\u00e9e : pour le brancher, ce qui compte est la forme de la fiche d’entr\u00e9e et celle de la fiche de sortie. L’int\u00e9rieur vient apr\u00e8s.<\/p>\n<\/blockquote>\nDe 784 valeurs \u00e0 10 sorties : un r\u00e9seau en quelques lignes<\/h2>\n PyTorch est un paquet Python qui d\u00e9crit des op\u00e9rations sur des tenseurs. C’est la technologie standard de l’industrie pour entra\u00eener comme pour faire tourner les mod\u00e8les g\u00e9n\u00e9ratifs, et il sait entra\u00eener tout type de r\u00e9seau de neurones<\/strong>. Sa documentation en montre un exemple de base, que voici (l’extrait suppose que le module torch.nn<\/code> a \u00e9t\u00e9 import\u00e9 sous le nom nn<\/code>) :<\/p>\nclass NeuralNetwork(nn.Module):\n def __init__(self):\n super().__init__()\n self.flatten = nn.Flatten()\n self.linear_relu_stack = nn.Sequential(\n nn.Linear(28*28, 512),\n nn.ReLU(),\n nn.Linear(512, 512),\n nn.ReLU(),\n nn.Linear(512, 10),\n )\n\n def forward(self, x):\n x = self.flatten(x)\n logits = self.linear_relu_stack(x)\n return logits\n<\/code><\/pre>\nLis-le en commen\u00e7ant par ses deux extr\u00e9mit\u00e9s. \u00c0 l’entr\u00e9e, nn.Linear(28*28, 512)<\/code> attend 28 \u00d7 28 = 784 valeurs, ce qui correspond \u00e0 une image de 28 \u00d7 28 pixels : le nom nn.Flatten()<\/code> dit ce qu’il fait, il aplatit l’image en une seule liste. \u00c0 la sortie, nn.Linear(512, 10)<\/code> rend dix nombres<\/strong>, que le code appelle logits<\/code>.<\/p>\nEntre les deux, deux couches de 512 neurones s\u00e9par\u00e9es par des nn.ReLU()<\/code> : ce sont les couches lin\u00e9aires et les activations qui forment les pi\u00e8ces essentielles d’un r\u00e9seau. La m\u00e9thode forward<\/code> d\u00e9crit le trajet complet, qui consiste \u00e0 aplatir l’entr\u00e9e, \u00e0 la faire traverser la pile, puis \u00e0 renvoyer les dix sorties.<\/p>\nL’exemple est tr\u00e8s simple, mais il contient d\u00e9j\u00e0 la forme de tout r\u00e9seau : tenseur fixe en entr\u00e9e, tenseur fixe en sortie<\/strong>. Reste \u00e0 savoir ce que ce dernier tenseur doit contenir.<\/p>\nCe que le r\u00e9seau doit rendre d\u00e9cide de sa derni\u00e8re couche<\/h2>\n Les dix nombres du code pr\u00e9c\u00e9dent sont des scores, mais rien n’oblige un r\u00e9seau \u00e0 en rendre dix. Sa derni\u00e8re couche \u00e9pouse la t\u00e2che. Reprends l’\u00e9chiquier du d\u00e9but : un agent qui joue re\u00e7oit l’\u00e9tat de la partie, c’est-\u00e0-dire la position des pi\u00e8ces, et doit choisir une action. Deux r\u00e9seaux peuvent r\u00e9pondre \u00e0 cette m\u00eame entr\u00e9e, avec deux sorties diff\u00e9rentes<\/strong>.<\/p>\nUne probabilit\u00e9 par action<\/h3>\n Le premier r\u00e9seau prend l’\u00e9tat courant en entr\u00e9e et produit une distribution de probabilit\u00e9 sur toutes les actions possibles. On l’appelle une politique stochastique, parce qu’il ne rend pas directement une action mais des probabilit\u00e9s.<\/p>\n
Au d\u00e9part, ses poids sont al\u00e9atoires, donc les actions le sont aussi. On laisse alors l’agent jouer en tirant chaque action dans la distribution rendue, ce qui produit une trajectoire, c’est-\u00e0-dire la suite des \u00e9tats et des actions. Si elle rapporte de fortes r\u00e9compenses, on modifie les poids pour la rendre plus probable ; si l’agent se comporte mal, la mise \u00e0 jour vise \u00e0 la rendre moins probable.<\/p>\n
\n\u26a0\ufe0f Pi\u00e8ge<\/strong> Une probabilit\u00e9 par action n’est pas une action. Il reste \u00e0 en tirer une dans la distribution, et c’est ce tirage qui rend la politique stochastique.<\/p>\n<\/blockquote>\nApprendre directement une politique convient aux espaces d’actions continus<\/strong>, alors qu’un r\u00e9seau qui rendrait une valeur par action, comme le suivant, s’y pr\u00eate beaucoup moins bien.<\/p>\nUne valeur par action<\/h3>\n Le second r\u00e9seau re\u00e7oit le m\u00eame \u00e9tat mais rend autre chose. Pour le comprendre, pars de la table du Q-learning : une ligne par \u00e9tat, une colonne par action, et dans chaque cellule la r\u00e9compense future esp\u00e9r\u00e9e si l’agent m\u00e8ne cette action depuis cet \u00e9tat puis suit la meilleure strat\u00e9gie. Dans les environnements complexes, cette table devient impraticable \u00e0 cause de sa taille potentiellement massive et de son co\u00fbt de calcul.<\/p>\n
On la remplace donc par un r\u00e9seau : on lui donne l’\u00e9tat en entr\u00e9e, et il fournit en sortie la valeur de chaque action<\/strong> possible depuis cet \u00e9tat. Ce r\u00e9seau Q ne travaille pas seul dans le DQN, l’algorithme utilis\u00e9 par DeepMind pour entra\u00eener un agent \u00e0 r\u00e9soudre des jeux vid\u00e9o. Il a deux compagnons :<\/p>\n\nla m\u00e9moire de rejeu<\/strong> range chaque exp\u00e9rience (\u00e9tat, action, r\u00e9compense, \u00e9tat suivant) ; \u00e0 l’entra\u00eenement, on y tire des lots au hasard, m\u00e9lange d’anciennes et de nouvelles exp\u00e9riences, ce qui casse la corr\u00e9lation entre exp\u00e9riences cons\u00e9cutives et r\u00e9utilise le pass\u00e9 ;<\/li>\nle r\u00e9seau cible est une copie du r\u00e9seau Q qui fournit les valeurs \u00e0 atteindre ; toutes les quelques milliers d’\u00e9tapes, on remplace ses poids par ceux du r\u00e9seau Q, ce qui stabilise l’entra\u00eenement.<\/li>\n<\/ul>\n\u00c0 chaque entra\u00eenement, le r\u00e9seau Q pr\u00e9dit la valeur des actions pour un \u00e9tat et le r\u00e9seau cible pr\u00e9dit la valeur cible ; l’\u00e9cart entre les deux, avec la r\u00e9compense observ\u00e9e, donne la perte qui r\u00e8gle le r\u00e9seau Q.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tSuis les fl\u00e8ches depuis l’environnement : l’exp\u00e9rience entre dans la m\u00e9moire de rejeu, puis part dans deux directions, vers le r\u00e9seau qu’on entra\u00eene et vers sa copie fig\u00e9e. Les deux sorties se retrouvent dans le bloc de perte, qui compare le Q pr\u00e9dit \u00e0 la cible.<\/figcaption><\/figure>\n\n\nCe montage sait extraire seul les caract\u00e9ristiques d’espaces de grande dimension comme les images : il a ainsi ma\u00eetris\u00e9 des jeux Atari \u00e0 partir de pixels bruts. Il a ses limites : il demande beaucoup d’\u00e9chantillons, reste sensible au choix des hyperparam\u00e8tres, et se montre instable avec des actions continues<\/strong>, alors qu’il se comporte bien sur des actions en nombre fini.<\/p>\nQuand l’entr\u00e9e est un graphe, pas une grille<\/h2>\n Les mod\u00e8les classiques attendent des donn\u00e9es rectangulaires ou en grille. Un graphe n’entre pas dans cette case, et pour une t\u00e2che on voudrait pourtant exploiter \u00e0 la fois ses n\u0153uds, ses ar\u00eates, son contexte global et sa connectivit\u00e9.<\/p>\n
La connectivit\u00e9 est la plus difficile \u00e0 repr\u00e9senter. On emploie d’ordinaire une matrice d’adjacence, qui grossit beaucoup avec le nombre de n\u0153uds et se r\u00e9v\u00e8le peu efficace en espace. Pire, un graphe n’ayant pas d’ordre, plusieurs matrices diff\u00e9rentes<\/strong> disent la m\u00eame chose, sans qu’un mod\u00e8le sache forc\u00e9ment les reconna\u00eetre comme identiques.<\/p>\nUn r\u00e9seau de neurones de graphes (GNN) prend le graphe tel quel et exploite sa structure pendant l’apprentissage. Son principe est le passage de messages : \u00e0 chaque pas, chaque n\u0153ud collecte les repr\u00e9sentations de ses voisins, applique une fonction d’agr\u00e9gation (elle varie selon les architectures), puis une non-lin\u00e9arit\u00e9. Pour une version courante, la r\u00e8gle de mise \u00e0 jour s’\u00e9crit :<\/p>\n
<\/span> <\/span>Lis-la de la droite vers la gauche.
Un GNN classique encha\u00eene plusieurs blocs de ce type, puis une couche finale qui exploite la repr\u00e9sentation apprise pour la t\u00e2che. Il a un avantage : tout en s’entra\u00eenant sur sa t\u00e2che, il apprend un embedding<\/a> pour chaque n\u0153ud<\/strong>. L’entr\u00e9e est un graphe, la sortie une repr\u00e9sentation par n\u0153ud, et c’est toujours un r\u00e9seau de neurones.<\/p>\nLe point commun : des poids que le gradient r\u00e8gle<\/h2>\n Que le r\u00e9seau rende dix scores, une probabilit\u00e9 par action, une valeur par action ou un embedding par n\u0153ud, il se r\u00e8gle de la m\u00eame fa\u00e7on. Optimiser la politique, c’est optimiser les param\u00e8tres du r\u00e9seau. Les r\u00e9seaux de neurones sont des mod\u00e8les bien connus et on sait les optimiser<\/strong> : avec des m\u00e9thodes fond\u00e9es sur le gradient, on mesure comment une modification des param\u00e8tres change le r\u00e9sultat.<\/p>\nDevant n’importe quel r\u00e9seau, tu peux donc poser trois questions :<\/p>\n
\nQuel tenseur entre : une liste, une grille, un graphe ?<\/li>\n Que doit rendre la derni\u00e8re couche : des scores, des probabilit\u00e9s, des valeurs, une repr\u00e9sentation par n\u0153ud ?<\/li>\n Que r\u00e8gle-t-on : les poids, \u00e0 partir d’un signal comme une cible ou une r\u00e9compense ?<\/li>\n<\/ol>\n\n\ud83d\udccc \u00c0 retenir<\/strong> Un r\u00e9seau de neurones transforme un tenseur en un autre, par des couches de neurones \u00e0 poids r\u00e9glables. Sa derni\u00e8re couche \u00e9pouse la t\u00e2che, et son r\u00e9glage suit le gradient.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Une image, un \u00e9chiquier, un graphe : un r\u00e9seau de neurones avale un tenseur et en rend un autre. Apprends \u00e0 le reconna\u00eetre \u00e0 sa forme, du code \u00e0 la derni\u00e8re couche.<\/p>\n","protected":false},"author":1,"featured_media":731,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-732","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-deep-learning"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/732","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=732"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/732\/revisions"}],"predecessor-version":[{"id":825,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/732\/revisions\/825"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/731"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=732"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=732"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=732"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"R\u00e9seau](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch09_reseau_neurones_multicouches.png\")