l’une des deux ressources<\/strong> d’un GPU ; la bande passante m\u00e9moire est l’autre.<\/li>\n<\/ul>\nUne op\u00e9ration, puis des milliers de milliards par seconde<\/h2>\n Reprends ton calcul du d\u00e9part. Les deux listes [3, 2, 1] et [7, 7, 7] se multiplient terme \u00e0 terme, puis on additionne les trois produits : 21 + 14 + 7 = 42. Ce r\u00e9sultat s’appelle un produit scalaire.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tConcentre-toi sur le dernier encadr\u00e9 : le 42 r\u00e9sulte de trois multiplications et de deux additions, donc de cinq op\u00e9rations. Ici ce sont des entiers ; dans un GPU, ce sont des nombres \u00e0 virgule flottante, ceux qui composent les poids d’un mod\u00e8le, \u00e9crits dans des formats comme le FP16 ou le FP8.<\/figcaption><\/figure>\n\n\nLe sigle FLOPS d\u00e9signe les op\u00e9rations en virgule flottante par seconde<\/strong> que le calcul d’un GPU peut atteindre. Le \u00ab S \u00bb final compte : le chiffre ne dit pas combien d’op\u00e9rations un calcul demande, mais combien le GPU peut en encha\u00eener pendant une seconde. Le nombre d’op\u00e9rations d’un calcul se compte \u00e0 part, et tu en verras un exemple plus bas.<\/p>\n\u00c0 l’\u00e9chelle d’un GPU de centre de donn\u00e9es, on parle de t\u00e9raFLOPS, voire de p\u00e9taFLOPS : ces acc\u00e9l\u00e9rateurs sont con\u00e7us pour effectuer des milliers de milliards d’op\u00e9rations par seconde. Le H100 annonce ainsi 989 t\u00e9raFLOPS en FP16 (calcul dense), soit pr\u00e8s de 200 000 milliards de produits scalaires<\/strong> comme le tien, chaque seconde.<\/p>\nQui fait ces op\u00e9rations dans un GPU<\/h2>\n Un GPU n’est pas un processeur ordinaire en plus rapide : c’est une machine \u00e0 d\u00e9bit. L\u00e0 o\u00f9 un CPU excelle dans l’ex\u00e9cution s\u00e9quentielle complexe, un GPU applique la m\u00eame op\u00e9ration simple \u00e0 des milliers de donn\u00e9es ind\u00e9pendantes. Comme l’inf\u00e9rence d’un mod\u00e8le est une suite de multiplications de vecteurs et de matrices, il s’y pr\u00eate naturellement.<\/p>\n
Le contraste se voit dans les fils d’ex\u00e9cution, ces petites t\u00e2ches men\u00e9es de front : un CPU en compte des dizaines \u00e0 des centaines, un GPU des dizaines \u00e0 des centaines de milliers<\/strong> qui travaillent en m\u00eame temps.<\/p>\nCes ouvriers sont de trois sortes :<\/p>\n
\nle c\u0153ur CUDA op\u00e8re sur des nombres isol\u00e9s, les scalaires ;<\/li>\n le Tensor Core op\u00e8re sur des vecteurs et des matrices ;<\/li>\n l’unit\u00e9 de fonctions sp\u00e9ciales (SFU) acc\u00e9l\u00e8re des fonctions comme sin, cos et log.<\/li>\n<\/ul>\n\n\n\n\t\t\t\n\t\t\t\tRegarde l’un des blocs SM, en bas du sch\u00e9ma : tu y retrouves les trois sortes d’ouvriers. Un H100 SXM peut en compter jusqu’\u00e0 132.<\/figcaption><\/figure>\n\n\nPour l’inf\u00e9rence, c’est le Tensor Core qui compte. Ses instructions de multiplication-accumulation matricielle multiplient une matrice A par une matrice B, ajoutent une matrice C et rangent le r\u00e9sultat dans D. On mesure donc le calcul d’un GPU en puissance de Tensor Core<\/strong>.<\/p>\n\n\n\n\t\t\t\n\t\t\t\tDans la case surlign\u00e9e, retrouve ton calcul de l’accroche : une ligne, une colonne, des produits terme \u00e0 terme, une somme. Une multiplication de matrices en empile un par case du r\u00e9sultat.<\/figcaption><\/figure>\n\n\nDu travail au temps : une t\u00eate d’attention face \u00e0 989 t\u00e9raFLOPS<\/h2>\n Un chiffre de puissance ne prend son sens que face \u00e0 un travail \u00e0 effectuer. Compte les op\u00e9rations de l’algorithme d’attention de base, non optimis\u00e9, pour une t\u00eate dont la dimension vaut
<\/span> <\/span>Ici 8,6 milliards d’op\u00e9rations<\/strong> en tout.<\/p>\nDivise ce travail par la puissance du H100 : 8,6 milliards \u00f7 989 000 milliards par seconde, soit \u00e0 peu pr\u00e8s 0,000 009 seconde. Si le GPU tournait \u00e0 son plafond, il faudrait donc environ 9 microsecondes<\/strong>. Plafond est le mot cl\u00e9 : la fiche annonce ce que le calcul peut atteindre, donc une dur\u00e9e calcul\u00e9e ainsi est un minimum.<\/p>\n\n\ud83d\udca1 Intuition<\/strong> C’est le calcul d’un trajet. La distance divis\u00e9e par la vitesse de croisi\u00e8re donne la dur\u00e9e d’un voyage sans le moindre bouchon. Ici, le nombre d’op\u00e9rations est la distance, les FLOPS sont la vitesse affich\u00e9e au compteur, et la dur\u00e9e obtenue est un minimum.<\/p>\n<\/blockquote>\nDe 242 t\u00e9raFLOPS \u00e0 5 p\u00e9taFLOPS : une gamme de GPU<\/h2>\n Pour sentir l’\u00e9chelle, place quelques GPU sur la m\u00eame r\u00e8gle. Chacun vient d’une g\u00e9n\u00e9ration d’architecture : Lovelace pour le L4 et le L40, Hopper pour le H100, Blackwell pour le B200.<\/p>\n
\n\n\nGPU<\/th>\n Calcul annonc\u00e9<\/th>\n Sa place dans l’offre<\/th>\n<\/tr>\n<\/thead>\n \n\nL4<\/td>\n 242 t\u00e9raFLOPS (FP8)<\/td>\n Moyen \u00e9conomique de faire tourner de petits mod\u00e8les : plongements de texte, vision par ordinateur<\/td>\n<\/tr>\n \nL40<\/td>\n 362 t\u00e9raFLOPS<\/td>\n Rarement un bon choix<\/td>\n<\/tr>\n \nH100<\/td>\n 1 979 t\u00e9raFLOPS (FP8, dense)<\/td>\n L’un des acc\u00e9l\u00e9rateurs d’inf\u00e9rence les plus utilis\u00e9s<\/td>\n<\/tr>\n \nB200<\/td>\n environ 5 p\u00e9taFLOPS (FP8, dense)<\/td>\n Nouvel \u00e9talon pour l’inf\u00e9rence, avec la plus haute performance pour les grands mod\u00e8les et la vid\u00e9o<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nDu L4 au B200, le calcul annonc\u00e9 est multipli\u00e9 par une vingtaine de fois<\/strong> (5 000 \u00f7 242 \u2248 21), un ordre de grandeur plut\u00f4t qu’une mesure exacte. Le FP8, un format flottant sur 8 bits, appara\u00eet avec Hopper ; Lovelace, elle, est plus orient\u00e9e graphisme alors que Hopper vise les applications d’IA.<\/p>\nRegarde le L40 : il annonce plus de calcul que le L4, et pourtant il est rarement un bon choix, parce qu’\u00e0 empreinte m\u00e9moire \u00e9gale des fractions de H100 offrent bien plus de calcul. Le chiffre de FLOPS, pris seul, ne classe donc pas les GPU.<\/p>\n
Ce que le chiffre ne dit pas<\/h2>\nIl ne r\u00e9sume pas tout le GPU<\/h3>\n La fiche affiche la puissance des Tensor Cores, parce que ce sont eux qui ex\u00e9cutent les multiplications-accumulations de matrices, fondamentales pour l’inf\u00e9rence. Les c\u0153urs CUDA et les SFU travaillent aussi, et les SFU sont essentielles pour le softmax. Le chiffre est donc un chiffre de matrices<\/strong>, pas une note globale.<\/p>\nIl ne parle que d’une ressource sur deux<\/h3>\n Un GPU a deux ressources principales : le calcul, c’est-\u00e0-dire les op\u00e9rations en virgule flottante par seconde qu’il peut atteindre, et la bande passante m\u00e9moire, c’est-\u00e0-dire les octets qu’il peut d\u00e9placer par seconde. Les FLOPS ne disent rien de la seconde : elle a son propre chiffre sur la fiche, et selon le calcul, c’est l’une ou l’autre qui sature pendant que l’autre attend.<\/p>\n
Il ne dit pas si ton mod\u00e8le saura le d\u00e9penser<\/h3>\n Pour des mod\u00e8les de quelques milliards de param\u00e8tres ou moins, il est difficile de bien utiliser les GPU r\u00e9cents, m\u00eame avec de grandes tailles de lot. D’o\u00f9 les fractions de GPU<\/strong> : un H100 se d\u00e9coupe en jusqu’\u00e0 sept morceaux gr\u00e2ce au GPU multi-instances (MIG), et un morceau de trois tranches de calcul dispose d’environ 3\/7 du calcul.<\/p>\nPour un petit mod\u00e8le comme Orpheus, qui compte 3 milliards de param\u00e8tres, deux instances MIG utilisent parfois mieux les ressources qu’un GPU entier allou\u00e9 \u00e0 une seule instance.<\/p>\n
\n\ud83d\udccc \u00c0 retenir<\/strong> Une op\u00e9ration, c’est un calcul \u00e9l\u00e9mentaire sur des nombres \u00e0 virgule. Les FLOPS en alignent des milliers de milliards par seconde, mais seulement dans les Tensor Cores, et seulement comme plafond : ils fixent un temps minimum, pas une promesse de vitesse.<\/p>\n<\/blockquote>","protected":false},"excerpt":{"rendered":"Les FLOPS comptent les op\u00e9rations en virgule flottante qu’un GPU encha\u00eene par seconde. Ce que le chiffre mesure, comment le lire, et ce qu’il ignore.<\/p>\n","protected":false},"author":1,"featured_media":603,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17],"tags":[],"class_list":["post-604","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inference"],"_links":{"self":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/604","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/comments?post=604"}],"version-history":[{"count":3,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/604\/revisions"}],"predecessor-version":[{"id":607,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/posts\/604\/revisions\/607"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media\/603"}],"wp:attachment":[{"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/media?parent=604"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/categories?post=604"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ranksignal.fr\/blog\/wp-json\/wp\/v2\/tags?post=604"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"Quatre](\"https:\/\/www.ranksignal.fr\/wp-content\/uploads\/2026\/10\/b3_ch01_operations_vectorielles.png\")