À quels problèmes réels appliquer la régression logistique ?

Un site reçoit des milliers d’avis clients. Personne n’a le temps de les lire, mais tout le monde voudrait savoir, pour chacun, s’il est positif ou négatif. Ce « positif ou négatif » n’a rien d’un tableau de scores : c’est un oui/non, et c’est cette forme-là qui compte, pas le secteur d’activité. À la fin de cet article, tu sauras repérer ce oui/non là où on ne l’attend pas, voir où le geste de la régression logistique travaille, et reconnaître les questions qui exigent un autre outil.

Sommaire

L’essentiel en 30 secondes

  • Un problème se range du côté de la régression logistique quand sa réponse est une catégorie à deux issues, comme un avis positif ou négatif.
  • Le même geste, une sigmoïde qui transforme un score en probabilité, se retrouve jusque dans l’apprentissage des vecteurs de mots.
  • Avec trois verdicts ou plus, la sigmoïde cède la place à la softmax.
  • Si la question porte sur le moment où l’événement survient, c’est un autre modèle qui prend le relais.

Des milliers d’avis, deux verdicts

Reprenons les avis. Un petit réseau récurrent (trois couches GRU, des vecteurs de dimension 300 pour représenter les mots, 256 unités cachées) lit un avis en texte brut et le classe comme positif ou négatif. Le point qui nous intéresse n’est pas l’architecture, mais ce que le choix du problème impose : puisqu’il n’y a que deux catégories, on entraîne avec l’entropie croisée binaire, et non avec une perte pensée pour des nombres.

criterion = nn.BCELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

La première ligne fixe la perte, BCELoss, l’entropie croisée binaire ; la seconde choisit l’optimiseur Adam, et les milliers d’avis sont traités par lots.

Le résultat se lit sur une matrice de confusion calculée sur des avis jamais vus. Mieux : si l’on projette les avis avant puis après l’entraînement, ils se rangent d’eux-mêmes selon leur sentiment. Le même schéma vaut pour tout autre jeu de données à deux issues.

Deux classes de points, cercles bleus et carrés orange, séparées par une droite noire ; une croix marque une nouvelle donnée, classée selon le côté où elle tombe
Regarde la croix : un nouvel avis tombe d’un côté ou de l’autre de la frontière, et c’est tout le problème. Retiens que ce modèle précis est un réseau, pas une régression logistique seule : ce qu’il partage avec elle, c’est la forme de la question.

💡 Intuition Avant de chercher la méthode, cherche la question à deux issues. Les avis, eux, la cachent derrière du texte libre.

Une question de voisinage posée comme un oui/non

Descends d’un cran, jusqu’aux mots qui composent ces avis. Pour qu’un modèle les manipule, chaque mot reçoit un vecteur, un embedding, et ces vecteurs s’apprennent eux aussi en posant une question à deux issues : ce mot de contexte apparaît-il vraiment à côté du mot cible ?

On fait glisser une fenêtre sur le texte. Les mots voisins du mot cible sont des exemples positifs, des mots tirés au hasard servent d’exemples négatifs.

La phrase « le chat mange des croquettes » avec « mange » comme mot cible, « chat » et « des » comme voisins positifs, « voiture » et « nuage » tirés au hasard comme négatifs
Autour de « mange », « chat » et « des » sont de vrais voisins, alors que « voiture » et « nuage » n’ont rien à y faire : le modèle doit dire oui aux premiers et non aux seconds.

Pour cela, on mesure la ressemblance des vecteurs avec un produit scalaire, puis on la transforme en probabilité avec la sigmoïde :

    \[ P(+\mid w,c)=\sigma(c\cdot w)=\frac{1}{1+\exp(-c\cdot w)}.\]

Ici w est le vecteur du mot cible, c celui du mot de contexte, et c\cdot w leur produit scalaire, grand quand les deux vecteurs se ressemblent. Reconnais l’écriture 1/(1+e^{-z}) : c’est la courbe en S de la régression logistique, appliquée à un score de ressemblance plutôt qu’à une combinaison de prédicteurs.

L’entraînement pousse la probabilité de la vraie paire vers le haut et celle des paires tirées au hasard vers le bas, avec l’entropie croisée :

    \[ L_{CE}=-\log P(+\mid w,c_{pos})-\sum_{i=1}^{L}\log P(-\mid w,c_{neg}).\]

Le premier terme récompense le modèle quand la paire réelle reçoit une forte probabilité ; la somme sanctionne les L paires négatives dès qu’il les juge plausibles. Un oui/non répété des millions de fois, voilà ce qui donne leur sens aux vecteurs de mots.

Un troisième verdict : la sigmoïde devient softmax

Les avis ne sont pas toujours si tranchés. Ajoute « neutre » : il y a maintenant trois classes, et une seule probabilité de oui ne suffit plus. Un vecteur h_{CLS} résume l’avis entier, une matrice de poids apprise W le transforme linéairement, et une softmax produit une probabilité pour chaque classe :

    \[ y=\mathrm{softmax}\bigl(Wh_{CLS}\bigr).\]

La matrice W joue le rôle des coefficients, la softmax celui de la sigmoïde : le principe reste le même (un score linéaire devient une probabilité), avec plusieurs sorties au lieu de deux. Les poids s’optimisent avec la même entropie croisée.

Quand la question porte sur le moment

Reste un piège : tout problème qui contient le mot « risque » n’est pas un oui/non. Si ce qui t’intéresse est l’instant où l’événement se produit, la question change de nature.

Le modèle de Cox s’attache alors à la fonction de risque h(t), le taux instantané auquel l’événement survient à l’instant t, sachant qu’il n’a pas encore eu lieu :

    \[ h(t \mid x_i) = h_0(t) \exp\left(\sum_{j=1}^p \beta_j x_{ij}\right),\]

Le risque de base h_0(t) dépend du temps et vaut pour tous ; le facteur exponentiel, lui, dépend des variables x_{ij} et de leurs coefficients \beta_j.

Deux courbes de risque croissantes au fil du temps : le groupe de référence en bleu, le groupe exposé en orange, toujours au-dessus, dans un rapport constant
Les deux courbes montent avec le temps, mais la courbe orange reste au-dessus de la bleue, multipliée par le même facteur Deux courbes de risque croissantes au fil du temps : le groupe de référence en bleu, le groupe exposé en orange, toujours au-dessus, dans un rapport constant : c’est l’hypothèse des risques proportionnels.

Tu y retrouveras un air de famille. e^{\beta_j} multiplie le risque pour une hausse d’une unité de X_j : un coefficient positif désigne un facteur de risque, un coefficient négatif un facteur protecteur, une lecture qui rappelle celle d’une régression logistique. Le modèle sert aussi à évaluer l’effet de plusieurs prédicteurs en même temps, ce que la courbe de Kaplan-Meier, purement descriptive, ne permet pas.

Aiguillage : la forme de ta question choisit l’outil

Pour trancher, regarde ce que ta question réclame comme réponse. C’est surtout la nature de la réponse, et moins celle des prédicteurs, qui guide le choix.

Ta question demande… Exemple Piste
Un verdict à deux issues un avis positif ou négatif régression logistique, entropie croisée binaire
Un verdict parmi trois ou plus positif, neutre, négatif softmax sur un score linéaire
Un nombre quelconque une valeur à estimer régression linéaire
Un comptage des clients servis en une heure régression de Poisson
Le moment d’un événement le temps avant qu’il survienne modèle de Cox

📌 À retenir Cherche d’abord la forme de la question : deux issues, tu es chez toi ; plus de deux, la softmax prend le relais ; un moment ou un nombre, change d’outil.