LDA : classer en décrivant d'abord chaque groupe

Imagine un trieur de courrier qui n’a jamais appris de règle de séparation. Il a simplement passé des années à regarder deux piles, jusqu’à connaître par cœur à quoi ressemble une lettre de chaque pile. Face à une enveloppe nouvelle, il se demande laquelle des deux piles aurait le plus de raisons de la produire. C’est, en gros, la démarche de l’analyse discriminante linéaire : au lieu de chercher une frontière, elle apprend un portrait de chaque classe, puis laisse ces portraits voter.

Sommaire

L’essentiel en 30 secondes

  • La LDA est une méthode de classification dite générative : elle décrit d’abord comment les variables se répartissent dans chaque classe.
  • Elle suppose que, dans chaque classe, les variables suivent une loi normale de moyenne propre à la classe mais de dispersion partagée par toutes.
  • Pour chaque classe, elle calcule un score linéaire qui combine moyenne, variance commune et fréquence de la classe, puis retient le score le plus haut.
  • Elle est stable quand les classes sont bien séparées et s’étend naturellement à plus de deux classes.
  • Son talon d’Achille est la normalité : quand elle est clairement violée, la régression logistique se montre plus robuste.

Décrire d’abord, décider ensuite

Beaucoup de méthodes de classification posent la question de front : étant donné ces valeurs, quelle est la probabilité de chaque classe ? La régression logistique est de celles-là. La LDA prend le chemin inverse. Elle modélise d’abord, séparément pour chaque classe k, la façon dont les valeurs x se distribuent, c’est-à-dire la densité f_k(x) = \Pr(X = x \mid Y = k).

Ces portraits ne suffisent pas : il faut encore retourner la question. C’est le travail du théorème de Bayes, qui permet d’inverser une probabilité conditionnelle :

    \[ \Pr(Y=k \mid X=x) = \frac{\pi_k f_k(x)}{\sum_{l=1}^K \pi_l f_l(x)}.\]

Lis-la comme un jury. \pi_k est la probabilité a priori d’appartenir à la classe k, avant même d’avoir regardé x. f_k(x) dit à quel point x est typique de cette classe. Leur produit, comparé à la somme du même produit sur les K classes, donne la probabilité a posteriori : celle qu’on obtient après avoir vu x.

Le poids de l’a priori n’a rien d’un détail, et un arbre de dénombrement le montre mieux qu’un long discours. Dans une population de 1 120 personnes, 140 sont malades et 980 sont saines. Parmi les malades, 120 testent positif ; parmi les sains, 735 testent aussi positif (le test n’est pas parfait). Un test positif ne dit donc pas « malade » : la probabilité d’être malade vaut 120/(120+735), soit environ 14 %.

Arbre de dénombrement : 1 120 personnes se séparent en 140 malades et 980 sains, puis chaque groupe se divise selon le test positif ou négatif (120 et 20 chez les malades, 735 et 245 chez les sains)
Suis les branches de gauche à droite : le groupe des sains est si large que même une petite fraction de faux positifs y produit bien plus de cas que le groupe des malades. La rareté de la maladie, autrement dit son a priori, tire la probabilité vers le bas.

💡 Intuition Une classe qui domine l’effectif prend de l’avance avant même que tu regardes les données. La LDA garde ce réflexe de Bayes : elle ne juge pas un point seulement sur sa ressemblance, mais aussi sur la fréquence de chaque classe.

Le portrait d’une classe : une cloche, une moyenne, une dispersion partagée

Reste à fabriquer chaque f_k(x). La LDA fait un choix tranché : dans chaque classe, les variables suivent une loi normale, avec une moyenne propre à la classe mais une variance commune à toutes les classes. La densité de cette loi, de moyenne \mu et de variance \sigma^2, s’écrit :

    \[ f(x\mid\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}\,e^{-\frac{(x-\mu)^2}{2\sigma^2}}.\]

\mu est le centre de la cloche, \sigma son étalement. Environ 68 % des valeurs tombent à moins d’un écart-type de la moyenne, environ 95 % à moins de 1,96 écart-type.

À gauche, la courbe en cloche de la densité de la loi normale avec une zone orangée entre −1 et 1 ; à droite, la courbe en S de la fonction de répartition correspondante
Regarde le panneau de gauche : plus un point s’éloigne du sommet, plus la hauteur de la cloche, donc sa « ressemblance » avec la classe, s’effondre. La LDA fabrique une cloche de ce type par classe, en gardant la même largeur pour toutes.

Cette largeur partagée est l’hypothèse qui donne toute sa simplicité à la méthode. Deux classes qui diffèrent par leur centre mais pas par leur étalement : voilà le portrait-robot de ce que la LDA sait traiter.

Le score δ : trois ingrédients, une droite

Une fois les cloches posées, comment la LDA tranche-t-elle ? Avec un seul prédicteur, on montre que la classe attribuée à x est celle qui maximise :

    \[ \delta_k(x) = x \cdot \frac{\mu_k}{\sigma^2} - \frac{\mu_k^2}{2\sigma^2} + \log(\pi_k).\]

Chaque symbole a un rôle clair. \mu_k est la moyenne de la classe k, \sigma^2 la variance commune, \pi_k la proportion de la classe. \delta_k(x) est un score : plus il est grand, plus la classe k est plausible pour la valeur x. Les deux premiers termes font intervenir la moyenne de la classe et la dispersion commune ; le dernier, \log(\pi_k), reporte la fréquence de la classe dans le verdict.

Le score est une fonction linéaire de x, d’où le nom de la méthode : dans l’expression, x n’apparaît qu’à la puissance un. Calculer un tel score pour chaque classe, puis garder le plus élevé, revient à découper l’espace des valeurs en zones séparées par des frontières droites.

Aucune des trois grandeurs n’est inconnue très longtemps : on les estime directement sur les données d’entraînement. \mu_k devient la moyenne observée dans la classe, \sigma^2 la variance groupée de toutes les classes, \pi_k la proportion de chaque classe dans l’échantillon. On classe alors chaque observation selon la classe qui maximise \hat\delta_k(x), où le chapeau signale une estimation.

📌 À retenir Pas d’optimisation itérative ici : tu calcules des moyennes, une variance groupée et des proportions, puis tu les glisses dans \hat\delta_k(x). La LDA est surtout de la statistique descriptive, rangée dans une formule.

Plusieurs variables : de la cloche aux ellipses

Avec un seul prédicteur, la cloche est une courbe. Avec plusieurs, elle devient une loi normale multivariée, de moyenne propre à chaque classe et de matrice de covariance commune.

La matrice de covariance \Sigma remplace la variance scalaire : elle capture la dispersion de chaque variable, mais aussi leurs corrélations. Pour deux variables corrélées positivement, les lignes de niveau de la densité deviennent des ellipses qui s’inclinent le long de la direction de corrélation. Toutes les classes partagent donc la même forme d’ellipse ; seules leurs positions changent.

C’est cette hypothèse de forme commune qui garde la frontière droite. La LDA produit une frontière de décision linéaire, alors que la QDA, qui autorise une matrice de covariance propre à chaque classe, obtient une frontière quadratique.

Deux nuages de points bicolores : à gauche une frontière de décision en ligne droite pour la LDA, à droite une frontière courbe quadratique pour la QDA
Compare les deux panneaux : sur les mêmes points, le choix « covariance commune ou une par classe » décide à lui seul de la forme de la séparation.

Où la LDA est à l’aise, où elle trébuche

Son premier atout touche un cas gênant pour sa concurrente directe : quand les classes sont bien séparées, la régression logistique devient étonnamment instable, alors que la LDA reste stable.

Deuxième atout : avec peu d’observations, elle se comporte mieux, à condition que les prédicteurs suivent effectivement une loi normale dans chaque classe. Troisième atout : elle se généralise naturellement à plus de deux classes sans bricolage.

Le revers se lit dans la même phrase. Tout repose sur la normalité : dès qu’elle est clairement violée, la régression logistique est plus robuste. En pratique, les deux produisent des frontières linéaires et des résultats très proches ; la LDA garde un léger avantage quand les classes sont bien séparées ou que la normalité tient.

⚠️ Piège Le mot « linéaire » ne protège de rien. Une frontière droite est une conséquence de la covariance commune, pas une garantie que ta vraie frontière est droite. Si elle est fortement non linéaire, c’est une méthode comme les K plus proches voisins qui l’emporte, au prix d’une interprétabilité nulle et d’un besoin de données plus important.

Trois cousines et un idéal

La LDA appartient à une petite famille de méthodes génératives, qui toutes appliquent Bayes après avoir modélisé chaque classe. Ce qui les distingue, c’est l’hypothèse qu’elles relâchent.

  • LDA : normale, covariance commune, frontière linéaire.
  • QDA : une covariance propre à chaque classe, frontière quadratique. Elle est plus flexible, au prix de plus de paramètres à estimer.
  • Naïve Bayes : indépendance des prédicteurs à l’intérieur de chaque classe. Elle donne une frontière plus flexible que la LDA, sans avoir à estimer de covariances croisées.

Au-dessus de toutes ces méthodes plane un modèle de référence : le classifieur de Bayes, qui affecte chaque observation à la classe la plus probable compte tenu de ses valeurs. Il atteint le taux d’erreur de test le plus bas possible, appelé erreur de Bayes. Mais il suppose connue la vraie distribution de la réponse sachant les variables, ce qui n’arrive jamais : c’est un étalon, pas un outil.

Deux nuages de points bleu et orange avec une ligne pointillée diagonale, frontière de décision de Bayes ; quelques points mal classés se trouvent de part et d'autre dans la zone de chevauchement
Regarde les quelques points du mauvais côté de la ligne pointillée : même la frontière idéale se trompe là où les nuages se chevauchent. La LDA tente d’approcher cet idéal en remplaçant la distribution inconnue par des cloches estimées sur les données.

📌 À retenir Décrire chaque classe par une cloche, inverser avec Bayes, comparer les scores : voilà toute la LDA. Sa force est sa simplicité et sa stabilité ; sa fragilité, l’hypothèse de normalité à variance commune.