Embeddings et clustering de texte : comment un ordinateur comprend le sens

Comment les embeddings et le clustering aident les ordinateurs à comprendre le sens du texte

Les ordinateurs ne "lisent" pas les mots comme les humains, mais ils peuvent analyser leur sens grâce à des représentations numériques appelées embeddings. Ces modèles vectoriels, comme GloVe, transforment le texte en données que les algorithmes d'apprentissage automatique utilisent pour des tâches telles que la catégorisation automatique d'articles de presse avec une précision allant jusqu'à 99 %.

Des mots aux nombres : pourquoi les scalaires sont insuffisants

Le défi principal en traitement du langage naturel (PLN) consiste à traduire le texte humain en un format lisible par machine. Attribuer simplement à chaque mot un nombre unique (un scalaire) ne fonctionne pas, car cela ne capture pas les relations sémantiques. Par exemple, "chat" et "chien" devraient être plus proches l'un de l'autre que "chat" et "yacht", mais les représentations scalaires ne peuvent pas le refléter.

Encodage one-hot : simple mais limité

L'approche la plus basique, l'encodage one-hot, crée un vecteur de longueur N (où N est la taille du vocabulaire), avec un 1 pour le mot actif et des 0 partout ailleurs.

Exemple pour un vocabulaire de 5 mots :

• chat = [1, 0, 0, 0, 0]
• chien = [0, 1, 0, 0, 0]
• pomme = [0, 0, 1, 0, 0]

Inconvénients principaux :

• Tous les vecteurs sont orthogonaux : la similarité cosinus entre deux mots différents est toujours de 0.
• La distance euclidienne entre deux vecteurs est constante : √2.
• La similarité sémantique est ignorée : "chat" est aussi éloigné de "chien" que de "yacht".

Cette méthode ne convient pas pour des tâches sensibles au contexte comme la classification de texte.

GloVe : des embeddings qui capturent le sens

Global Vectors for Word Representation (GloVe), développé à Stanford, surmonte les faiblesses de l'encodage one-hot. Son idée clé : les mots qui apparaissent souvent ensemble dans les textes sont sémantiquement liés. L'algorithme analyse d'énormes corpus (comme Wikipédia) pour apprendre des représentations vectorielles denses où les mots similaires se regroupent étroitement dans l'espace vectoriel.

Avantages de GloVe :

• Exploite les statistiques globales de cooccurrence des mots.
• Permet l'arithmétique vectorielle qui reflète les relations sémantiques.
• Exemple : vecteur("roi") - vecteur("homme") + vecteur("femme") ≈ vecteur("reine").

Les embeddings GloVe ont généralement 50, 100, 200 ou 300 dimensions — bien plus compacts que les vecteurs one-hot tout en préservant une riche information sémantique.

Des mots aux documents : construction de vecteurs de texte

Pour classer des documents entiers comme des articles de presse, on agrège les vecteurs de mots individuels. Une méthode simple mais puissante est la moyenne :

Vecteur document = (Σ vecteurs mots) / nombre de mots

Si un article est rempli de mots spécifiques à un thème (ex. : "but", "match", "équipe" pour le sport), leurs embeddings tirent la moyenne du vecteur document vers la région correspondante de l'espace vectoriel.

Métriques de comparaison de documents :

• Distance euclidienne : Mesure la distance en ligne droite entre vecteurs. Sensible à la longueur du document.
• Similarité cosinus : Calcule le cosinus de l'angle entre vecteurs. Ignore la magnitude, se concentre sur la direction — idéale pour des textes de longueurs variées.

Pour la catégorisation, la similarité cosinus l'emporte souvent car elle met en évidence la proximité sémantique indépendamment du volume de texte.

Regroupement d'actualités avec K-Means

Trier automatiquement les actualités par catégories sans données étiquetées est une tâche de clustering. K-Means excelle en regroupant les documents selon leurs représentations vectorielles.

K-Means pour le texte :

• Initialisation : Choisir aléatoirement K points comme centroïdes initiaux (K = nombre de catégories souhaité).
• Affectation : Assigner chaque document au centroïde le plus proche via la métrique de distance (ex. : cosinus).
• Mise à jour : Recalculer chaque centroïde comme la moyenne de tous les vecteurs de son cluster.
• Itération : Répéter les étapes 2-3 jusqu'à convergence (affectations stables).

Résultats réels : Dans des tests sur 500 articles d'actualités (sport, politique, divertissement), les embeddings GloVe moyennés + K-Means ont atteint ~99 % de précision de clustering par rapport aux étiquettes manuelles. L'ordinateur, sans compréhension humaine des mots, a détecté des motifs dans les nombres et trié les articles impeccablement.

Points clés

• Les embeddings transforment la sémantique en géométrie : La similarité des mots apparaît comme une proximité vectorielle dans un espace multidimensionnel.
• GloVe exploite les stats de cooccurrence : Entraîné sur les motifs de fréquence dans d'énormes corpus textuels.
• La moyenne des vecteurs de mots est efficace : Fournit de solides représentations de documents.
• K-Means offre un clustering précis : Regroupe les textes par thème sans apprentissage supervisé.
• La similarité cosinus domine pour le texte : Capture le mieux le chevauchement sémantique, en ignorant les différences de longueur.

— Editorial Team