Embeddings und Text-Clustering: Wie ein Computer Bedeutung versteht

Wie Embeddings und Clustering Computern Textbedeutungen verständlich machen

Computer „lesen“ Wörter nicht wie Menschen, aber sie können deren Bedeutung durch numerische Darstellungen analysieren, sogenannte Embeddings. Diese Vektormodelle wie GloVe wandeln Text in Daten um, die Machine-Learning-Algorithmen für Aufgaben wie die automatische Kategorisierung von Nachrichtenartikeln mit bis zu 99 % Genauigkeit nutzen.

Von Wörtern zu Zahlen: Warum einfache Skalare versagen

Die Kernherausforderung in der natürlichen Sprachverarbeitung (NLP) besteht darin, menschlichen Text in ein maschinenlesbares Format zu übersetzen. Einfach jedem Wort eine eindeutige Zahl (einen Skalar) zuzuweisen, funktioniert nicht, da semantische Beziehungen verloren gehen. „Katze“ und „Hund“ sollten näher beieinander liegen als „Katze“ und „Yacht“, aber skalare Darstellungen können das nicht abbilden.

One-Hot-Encoding: Einfach, aber begrenzt

Der einfachste Ansatz, One-Hot-Encoding, erzeugt einen Vektor der Länge N (N = Vokabulargröße) mit einer 1 für das aktive Wort und Nullen überall sonst.

Beispiel für ein 5-Wörter-Vokabular:

• Katze = [1, 0, 0, 0, 0]
• Hund = [0, 1, 0, 0, 0]
• Apfel = [0, 0, 1, 0, 0]

Wichtige Nachteile:

• Alle Vektoren sind orthogonal: Kosinusähnlichkeit zwischen zwei verschiedenen Wörtern ist immer 0.
• Euklidische Distanz zwischen zwei Vektoren ist konstant: √2.
• Semantische Ähnlichkeit wird ignoriert: „Katze“ ist ebenso weit von „Hund“ entfernt wie von „Yacht“.

Dieser Ansatz taugt nicht für kontextbezogene Aufgaben wie Textklassifikation.

GloVe: Embeddings, die Bedeutung erfassen

Global Vectors for Word Representation (GloVe), entwickelt an der Stanford University, überwindet die Schwächen des One-Hot-Encodings. Der zentrale Gedanke: Wörter, die häufig zusammen in Texten vorkommen, sind semantisch verwandt. Der Algorithmus analysiert riesige Textsammlungen (wie Wikipedia), um dichte Vektordarstellungen zu lernen, in denen ähnliche Wörter im Vektorraum eng beieinander clusteren.

Vorteile von GloVe:

• Nutzt globale Wort-Kookkurrenzstatistiken.
• Ermöglicht Vektor-Arithmetik, die semantische Beziehungen widerspiegelt.
• Beispiel: vector("König") - vector("Mann") + vector("Frau") ≈ vector("Königin").

GloVe-Embeddings haben typischerweise 50, 100, 200 oder 300 Dimensionen – viel kompakter als One-Hot-Vektoren, bei reicher semantischer Information.

Von Wörtern zu Dokumenten: Textvektoren erstellen

Um ganze Dokumente wie Nachrichtenartikel zu klassifizieren, aggregiert man individuelle Wortvektoren. Eine einfache, aber starke Methode ist das Mittelungsverfahren:

Dokumentvektor = (Σ Wortvektoren) / Wortanzahl

Bei einem Artikel voller themenspezifischer Wörter (z. B. „Tor“, „Spiel“, „Team“ für Sport) ziehen deren Embeddings den durchschnittlichen Dokumentvektor in den passenden Bereich des Vektorraums.

Metriken zum Dokumentvergleich:

• Euklidische Distanz: Misst die Geradenlänge zwischen Vektoren. Empfindlich gegenüber Dokumentlänge.
• Kosinusähnlichkeit: Berechnet den Kosinus des Winkels zwischen Vektoren. Ignoriert die Magnitude und fokussiert die Richtung – ideal für Texte unterschiedlicher Länge.

Für die Kategorisierung siegt oft die Kosinusähnlichkeit, da sie semantische Nähe unabhängig vom Textumfang hervorhebt.

Nachrichten mit K-Means clustern

Das automatische Sortieren von Nachrichten in Kategorien ohne gelabelte Daten ist eine Clustering-Aufgabe. K-Means meistert sie, indem es Dokumente basierend auf ihren Vektordarstellungen gruppiert.

K-Means für Text:

• Initialisierung: Wähle zufällig K Punkte als anfängliche Clusterzentren (K = gewünschte Kategorienanzahl).
• Zuordnung: Weise jedes Dokument dem nächsten Zentrum zu (z. B. per Kosinusdistanz).
• Aktualisierung: Berechne jedes Zentrum neu als Mittel aller Vektoren in seinem Cluster.
• Iteration: Wiederhole Schritte 2–3 bis zur Konvergenz (Zuordnungen stabilisieren sich).

Ergebnisse aus der Praxis: Bei Tests mit 500 Nachrichtenartikeln aus Sport, Politik und Unterhaltung erreichten GloVe-gemittelte Embeddings + K-Means ~99 % Clustering-Genauigkeit im Vergleich zu manuellen Labels. Der Computer, ohne menschliches Wortverständnis, erkannte Muster in den Zahlen und sortierte die Artikel präzise.

Wichtige Erkenntnisse

• Embeddings machen Semantik zur Geometrie: Wortähnlichkeit zeigt sich als Vektornähe im hochdimensionalen Raum.
• GloVe nutzt Kookkurrenzstatistiken: Trainiert auf Wortfrequenzmustern in riesigen Textkorpora.
• Wortvektormittelung funktioniert super: Erzeugt solide Dokumentdarstellungen.
• K-Means liefert präzises Clustering: Gruppiert Texte thematisch ohne beaufsichtigtes Lernen.
• Kosinusähnlichkeit dominiert bei Text: Erfasst semantische Überlappung am besten, unabhängig von Längenunterschieden.

— Editorial Team