Induction Heads bei TinyStories: schwache Bildung

TinyStories unterdrückt Induktionsköpfe in Sprachmodellen

Auf dem TinyStories-Datensatz mit 473 Millionen Tokens bilden sich Previous Token Heads zuverlässig in den frühen Schichten von GPT-2 Small (124 Millionen Parameter) und erreichen einen Score von 0,20 für L0H3. Induction Heads entstehen nur schwach – maximal 0,05 für L6H4 mit einem Peak bei 16.000 Schritten, gefolgt von einem Rückgang. Ein Sparse Autoencoder (SAE) auf Schicht 6 bestätigt: Keine reinen Induktionsmerkmale.

Die Methodik isoliert den Einfluss der Datenkomplexität: Das Modell wurde von Grund auf in PyTorch trainiert, wobei der SAE 768 Dimensionen auf 8192 erweiterte – mit einem L1-Koeffizienten von 3,9 über 25 Epochen. Die Metriken compute_induction_score und compute_previous_token_score wurden selbst implementiert.

Bildung von Previous Token Heads

Previous Token Heads konzentrieren sich in Schichten 0–4. Head L0H3 zeigt ein stabiles Plateau bei 0,20 ab 14.000 Schritten. Die Dynamik stabilisiert sich bis Trainingsende (20.000 Schritte, ~5,5 Epochen).

Verteilung über Schichten und Heads:

• L0H3: 0,20 (Maximum)
• Schichten 0–4: dominante Werte
• Spätere Schichten: minimale Beiträge

Das deutet auf einen grundlegenden Mechanismus hin, der für die Next-Token-Vorhersage essenziell ist – unabhängig von der Datenkomplexität.

Analyse der Induktionsköpfe

Induktionsköpfe entwickeln sich nicht voll aus: Peak von 0,0537 bei L6H4 um 15–16.000 Schritte, dann Rückgang. Kein Head überschreitet 0,05, was zu den geringen Wiederholungsstatistiken in TinyStories passt.

Wichtige Beobachtungen:

• Peak in einer mittleren Schicht (L6).
• Kein stabiles Plateau – Hinweis auf Instabilität.
• Vergleich zu Previous Token: 4x niedrigerer Score.

Hypothese: Die Einfachheit des Datensatzes macht Induktionsmechanismen überflüssig für den Loss-Minimum.

Ergebnisse des Sparse Autoencoders

SAE trainiert auf Aktivierungen aus Schicht 6 (L6H4). Aktive Merkmale pro Token: 20–35. Tote Merkmale: ~3 % (228 von 8192) dank L1-Regularisierung.

Zwei dominante Merkmale:

• F#8107: syntaktisch vorhersehbare Kontexte, aktiviert bei ersten Tokens (Differenz zu Wiederholungen: 0,04–0,12).
• F#635: allgemeines kontextuelles Muster an vorhersehbaren Positionen.

Keine reinen Induktionsmerkmale erkannt – bestätigt den schwachen Score.

Einfluss des Datensatzes auf Mechanismen

TinyStories fördert kein In-Context Learning (ICL): Das Modell setzt auf Previous Token Heads für niedrigen Loss. Auf komplexen Datensätzen (z. B. OpenWebText) sollten Induktionsmechanismen durch häufige Wiederholungen wachsen.

Geplante nächste Tests:

• Modelle unterschiedlicher Größen auf TPU.
• Vergleich TinyStories vs. OpenWebText.
• Messung der Abhängigkeit von Datenstatistiken.

Wichtige Erkenntnisse

• Previous Token Heads bilden sich universell (Score ~0,20 in frühen Schichten).
• Induktionsköpfe sind auf einfachen Daten schwach (max. 0,05, instabil).
• SAE wirkt effektiv: 20–35 aktive Merkmale, 3 % tote Merkmale.
• Keine reinen Induktionsmerkmale – F#8107/635 an Syntax/Kontext gebunden.
• Hypothese: Datenkomplexität treibt ICL-Entwicklung an.

— Editorial Team