TinyStories potlačuje formování Induction Heads v jazykových modelech
Na datasetu TinyStories s 473 miliony tokenů se Previous Token Heads formují stabilně v raných vrstvách GPT-2 Small (124 milionů parametrů), dosahující skóre 0.20 pro L0H3. Induction Heads se projevují slabě – maximum 0.05 u L6H4 s vrcholem na 16 000 krocích a následným poklesem. Sparse Autoencoder (SAE) na 6. vrstvě potvrzuje absenci čistých Induction-funkcí.
Metodologie izoluje vliv složitosti dat: model je trénován na PyTorch od nuly, SAE rozšiřuje 768 dimenzí na 8192 s L1-koeficientem 3.9 po dobu 25 epoch. Metriky compute_induction_score a compute_previous_token_score jsou implementovány samostatně.
Formování Previous Token Heads
Previous Token Heads se koncentrují ve vrstvách 0–4. Hlava L0H3 ukazuje stabilní plató na úrovni 0.20 od 14 000 kroků. Dynamika se stabilizuje ke konci trénování (20 000 kroků, ~5.5 epoch).
Rozdělení po vrstvách a hlavách:
- L0H3: 0.20 (maximum)
- Vrstvy 0–4: dominantní hodnoty
- Pozdější vrstvy: minimální příspěvek
To ukazuje na základní mechanismus, nezbytný pro predikci dalšího tokenu bez ohledu na složitost dat.
Analýza Induction Heads
Induction Heads se nevyvíjejí plnohodnotně: vrchol 0.0537 u L6H4 na 15–16 000 krocích, pak pokles. Žádná hlava nepřekračuje 0.05, což koreluje s nízkou statistikou opakování v TinyStories.
Klíčová pozorování:
- Maximum v prostřední vrstvě (L6).
- Absence stabilního plató – znak nestability.
- Srovnání s Previous Token: 4x nižší skóre.
Hypotéza: jednoduchost datasetu činí Induction-mechanismus nadbytečným pro minimalizaci loss.
Výsledky Sparse Autoencoderu
SAE je trénován na aktivacích 6. vrstvy (L6H4). Aktivních funkcí na token: 20–35. Dead features: ~3% (228 z 8192) díky L1-regularizaci.
Dvě dominantní funkce:
- F#8107: syntakticky předvídatelný kontext, aktivace při prvním tokenu (rozdíl s opakováním 0.04–0.12).
- F#635: obecný kontextový vzor na předvídatelných pozicích.
Čistých Induction-funkcí není zjištěno – potvrzuje slabé skóre.
Vliv datasetu na mechanismy
TinyStories nestimuluje In-context Learning: model se spoléhá na Previous Token Heads pro nízký loss. Na složitých datasetch (např. OpenWebText) se očekává růst Induction-mechanismů kvůli častým opakováním.
Plán dalších testů:
- Modely různých velikostí na TPU.
- Srovnání TinyStories vs OpenWebText.
- Měření závislosti na statistice dat.
Co je důležité
- Previous Token Heads se formují všude (skóre ~0.20 v raných vrstvách).
- Induction Heads jsou slabé na jednoduchých datech (max 0.05, nestabilní).
- SAE je efektivní: 20–35 aktivních funkcí, 3% dead features.
- Žádné čisté Induction-funkce – F#8107/635 souvisí se syntaxí/kontextem.
- Hypotéza: složitost datasetu určuje vývoj ICL.
— Editorial Team
Zatím žádné komentáře.