TinyStories tłumi formowanie się Induction Heads w modelach językowych
Na zbiorze danych TinyStories z 473 milionami tokenów Previous Token Heads formują się stabilnie we wczesnych warstwach GPT-2 Small (124 miliony parametrów), osiągając wynik 0.20 dla L0H3. Induction Heads przejawiają się słabo — maksimum 0.05 u L6H4 z pikiem na 16 000 kroków i późniejszym spadkiem. Sparse Autoencoder (SAE) na 6. warstwie potwierdza brak czystych cech Induction.
Metodologia izoluje wpływ złożoności danych: model jest trenowany od zera w PyTorch, SAE rozszerza 768 wymiarów do 8192 z współczynnikiem L1 3.9 przez 25 epok. Metryki compute_induction_score i compute_previous_token_score zostały zaimplementowane samodzielnie.
Formowanie się Previous Token Heads
Previous Token Heads koncentrują się w warstwach 0–4. Głowa L0H3 pokazuje stabilne plateau na poziomie 0.20 od 14 000 kroków. Dynamika stabilizuje się pod koniec treningu (20 000 kroków, ~5.5 epoki).
Rozkład po warstwach i głowach:
- L0H3: 0.20 (maksimum)
- Warstwy 0–4: wartości dominujące
- Późniejsze warstwy: minimalny wkład
To wskazuje na podstawowy mechanizm niezbędny do przewidywania następnego tokenu niezależnie od złożoności danych.
Analiza Induction Heads
Induction Heads nie rozwijają się w pełni: pik 0.0537 u L6H4 na 15–16 000 kroków, następnie spadek. Żadna głowa nie przekracza 0.05, co koreluje z niską statystyką powtórzeń w TinyStories.
Kluczowe obserwacje:
- Maksimum w średniej warstwie (L6).
- Brak stabilnego plateau — oznaka niestabilności.
- Porównanie z Previous Token: 4 razy niższy wynik.
Hipoteza: prostota zbioru danych sprawia, że mechanizm Induction jest zbędny do minimalizacji straty.
Wyniki Sparse Autoencoder
SAE jest trenowany na aktywacjach 6. warstwy (L6H4). Aktywnych cech na token: 20–35. Martwe cechy: ~3% (228 z 8192) dzięki regularyzacji L1.
Dwie dominujące cechy:
- F#8107: syntaktycznie przewidywalny kontekst, aktywacja przy pierwszym tokenie (różnica z powtórzeniem 0.04–0.12).
- F#635: ogólny wzorzec kontekstowy na przewidywalnych pozycjach.
Czystych cech Induction nie wykryto — potwierdza słaby wynik.
Wpływ zbioru danych na mechanizmy
TinyStories nie stymuluje In-context Learning: model polega na Previous Token Heads dla niskiej straty. Na złożonych zbiorach danych (np. OpenWebText) oczekuje się wzrostu mechanizmów Induction z powodu częstych powtórzeń.
Plan kolejnych testów:
- Modele różnej wielkości na TPU.
- Porównanie TinyStories vs OpenWebText.
- Pomiar zależności od statystyki danych.
Co jest ważne
- Previous Token Heads formują się wszędzie (wynik ~0.20 we wczesnych warstwach).
- Induction Heads są słabe na prostych danych (max 0.05, niestabilne).
- SAE jest efektywny: 20–35 aktywnych cech, 3% martwych cech.
- Brak czystych cech Induction — F#8107/635 związane z syntaktyką/kontekstem.
- Hipoteza: złożoność zbioru danych określa rozwój ICL.
— Editorial Team
Brak komentarzy.