# TinyStories supprime les têtes d'induction dans les modèles de langage
Sur le jeu de données TinyStories comptant 473 millions de tokens, les têtes de token précédent se forment de manière fiable dans les premières couches de GPT-2 Small (124 millions de paramètres), atteignant un score de 0,20 pour L0H3. Les têtes d'induction émergent faiblement — maximum de 0,05 pour L6H4 avec un pic à 16 000 étapes suivi d'un déclin. Un auto-encodeur épars (SAE) sur la couche 6 confirme l'absence de caractéristiques d'induction pures.
La méthodologie isole l'impact de la complexité des données : le modèle a été entraîné de zéro en PyTorch, le SAE étendant 768 dimensions à 8192 avec un coefficient L1 de 3,9 sur 25 époques. Les métriques compute_induction_score et compute_previous_token_score ont été implémentées de toutes pièces.
Formation des têtes de token précédent
Les têtes de token précédent se concentrent dans les couches 0–4. La tête L0H3 affiche un plateau stable à 0,20 dès 14 000 étapes. Les dynamiques se stabilisent en fin d'entraînement (20 000 étapes, ~5,5 époques).
Répartition sur les couches et têtes :
- L0H3 : 0,20 (maximum)
- Couches 0–4 : valeurs dominantes
- Couches ultérieures : contribution minimale
Cela révèle un mécanisme fondamental essentiel pour la prédiction du token suivant, indépendamment de la complexité des données.
Analyse des têtes d'induction
Les têtes d'induction ne se développent pas pleinement : pic de 0,0537 pour L6H4 vers 15–16 000 étapes, suivi d'une chute. Aucune tête ne dépasse 0,05, en accord avec les faibles statistiques de répétition dans TinyStories.
Observations clés :
- Pic dans une couche intermédiaire (L6).
- Absence de plateau stable — signe d'instabilité.
- Comparaison avec les têtes de token précédent : score 4x inférieur.
Hypothèse : La simplicité du jeu de données rend les mécanismes d'induction redondants pour minimiser la perte.
Résultats de l'auto-encodeur épars
SAE entraîné sur les activations de la couche 6 (L6H4). Caractéristiques actives par token : 20–35. Caractéristiques mortes : ~3 % (228 sur 8192) grâce à la régularisation L1.
Deux caractéristiques dominantes :
- F#8107 : contexte syntaxiquement prévisible, s'activant sur les premiers tokens (différence avec les répétitions : 0,04–0,12).
- F#635 : motif contextuel général aux positions prévisibles.
Aucune caractéristique d'induction pure détectée — confirmant le faible score.
Impact du jeu de données sur les mécanismes
TinyStories n'encourage pas l'apprentissage en contexte : le modèle s'appuie sur les têtes de token précédent pour une faible perte. Sur des jeux de données complexes (ex. OpenWebText), les mécanismes d'induction devraient se développer en raison des répétitions fréquentes.
Prochains tests prévus :
- Modèles de tailles variées sur TPU.
- Comparaison TinyStories vs. OpenWebText.
- Mesure de la dépendance aux statistiques des données.
Enseignements clés
- Les têtes de token précédent se forment universellement (score ~0,20 dans les premières couches).
- Les têtes d'induction sont faibles sur des données simples (max 0,05, instables).
- Le SAE est efficace : 20–35 caractéristiques actives, 3 % de mortes.
- Aucune caractéristique d'induction pure — F#8107/635 liées à la syntaxe/contexte.
- Hypothèse : La complexité du jeu de données pilote le développement de l'ICL.
— Editorial Team
Aucun commentaire pour le moment.