Induction Heads sur TinyStories : formation faible
L'expérience montre pourquoi TinyStories supprime les Induction Heads dans GPT-2. Analyse de SAE, métriques et comparaison avec Previous Token Heads. Étudiez l'impact du jeu de données sur ICL pour vos modèles.
