Induction Heads bei TinyStories: schwache Bildung
Experiment zeigt, warum TinyStories Induction Heads in GPT-2 unterdrückt. Analyse von SAE, Metriken und Vergleich mit Previous Token Heads. Untersuchen Sie den Einfluss des Datensatzes auf ICL für Ihre Modelle.
