# TinyStories suprime las cabezas de inducción en modelos de lenguaje
En el conjunto de datos TinyStories con 473 millones de tokens, las cabezas de token anterior se forman de manera fiable en las capas iniciales de GPT-2 Small (124 millones de parámetros), alcanzando una puntuación de 0.20 en L0H3. Las cabezas de inducción emergen de forma débil, con un máximo de 0.05 en L6H4 en el pico de 16.000 pasos, seguido de un declive. Un autoencoder disperso (SAE) en la capa 6 confirma que no hay características puras de inducción.
La metodología aísla el impacto de la complejidad de los datos: el modelo se entrenó desde cero en PyTorch, con el SAE expandiendo 768 dimensiones a 8192 usando un coeficiente L1 de 3.9 durante 25 épocas. Se implementaron desde cero las métricas compute_induction_score y compute_previous_token_score.
Formación de cabezas de token anterior
Las cabezas de token anterior se concentran en las capas 0–4. La cabeza L0H3 muestra un plateau estable en 0.20 desde los 14.000 pasos en adelante. La dinámica se estabiliza al final del entrenamiento (20.000 pasos, ~5.5 épocas).
Distribución por capas y cabezas:
- L0H3: 0.20 (máximo)
- Capas 0–4: valores dominantes
- Capas posteriores: contribución mínima
Esto apunta a un mecanismo fundamental esencial para la predicción del siguiente token, independientemente de la complejidad de los datos.
Análisis de cabezas de inducción
Las cabezas de inducción no se desarrollan completamente: pico de 0.0537 en L6H4 alrededor de 15–16.000 pasos, seguido de una caída. Ninguna cabeza supera 0.05, lo que concuerda con las bajas estadísticas de repetición en TinyStories.
Observaciones clave:
- Pico en una capa media (L6).
- Sin plateau estable, lo que indica inestabilidad.
- Comparación con token anterior: puntuación 4 veces menor.
Hipótesis: La simplicidad del conjunto de datos hace redundantes los mecanismos de inducción para minimizar la pérdida.
Resultados del autoencoder disperso
SAE entrenado en activaciones de la capa 6 (L6H4). Características activas por token: 20–35. Características muertas: ~3% (228 de 8192) gracias a la regularización L1.
Dos características dominantes:
- F#8107: contexto sintácticamente predecible, se activa en tokens iniciales (diferencia con repeticiones: 0.04–0.12).
- F#635: patrón contextual general en posiciones predecibles.
No se detectaron características puras de inducción, confirmando la puntuación débil.
Impacto del conjunto de datos en los mecanismos
TinyStories no fomenta el aprendizaje en contexto: el modelo se apoya en cabezas de token anterior para una baja pérdida. En conjuntos complejos (p. ej., OpenWebText), los mecanismos de inducción deberían fortalecerse por las repeticiones frecuentes.
Planes de pruebas futuras:
- Modelos de distintos tamaños en TPU.
- Comparación TinyStories vs. OpenWebText.
- Medición de dependencia de las estadísticas de datos.
Conclusiones clave
- Las cabezas de token anterior se forman universalmente (puntuación ~0.20 en capas iniciales).
- Las cabezas de inducción son débiles en datos simples (máx. 0.05, inestables).
- El SAE es efectivo: 20–35 características activas, 3% muertas.
- Sin características puras de inducción: F#8107/635 ligadas a sintaxis/contexto.
- Hipótesis: La complejidad del dataset impulsa el desarrollo del ICL.
— Editorial Team
Aún no hay comentarios.