# TinyStories에서 언어 모델의 유도 헤드 억제 현상
TinyStories 데이터셋(4억 7,300만 토큰)에서 GPT-2 Small(1억 2,400만 파라미터)의 초기 레이어에 이전 토큰 헤드(Previous Token Heads)가 안정적으로 형성되며, L0H3에서 0.20 점수를 기록합니다. 유도 헤드(Induction Heads)는 약하게 나타나 L6H4에서 최대 0.05까지 도달한 후 16,000 스텝에서 피크를 찍고 하락합니다. 6번째 레이어에 적용한 희소 오토인코더(SAE) 분석에서 순수 유도 특징은 확인되지 않았습니다.
이 방법론은 데이터 복잡도의 영향을 분리합니다: 모델을 PyTorch로 처음부터 훈련했으며, SAE는 768차원을 8192차원으로 확장(L1 계수 3.9, 25 에포크). compute_induction_score와 compute_previous_token_score 메트릭을 처음부터 구현했습니다.
이전 토큰 헤드 형성
이전 토큰 헤드는 0~4 레이어에 집중됩니다. L0H3 헤드는 14,000 스텝 이후 0.20으로 안정적인 고원 상태를 유지합니다. 동역학은 훈련 종료(20,000 스텝, 약 5.5 에포크)까지 안정화됩니다.
레이어와 헤드별 분포:
- L0H3: 0.20 (최대)
- 0~4 레이어: 지배적 값
- 후기 레이어: 최소 기여
이는 데이터 복잡도와 무관하게 다음 토큰 예측에 필수적인 기본 메커니즘을 가리킵니다.
유도 헤드 분석
유도 헤드는 완전히 발달하지 않습니다: L6H4에서 15~16,000 스텝에서 0.0537 피크 후 급락. 어떤 헤드도 0.05를 초과하지 않으며, 이는 TinyStories의 낮은 반복 통계와 일치합니다.
주요 관찰:
- 중간 레이어(L6)에서 피크.
- 안정적 고원 없음—불안정성 지표.
- 이전 토큰 헤드 대비 4배 낮은 점수.
가설: 데이터셋의 단순성으로 인해 손실 최소화에 유도 메커니즘이 불필요합니다.
희소 오토인코더 결과
6번째 레이어(L6H4) 활성화로 훈련된 SAE. 토큰당 활성 특징: 20~35. 죽은 특징: ~3%(8192 중 228), L1 정규화 덕분.
두 가지 지배적 특징:
- F#8107: 구문적으로 예측 가능한 맥락, 첫 토큰에서 활성화(반복과의 차이: 0.04~0.12).
- F#635: 예측 위치의 일반 맥락 패턴.
순수 유도 특징 없음—약한 점수 확인.
데이터셋이 메커니즘에 미치는 영향
TinyStories는 문맥 내 학습(In-Context Learning)을 장려하지 않습니다: 모델은 낮은 손실을 위해 이전 토큰 헤드에 의존합니다. 복잡한 데이터셋(예: OpenWebText)에서는 빈번한 반복으로 유도 메커니즘이 성장할 것입니다.
다음 테스트 계획:
- TPU에서 다양한 크기 모델.
- TinyStories vs. OpenWebText 비교.
- 데이터 통계 의존성 측정.
주요 결론
- 이전 토큰 헤드는 보편적으로 형성(초기 레이어 ~0.20).
- 단순 데이터에서 유도 헤드 약함(최대 0.05, 불안정).
- SAE 효과적: 20~35 활성 특징, 3% 죽은 특징.
- 순수 유도 특징 없음—F#8107/635은 구문/맥락 연계.
- 가설: 데이터셋 복잡도가 ICL 발달 촉진.
— Editorial Team
아직 댓글이 없습니다.