태그별 기사: sae

TinyStories에서의 Induction Heads: 약한 형성

실험이 TinyStories가 GPT-2에서 Induction Heads를 억제하는 이유를 보여줍니다. SAE, 메트릭스 및 Previous Token Heads와의 비교 분석. 모델의 ICL에 대한 데이터셋 영향을 연구하세요.