Self-training: 작동하는 이유와 붕괴를 피하는 방법

합성 데이터 자가 학습: 성공 메커니즘과 모델 붕괴 임계점

합성 데이터는 모델 자체가 생성하여 추가 학습에 활용하는 데이터로, 실제 데이터 부족 문제를 해결합니다. 자가 학습은 데이터를 최적의 형태로 구성하여 유용한 신호의 밀도를 높이고, 교사 모델에서 학생 모델로 기술을 전수하는 방식으로 작동합니다. 그러나 재귀적 사용은 모델 붕괴를 초래합니다. 이는 분포가 좁아지고 희귀 사례가 소실되는 현상입니다.

합성 데이터는 알고리즘으로 생성됩니다: 지시사항 생성을 위한 자기 지시(self-instruct), 교사-학생 증류(teacher-student distillation), 해결책이 포함된 과제 생성, 유사 예제로 데이터셋 확장 등이 있습니다. 시뮬레이션과 달리 생성형 모델에 초점을 맞춥니다.

합성 데이터의 장점:

• 구조화된 형식: 명확한 사고 과정(chain-of-thought), 통일된 질문-답변 템플릿
• 높은 밀도: 최소한의 노이즈, 단일 개념을 표현하는 다양한 어휘
• 패턴 전이: 강력한 모델이 텍스트 복사가 아닌 해결 논리를 전달

재귀의 위험: 모델 붕괴가 발생하는 방식

생성 → 학습의 폐쇄 루프에서 과정이 반복되면, 열화된 복사본을 복사하는 것과 유사한 현상이 발생합니다. 희귀한 세부사항이 지워지고, 오류가 누적되며, 분포가 최빈값 쪽으로 좁아집니다.

모델 붕괴는 점진적으로 나타납니다:

• 꼬리 축소: 희귀 사례가 사라짐
• 템플릿화: 응답이 동질화되어 미묘한 차이를 잃음
• 거짓된 확신: 합성 데이터에서의 지표는 개선되지만, 실제 데이터에서는 저하됨

변곡점: 자가 학습이 통제를 벗어나는 시점

위험은 세 가지 시나리오에서 발생합니다:

시나리오 1: 합성 데이터의 우세. 실제 데이터는 반드시 닻 역할을 해야 합니다. 최소 20~30%의 비율을 유지해야 합니다. 합성 데이터가 70%를 초과하면 현실과의 연결이 끊어집니다.

시나리오 2: 검증 부재. 골드셋과 홀드아웃 데이터 테스트 없이는, 모델이 질적 환상에 최적화됩니다.

시나리오 3: 검증 불가능한 과제. 합성 데이터는 코드(단위 테스트), 수학(정확한 일치), 논리(규칙 기반 검사)에서 신뢰할 수 있습니다. 평가적 영역에서는 자기 확인 편향의 위험이 있습니다.

| 과제 | 검증 가능성 | 붕괴 위험 |

|--------|------------------|---------------|

| 코드 | 높음 (테스트) | 낮음 |

| 수학 | 높음 | 낮음 |

| 사실/판단 | 낮음 | 높음 |

운영 환경에서의 성능 저하 진단

검증 세트에서 증상을 모니터링하세요:

• 롱테일 분포의 꼬리 부분에서 퍼플렉서티 감소
• 템플릿화 증가: 응답 간 코사인 유사도 >0.8
• 지표 분기: 내부 손실 감소, 외부 벤치마크 증가

A/B 테스트 활용: 신선한 합성 데이터를 사용한 모델과 사용하지 않은 모델을 실제 과제에서 기준 모델과 비교하세요.

안전한 자가 학습을 위한 실전 전략

합성 데이터는 보조 수단으로 효과적입니다. 핵심 규칙:

• 고정된 실제 닻: 각 배치에 30~50% 실제 데이터 포함, 순환 적용
• 엄격한 필터링:

- 퍼플렉서티 필터 < 임계값

- 중복 제거 (MinHash, 자카드 >0.9)

- 임베딩 클러스터별 다양성 샘플링

• 표적 생성: 공백에 집중 - 희귀 클래스, 엣지 케이스, 반사실적 예시
• 자동 검증:

- 코드: 린트 + 테스트

- 수학: 심파이/평가

- 사실: 내부 RAG 검사

효과성은 삼각 측량으로 확인하세요:

• 유용성: 홀드아웃 데이터에서 정확도 변화(Δaccuracy)
• 견고성: 꼬리 손실 < 기준선
• 비용: GPU 시간당 품질 향상

핵심 요약

• 합성 데이터는 학습을 가속하지만 안정성을 위해 실제 닻이 필요합니다.
• 모델 붕괴는 검증 없이 합성 데이터 >70%에서 시작됩니다.
• 필터링과 표적 생성은 벤치마크에서 위험을 40~60% 감소시킵니다.
• 검증 가능한 과제(코드, 수학)는 최대 90% 합성 데이터까지 허용합니다.

— Editorial Team