LLM 환각: 데이터 압축 아티팩트

LLM 환각 현상: 손실 압축 아티팩트의 관점에서

LLM은 손실 데이터 압축기로 작동합니다: 다음 토큰을 예측하는 것은 방대한 텍스트 코퍼스를 모델 파라미터로 압축하는 것과 동일합니다. 섀넌의 정리에 따르면, 예측 품질이 압축률을 직접 결정합니다. 환각 현상은 모델이 압축 과정에서 손실된 정보를 그럴듯하지만 부정확한 조각들로 재구성하는 '압축 해제' 과정에서 발생합니다.

예측과 압축의 수학적 기초

근본적으로 LLM은 문맥을 기반으로 다음 토큰의 분포를 예측합니다. 이는 확률적 예측기가 소스 엔트로피당 비트 수를 최소화하는 산술 코딩과 수학적으로 동일합니다.

def predict_next_token(context: str) -> Distribution:
    """토큰 예측 = 압축된 표현의 해제"""
    pass

모델 가중치는 훈련 데이터셋에서 압축된 지식을 저장합니다. 모델 크기를 증가시키면 비트레이트가 올라가 손실은 줄어들지만 완전히 제거되지는 않습니다.

JPEG과의 비교:

| JPEG | LLM |

|------|-----|

| 큰 블록 | 일반적인 패턴 |

| 세부 사항 | 희귀한 사실 |

| 경계 아티팩트 | 환각 현상 |

| 품질 1–100% | 파라미터 7B–405B |

LLM이 코드는 잘 처리하지만 수학은 어려워하는 이유

코드는 엄격한 구문과 반복적인 구조 덕분에 효율적으로 압축됩니다. for i in range(n)과 같은 패턴은 이미지의 균일한 넓은 영역과 유사하게 거의 손실 없이 보존됩니다.

수학은 패턴이 없는 정확한 숫자들—세부 사항의 손실로 인해 어려움을 겪습니다. 예시:

> 17 × 38?
GPT: 646  # 정답

> 1847 × 9283?
GPT: 17,143,301  # 오답, 정답: 17,143,501

희귀한 조합은 JPEG에서 숫자를 흐리게 만드는 것과 유사한 아티팩트를 유발합니다.

• 코드: 제한된 어휘와 구조로 인한 높은 압축 가능성.
• 수학: 정확한 저장 또는 계산이 필요하며, 이는 손실 방식에서는 불가능합니다.
• 사실: 희귀한 사건들이 먼저 손실됩니다.

아티팩트 조절 장치로서의 온도

온도 파라미터는 분포에서의 샘플링을 제어합니다:

# temperature=0.0: argmax, 선명한 아티팩트
# temperature=0.7: 균형 잡힌 확률
# temperature=1.5: 노이즈, '창의성'
# temperature→∞: 무작위성

낮은 온도는 결정론을 증가시키지만 아티팩트를 고정시킵니다. 높은 온도는 변동성을 추가하여 손실을 흐리게 만듭니다.

압축 관점에서 아티팩트 최소화 기법

LLM 기법들을 압축 렌즈를 통해 재해석합니다:

• RAG: 압축된 표현을 우회하여 문맥에 무손실 데이터 삽입.
• 미세 조정: 대상 도메인에 우선순위를 두어 재인코딩.
• 프롬프트 엔지니어링: 잠재 공간에서 관련 블록으로 디코더 안내.
• RLHF: 오디오의 심리음향 모델처럼 주관적 품질 최적화.
• 시스템 프롬프트: 디코더 프로필 구성.

| 기법 | 압축 비유 |

|-----------|---------------------|

| RAG | 무손실 삽입 |

| 미세 조정 | 새로운 코덱 프로필 |

| 프롬프트 | 압축 파일 내 탐색 |

환각 현상을 완전히 제거할 수 없는 이유

아티팩트는 데이터 엔트로피 아래로 압축할 때 불가피합니다. 모델 크기(비트레이트) 증가나 외부 메모리 사용은 손실을 줄이지만, 10TB를 70GB에 맞추는 것은 항상 공백을 남깁니다. '완벽한 해결책'에 대한 약속은 정보 이론을 무시합니다.

인간의 기억도 유사합니다: 저장 공간의 한계로 인해 그럴듯한 세부 사항으로 손실을 채우는 '착각'이 발생합니다.

핵심 요약

• 환각 현상은 오류가 아니라 섀넌에 따른 손실 압축 해제의 아티팩트입니다.
• 파라미터 증가는 손실을 줄이지만 제거하지는 않습니다.
• RAG와 미세 조정은 지역적 아티팩트 보상 도구입니다.
• 코드와 패턴은 정확한 사실보다 더 잘 보존됩니다.
• 온도는 아티팩트의 존재가 아니라 가시성을 조절합니다.

인공 기억으로서의 LLM: 일반적인 패턴에는 효율적이지만, 세부 사항에는 누수가 있습니다. 압축 본질을 염두에 둔 엔지니어링이 신뢰할 수 있는 응용의 핵심입니다.

— Editorial Team