LLM 환각을 줄이는 7가지 입증된 기술

LLM 환각 현상 줄이기: 검증된 7가지 기술

대규모 언어 모델(LLM)은 강력한 도구이지만, 그럴듯하지만 사실과 다른 정보를 생성하는 '환각' 현상에 취약합니다. 이러한 모델을 배포하는 개발자와 기업에게 LLM 환각 현상을 줄이는 방법을 배우는 것은 신뢰할 수 있는 애플리케이션을 구축하는 핵심입니다. 이 글은 주요 학술 회의 및 기관의 최첨단 연구를 종합하여 7가지 검증된 출처 기반 기술을 제공합니다.

배울 내용

이 가이드를 마치면 LLM 환각을 유발하는 핵심 메커니즘을 이해하고, 이를 완화하기 위한 7가지 뚜렷한 기술로 구성된 명확하고 실행 가능한 프레임워크를 갖추게 됩니다. 프롬프팅과 검색부터 고급 추론 시간 개입까지 다양한 작업에 가장 적합한 전략이 무엇인지 배우고, 자체 애플리케이션에서 사실적 정확성을 획기적으로 개선하기 위한 다층적 접근 방식을 구현할 수 있게 됩니다.

1. 검증 체인(CoVe): 질문을 통한 자체 수정

검증 체인(CoVe) 은 Meta AI 연구진이 개발한 방법으로, 모델이 자체 출력을 비판적으로 검토하도록 강제하는 강력한 프롬프팅 전략입니다. 초안을 그대로 수용하는 대신, CoVe는 LLM을 자체 팩트체커로 전환합니다.

작동 방식: 이 접근 방식은 네 가지 순차적 단계로 구성됩니다.

1. 기준 응답 생성: 모델이 질문에 대한 초기 답변을 생성합니다.
2. 검증 질문 계획: 모델이 초기 응답의 사실적 주장을 확인하기 위한 특정 질문 목록을 생성합니다.
3. 검증 실행: 모델이 이러한 검증 질문에 답변하며, 편향을 피하기 위해 첫 번째 초안과 독립적으로 수행하는 것이 이상적입니다. 가장 효과적인 변형인 "Factored + Revise"는 각 질문에 개별적으로 답변합니다.
4. 최종 응답 생성: 발견된 모순이나 공백을 기반으로 모델이 수정된 최종 답변을 생성합니다.

증거: LLaMA-65B 모델을 사용한 테스트에서 CoVe는 전기 생성 작업의 FactScore를 약 63.7점에서 약 71.4점으로 크게 향상시켰습니다. 이 성능은 여러 벤치마크에서 ChatGPT 및 Perplexity.ai를 능가하여, 효과적인 자체 검증이 외부 웹 검색에 의존하는 모델보다 우수할 수 있음을 보여줍니다.

2. 이중 전략을 활용한 검색 증강 생성(RAG)

검색 증강 생성(RAG)은 모델의 출력을 외부의 검증 가능한 지식에 기반합니다. 이는 환각에 대한 일차적 방어 수단이지만, 모든 RAG 구현이 동일한 것은 아닙니다. 과도한 검색이나 관련 없는 정보 검색과 같은 한계를 극복하기 위해 고급 이중 전략 방법이 등장하고 있습니다.

입증된 접근 방식: 연구진은 ACTD라는 이중 전략 RAG 방법을 개발했습니다. 이 방법은 "자기 지식 판단 모듈"을 사용하여 먼저 검색이 필요한지 여부를 결정합니다. 모델이 내부 지식으로 답변할 수 있으면 그렇게 합니다. 검색이 필요한 경우 "작업 분해 모듈"이 질문을 하위 질문으로 분해하여 더 세분화되고 관련성 높은 구절을 검색합니다. 이 방법은 NQ, TriviaQA, PopQA와 같은 사실적 질문 응답 벤치마크에서 기존 RAG 접근 방식을 능가했으며, 이전 최첨단 기술 대비 Exact Match에서 평균 +0.75% 포인트 향상을 달성했습니다.

3. 트리 검색 알고리즘을 활용한 "느린 사고"

텍스트를 숙고 없이 토큰 단위로 생성하는 표준 자기회귀 생성과 달리, 이 기술은 생성을 의도적인 추론 과정으로 구성합니다. 예를 들어, HaluSearch 프레임워크는 몬테카를로 트리 검색(MCTS)과 같은 트리 검색 알고리즘을 통합하여 최종 답변을 결정하기 전에 여러 추론 경로를 탐색합니다. 자체 평가 보상 모델을 사용하여 각 단계를 점수화하고 검색을 가장 신뢰할 수 있는 생성 경로로 안내합니다. 이를 계산적으로 실현 가능하게 유지하기 위해 "빠른" 사고 모드와 "느린" 사고 모드 사이의 동적 전환 메커니즘을 사용합니다. 이 접근 방식은 환각을 줄이는 데 있어 기준 방법보다 크게 우수한 성능을 보이는 것으로 입증되었습니다.

4. 대조적 디코딩: 환각 출력 활용

대조적 디코딩은 "좋은" 모델(전문가)과 "나쁜" 모델(아마추어)의 확률을 대조하여 출력 품질을 개선하는 추론 시간 기술입니다. 최근 혁신은 이 접근 방식을 크게 개선했습니다.

• DeCoRe(검색 헤드 대조를 통한 디코딩): 이 방법은 트랜스포머 모델의 특정 "검색 헤드"가 컨텍스트 정보 추출을 담당한다는 발견에 기반합니다. 이러한 헤드를 마스킹하여 "환각" 상태를 유도함으로써, DeCoRe는 기본 모델의 출력을 마스킹된 모델의 출력과 대조하여 사실적 정보를 증폭합니다. 이는 요약 작업에서 18.6%, 명령 수행에서 10.9%의 개선을 가져왔습니다.
• HICD(대조적 디코딩을 위한 주의 분산을 통한 환각 유도): 이 접근 방식은 예측에 중요한 주의 헤드를 선택하고 주의를 분산시켜 의도적으로 환각을 유도하는 다른 전략을 취합니다. 그런 다음 원래 출력을 이 유도된 환각 출력과 대조하여 정확한 텍스트를 디코딩하기 위한 더 효과적인 신호를 생성합니다.

5. 심리학 기반 세분화 편집

2단계 심리학 기반 세분화 편집 및 샘플링(PGFES) 프레임워크라는 새로운 접근 방식은 심리학적 개념을 적용하여 환각을 이해하고 완화합니다. 먼저 환각을 허위 기억, 암시성, 인지 부조화 등의 유형으로 분류합니다. 주의 증강 MLP 프로브를 사용하여 각 환각 유형에 대한 모델 내부 표현의 "진실성 방향"을 식별합니다. 추론 중에 모델의 내부 상태는 이러한 방향을 따라 세분화되어 수정된 응답 세트를 생성합니다. 그런 다음 동적 가중치 메커니즘이 이러한 응답에서 샘플링하여 가장 일관되고 사실적인 최종 출력을 생성합니다. TruthfulQA 데이터 세트 실험에서 이 방법은 기준선 대비 진실성 점수를 20.4% 향상시켰습니다.

6. 선택적 기권 학습: 답변하지 않을 때 알기

때로는 환각을 방지하는 가장 효과적인 방법은 아예 답변을 피하는 것입니다. 선택적 기권 학습은 "Seal" 방법으로 입증된 바와 같이, 모델이 자신의 지식 경계를 인식하도록 가르치는 훈련 목표입니다. 모델은 특수 [REJ] 토큰을 출력하여 실제 지식 분포와 일치하지 않는 토큰을 선택적으로 거부하도록 훈련됩니다. 이를 통해 근거가 없거나 불확실한 답변에 높은 확률을 할당하지 않을 수 있습니다. 추론 중에는 정규화된 디코딩 목표가 학습된 [REJ] 확률을 사용하여 불확실한 예측에 패널티를 부과함으로써 지식 불일치로 인한 환각을 효과적으로 완화합니다.

7. 측면 기반 인과적 기권: 사전 예방적 신뢰성

사후 기권보다 한 단계 더 나아간 측면 기반 인과적 기권(ABCA) 프레임워크는 LLM 지식의 내부 다양성을 분석하여 조기에 사전 예방적으로 기권할 수 있게 합니다. 이 접근 방식은 모델의 지식 신뢰성에 대한 다양한 "측면"(예: 법적 관점 대 역사적 관점에서 본 질문)의 인과적 효과를 추정합니다. 이러한 측면 효과가 일관되지 않으면 지식 충돌을 나타냅니다. 일관되게 기권을 지지하면 지식 부족을 나타냅니다. 이를 통해 해석 가능하고 최첨단 수준의 기권 신뢰성 개선이 가능해져, 신뢰할 수 없는 응답이 생성되기 전에 방지할 수 있습니다.

비교 요약 표

기술	최적 대상	핵심 강점	평가
검증 체인(CoVe)	개방형 생성, 전기	프롬프팅을 통한 강력한 자체 수정	필수 기준 프롬프팅 전략
RAG(이중 전략)	질문 응답, 지식 집약적 작업	출력을 외부 검증 가능한 사실에 기반	최신 또는 희귀 지식이 필요한 작업에 필수
"느린 사고"(트리 검색)	복잡한 추론, 다단계 문제	정확성을 위한 여러 경로 탐색	정확성이 중요하고 지연 시간이 덜 중요할 때 최적
대조적 디코딩(DeCoRe, HICD)	요약, 컨텍스트 완성	훈련이나 추가 모델 없이 높은 영향력	컨텍스트 충실성을 위한 최고 수준의 추론 전용 솔루션
심리학 기반 편집	일반 지식, TruthfulQA	광범위한 환각 유형 감소	전체적 개선을 위한 유망한 연구 방향
선택적 기권(Seal)	위험 회피 애플리케이션, 의료	오류를 피하기 위해 한계 인식	잘못된 답변이 큰 위험을 초래할 때 중요
인과적 기권(ABCA)	사전 예방적 신뢰성, 지식 충돌	오류 발생 전에 방지	신뢰성 극대화를 위한 최첨단 접근 방식

선정 기준

이 7가지 기술의 선정은 다음 기준에 기반합니다: 표준 벤치마크에서 경험적 결과로 입증된 효과성; 환각 감소를 위한 새롭고 독특한 메커니즘을 강조하는 혁신성; ACL, EMNLP, AAAI와 같은 최상위 학회 및 평판 좋은 연구 기관의 동료 검토 논문을 우선시하는 출처 권위; 그리고 간단한 프롬프팅부터 더 복잡한 시스템 설계까지 개발자의 적용 가능성을 평가하는 실용성.

결론

LLM 환각 현상을 줄이는 방법은 다각적인 전략이 필요한 복잡한 과제입니다. 대부분의 개발자에게 RAG와 검증 체인(CoVe)으로 시작하는 것은 강력하고 빠르게 구현할 수 있는 방어 수단을 제공합니다. 최고 수준의 신뢰성이 필요한 애플리케이션의 경우 DeCoRe와 같은 대조적 디코딩 방법을 구현하거나 선택적 기권(Seal) 을 탐색하여 모델이 "모르겠습니다"라고 말할 때를 알게 하는 것을 고려하세요.

출처

1. Kadotani, S., Nishida, K., & Nishida, K. (2025). Learning from Hallucinations: Mitigating Hallucinations in LLMs via Internal Representation Intervention. Findings of the ACL: IJCNLP 2025.
2. Cheng, X., Li, J., Zhao, W. X., & Wen, J.-R. (2025). Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking. Findings of the ACL: ACL 2025.
3. Hu, W., Zhang, W., Jiang, Y., Zhang, C. J., Wei, X., & Qing, L. (2025). Removal of Hallucination on Hallucination: Debate-Augmented RAG. Proceedings of the 63rd Annual Meeting of the ACL (Volume 1: Long Papers).
4. Gema, A. P., Jin, C., Abdulaal, A., Diethe, T., Teare, P., Alex, B., Minervini, P., & Saseendran, A. (2025). DeCoRe: Decoding by contrasting retrieval heads to mitigate hallucinations. Findings of the ACL: EMNLP 2025.
5. Chen, L., Wu, X., Xiong, Z., & Kang, X. (2025). Two Stage Psychology-Guided Fine-Grained Editing and Sampling Approach for Mitigating Hallucination in Large Language Models. Proceedings of the Annual Meeting of the Cognitive Science Society.
6. Dhuliawala, S., et al. (Meta AI) (2023). Chain-of-Verification Reduces Hallucination in Large Language Models.
7. Lv, J., Li, Z., Gan, J., Ren, W., Chen, S., & Wang, J. (2026). Dual-strategy retrieval-augmented generation for anomaly recovery in large language models. Pattern Recognition. ScienceDirect.
8. Huang, L., Feng, X., Ma, W., et al. (2025). Alleviating Hallucinations from Knowledge Misalignment in Large Language Models via Selective Abstention Learning. Proceedings of the 63rd Annual Meeting of the ACL (Volume 1: Long Papers).
9. Nguyen, V., et al. (2025). Hallucinate Less by Thinking More: Aspect-Based Causal Abstention for Large Language Models. AAAI 2026. arXiv:2511.17170.
10. Kumar, A., Kim, H., Nathani, J. S., & Roy, N. (2025). Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation. arXiv:2505.09031.
11. Jiang, X., Ye, H., Zhu, Y., Zheng, X., Chen, Z., & Gong, J. (2025). HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models. Findings of the ACL: ACL 2025.

— Editorial Team