AI 취약점: 가짜 질병이 ChatGPT를 속였다

가짜 질병 실험이 드러낸 과학 데이터 처리에서의 AI 취약성

고테보르그 대학교의 한 의학 연구원이 '빅소노미아(biksonomia)'라는 가상의 질병을 만들어내고, Preprints.org에 위조된 사전 인쇄물 두 편을 게시했다. 이에 주요 언어 모델인 ChatGPT와 구글 지미니(Gemini)를 포함한 AI 시스템들이 이를 사실로 받아들이며 잘못된 의학 정보가 확산되는 사태가 벌어졌다.

AI가 허구를 진실로 착각한 과정

이 실험은 2024년, 블루라이트로 인해 눈 주변 피부가 어두워지고 눈 자극 증상이 나타난다는 내용의 허구 논문 두 편을 게재하면서 시작됐다. 문서에는 존재하지 않는 저자와 가공된 기관명, 심지어 공상과학 소설을 인용하는 등 명백한 위조 징후가 있었다. 하지만 이러한 경고 신호에도 불구하고 AI 시스템들은 해당 콘텐츠를 색인화하고 인용하기 시작했다.

2024년 봄까지:

• 마이크로소프트 Copilot은 빅소노미아를 희귀 질환으로 설명;
• 구글 지미니는 안과 전문의 상담을 권장;
• Perplexity는 조작된 통계치를 인용;
• ChatGPT는 증상 진단을 돕는 답변 제공.

이러한 반응은 외부 데이터베이스에 과도하게 의존하면서도 철저한 사실 확인을 하지 않는 AI 알고리즘의 약점을 여실히 보여준다.

과학 공동체에 미친 영향

위조된 사전 인쇄물은 실제 학술 문헌에도 침투했다. 한 논문이 Cureus 저널에 ‘안검 주변 멜라노시스’의 일종으로 인용된 것이다. 이후 해당 저널은 인용을 철회했으며, Preprints.org는 2026년 4월 10일 자료를 삭제하고 위조임을 밝혔다.

이러한 사건들은 사전 인쇄 서버에서부터 AI 모델, 그리고 동료 평가된 출판물에 이르는 지식 전달 과정의 위험성을 보여준다. 근본 원인은 형식이 내용보다 우선시되는 자동 색인화와 초기 단계에서의 엄격한 검토 부족에 있다.

주요 교훈

• AI 모델은 비판적 평가 없이도 가짜 과학 텍스트를 쉽게 수용한다;
• 명백한 결함이 있는 위조 논문도 챗봇을 통해 확산될 수 있다;
• 이 문제는 AI뿐 아니라 동료 심사 절차에도 영향을 미친다;
• 건강 관련 의심스러운 제품을 홍보하는 등의 상업적 악용 가능성이 있다;
• AI 모델과 출판 플랫폼 모두에게 강화된 출처 검증이 시급히 필요하다.

AI 및 의료 산업에 미친 파장

이 사례는 의료 분야에서의 AI 신뢰성에 관한 논의를 가속화하고 있다. 사용자가 챗봇에 의존해 자기진단을 시도할 경우 오도될 위험이 존재하며, 이에 따라 전문가 검토, 가짜 콘텐츠 탐지 알고리즘, 투명한 출처 표기 등을 결합한 다층적 검증 방식에 대한 수요가 커지고 있다.

더 넓은 맥락에서 AI는 개방형 접근 데이터를 학습 기반으로 삼고 있으며, 사전 인쇄물은 2010년대 이후 수십 배 급증했다. 필터 없이 이러한 환경이 유지된다면 허위 정보 확산의 온상이 될 수밖에 없다. OpenAI와 구글 같은 개발사들은 이미 모호한 출처에 대해 더 회의적인 태도를 갖도록 모델 업데이트를 진행 중이다.

이 실험은 특히 의학처럼 민감한 분야에서 정보 처리의 속도와 정확성 사이의 균형이 얼마나 중요한지를 다시 한번 일깨워준다.

— Editorial Team