생물학에서의 AI 환각: 시스템적 위험

생물학 모델에서의 AI 환각: 원인과 개발자 교훈

생물학 AI 모델은 테스트 데이터에서 놀라운 정확도를 보이지만, 종종 생물학적으로 불가능한 예측을 내뱉습니다. 효소 기능 예측 신경망을 예로 들면, 검증에서는 완벽했지만 전문가 검토에서 완전히 실패했습니다. 개발자들은 이러한 거짓 양성 결과를 피하기 위해 철저한 데이터 검증과 안전장치를 구축해야 합니다.

성공의 기반과 데이터 함정

AlphaFold의 획기적 성과는 1970년대부터 구축된 단백질 데이터뱅크(PDB)와 전문가 검증이 포함된 CASP 대회에 기반합니다. 이러한 금준이 없으면 모델은 무너집니다. 많은 프로젝트가 전자건강기록에만 의존해 신선한 바이오마커와 실험실 데이터 부족을 간과합니다.

《Nature Communications》 논문에서 2,200만 개 효소 서열로 모델을 훈련했습니다. 지표는 완벽했습니다: 훈련, 검증, 테스트 세트 모두 정확도 100%. 하지만 10년간 효소를 연구한 미생물학자 Valérie de Crécy-Lagard는 명백한 오류를 발견했습니다.

주요 체계적 결함

감사 결과 생물학 AI의 전형적 함정이 드러났습니다:

• 데이터 누출: 135개의 "신규" 효소가 이미 데이터베이스에 있었습니다. 모델은 예측이 아니라 암기만 했습니다.
• 생물학적 불가능성: 대장균(E. coli)이 생산할 수 없는 화합물을 합성한다고 주장했습니다.
• 과적합: 서로 무관한 12개 효소에 동일 기능을 부여했습니다.

이러한 오류는 탄탄한 과학처럼 위장해 전문 지식 없는 동료 검토를 통과합니다.

실세계 애플리케이션의 파급 효과

체계적 데이터 편향은 대규모 오류를 증폭합니다. Zoe COVID-19 앱은 뇌 안개와 피로 같은 롱코로나 증상을 체크리스트에 포함하지 않아 회복 통계를 부풀렸습니다: 사용자가 이탈하면 "치유"로 간주했습니다.

불일치한 출처의 생물학 경로를 병합하면 비현실적 지도가 나옵니다. AI는 세포 인과관계를 이해하지 못하고 환각의 연쇄를 일으킵니다.

바이오인포매틱스 개발자들은 이질적 데이터셋을 융합할 때 이 벽에 부딪힙니다. 다른 종 논문의 경로를 섞으면 실제 세포와 맞지 않는 모델이 됩니다.

중·고급 개발자를 위한 실천 조언

위험을 줄이기 위해:

• 데이터 출처 문서화: 출처, 한계, 적용 범위 외 영역 명시.
• 지표뿐 아니라 검증 단계에서 전문가 감사 추가.
• 최첨단 아키텍처보다 메커니즘 통찰 우선.
• 생물학적 타당성 테스트: 컴퓨터 시뮬레이션 + 실험실 검증.
• 계층 분할과 독립 출처 홀드아웃 세트로 데이터 누출 방지.

핵심 요약

• 품질 데이터와 표준(PDB, CASP)이 생물학 AI 성공의 기반.
• 데이터 누출과 과적합이 가짜 정확도로 환각을 숨김.
• 전문 지식 없이는 생물학적 헛소리를 생산.
• 지표보다 메커니즘에 투자.
• 프로덕션에서는 실험실 검증 필수.

AI는 강력한 도구지만 생물학 지식의 대체재가 아닙니다. 없으면 바이오테크는 통계적 허상에 구축될 위험이 있습니다.

— Editorial Team