오픈 모델들이 폐쇄형 AI 시스템 Mythos가 발견한 취약점 재현
Vidoc Security 연구원들은 현대 오픈 및 상용 언어 모델들이 Anthropic의 폐쇄형 Mythos 시스템이 취약점 탐지에서 얻은 결과를 재현할 수 있음을 확인했습니다. 이는 첨단 AI 모델 접근을 제한해야 한다는 주장, 즉 이들이 치명적인 버그를 찾는 데 독보적인 능력을 가진다는 주장을 의심하게 만듭니다.
Anthropic 주장 검증
2026년 4월, Anthropic은 소프트웨어 취약점 탐지를 목표로 한 내부 모델인 Project Mythos를 발표했습니다. 그 효과성을 증명하기 위해 FreeBSD, OpenBSD, FFmpeg, Botan, wolfSSL의 CVE 다섯 가지 공개 사례를 제시했습니다. 특히 OpenBSD의 TCP 스택에 있던 27년 된 버그는 기존 코드 분석 도구로 탐지 불가능하다고 회사가 주장한 점이 주목할 만합니다.
그러나 Vidoc 연구원들은 이러한 발견이 정말 독보적인지 확인해보기로 했습니다. 그들은 Anthropic의 내부 데이터나 독점 도구 없이 공개 모델인 GPT-5.4와 Claude Opus 4.6을 오픈소스 에이전트 opencode와 함께 사용했습니다.
재현 결과
테스트 결과는 다음과 같습니다:
- FreeBSD (CVE-2026-4747): 두 모델 모두 취약점을 정확히 식별했습니다.
- Botan (CVE-2026-34580/34582): 세 사례 모두 완벽하게 일치했습니다.
- OpenBSD: Claude Opus 4.6만 해당 발견을 재현했습니다. GPT-5.4은 어떤 실행에서도 문제를 탐지하지 못했습니다.
- FFmpeg 및 wolfSSL: 모델들은 코드의 정확한 위치를 지목했으나 영향력을 잘못 평가했습니다. 예를 들어 잠재적 오버플로를 안전한 동작으로 분류했습니다.
따라서 공개적으로 주장된 다섯 가지 취약점 카테고리 중 세 가지는 완전히 재현되었고, 두 가지는 부분적으로 재현되었습니다. 이는 Anthropic의 핵심 데모 사례들이 폐쇄형 모델에 대한 독점 접근을 필요로 하지 않는다는 의미입니다.
Anthropic은 이에 대해 뭐라고 하나?
회사는 Mythos가 "수천 개"의 취약점을 발견했으며, 그중 99%는 패치 공개 전 embargo 상태라고 주장합니다. 이 부분은 내부 데이터 접근 없이 검증할 수 없습니다. 그러나 Anthropic은 바로 이러한 공개 사례를 프론티어 모델 배포 제한의 주요 논거로 사용했습니다.
공개 AI로 기본 작업조차 해결할 수 있다면 "우리만 안전하게 할 수 있다"는 논리는 설득력을 잃습니다. 이는 AI 규제 맥락에서 특히 중요합니다. 위협이 기술 자체가 아니라 불투명한 통제에서 나온다면, 비밀주의는 이익보다 더 많은 위험을 초래할 수 있습니다.
Vidoc 접근 방식의 기술적 세부 사항
Vidoc 팀은 LLM을 활용한 자동 코드 분석을 위한 오픈소스 프레임워크인 opencode를 사용했습니다. 에이전트는 다음을 입력으로 받았습니다:
- 패치가 포함된 코드 조각.
- 커밋 메시지의 변경 설명.
- 프로젝트 컨텍스트 (예: 프로토콜 사양이나 API 문서).
모델들의 임무는 다음과 같았습니다:
- 변경이 취약점 패치인지 판단.
- 취약점 유형 지정 (예: integer overflow, use-after-free).
- 이전 구현이 왜 안전하지 않았는지 설명.
이 접근 방식은 개발자 내부 지식에 의존하지 않고 보안 분석가의 실제 조건을 시뮬레이션합니다.
주요 결론
- 기술 접근성: 현대 LLM들은 독점 컴포넌트 없이 이미 복잡한 보안 분석을 수행할 수 있습니다.
- 투명성 vs. 통제: 폐쇄형 모델의 "독보성" 주장은 독립적 검증이 필요합니다.
- 규제 함의: 오픈 도구가 비슷한 결과를 낸다면 프론티어 모델 엄격 규제 논거가 약화됩니다.
- 현재 모델 한계: 오류 위치를 정확히 지목해도 심각도를 잘못 해석할 수 있습니다. 자동 분류에 치명적입니다.
- Embargo의 장벽: 주장된 발견의 99% 검증 불가로 마케팅 메시지에 대한 신뢰가 줄어듭니다.
자동화 코드 분석의 전망
Vidoc의 결과는 보안 분야에서 "프론티어"와 "접근 가능" 모델의 경계가 모호해지고 있음을 보여줍니다. 앞으로 몇 년 내에 다음을 기대할 수 있습니다:
- 예비 패치 분석을 위한 CI/CD 파이프라인에 LLM 통합.
- 특정 스택(예: 임베디드 C 또는 Rust)을 위한 특화 미세조정 모델 등장.
- 기호 분석과 생성 AI를 결합한 하이브리드 시스템 개발.
그러나 핵심 질문은 여전합니다: 인간 개입 없이 의사결정에 얼마나 신뢰할 수 있는가? 현재로서는 아닙니다. 하지만 전문가 보조 도구로는 이미 가치를 입증했습니다.
— Editorial Team
아직 댓글이 없습니다.