14개 주요 LLM 벤치마크 심층 분석: 작동 원리, 강점, 한계
클로드 오푸스 4.5는 SWE-bench Verified에서 80.6%, GPT-5.2는 80.0%, 제미나이 3 프로는 76.2%를 기록했습니다. 그러나 이 수치들은 보편적인 프로그래밍 능력을 반영하지 않습니다—오히려 공개된 파이썬 저장소에서 추출한 특정 작업에 대한 성공률을 측정할 뿐입니다. 실무 개발자들이 실제 업무에 투입할 모델을 평가할 때 참고해야 할 14개 주요 벤치마크를 깊이 있게 살펴보면, 각 벤치마크의 집중 영역, 평가 방식, 그리고 숨겨진 한계점이 명확히 드러납니다.
SWE-bench Verified: 익숙한 코드 속 버그 고치기
이 벤치마크는 장고(Django)를 포함한 12개 오픈소스 파이썬 프로젝트에서 발생하는 소규모 버그 수정 능력을 평가합니다. 원래 2,294개의 작업 중, 오픈AI가 모호성 문제를 제기한 후 인간 검토자가 직접 검증한 500개만 최종 채택되었습니다.
평가 방식:
- 버그 재현 여부를 확인하기 위해 Docker 환경에서 테스트 실행.
- 모델은 GitHub 이슈 내용과 저장소 컨텍스트를 입력받고, 단일 패스로 생성된 diff 파일을 제출해야 합니다.
- 적용된 diff는 기존 테스트 스위트를 하나도 깨뜨리지 않고 모든 테스트를 통과해야 합니다.
장고 예시(ID django__django-16485):
from decimal import Decimal
from django.template.defaultfilters import floatformat
floatformat('0.00', 0)
floatformat(Decimal('0.00'), 0)두 호출 모두 ValueError: valid range for prec is [1, MAX_PREC] 오류를 발생시킵니다. 지표는 수정 후 테스트 통과 비율을 보고합니다.
비판: 161개 작업은 단 1~2줄의 코드 수정만 요구하며, 많은 저장소 예제가 모델 학습 데이터에 이미 포함되어 있을 가능성이 높습니다. 대안으로는 다국어 지원 SWE-bench Multilingual과 곧 출시될 사내 전용 SWE-bench Pro를 고려해 보세요.
Terminal-Bench 2.0: 현실감 있는 리눅스 터미널 워크플로우
영상 자막 생성부터 리눅스 커널 컴파일까지, 89개의 터미널 기반 작업을 평가합니다. 라우드 연구소(Laude Institute)와 스탠포드 대학이 수작업으로 구축했으며, 엄격한 pytest 검증을 거쳤습니다.
주요 특징:
- Terminus-2 프레임워크 기반 Dockerfile 및 tmux로 환경 구성.
- 모델은 인터넷 접근 권한을 갖지만, 의도치 않은 데이터 유출 여부는 별도 감사되지 않았습니다.
예시: Zork 영상 자막을 생성하고, 게임 동작(n 또는 get bag)을 /app/solution.txt에 출력하세요.
선두 주자: GPT-5.2(64.9%), 클로드 오푸스 4.5(63.1%). 신규성과 DevOps·인프라 자동화 분야에서의 높은 실용성 덕분에 비판이 거의 없습니다.
τ² (tau-bench): 실시간 고객 지원 시뮬레이션
소매, 항공, 통신 분야의 실시간 챗 상황을 중심으로 설계됐습니다. 시에라 리서치(Sierra Research)가 실제 데이터베이스 스키마와 도구를 생성했으며, 인간 전문가가 검증했습니다.
지표: pass^k — k번 연속 성공(최대 pass^4까지 측정).
- 에이전트와 사용자 모두 동일한 LLM으로 시뮬레이션됩니다.
- 도구 호출 권한에는 사용자 조회, 예약 정보 검색 등이 포함됩니다.
항공 예시: 골드 고객 메이 브라운(Mei Brown, ID mei_brown_7075)이 HAT045 항공편(피닉스→시애틀) 지연에 대해 불만을 제기합니다. 평가는 정확한 get_user_details 호출 여부와 LLM 기반 판단력에 달려 있습니다.
비판: 단순화된 DB 스키마; 프롬프트 수준의 우회 가능성; 오픈AI는 진실성 불일치 문제로 항공 분야 자체를 완전히 배제했습니다.
MCP Atlas: 규모 있는 다단계 도구 호출 평가
스케일 AI가 개발한 벤치마크로, Open Library, arXiv 등 여러 MCP 도구를 조율해 해결해야 하는 1,000개의 질의를 포함합니다. 절반은 공개, 절반은 사내 전용입니다.
채점 방식: 주장된 내용 중 >75%가 사실로 검증됨(검증은 LLM이 수행; 부분 점수 없음).
예시: “화산에 관한 가장 오래된 책은 무엇이며, 그 표지 도메인은 언제 등록되었나요?”
비판: 임의 설정된 75% 기준; 읽기 전용 도구만 허용; 창작자이자 평가자인 스케일 AI의 중립성에 대한 의문이 남습니다.
OSWorld: PyAutoGUI 기반 GUI 자동화
우분투/윈도우 환경에서 실행되는 369개 데스크톱 애플리케이션 작업. 30%는 다중 앱 워크플로우, 약 30개는 현재 기술로는 해결 불가능합니다.
평가 방식: 스크린샷을 포함한 VM 환경에서 PyAutoGUI를 통한 키보드·마우스 제어. 중간 과정이 아니라 최종 상태만 평가됩니다.
VSCode 예시: 줄 길이 50자에서 자동 줄 바꿈(soft wrap) 활성화.
비판: 크롬 관련 작업 실패 빈도 높음; 일부 해법은 GUI를 우회해 sed 같은 CLI 명령어를 사용해 핵심 목적을 훼손합니다.
ARC-AGI: 기초적 지능 평가
픽셀 그리드 등 기본 지식을 기반으로 한 시각적 추론 퍼즐. ARC-AGI 2(2025)는 일반화 능력(기억력이 아님)을 탐색하기 위해 1,360개의 무차별 대입 방지 문제를 포함합니다.
선두 주자: GPT-5.2(54.2%). 기술 중심 벤치마크와 달리, ARC-AGI는 순수한 패턴 인식과 추상화 능력을 측정합니다.
| 벤치마크 | 선두 모델 | % | 집중 영역 |
|----------|------------|----|-----------|
| SWE-bench Verified | 클로드 오푸스 4.5 | 80.6 | 파이썬 버그 수정 |
| Terminal-Bench 2.0 | GPT-5.2 | 64.9 | 리눅스 쉘 명령어 |
| τ² | GPT-5.2 | 90.4 | 챗 기반 도구 호출 |
| MCP Atlas | 클로드 오푸스 4.5 | 62.3 | 다중 도구 질의 |
| OSWorld | 클로드 오푸스 4.5 | 66.2 | GUI 자동화 |
| ARC-AGI | GPT-5.2 | 54.2 | 시각적 추론 |
핵심 요약
- SWE-bench Verified는 학습 데이터 오염으로 인해 과거의 기준이 되었으며, 곧 출시될 SWE-bench Pro를 기다려야 합니다.
- Terminal-Bench 2.0은 셸 스크립팅 및 시스템 상호작용을 포함한 실제 개발자 워크로드를 가장 정확히 반영합니다.
- τ²와 MCP Atlas는 도구 호출 성숙도를 보여주지만, LLM 기반 평가자와 단순화된 환경이라는 한계가 있습니다.
- OSWorld와 ARC-AGI는 각각 GUI 자동화와 기초적 추론이라는 새로운 경계를 확장합니다.
- 벤치마크 선택은 반드시 실제 사용 사례와 일치해야 하며, 항상 사내에서 운영 환경과 유사한 평가를 병행해야 합니다.
본 기사는 GPQA, MMLU-Pro 등 나머지 벤치마크도 동일한 심도로 다루며, 특히 프로덕션 소프트웨어 엔지니어링에 LLM을 배포할 때 필요한 평가 메커니즘에 초점을 맞춥니다.
— Editorial Team
아직 댓글이 없습니다.