인간 개입 없이 AI로 가속된 NVIDIA CUDA 코어 38%

Cursor의 멀티 에이전트 시스템, 인간 개입 없이 NVIDIA CUDA 커널 속도 38% 향상

Cursor의 멀티 에이전트 AI 시스템이 NVIDIA Blackwell B200 아키텍처용 235개의 CUDA 커널을 자율적으로 최적화하여 기준 구현 대비 평균 38%의 속도 향상을 달성했습니다. 이 실험은 3주 동안 진행되었으며 개발자 개입이 전혀 필요 없었으며—일반적으로 커널 엔지니어에게 수개월이 소요되는 작업—이 완전히 자동으로 해결되었습니다.

멀티 에이전트 최적화 아키텍처

Cursor 시스템은 플래너와 실행자 두 종류의 에이전트를 사용했습니다. 플래너는 자율 실행자들 사이에 작업을 분배하고, 성능 지표를 모니터링하며 실시간으로 작업 부하를 재조정했습니다. 모든 조정은 실행 규칙, 테스트 시나리오, 상호작용 프로토콜이 포함된 단일 마크다운 파일을 통해 이루어졌습니다.

각 실행자는 독립적으로 자신의 커널 하위 집합에 작업하며 저수준 최적화 기법을 적용했습니다:

• 수동 연산 파이프라이닝
• 메모리 레벨(레지스터, 공유 메모리, 전역 메모리) 간 데이터 로딩 미세 조정
• 최적의 블록 및 그리드 매개변수 선택
• PTX(Parallel Thread Execution) 코드 생성—NVIDIA의 어셈블리와 유사한 중간 표현

이 접근 방식은 전통적인 컴파일러의 한계를 우회하며 GPU 프로그래밍 전문가만 알 수 있는 휴리스틱을 적용했습니다.

테스트 및 검증 방법론

최적화된 커널은 SOL-ExecBench 벤치마크를 사용해 27개의 NVIDIA B200 GPU 클러스터에서 검증되었습니다. 이 도구는 계산 정확성뿐만 아니라 결과의 물리적 실현 가능성도 확인합니다:

• cuBLAS 및 기타 NVIDIA 라이브러리의 참조 구현과의 비교
• B200의 이론적 처리량 한계에 대한 근접성 평가
• "속임수" 시도 감지—예를 들어 잘못된 캐싱 사용이나 입력 데이터 대체

결과가 아키텍처의 물리적 한계를 초과하면 해당 실행은 무효로 거부되었습니다. 엄격한 기준에도 불구하고 시스템은 재시도 없이 단일 사이클에서 모든 235개 작업을 성공적으로 완료했습니다.

두 가지 생성 모드: CUDA C++ 및 CuTe DSL

실험은 두 가지 프로그래밍 모드에서 진행되었습니다:

• CUDA C++ with inline PTX: GPU의 ISA(Instruction Set Architecture)에 직접 접근하여 레지스터와 명령어를 어셈블리 수준에 가깝게 제어할 수 있습니다.
• CuTe DSL: Blackwell 아키텍처 최적화를 위한 텐서 연산에 초점을 맞춘 NVIDIA의 새로운 도메인 특정 API입니다. CuTe는 AI 모델 훈련 데이터에 거의 등장하지 않기 때문에 이 모드는 에이전트의 공식 문서로부터 "처음부터" 학습 능력을 테스트했습니다.

두 모드 모두 높은 효과성을 보여 Cursor의 저수준 코드 생성 접근 방식의 보편성을 확인했습니다.

GEMM 최적화의 획기적 성과

시스템이 완전히 자율적으로 생성한 GEMM 커널(General Matrix Multiply)이 특별한 주목을 받았습니다. 이는 신경망 훈련 및 추론의 거의 모든 단계에 기반이 되는 기본 선형 대수 연산입니다.

비교 결과:

• 참조 cuBLAS 커널 성능의 86% 달성
• 일부 작은 행렬에서 cuBLAS 대비 9% 우위
• 참고로 cuBLAS는 NVIDIA 팀이 수년에 걸쳐 수동 최적화한 것입니다

GEMM이 대부분의 AI 작업에서 "병목"인 점을 고려하면, 여기서의 사소한 속도 향상조차 시스템 수준에서 상당한 이득을 가져옵니다.

통계 및 실용적 의의

38% 수치는 단일 AI 에이전트로 얻은 기준 대비 235개 작업 전반의 기하평균 속도 향상을 나타냅니다. 그러나 핵심 세부 사항이 중요합니다:

• 235개 중 149개 경우(63%)에서 이 기준을 능가
• 커널 유형에 따라 속도 향상 폭: 5%에서 2배 이상
• 규칙적인 메모리 접근 패턴을 가진 커널에서 가장 큰 이득

이것은 Cursor의 Blackwell 커널 최적화 두 번째 성공 프로젝트입니다. 2025년 여름에 시스템은 자신의 훈련 MoE 레이어(Mixture of Experts)를 처음부터 다시 작성하여 종단 간 1.5배 속도 향상을 달성했습니다.

핵심 요점

• 멀티 에이전트 시스템이 커널 엔지니어의 수개월 수동 작업을 대체할 수 있음
• 자동 최적화가 cuBLAS 수준—NVIDIA의 골드 스탠다드—의 86% 도달
• 전통적인 CUDA C++와 CuTe 같은 새로운 DSL 모두에서 작동
• 커널의 63%가 단일 AI 에이전트 대비 개선
• 실험이 고성능 컴퓨팅에서 자율 AI 시스템의 생존 가능성을 검증

— Editorial Team