AI에서 ROCm이 CUDA를 따라잡는다: OneROCm과 Triton

ROCm vs CUDA: AMD가 모든 가속기용 통합 AI 스택을 구축하는 방법

OpenAI의 트리톤은 핵심적인 균형 조정자 역할을 하고 있다. 이 파이썬 기반 DSL은 다양한 가속기에서 동일한 코드베이스를 컴파일해 마이그레이션 장벽을 제거한다. AMD는 트리톤, MLIR, Torch.MLIR에 대대적으로 투자하며 파이토치를 자체 하드웨어에 최적화하고 있다. 추론 시에는 단순히 vLLM을 설치하면 된다 — 최적화된 트리톤 커널이 초당 최대 토큰 수를 제공한다. 이제 새로운 어텐션 알고리즘도 개발 기간이 달이 아니라 일로 줄어들었다.

HPC 분야에서는 레거시 CUDA를 위해 HIPify를 유지하되, 새 커널 개발에는 클라우드와 같은 인공지능 도구를 권장한다. 더 빠르고 정확하다.

완전한 오픈성과 커뮤니티 기여

ROCm는 펌웨어를 제외하고 100% 오픈소스로 개발 속도를 가속화한다. 커뮤니티는 AMD와 함께 문제를 해결한다. 깃허브 설문조사에서 1,000건 이상의 버그 리포트가 수집되었으며, 모두 해결되었다. 일부는 AMD가 닫았고, 나머지는 커뮤니티가 해결했다. 'ROCm 망할 놈' 같은 키워드로 X(트위터)를 모니터링하면 우선순위를 정하는 데 도움이 된다.

스트릭스 할로 노트북 내장 지원으로 접근성이 크게 향상된다: 윈도우 버전은 데이터센터 버전과 동기화되어 개발자가 로컬에서 스택을 테스트할 수 있다.

원-ROCm: 아키텍처 통합

원-ROCm은 CPU, GPU, FPGA를 하나의 인터페이스로 통합한다. 저수준 구성 요소는 하드웨어별로 유지되지만 상위 계층은 포터블하다. MI300X에서 작성한 코드는 라이젠 AI에서도 재작성 없이 실행된다. 이는 경제학적 패러다임 전환을 가져온다: 개발자는 플랫폼이 아닌 문제 해결에 집중할 수 있다.

• AMD 내부 포터빌리티: 인스팅트 → 스트릭스 할로.
• 크로스플랫폼 호환성: 트리톤은 AMD와 엔비디아 모두에서 작동.
• 오픈성: 완전한 오픈소스, 커뮤니티 주도.
• 릴리스 주기: 크롬처럼 6주 간격.
• 추론 성능: vLLM/SGLang 네이티브 지원, CUDA와 성능 동등.

로드맵: MI450과 인공지능 기반 개발

MI450은 2026년 후반 출시 예정이다. ROCm의 목표는 '무시됨' — 크롬처럼 버전 번호가 중요하지 않게 만드는 것. 엔지니어들은 LLM을 활용해 커널을 생성하고 검증하며 개발 시간을 달에서 일로 단축한다. 훈련 및 라이브러리 측면에서는 여전히 CUDA와 격차가 있지만, 추론 성능은 이미 따라왔다.

단점과 장점:

• ROCm의 장점: 오픈성, 트리톤, 통합성.
• ROCm의 단점: 생태계 성숙도(문서, 타사 라이브러리)는 여전히 CUDA보다 뒤처져 있다.

핵심은 무엇인가?

• ROCm이 원-ROCm으로 통합되어 모든 AMD 가속기 간 포터빌리티 확보.
• 트리톤으로 CUDA→HIP 변환 필요 없음: AMD와 엔비디아 모두에서 동일한 코드베이스 사용 가능.
• 깃허브에서 1,000개 이상의 이슈 모두 해결, 커뮤니티 활발 참여.
• 스트릭스 할로 노트북 지원이 인스팅트와 동기화.
• 6주 릴리스 + 인공지능 기반 커널 = 빠른 스택 진화.

중급 이상 개발자에게 조언: ROCm 도커 이미지에서 vLLM을 테스트하고, 새 커널 개발은 트리톤을 배우세요. 마이그레이션은 무료이며, 성능은 경쟁력 있다.

— Editorial Team