# ACE-Step 1.5 XL: Suno를 SongEval에서 제치는 오픈소스 음악 생성 모델
ACE-Step 1.5 XL은 MIT 라이선스 하에 전체 음악 트랙을 합성하는 오픈소스 솔루션입니다. 이 40억 매개변수 DiT 디코더 모델은 기본 버전에서 VRAM 4GB만 있어도 GPU에서 로컬로 실행됩니다. SongEval 벤치마크에서 8.09점을 기록하며 Suno v5를 앞섰습니다. ACE Studio와 StepFun 개발자들이 아키텍처를 상세히 설명한 연구 논문을 발표했습니다.
두 단계 파이프라인은 트랙 계획을 위한 언어 모델과 오디오 합성을 위한 DiT를 결합해 매우 일관된 트랙을 생성합니다.
아키텍처: LM과 DiT 분리
모델은 생성 품질을 높이기 위해 두 단계 프로세스를 사용합니다.
1단계 — 언어 모델 (0.6B–4B 매개변수):
텍스트 프롬프트를 입력받아 체인 오브 소트(Chain-of-Thought) 추론으로 단계별 계획을 세웁니다. 트랙 구조(버스, 코러스, 브릿지 순서), 스타일, 악기, 템포, 편곡, 가사를 생성합니다. 출력은 오디오가 아닌 중간 텍스트 표현입니다.
2단계 — Diffusion Transformer (DiT, 2B–4B 매개변수):
계획을 DCAE를 이용한 잠재 압축으로 오디오로 변환합니다. 이는 VRAM 사용량을 줄이고 추론 속도를 높입니다.
작업 분리로 LM은 고수준 로직을, DiT는 세밀한 합성을 담당합니다. 터보 버전은 증류(distillation) 덕에 50–100단계 대신 4–8 diffusion 스텝만 사용합니다.
성능 및 시스템 요구사항
연구 논문의 주요 지표:
- SongEval: 8.09 (Suno v5 제친)
- 가사 정렬: 8.35 — 보컬과 가사 동기화 정확
- 추론 속도: A100에서 ~2초, RTX 3090에서 전체 트랙 ~10초
- VRAM: 4GB (기본), 12GB (XL 오프로드)
- 트랙 길이: 10초 ~ 10분
모델은 NVIDIA, AMD ROCm, Apple Silicon 등 크로스플랫폼 지원으로 로컬 실행 시 데이터 프라이버시를 보장합니다.
추가 기능
ACE-Step은 기본 텍스트-투-뮤직을 넘어섭니다:
- 커버 생성: 오디오를 새 스타일로 재편곡
- 오디오 재도색(Repainting): 트랙 섹션을 로컬에서 재생성
- 보컬-투-BGM: 보컬에서 반주 트랙 생성
- LoRA 미세조정: 사용자 트랙 스타일 학습
재도색은 반복 수정에 유용: 문제 있는 부분만 고치고 전체 재생성 피함. 다만 이음새에서 아티팩트가 발생할 수 있습니다.
모델 한계
개발자들이 솔직히 밝힌 문제점:
- 불일치: 시드와 길이에 따라 결과 변동 — 재실행 시 실패 가능
- 보컬: 뉘앙스 부족한 거친 합성, 배경용으로는 좋으나 리드 보컬엔 부적합
- 장르: 중국 랩 등 틈새 스타일 어려움
- 매개변수 제어: BPM, 키, 코드 세밀 조정 불가 — 설명 프롬프트에 의존
이것들은 현재 확산 모델의 공통 과제입니다.
로컬 설치 및 실행
빠른 테스트를 위해 리포 클론 후 Gradio 인터페이스 사용:
git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5
# Windows
start_gradio_ui.bat
# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh
# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh스크립트가 가중치를 자동 다운로드합니다. 기본 버전은 RTX 3060 (12GB)에서 실행; XL은 20GB 이상 필요. ComfyUI 노드 통합도 준비됐습니다.
주요 요약
- SongEval(8.09)에서 Suno v5 제치는 최초 오픈소스 모델
- 효율적 잠재 합성을 위한 2단계 LM+DiT 아키텍처 + DCAE
- 터보 모드: 4–8 diffusion 스텝, 소비자 GPU에서 초 단위 추론
- 기능: 재도색, LoRA, 커버 생성으로 커스터마이징
- 솔직한 한계: 불일치, 거친 보컬, 제한된 제어
— Editorial Team
아직 댓글이 없습니다.