ACE-Step 1.5：音乐神经网络在本地超越 Suno

ACE-Step 1.5 XL：开源音乐生成模型在SongEval基准碾压Suno v5

ACE-Step 1.5 XL 是一款采用 MIT 许可的开源解决方案，可合成完整音乐曲目。这款 40 亿参数的 DiT 解码器模型，基础版可在仅 4 GB 显存的 GPU 上本地运行。在 SongEval 基准测试中得分 8.09，超越 Suno v5。ACE Studio 和 StepFun 的开发者发布了研究论文，详细介绍了其架构。

该模型采用两阶段流水线：语言模型负责规划，DiT 负责音频合成，生成高度连贯的曲目。

架构：LM 与 DiT 分工协作

模型使用两阶段流程提升生成质量。

阶段 1 — 语言模型（6 亿–40 亿参数）：

接收文本提示，通过思维链推理逐步规划。生成曲目结构：段落序列（verse、主歌、bridge）、风格、乐器、节奏、编曲和歌词。输出为中间文本表示，而非音频。

阶段 2 — 扩散 Transformer（DiT，20 亿–40 亿参数）：

将规划转化为音频，使用 DCAE 进行潜在压缩。这大大降低显存需求并加速推理。

任务分离让语言模型处理高层逻辑，DiT 专注细节合成。Turbo 变体仅需 4–8 步扩散（而非 50–100 步），得益于蒸馏技术。

性能与系统要求

研究论文中的关键指标：

• SongEval： 8.09（超越 Suno v5）
• 歌词对齐： 8.35 — 精确人声与歌词同步
• 推理速度： A100 上约 2 秒，RTX 3090 上约 10 秒（完整曲目）
• 显存： 4 GB（基础版），12 GB（XL 版带卸载）
• 曲目长度： 10 秒至 10 分钟

模型支持跨平台运行：NVIDIA、AMD ROCm、Apple Silicon。本地执行确保数据隐私。

额外功能

ACE-Step 超越基础文本转音乐：

• 封面生成： 将音频重新编曲成新风格
• 音频重绘： 本地再生曲目片段
• 人声转伴奏： 从人声生成背景音乐
• LoRA 微调： 适配用户曲目捕捉其风格

重绘功能适合迭代调整：修复问题小节，无需重生成全部。不过作者指出接缝处可能有伪影。

模型局限性

开发者坦诚承认实际问题：

• 不一致性： 结果受种子和长度影响，重跑可能失败
• 人声： 合成粗糙缺乏细腻，适合背景而非主唱
• 流派： 挣扎于小众风格，如中文说唱
• 参数控制： 无精确 BPM、调性或和弦调整，仅靠描述性提示

这些是当前扩散模型的常见挑战。

本地部署与运行

快速测试：克隆仓库后使用 Gradio 接口。

git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5

# Windows
start_gradio_ui.bat

# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh

# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

脚本自动下载权重。基础版可在 RTX 3060（12 GB）运行；XL 版需 20+ GB。支持 ComfyUI 即插即用节点。

核心要点

• 首个在 SongEval（8.09）超越 Suno v5 的开源模型
• 两阶段 LM+DiT 架构，DCAE 实现高效潜在合成
• Turbo 模式：4–8 步扩散，消费级 GPU 秒级推理
• 功能：重绘、LoRA、封面生成，支持个性化
• 真实局限：不一致、粗糙人声、控制有限

— Editorial Team