ACE-Step 1.5: red neuronal de música supera a Suno localmente

# ACE-Step 1.5 XL: Modelo de generación musical open-source que supera a Suno en SongEval

ACE-Step 1.5 XL es una solución open-source bajo licencia MIT para sintetizar pistas musicales completas. Este modelo decodificador DiT de 4 mil millones de parámetros se ejecuta localmente en GPUs con tan solo 4 GB de VRAM en la versión base. Obtiene una puntuación de 8.09 en el benchmark SongEval, superando a Suno v5. Desarrolladores de ACE Studio y StepFun publicaron un artículo de investigación detallando su arquitectura.

El pipeline de dos etapas combina un modelo de lenguaje para la planificación y un DiT para la síntesis de audio, generando pistas altamente coherentes.

Arquitectura: Separación de LM y DiT

El modelo emplea un proceso de dos etapas para mejorar la calidad de generación.

Etapa 1 — Modelo de lenguaje (0.6B–4B parámetros):

Toma un prompt de texto y aplica razonamiento en cadena de pensamiento para una planificación paso a paso. Genera la estructura de la pista: secuencia de secciones (estrofa, estribillo, puente), estilo, instrumentos, tempo, arreglo y letras. La salida es una representación textual intermedia, no audio.

Etapa 2 — Transformer de difusión (DiT, 2B–4B parámetros):

Convierte el plan en audio usando DCAE para compresión latente. Esto reduce las necesidades de VRAM y acelera la inferencia.

La separación de tareas permite que el LM maneje la lógica de alto nivel mientras el DiT se centra en la síntesis detallada. La variante turbo usa solo 4–8 pasos de difusión en lugar de 50–100, gracias a la destilación.

Rendimiento y requisitos del sistema

Métricas clave del artículo de investigación:

• SongEval: 8.09 (supera a Suno v5)
• Alineación de letras: 8.35 — sincronización precisa de voz con letras
• Velocidad de inferencia: ~2s en A100, ~10s en RTX 3090 para una pista completa
• VRAM: 4 GB (base), 12 GB (XL con offload)
• Duración de pista: 10s a 10 minutos

El modelo soporta ejecución multiplataforma: NVIDIA, AMD ROCm, Apple Silicon. La ejecución local mantiene tus datos privados.

Funciones adicionales

ACE-Step va más allá de la generación básica texto-música:

• Generación de covers: Re-arregla audio en un nuevo estilo
• Repintado de audio: Regenera secciones de la pista localmente
• Voz a BGM: Crea pistas de fondo a partir de voces
• Ajuste fino LoRA: Adapta a pistas del usuario para capturar su estilo

El repintado es ideal para ajustes iterativos: corrige compases problemáticos sin regenerar todo. Dicho esto, los autores señalan artefactos en las uniones.

Limitaciones del modelo

Los desarrolladores son francos sobre los problemas reales:

• Inconsistencia: Resultados varían según la semilla y longitud — reejecuciones pueden fallar
• Voces: Síntesis áspera sin matices, buena para fondos pero no para voces principales
• Géneros: Dificultades con estilos nicho, como rap chino
• Control de parámetros: Sin ajustes precisos de BPM, tonalidad o acordes — solo prompts descriptivos

Estos son obstáculos comunes para modelos de difusión en esta etapa.

Instalación local y ejecución

Para una prueba rápida, usa la interfaz Gradio tras clonar el repositorio.

git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5

# Windows
start_gradio_ui.bat

# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh

# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

El script descarga automáticamente los pesos. La versión base funciona en RTX 3060 (12 GB); XL requiere 20+ GB. Hay integración con ComfyUI mediante nodos listos.

Conclusiones clave

• Primer modelo open-source que supera a Suno v5 en SongEval (8.09)
• Arquitectura de dos etapas LM+DiT con DCAE para síntesis latente eficiente
• Modo turbo: 4–8 pasos de difusión, inferencia en segundos en GPUs de consumo
• Funciones: repintado, LoRA, generación de covers para personalización
• Limitaciones honestas: inconsistencia, voces ásperas, control limitado

— Editorial Team