ACE-Step 1.5: neuronová síť hudby obchází Suno lokálně

ACE-Step 1.5 XL: otevřený model pro generování hudby s převahou nad Suno v SongEval

ACE-Step 1.5 XL je open source řešení s MIT licencí pro syntézu hudebních skladeb. Model s 4B-parametrickým DiT dekodérem pracuje lokálně na GPU od 4 GB VRAM v základní verzi. Na benchmarku SongEval dosahuje 8.09, čímž předčí Suno v5. Vývojáři z ACE Studio a StepFun publikovali vědeckou práci, která detailně popisuje architekturu.

Dvoustupňový pipeline kombinuje LM pro plánování a DiT pro audiosyntézu, což zajišťuje vysokou koherenci skladeb.

Architektura: rozdělení na LM a DiT

Model využívá dvoustupňový proces pro zvýšení kvality generování.

První stupeň — Language Model (0.6B–4B parametrů):

Přijímá textový prompt, aplikuje Chain-of-Thought pro postupné plánování. Generuje strukturu skladby: sekvence sekcí (sloka, refrén, most), styl, nástroje, tempo, aranžmá a text. Výstupem je mezilehlé textové vyjádření, nikoli audio.

Druhý stupeň — Diffusion Transformer (DiT, 2B–4B parametrů):

Převádí plán do audia pomocí DCAE pro latentní kompresi. To minimalizuje požadavky na VRAM a urychluje inferenci.

Rozdělení úkolů umožňuje LM soustředit se na vysokou logiku, zatímco DiT na detailní syntézu. Turbo-varianta používá 4–8 kroků difúze místo 50–100, díky distilaci.

Výkon a systémové požadavky

Klíčové metriky z vědecké práce:

• SongEval: 8.09 (vyšší než Suno v5)
• Lyric Alignment: 8.35 — přesná synchronizace vokálu s textem
• Rychlost inference: ~2 s na A100, ~10 s na RTX 3090 pro celou skladbu
• VRAM: 4 GB (základní), 12 GB (XL s offload)
• Délka skladeb: 10 s — 10 min

Model podporuje křížový běh: NVIDIA, AMD ROCm, Apple Silicon. Lokální běh zajišťuje soukromí dat.

Další možnosti

ACE-Step překračuje rámec text-to-music:

• Cover generation: Přearanžování audia do nového stylu
• Audio repainting: Lokální přegenerování částí skladby
• Vocal-to-BGM: Syntéza doprovodu podle vokálu
• LoRA fine-tuning: Přizpůsobení na uživatelské skladby pro zachycení stylu

Repainting je užitečný pro iterační vylepšování: měňte problematické takty bez úplného přegenerování. Autoři však upozorňují na artefakty na přechodech.

Omezení modelu

Vývojáři uvádějí reálné problémy:

• Nekonzistence: Výsledky závisí na seedu a délce — možné výpadky při opakovaných bězích
• Vokál: Hrubá syntéza bez nuancí, vhodná pro pozadí, ale ne pro hlavní vokál
• Žánry: Slabost v nízových stylů, například čínský rap
• Kontrola parametrů: Žádné přesné nastavení BPM, tónality, akordů — pouze popisný prompt

Tato omezení jsou typická pro difuzní modely v současné fázi.

Lokální instalace a spuštění

Pro rychlý test použijte Gradio-interface po naklonování repozitáře.

git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5

# Windows
start_gradio_ui.bat

# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh

# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

Skript automaticky načte váhy. Základní verze běží na RTX 3060 (12 GB), XL vyžaduje 20+ GB. Integrace s ComfyUI je dostupná přes připravené uzly.

Co je důležité

• První open source model, který překonává Suno v5 v SongEval (8.09)
• Dvoustupňová architektura LM+DiT s DCAE pro efektivní latentní syntézu
• Turbo-režim: 4–8 kroků difúze, inference za sekundy na consumer GPU
• Funkce: repainting, LoRA, cover generation pro přizpůsobení
• Upřímná omezení: nekonzistence, hrubý vokál, omezená kontrola

— Editorial Team