ACE-Step 1.5: muzyczna sieć neuronowa omija Suno lokalnie

ACE-Step 1.5 XL: otwarty model generacji muzyki przewyższający Suno w SongEval

ACE-Step 1.5 XL to otwarte źródło rozwiązanie na licencji MIT do syntezy utworów muzycznych. Model z dekoderem DiT o 4B parametrach działa lokalnie na GPU od 4 GB VRAM w wersji podstawowej. Na benchmarku SongEval osiąga 8.09, przewyższając Suno v5. Twórcy z ACE Studio i StepFun opublikowali artykuł naukowy, szczegółowo opisujący architekturę.

Dwustopniowy potok łączy LM do planowania i DiT do syntezy audio, co zapewnia wysoką spójność utworów.

Architektura: podział na LM i DiT

Model wykorzystuje dwuetapowy proces dla poprawy jakości generacji.

Pierwszy etap — Language Model (0.6B–4B parametrów):

Przyjmuje tekstowy prompt, stosuje Chain-of-Thought do stopniowego planowania. Generuje strukturę utworu: sekwencję sekcji (zwrotka, refren, mostek), styl, instrumenty, tempo, aranżację i tekst. Wyjście — pośrednia reprezentacja tekstowa, nie audio.

Drugi etap — Diffusion Transformer (DiT, 2B–4B parametrów):

Przekształca plan w audio za pomocą DCAE do kompresji latentnej. Minimalizuje to wymagania VRAM i przyspiesza inferencję.

Podział zadań pozwala LM skupić się na logice wysokiego poziomu, a DiT na szczegółowej syntezie. Wariant Turbo używa 4–8 kroków dyfuzji zamiast 50–100, dzięki dystylacji.

Wydajność i wymagania systemowe

Kluczowe metryki z artykułu naukowego:

• SongEval: 8.09 (wyżej niż Suno v5)
• Lyric Alignment: 8.35 — precyzyjna synchronizacja wokalu z tekstem
• Prędkość inferencji: ~2 s na A100, ~10 s na RTX 3090 dla pełnego utworu
• VRAM: 4 GB (podstawowa), 12 GB (XL z offload)
• Długość utworów: 10 s — 10 min

Model wspiera uruchamianie cross-platform: NVIDIA, AMD ROCm, Apple Silicon. Lokalne uruchomienie zapewnia prywatność danych.

Dodatkowe możliwości

ACE-Step wykracza poza text-to-music:

• Cover generation: Przeorganizowanie audio w nowy styl
• Audio repainting: Lokalna regeneracja fragmentów utworu
• Vocal-to-BGM: Synteza akompaniamentu do wokalu
• LoRA fine-tuning: Dostosowanie do użytkowników utworów dla przechwycenia stylu

Repainting przydatny do iteracyjnego udoskonalania: zmieniaj problematyczne takty bez pełnej regeneracji. Jednak autorzy zauważają artefakty na łączeniach.

Ograniczenia modelu

Twórcy wskazują realne problemy:

• Niespójność: Wyniki zależne od seed i długości — możliwe niepowodzenia przy powtórnych uruchomieniach
• Wokal: Surowa synteza bez niuansów, nadaje się do tła, ale nie do wiodącego wokalu
• Gatunki: Słabość w niszowych stylach, np. chiński rap
• Kontrola parametrów: Brak precyzyjnej regulacji BPM, tonacji, akordów — tylko opisowy prompt

Te ograniczenia są typowe dla modeli dyfuzyjnych na obecnym etapie.

Lokalna instalacja i uruchomienie

Do szybkiego testu użyj interfejsu Gradio po sklonowaniu repozytorium.

git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5

# Windows
start_gradio_ui.bat

# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh

# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

Skrypt automatycznie ładuje wagi. Wersja podstawowa działa na RTX 3060 (12 GB), XL wymaga 20+ GB. Integracja z ComfyUI dostępna przez gotowe węzły.

Co jest ważne

• Pierwszy otwarty model, przewyższający Suno v5 w SongEval (8.09)
• Dwustopniowa architektura LM+DiT z DCAE dla efektywnej syntezy latentnej
• Tryb Turbo: 4–8 kroków dyfuzji, inferencja w sekundach na consumer GPU
• Funkcje: repainting, LoRA, cover generation do personalizacji
• Szczere ograniczenia: niespójność, surowy wokal, ograniczona kontrola

— Editorial Team