ACE-Step 1.5: Neuronales Netz für Musik übertrifft Suno lokal

ACE-Step 1.5 XL: Open-Source Musikgenerator übertrifft Suno im SongEval-Benchmark

ACE-Step 1.5 XL ist eine Open-Source-Lösung unter der MIT-Lizenz zur Erzeugung vollständiger Musikstücke. Dieses DiT-Decoder-Modell mit 4 Milliarden Parametern läuft lokal auf GPUs mit nur 4 GB VRAM in der Basisversion. Es erzielt 8,09 Punkte im SongEval-Benchmark und schlägt Suno v5. Entwickler von ACE Studio und StepFun haben ein Research-Paper zu seiner Architektur veröffentlicht.

Der zweistufige Pipeline kombiniert ein Sprachmodell für die Planung mit einem DiT für die Audiosynthese und liefert hoch kohärente Tracks.

Architektur: Trennung von LM und DiT

Das Modell nutzt einen zweistufigen Prozess, um die Generierungsqualität zu steigern.

Stufe 1 — Sprachmodell (0,6–4 Mrd. Parameter):

Nimmt einen Text-Prompt und wendet Chain-of-Thought-Reasoning für schrittweise Planung an. Es erzeugt die Track-Struktur: Abfolge von Abschnitten (Strophe, Refrain, Bridge), Stil, Instrumente, Tempo, Arrangement und Lyrics. Die Ausgabe ist eine intermediäre Textdarstellung, kein Audio.

Stufe 2 — Diffusion Transformer (DiT, 2–4 Mrd. Parameter):

Wandelt den Plan in Audio um, unter Verwendung von DCAE für latente Kompression. Das reduziert den VRAM-Bedarf und beschleunigt die Inferenz.

Die Aufgabenaufteilung ermöglicht es dem LM, die übergeordnete Logik zu handhaben, während der DiT sich auf detaillierte Synthese konzentriert. Die Turbo-Variante verwendet nur 4–8 Diffusionsschritte statt 50–100, dank Destillation.

Leistung und Systemanforderungen

Wichtige Metriken aus dem Research-Paper:

• SongEval: 8,09 (schlägt Suno v5)
• Lyric Alignment: 8,35 — präzise Synchronisation von Gesang und Text
• Inferenzgeschwindigkeit: ~2 s auf A100, ~10 s auf RTX 3090 für einen vollen Track
• VRAM: 4 GB (Basis), 12 GB (XL mit Offload)
• Track-Länge: 10 s bis 10 Minuten

Das Modell unterstützt plattformübergreifende Ausführung: NVIDIA, AMD ROCm, Apple Silicon. Lokale Ausführung schützt Ihre Daten.

Zusätzliche Features

ACE-Step geht über einfaches Text-zu-Musik hinaus:

• Cover-Generierung: Audio in neuen Stil umarrangieren
• Audio-Repainting: Lokales Nachgenerieren von Track-Abschnitten
• Vocal-to-BGM: Begleittracks aus Gesang erzeugen
• LoRA-Fine-Tuning: Anpassung an Nutzertracks, um deren Stil einzufangen

Repainting eignet sich hervorragend für iterative Anpassungen: Fehlende Takte korrigieren, ohne alles neu zu generieren. Die Autoren weisen jedoch auf Artefakte an den Übergängen hin.

Einschränkungen des Modells

Die Entwickler sind offen mit den Problemen:

• Inkonsistenz: Ergebnisse variieren je nach Seed und Länge — Neugenerierungen können scheitern
• Gesang: Grobe Synthese ohne Feinheiten, gut für Hintergründe, nicht für Lead-Vocals
• Genres: Schwierigkeiten bei Nischentilen wie chinesischem Rap
• Parametersteuerung: Keine präzise BPM-, Tonart- oder Akkord-Anpassung — nur beschreibende Prompts

Das sind typische Herausforderungen für Diffusionsmodelle in dieser Phase.

Lokale Einrichtung und Ausführung

Für einen schnellen Test: Gradio-Oberfläche nach Klonen des Repos nutzen.

git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5

# Windows
start_gradio_ui.bat

# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh

# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

Das Skript lädt die Weights automatisch herunter. Basisversion läuft auf RTX 3060 (12 GB); XL benötigt 20+ GB. ComfyUI-Integration via vorgefertigter Nodes verfügbar.

Wichtige Erkenntnisse

• Erstes Open-Source-Modell, das Suno v5 im SongEval (8,09) übertrifft
• Zweistufige LM+DiT-Architektur mit DCAE für effiziente latente Synthese
• Turbo-Modus: 4–8 Diffusionsschritte, Inferenz in Sekunden auf Consumer-GPUs
• Features: Repainting, LoRA, Cover-Generierung für Anpassungen
• Ehrliche Einschränkungen: Inkonsistenz, grober Gesang, begrenzte Kontrolle

— Editorial Team