# ACE-Step 1.5 XL : Modèle open-source de génération musicale surpassant Suno sur SongEval
ACE-Step 1.5 XL est une solution open-source sous licence MIT pour synthétiser des pistes musicales complètes. Ce modèle de décodeur DiT à 4 milliards de paramètres s'exécute localement sur des GPU avec seulement 4 Go de VRAM en version de base. Il obtient un score de 8,09 sur le benchmark SongEval, surpassant Suno v5. Les développeurs d'ACE Studio et StepFun ont publié un article de recherche détaillant son architecture.
Le pipeline en deux étapes combine un modèle de langage pour la planification et un DiT pour la synthèse audio, produisant des pistes très cohérentes.
Architecture : Séparation du LM et du DiT
Le modèle utilise un processus en deux étapes pour améliorer la qualité de génération.
Étape 1 — Modèle de langage (0,6B–4B paramètres) :
Prend un prompt textuel et applique un raisonnement en chaîne de pensée pour une planification étape par étape. Il génère la structure de la piste : séquence des sections (couplet, refrain, pont), style, instruments, tempo, arrangement et paroles. La sortie est une représentation textuelle intermédiaire, pas de l'audio.
Étape 2 — Transformer à diffusion (DiT, 2B–4B paramètres) :
Convertit le plan en audio en utilisant le DCAE pour la compression latente. Cela réduit les besoins en VRAM et accélère l'inférence.
La séparation des tâches permet au LM de gérer la logique de haut niveau tandis que le DiT se concentre sur la synthèse détaillée. La variante turbo n'utilise que 4–8 étapes de diffusion au lieu de 50–100, grâce à la distillation.
Performances et exigences système
Principaux indicateurs du papier de recherche :
- SongEval : 8,09 (surpasse Suno v5)
- Alignement des paroles : 8,35 — synchronisation précise voix-paroles
- Vitesse d'inférence : ~2 s sur A100, ~10 s sur RTX 3090 pour une piste complète
- VRAM : 4 Go (base), 12 Go (XL avec offload)
- Durée de piste : 10 s à 10 minutes
Le modèle supporte les exécutions multiplateformes : NVIDIA, AMD ROCm, Apple Silicon. L'exécution locale garantit la confidentialité de vos données.
Fonctionnalités supplémentaires
ACE-Step va au-delà de la génération texte-musique basique :
- Génération de covers : Réarranger l'audio dans un nouveau style
- Repainting audio : Régénérer localement des sections de piste
- Voix vers BGM : Créer des pistes d'accompagnement à partir de voix
- Fine-tuning LoRA : Adapter aux pistes utilisateur pour capturer leur style
Le repainting est idéal pour des ajustements itératifs : corriger des mesures bancales sans tout régénérer. Cela dit, les auteurs notent des artefacts aux jonctions.
Limites du modèle
Les développeurs sont transparents sur les vrais problèmes :
- Inconsistance : Résultats variables selon la graine et la longueur — relances peuvent rater
- Voix : Synthèse rugueuse manquant de nuances, bonne pour fonds mais pas pour voix principales
- Genres : Difficultés avec styles de niche, comme le rap chinois
- Contrôle des paramètres : Pas de réglages précis de BPM, tonalité ou accords — prompts descriptifs seulement
Ce sont des défis courants pour les modèles à diffusion à ce stade.
Installation locale et exécution
Pour un test rapide, utilisez l'interface Gradio après clonage du repo.
git clone https://github.com/ace-step/ACE-Step-1.5
cd ACE-Step-1.5
# Windows
start_gradio_ui.bat
# Linux
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh
# macOS (Apple Silicon)
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.shLe script télécharge automatiquement les poids. Version base sur RTX 3060 (12 Go) ; XL nécessite 20+ Go. Intégration ComfyUI disponible via nœuds prêts à l'emploi.
Points clés
- Premier modèle open-source dépassant Suno v5 sur SongEval (8,09)
- Architecture LM+DiT en deux étapes avec DCAE pour synthèse latente efficace
- Mode turbo : 4–8 étapes de diffusion, inférence en secondes sur GPU grand public
- Fonctionnalités : repainting, LoRA, covers pour personnalisation
- Limites honnêtes : inconsistance, voix rugueuses, contrôle limité
— Editorial Team
Aucun commentaire pour le moment.