VOID de Netflix : Modèle d'IA open source pour supprimer des objets des vidéos avec simulation physique
Netflix a publié le modèle open source VOID (Video Object and Interaction Deletion), conçu pour supprimer des objets des vidéos tout en reconstruisant automatiquement les interactions physiques. Lorsqu'un objet est supprimé, le modèle recalcule les trajectoires, les chutes et les supports, évitant les artefacts irréalistes comme des objets flottants. Disponible sur Hugging Face et GitHub sous licence Apache 2.0.
Différences clés par rapport aux méthodes standard
VOID va au-delà du simple inpainting, en se concentrant sur les relations de cause à effet. Les outils traditionnels masquent la zone supprimée, corrigent les ombres et réflexions, mais ignorent les dynamiques d'interaction.
Le modèle génère un quadmask — un masque à quatre composants :
- Objet à supprimer.
- Zone d'influence directe (surfaces de contact).
- Effets indirects (ombres, réflexions).
- Compensation de l'arrière-plan.
Pour créer le quadmask, VOID intègre l'IA multimodale Gemini et le segmenter SAM2. Cela permet une identification précise des zones où l'objet supportait d'autres éléments ou influençait le mouvement.
Architecture et entraînement
Base : CogVideoX-Fun, un transformateur de diffusion vidéo à 5 milliards de paramètres d'Alibaba PAI. Entraîné sur des ensembles de données synthétiques :
- HUMOTO : simulations Blender avec physique (avec/sans objet).
- Kubric (Google) : rendu Monte Carlo de scènes avec contrôle physique.
Les données synthétiques fournissent des paires vidéo parfaites où les conséquences de la suppression sont physiquement précises. Entraînement sur 8×A100 80GB. L'inférence nécessite un GPU avec plus de 40 GB VRAM — adapté aux serveurs A100/H100 ou stations de travail haut de gamme.
# Example inferensa (uproschennyy)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator
video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')Le code d'inférence et l'interface graphique pour les masques sont inclus dans le dépôt.
Comparaison des performances
Dans un test à l'aveugle avec 25 développeurs, VOID a été préféré dans 64,8 % des cas contre 18,4 % pour Runway. Benchmarks sur vidéos synthétiques et réelles :
| Model | Synthetic (PSNR/SSIM) | Real Videos (Clipping Score) |
|-------------|-----------------------|------------------------------|
| VOID | 32,4 / 0,94 | 8,2 |
| Runway | 28,1 / 0,89 | 6,5 |
| ProPainter | 27,9 / 0,87 | 5,9 |
| DiffuEraser | 26,5 / 0,85 | 5,2 |
| MiniMax | 25,8 / 0,83 | 4,8 |
VOID domine les métriques de réalisme, surtout dans les scènes dynamiques avec gravité et collisions.
Applications pratiques pour les développeurs
Pour les spécialistes de niveau intermédiaire et senior :
- Post-production : suppression automatique de perches micros et accessoires sans animation manuelle.
- Pipelines VFX : intégration dans Nuke/After Effects via Python API.
- Recherche : pipeline de base pour la génération de données afin d'affiner sur des domaines personnalisés (médecine, AR).
- Optimisation : adaptation LoRA pour réduire la VRAM à 24 GB sur RTX 4090.
Netflix a open-sourcé non seulement les poids, mais aussi les scripts de génération de dataset — entièrement reproductible de zéro.
Points clés à retenir
- Premier modèle open source de Netflix avec un stack complet (données + code + GUI).
- Quadmask + Gemini/SAM2 résout les problèmes d'interaction physique.
- 5B CogVideoX-Fun : équilibre entre qualité et ressources (inférence ~40 GB VRAM).
- Les benchmarks confirment une supériorité de 20–40 % sur Runway/ProPainter.
- Apache 2.0 : utilisation commerciale sans restrictions.
— Editorial Team
Aucun commentaire pour le moment.