VOID : suppression d'objets dans la vidéo par diffusion

# VOID de Netflix : Diffusion latente pour supprimer des objets des vidéos

Netflix a publié le framework open-source VOID (Video Object Inpainting and Decomposition), qui s'attaque à la tâche de suppression d'objets dans les vidéos à l'aide de la diffusion latente. Le modèle décompose la scène en couches de fond et en masques dynamiques, garantissant une reconstruction qui prend en compte la profondeur et la perspective. Cela élimine les artefacts typiques des méthodes classiques, tels que le scintillement et les textures flottantes.

Architecture et mécanismes de VOID

VOID met l'accent sur la cohérence temporelle — un défi clé pour les modèles de diffusion en vidéo. Des mécanismes d'attention spécialisés analysent les connexions inter-images, minimisant les artefacts dans les scènes dynamiques. Dans les benchmarks, le modèle surpasse ProPainter : remplissage stable des masques même avec un mouvement rapide de la caméra ou une occlusion d'objets.

L'architecture est construite comme un pipeline modulaire sur PyTorch avec intégration dans Diffusers. Elle prend en charge des masques de toute complexité — de lignes fines à de grands objets. L'inférence étape par étape préserve les détails de texture sans perte de contexte.

Exigences en ressources et optimisations

Une exécution de base nécessite une NVIDIA A100 avec 40 GB VRAM. Pour une meilleure accessibilité, des optimisations ont été mises en œuvre :

• model_cpu_offload : décharge les parties inactives du modèle vers la RAM.
• sequential_cpu_offload : traitement séquentiel pour 24 GB VRAM (RTX 3090/4090).

# Exemple d'exécution avec déchargement
pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "netflix/void",
    torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()  # ou enable_sequential_cpu_offload()

Les poids du modèle et le code sont disponibles sur GitHub, simplifiant l'intégration dans les pipelines VFX et l'ajustement fin.

Applications en post-production

VOID automatise le rotoscoping et le nettoyage — les étapes les plus laborieuses. La décomposition permet non seulement de peindre par-dessus, mais de reconstruire la scène de manière cohérente. Pour les développeurs, c'est une base pour des outils personnalisés dans le cinéma.

Dans des tests sur des vidéos complexes avec mouvement, VOID démontre :

• Réduction de 40 % du scintillement par rapport à ProPainter.
• Préservation de la perspective lors de la suppression d'objets au premier plan.
• Évolutivité vers de longues séquences sans dégradation de qualité.

Points clés

• La décomposition en couches assure une stabilité temporelle dans les scènes dynamiques.
• L'intégration avec Diffusers simplifie l'utilisation dans les pipelines existants.
• Les optimisations permettent d'exécuter sur des GPU grand public (24 GB VRAM).
• Surpasse le SOTA dans les benchmarks sur des vidéos à mouvement rapide.
• Code open-source sur GitHub pour l'ajustement fin et les extensions.

Le framework change l'approche de l'inpainting vidéo, la rendant accessible aux développeurs VFX intermédiaires et seniors.

— Editorial Team