VOID: eliminación de objetos de vídeo usando difusión

## VOID de Netflix: Difusión latente para eliminar objetos de vídeos

Netflix ha lanzado el framework de código abierto VOID (Video Object Inpainting and Decomposition), que aborda la tarea de eliminar objetos de vídeos mediante difusión latente. El modelo descompone la escena en capas de fondo y máscaras dinámicas, asegurando una reconstrucción que tiene en cuenta la profundidad y la perspectiva. Esto elimina los artefactos típicos de los métodos clásicos, como el parpadeo y las texturas flotantes.

Arquitectura y mecanismos de VOID

VOID se centra en la consistencia temporal, un desafío clave para los modelos de difusión en vídeo. Mecanismos de atención especializados analizan las conexiones entre fotogramas, minimizando artefactos en escenas dinámicas. En benchmarks, el modelo supera a ProPainter: relleno de máscaras estable incluso con movimiento rápido de cámara u oclusión de objetos.

La arquitectura está construida como un pipeline modular en PyTorch con integración en Diffusers. Soporta máscaras de cualquier complejidad, desde líneas finas hasta objetos grandes. La inferencia paso a paso preserva el detalle de textura sin perder contexto.

Requisitos de recursos y optimizaciones

La ejecución base requiere una NVIDIA A100 con 40 GB VRAM. Para mayor accesibilidad, se han implementado optimizaciones:

• model_cpu_offload: transfiere partes inactivas del modelo a RAM.
• sequential_cpu_offload: procesamiento secuencial para 24 GB VRAM (RTX 3090/4090).

# Example run with offload
pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "netflix/void",
    torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()  # or enable_sequential_cpu_offload()

Los pesos del modelo y el código están disponibles en GitHub, lo que simplifica la integración en pipelines de VFX y el fine-tuning.

Aplicaciones en posproducción

VOID automatiza la rotoscopia y la limpieza, las etapas más laboriosas. La descomposición permite no solo pintar encima, sino reconstruir coherentemente la escena. Para desarrolladores, es una base para herramientas personalizadas en la realización cinematográfica.

En pruebas con vídeos complejos con movimiento, VOID demuestra:

• Reducción del 40 % en parpadeo comparado con ProPainter.
• Preservación de la perspectiva al eliminar objetos del primer plano.
• Escalabilidad a secuencias largas sin degradación de calidad.

Puntos clave

• La descomposición en capas asegura estabilidad temporal en escenas dinámicas.
• La integración con Diffusers simplifica el uso en pipelines existentes.
• Las optimizaciones permiten ejecución en GPUs de consumo (24 GB VRAM).
• Supera al SOTA en benchmarks en vídeos de movimiento rápido.
• Código de código abierto en GitHub para fine-tuning y extensiones.

El framework cambia el enfoque del inpainting de vídeo, haciéndolo accesible para desarrolladores VFX de nivel medio/senior.

— Editorial Team