VOID: modelo de IA de Netflix para edición de video con física

# # VOID de Netflix: Modelo de IA de código abierto para eliminar objetos de vídeos con simulación física

Netflix ha lanzado el modelo de código abierto VOID (Video Object and Interaction Deletion), diseñado para eliminar objetos de vídeos mientras reconstruye automáticamente las interacciones físicas. Cuando se elimina un objeto, el modelo recalcula trayectorias, caídas y soportes, evitando artefactos poco realistas como objetos flotantes. Disponible en Hugging Face y GitHub bajo Apache 2.0.

Diferencias clave con los métodos estándar

VOID va más allá del simple inpainting, centrándose en las relaciones causa-efecto. Las herramientas tradicionales enmascaran el área eliminada, corrigen sombras y reflejos, pero ignoran la dinámica de interacción.

El modelo genera una quadmask —una máscara de cuatro componentes:

• Objeto a eliminar.
• Zona de influencia directa (superficies de contacto).
• Efectos indirectos (sombras, reflejos).
• Compensación de fondo.

Para crear la quadmask, VOID integra la IA multimodal Gemini y el segmentador SAM2. Esto permite identificar con precisión las zonas donde el objeto soportaba otros elementos o influía en el movimiento.

Arquitectura y entrenamiento

Base: CogVideoX-Fun, un transformador de difusión de vídeo de 5B parámetros de Alibaba PAI. Entrenado en conjuntos de datos sintéticos:

• HUMOTO: simulaciones de Blender con física (con/sin objeto).
• Kubric (Google): renderizado Monte Carlo de escenas con control de física.

Los datos sintéticos proporcionan pares de vídeo perfectos donde las consecuencias de la eliminación son físicamente precisas. Entrenamiento en 8×A100 80GB. La inferencia requiere GPU con 40+ GB VRAM —adecuada para servidores A100/H100 o estaciones de trabajo de gama alta.

# Example inferensa (uproschennyy)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator

video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')

El código de inferencia y GUI para máscaras incluidos en el repositorio.

Comparación de rendimiento

En una prueba ciega con 25 desarrolladores, VOID fue preferido en el 64.8% de los casos frente al 18.4% de Runway. Benchmarks en vídeos sintéticos y reales:

| Model | Vídeos sintéticos (PSNR/SSIM) | Vídeos reales (Clipping Score) |

|-------------|-------------------------------|--------------------------------|

| VOID | 32.4 / 0.94 | 8.2 |

| Runway | 28.1 / 0.89 | 6.5 |

| ProPainter | 27.9 / 0.87 | 5.9 |

| DiffuEraser | 26.5 / 0.85 | 5.2 |

| MiniMax | 25.8 / 0.83 | 4.8 |

VOID lidera en métricas de realismo, especialmente en escenas dinámicas con gravedad y colisiones.

Aplicaciones prácticas para desarrolladores

Para especialistas de nivel medio/senior:

• Post-producción: Eliminación automática de micrófonos de boom y accesorios sin animación manual.
• Pipelines VFX: Integración en Nuke/After Effects vía Python API.
• Investigación: Pipeline base para generación de datos para ajuste fino en dominios personalizados (medicina, RA).
• Optimización: Adaptación LoRA para reducir VRAM a 24 GB en RTX 4090.

Netflix ha abierto el código no solo de los pesos, sino también de los scripts de generación de datasets —totalmente reproducible desde cero.

Lecciones clave

• Primer modelo de código abierto de Netflix con pila completa (datos + código + GUI).
• Quadmask + Gemini/SAM2 resuelve problemas de interacción física.
• 5B CogVideoX-Fun: equilibrio de calidad y recursos (inferencia ~40GB VRAM).
• Benchmarks confirman superioridad del 20–40% sobre Runway/ProPainter.
• Apache 2.0: uso comercial sin restricciones.

— Editorial Team