# VOID od Netflixu: otevřená AI model pro odstranění objektů z videa s fyzikální simulací
Netflix představil otevřenou model VOID (Video Object and Interaction Deletion), určenou k odstranění objektů z videa s automatickou přestavbou fyzikálních interakcí. Pokud odstraníte objekt, model přepočítá trajektorie, pády a podpory, čímž zabraňuje nerealistickým artefaktům jako plovoucí předměty. Dostupná na Hugging Face a GitHub pod Apache 2.0.
Klíčové rozdíly oproti standardním metodám
VOID překračuje hranice jednoduchého inpaintingu a zaměřuje se na kauzální souvislosti. Tradiční nástroje maskují odstraněnou oblast, korigují stíny a odrazy, ale ignorují dynamiku interakcí.
Model generuje quadmask — čtyřkomponentovou masku:
- Objekt k odstranění.
- Zóna přímého vlivu (kontaktní povrchy).
- Nepřímé efekty (stíny, odrazy).
- Kompenzace pozadí.
Pro vytvoření quadmask VOID integruje multimodální AI Gemini a segmentátor SAM2. To umožňuje přesně určit zóny, kde objekt podepřával jiné předměty nebo ovlivňoval pohyb.
Architektura a trénink
Základ tvoří CogVideoX-Fun, 5B-parametrový video difuzní transformátor od Alibaba PAI. Trénink na syntetických datových sadách:
- HUMOTO: Blender simulace s fyzikou (s objektem/bez objektu).
- Kubric (Google): Monte Carlo renderování scén s kontrolou fyziky.
Syntetika zajišťuje ideální páry videí, kde důsledky odstranění jsou fyzikálně správné. Trénink na 8×A100 80GB. Inferenční fáze vyžaduje GPU s 40+ GB VRAM — vhodné pro serverové A100/H100 nebo vysoce výkonné pracovní stanice.
# Příklad inferenčního kódu (zjednodušený)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator
video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')Kód pro inferenci a GUI pro masky je součástí repozitáře.
Srovnání výkonu
V blind testu na 25 vývojářích zvolili VOID v 64,8 % případů proti 18,4 % u Runway. Benchmarky na syntetice a reálných videích:
| Model | Syntetika (PSNR/SSIM) | Reálná videa (clipping score) |
|--------|-------------------------|-------------------------------|
| VOID | 32.4 / 0.94 | 8.2 |
| Runway | 28.1 / 0.89 | 6.5 |
| ProPainter | 27.9 / 0.87 | 5.9 |
| DiffuEraser | 26.5 / 0.85 | 5.2 |
| MiniMax | 25.8 / 0.83 | 4.8 |
VOID vede v metrikách realismu, zejména v dynamických scénách s gravitací a kolizemi.
Praktické využití pro vývojáře
Pro middle/senior specialisty:
- Postprodukce: Automatické odstranění boom mikrofonů, rekvizit bez ruční animace.
- VFX pipeline: Integrace do Nuke/After Effects přes Python API.
- Výzkum: Základní pipeline pro generování dat pro fine-tuning na vlastních doménách ( medicína, AR).
- Optimalizace: LoRA adaptace pro snížení VRAM na 24 GB na RTX 4090.
Netflix otevřel nejen váhy, ale i skripty pro generování datových sad — plně reprodukovatelné od nuly.
Co je důležité
- První open-source model Netflixu s kompletním stackem (data + kód + GUI).
- Quadmask + Gemini/SAM2 řeší problém fyzikálních interakcí.
- 5B CogVideoX-Fun: rovnováha kvality a zdrojů (inferenční ~40GB VRAM).
- Benchmarky potvrzují převahu nad Runway/ProPainter o 20–40 %.
- Apache 2.0: komerční využití bez omezení.
— Editorial Team
Zatím žádné komentáře.