VOID: odstranění objektů z videa na difúzi

VOID od Netflixu: latentní difúze pro odstranění objektů z videa

Netflix vydal open-source framework VOID (Video Object Inpainting and Decomposition), který řeší úlohu odstranění objektů z videa prostřednictvím latentní difúze. Model dekomponuje scénu do vrstev pozadí a dynamických masek, zajišťuje rekonstrukci s ohledem na hloubku a perspektivu. To eliminuje typické artefakty klasických metod, jako je blikání a plovoucí textury.

Architektura a mechanismy VOID

VOID se zaměřuje na temporální kohézní – klíčový problém difúzních modelů pro video. Specializované mechanismy pozornosti analyzují mezi-kadrové vazby, minimalizují artefakty při dynamických scénách. V benchmarkách model překonává ProPainter: stabilní vyplňování masek i při rychlém pohybu kamery nebo překrytí objektů.

Architektura je postavena jako modulární pipeline na PyTorch s integrací do Diffusers. Podporuje masky libovolné složitosti – od tenkých čar po velké objekty. Fázový inference zachovává detailnost textur bez ztráty kontextu.

Požadavky na zdroje a optimalizace

Základní spuštění vyžaduje NVIDIA A100 s 40 GB VRAM. Pro dostupnost jsou implementovány optimalizace:

• model_cpu_offload: přenáší neaktivní části modelu do RAM.
• sequential_cpu_offload: sekvenční zpracování pro 24 GB VRAM (RTX 3090/4090).

# Příklad spuštění s offload
pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "netflix/void",
    torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()  # nebo enable_sequential_cpu_offload()

Váhy a kód jsou dostupné na GitHubu, což usnadňuje integraci do VFX pipeline a fine-tuning.

Použití v postprodukci

VOID automatizuje rotoscoping a cleanup – nejnáročné etapy. Dekompozice umožňuje nejen překrývat, ale koherentně přestavět scénu. Pro developery je to základ pro vlastní nástroje pro filmovou produkci.

V testech na složitých videích s pohybem VOID ukazuje:

• Snížení blikání o 40 % oproti ProPainteru.
• Zachování perspektivy při odstraňování objektů na popředí.
• Škálovatelnost na dlouhé sekvence bez ztráty kvality.

Co je důležité

• Dekompozice do vrstev zajišťuje temporální stabilitu v dynamických scénách.
• Integrace s Diffusers usnadňuje použití v existujících pipelinech.
• Optimalizace umožňují spuštění na consumerových GPU (24 GB VRAM).
• Překonává SOTA v benchmarkách na videích s rychlým pohybem.
• Open-source kód na GitHubu pro fine-tuning a rozšíření.

Framework mění přístup k video inpaintingu a činí ho dostupným pro středně pokročilé a seniorní VFX developery.

— Editorial Team