# VOID od Netflix: otwarty model AI do usuwania obiektów z wideo z symulacją fizyczną
Netflix zaprezentował otwartą modelę VOID (Video Object and Interaction Deletion), służącą do usuwania obiektów z wideo z automatyczną przebudową fizycznych interakcji. Jeśli usuniesz obiekt, model przelicza trajektorie, upadki i podpory, zapobiegając nierealistycznym artefaktom takim jak unoszące się przedmioty. Dostępna na Hugging Face i GitHub na licencji Apache 2.0.
Kluczowe różnice w stosunku do standardowych metod
VOID wykracza poza prosty inpainting, skupiając się na relacjach przyczynowo-skutkowych. Tradycyjne narzędzia maskują usunięty obszar, korygują cienie i odbicia, ale ignorują dynamikę interakcji.
Model generuje quadmask — czterokomponentową maskę:
- Obiekt do usunięcia.
- Strefa bezpośredniego wpływu (powierzchnie kontaktowe).
- Efekty pośrednie (cienie, odbicia).
- Kompensacja tła.
Do tworzenia quadmask VOID integruje multimodalny AI Gemini i segmentator SAM2. Pozwala to dokładnie określać strefy, w których obiekt podtrzymywał inne przedmioty lub wpływał na ruch.
Architektura i trening
Baza to CogVideoX-Fun, 5B-parametrowy wideodiifuzorny transformator od Alibaba PAI. Trening na syntetycznych zbiorach danych:
- HUMOTO: Symulacje Blender z fizyką (obiekt/bez obiektu).
- Kubric (Google): Renderowanie Monte Carlo scen z kontrolą fizyki.
Syntetyka zapewnia idealne pary wideo, gdzie skutki usunięcia są fizycznie poprawne. Trening na 8×A100 80GB. Inferencja wymaga GPU z 40+ GB VRAM — nadaje się do serwerowych A100/H100 lub wydajnych stacji roboczych.
# Przykład inferencji (uproszczony)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator
video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')Kod inferencji i GUI do masek są w repozytorium.
Porównanie wydajności
W teście blind na 25 deweloperach VOID wybrano w 64,8% przypadków wobec 18,4% dla Runway. Benchmarki na syntetyce i rzeczywistych wideo:
| Model | Syntetyka (PSNR/SSIM) | Rzeczywiste wideo (ocena clippingu) |
|-------------|-------------------------|------------------------------------|
| VOID | 32.4 / 0.94 | 8.2 |
| Runway | 28.1 / 0.89 | 6.5 |
| ProPainter | 27.9 / 0.87 | 5.9 |
| DiffuEraser | 26.5 / 0.85 | 5.2 |
| MiniMax | 25.8 / 0.83 | 4.8 |
VOID prowadzi w metrykach realizmu, zwłaszcza w dynamicznych scenach z grawitacją i kolizjami.
Praktyczne zastosowanie dla deweloperów
Dla middle/senior-specjalistów:
- Postprodukcja: Automatyczne usuwanie boom-mikrofonów, rekwizytu bez ręcznej animacji.
- Pipelines VFX: Integracja w Nuke/After Effects przez Python API.
- Badania: Bazowy pipeline generowania danych do fine-tuningu na custom domenach (medycyna, AR).
- Optymalizacja: Adaptacja LoRA do obniżenia VRAM do 24 GB na RTX 4090.
Netflix otworzył nie tylko wagi, ale i skrypty generowania zbiorów danych — odtwarzalne od zera.
Co ważne
- Pierwsza open-source model Netflix z pełnym stackiem (dane + kod + GUI).
- Quadmask + Gemini/SAM2 rozwiązuje problem fizycznych interakcji.
- 5B CogVideoX-Fun: balans jakości i zasobów (inferencja ~40GB VRAM).
- Benchmarki potwierdzają przewagę nad Runway/ProPainter o 20–40%.
- Apache 2.0: użycie komercyjne bez ograniczeń.
— Editorial Team
Brak komentarzy.