VOID: Netflix-KI-Modell für Videobearbeitung mit Physik

VOID von Netflix: Offenes KI-Modell zum Entfernen von Objekten aus Videos mit Physiksimulation

Netflix hat das Open-Source-Modell VOID (Video Object and Interaction Deletion) veröffentlicht, das zum Entfernen von Objekten aus Videos dient und physikalische Interaktionen automatisch rekonstruiert. Beim Entfernen eines Objekts berechnet das Modell Trajektorien, Stürze und Auflager neu und verhindert unrealistische Artefakte wie schwebende Objekte. Verfügbar auf Hugging Face und GitHub unter Apache 2.0.

Wichtige Unterschiede zu Standardmethoden

VOID geht über einfaches Inpainting hinaus und berücksichtigt Ursache-Wirkungs-Beziehungen. Traditionelle Tools maskieren den entfernten Bereich, korrigieren Schatten und Reflexionen, ignorieren jedoch Interaktionsdynamiken.

Das Modell erzeugt eine Quadmask – eine Vierkomponenten-Maske:

• Zu entfernendes Objekt.
• Direkte Einflusszone (Kontaktoberflächen).
• Indirekte Effekte (Schatten, Reflexionen).
• Hintergrundkompensation.

Zur Erstellung der Quadmask integriert VOID das multimodale KI-Modell Gemini und den Segmentierer SAM2. Dadurch lassen sich Zonen präzise identifizieren, in denen das Objekt andere Gegenstände abstützte oder Bewegungen beeinflusste.

Architektur und Training

Basis: CogVideoX-Fun, ein 5-Milliarden-Parameter-Video-Diffusions-Transformer von Alibaba PAI. Trainiert auf synthetischen Datensätzen:

• HUMOTO: Blender-Simulationen mit Physik (mit/ohne Objekt).
• Kubric (Google): Monte-Carlo-Rendering von Szenen mit Physiksteuerung.

Synthetische Daten liefern perfekte Video-Paare, bei denen die Entfernungskonsequenzen physikalisch einwandfrei sind. Training auf 8 × A100 80 GB. Für die Inference ist eine GPU mit 40+ GB VRAM erforderlich – geeignet für Server A100/H100 oder High-End-Workstations.

# Example inferensa (uproschennyy)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator

video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')

Inferenzcode und GUI für Masken sind im Repository enthalten.

Leistungsvergleich

In einem Blindtest mit 25 Entwicklern wurde VOID in 64,8 % der Fälle Runways 18,4 % vorgezogen. Benchmarks auf synthetischen und realen Videos:

| Modell | Synthetisch (PSNR/SSIM) | Reale Videos (Clipping Score) |

|-------------|-------------------------|-------------------------------|

| VOID | 32,4 / 0,94 | 8,2 |

| Runway | 28,1 / 0,89 | 6,5 |

| ProPainter | 27,9 / 0,87 | 5,9 |

| DiffuEraser | 26,5 / 0,85 | 5,2 |

| MiniMax | 25,8 / 0,83 | 4,8 |

VOID führt bei Realismusmetriken, insbesondere in dynamischen Szenen mit Gravitation und Kollisionen.

Praktische Anwendungen für Entwickler

Für Mid-/Senior-Spezialisten:

• Postproduktion: Automatisches Entfernen von Boom-Mikrofonen und Requisiten ohne manuelle Animation.
• VFX-Pipelines: Integration in Nuke/After Effects via Python API.
• Forschung: Basis-Pipeline für Datengenerierung zur Feinabstimmung auf kundenspezifische Domänen (Medizin, AR).
• Optimierung: LoRA-Anpassung zur Reduzierung des VRAM-Bedarfs auf 24 GB auf RTX 4090.

Netflix hat nicht nur die Weights, sondern auch die Skripte zur Datensatzgenerierung open-sourced – vollständig reproduzierbar von Grund auf.

Wichtige Erkenntnisse

• Netflix’ erstes Open-Source-Modell mit vollem Stack (Daten + Code + GUI).
• Quadmask + Gemini/SAM2 löst physikalische Interaktionsprobleme.
• 5-Milliarden CogVideoX-Fun: Ausgewogenheit von Qualität und Ressourcen (Inference ~40 GB VRAM).
• Benchmarks bestätigen 20–40 % Überlegenheit gegenüber Runway/ProPainter.
• Apache 2.0: Kommerzielle Nutzung ohne Einschränkungen.

— Editorial Team