VOID：Netflix 用于视频编辑的物理 AI 模型

Netflix 推出的 VOID：物理模拟视频物体移除开源 AI 模型

Netflix 发布了开源 VOID 模型（Video Object and Interaction Deletion），专为从视频中移除物体而设计，同时自动重建物理交互。当移除物体时，模型会重新计算轨迹、坠落和支撑，避免悬浮物体等不真实伪影。该模型在 Hugging Face 和 GitHub 上以 Apache 2.0 许可提供。

与传统方法的区别

VOID 超越了简单的内插修复，注重因果关系。传统工具仅掩码移除区域，修正阴影和反射，但忽略交互动态。

模型生成 quadmask —— 四组件掩码：

• 要移除的物体。
• 直接影响区（接触面）。
• 间接效果（阴影、反射）。
• 背景补偿。

为了生成 quadmask，VOID 集成了多模态 AI Gemini 和分割器 SAM2，从而精确识别物体支撑其他物品或影响运动的区域。

架构与训练

基础模型：Alibaba PAI 的 CogVideoX-Fun，5B 参数视频扩散 Transformer。在合成数据集上训练：

• HUMOTO：Blender 物理模拟（有/无物体）。
• Kubric (Google)：带物理控制的场景蒙特卡洛渲染。

合成数据提供完美的视频对，移除后果物理准确。训练使用 8×A100 80GB。推理需要 40+ GB VRAM 的 GPU —— 适合服务器 A100/H100 或高端工作站。

# Example inferensa (uproschennyy)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator

video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')

仓库中包含推理代码和掩码 GUI。

性能对比

在 25 名开发者的盲测中，VOID 在 64.8% 的案例中优于 Runway 的 18.4%。合成和真实视频基准：

| Model | 合成视频 (PSNR/SSIM) | 真实视频 (Clipping Score) |

|-------------|-----------------------|------------------------------|

| VOID | 32.4 / 0.94 | 8.2 |

| Runway | 28.1 / 0.89 | 6.5 |

| ProPainter | 27.9 / 0.87 | 5.9 |

| DiffuEraser | 26.5 / 0.85 | 5.2 |

| MiniMax | 25.8 / 0.83 | 4.8 |

VOID 在真实感指标上领先，尤其在有重力和碰撞的动态场景中。

开发者实用应用

针对中高级专家：

• 后期制作：自动移除吊臂麦克风和道具，无需手动动画。
• VFX 流程：通过 Python API 集成到 Nuke/After Effects。
• 研究：数据生成基准流程，用于自定义领域（医学、AR）微调。
• 优化：LoRA 适配，将 VRAM 降至 RTX 4090 上的 24 GB。

Netflix 不仅开源了权重，还开源了数据集生成脚本 —— 可完全从零复现。

关键要点

• Netflix 首个全栈开源模型（数据 + 代码 + GUI）。
• Quadmask + Gemini/SAM2 解决物理交互问题。
• 5B CogVideoX-Fun：质量与资源平衡（推理 ~40GB VRAM）。
• 基准确认比 Runway/ProPainter 优越 20–40%。
• Apache 2.0：无限制商业使用。

— Editorial Team