VOID: Netflix AI 모델, 물리학 기반 비디오 편집

# # Netflix의 VOID: 물리 시뮬레이션을 활용한 비디오 객체 제거 오픈 AI 모델

Netflix가 오픈소스 VOID 모델(Video Object and Interaction Deletion)을 공개했습니다. 이 모델은 비디오에서 객체를 제거하면서 물리적 상호작용을 자동으로 재구성하도록 설계되었습니다. 객체가 제거되면 모델이 궤적, 낙하, 지지 구조를 재계산하여 떠 있는 물체 같은 비현실적인 아티팩트를 방지합니다. Hugging Face와 GitHub에서 Apache 2.0 라이선스로 제공됩니다.

기존 방법과의 주요 차이점

VOID는 단순한 인페인팅을 넘어 인과 관계에 초점을 맞춥니다. 기존 도구들은 제거 영역을 마스킹하고 그림자나 반사를 보정하지만 상호작용 역학은 무시합니다.

이 모델은 quadmask(네 부분으로 구성된 마스크)를 생성합니다:

• 제거할 객체.
• 직접 영향 영역(접촉면).
• 간접 효과(그림자, 반사).
• 배경 보상.

quadmask를 생성하기 위해 VOID는 멀티모달 AI Gemini와 세그멘터 SAM2를 통합합니다. 이를 통해 객체가 다른 물체를 지지하거나 움직임에 영향을 미친 영역을 정확히 식별합니다.

아키텍처와 훈련

기반: Alibaba PAI의 5B 파라미터 비디오 확산 트랜스포머 CogVideoX-Fun. 합성 데이터셋으로 훈련:

• HUMOTO: Blender 물리 시뮬레이션(객체 유무).
• Kubric (Google): 물리 제어 장면의 몬테카를로 렌더링.

합성 데이터는 제거 결과가 물리적으로 정확한 완벽한 비디오 쌍을 제공합니다. 8×A100 80GB로 훈련. 추론 시 40+ GB VRAM GPU 필요 — 서버 A100/H100 또는 고급 워크스테이션에 적합합니다.

# Example inferensa (uproschennyy)
import torch
from void.model import VOID
from void.mask import QuadMaskGenerator

video = load_video('input.mp4')
quadmask = QuadMaskGenerator(gemini_model, sam2).generate(video, bbox)
output = void_model.infer(video, quadmask)
save_video(output, 'output.mp4')

리포지토리에 추론 코드와 마스크 GUI 포함.

성능 비교

25명 개발자 블라인드 테스트에서 VOID가 Runway(18.4%)보다 64.8% 선호. 합성 및 실제 비디오 벤치마크:

| Model | Synthetic (PSNR/SSIM) | Real Videos (Clipping Score) |

|-------------|-----------------------|------------------------------|

| VOID | 32.4 / 0.94 | 8.2 |

| Runway | 28.1 / 0.89 | 6.5 |

| ProPainter | 27.9 / 0.87 | 5.9 |

| DiffuEraser | 26.5 / 0.85 | 5.2 |

| MiniMax | 25.8 / 0.83 | 4.8 |

VOID는 특히 중력과 충돌이 있는 동적 장면에서 현실성 지표에서 선두입니다.

개발자를 위한 실용적 응용

중급/시니어 전문가를 위해:

• 후반 작업: 붐 마이크와 소품 자동 제거, 수동 애니메이션 불필요.
• VFX 파이프라인: Python API로 Nuke/After Effects 통합.
• 연구: 사용자 정의 도메인(의료, AR) 미세 조정을 위한 데이터 생성 베이스라인 파이프라인.
• 최적화: LoRA 적응으로 RTX 4090에서 VRAM 24GB로 축소.

Netflix는 가중치뿐만 아니라 데이터셋 생성 스크립트도 오픈소싱 — 처음부터 완전 재현 가능합니다.

주요 요약

• Netflix의 첫 풀스택 오픈소스 모델(데이터 + 코드 + GUI).
• Quadmask + Gemini/SAM2로 물리 상호작용 문제 해결.
• 5B CogVideoX-Fun: 품질과 자원 균형(추론 ~40GB VRAM).
• 벤치마크로 Runway/ProPainter 대비 20–40% 우수 확인.
• Apache 2.0: 제한 없이 상업 이용 가능.

— Editorial Team