실시간 비디오 생성: FLOPS 계산 및 최적화

2026년 실시간 비디오 생성: FLOPS 계산, 최적화 및 DiT 아키텍처의 하드웨어 한계

실제 산업 적용 가능한 추론으로서, 데모가 아닌 실제 실시간 비디오 생성을 위해 필요한 컴퓨팅 자원은 얼마나 될까요? 이에 대한 답은 단순한 추정이 아니라, Wan2.1-14B라는 특정 아키텍처부터 Tensor Core와 모바일 NPU의 물리적 한계까지, 모든 요소를 고려한 1차 원리 분석이 필요합니다. 본 글에서는 각 단계별로 정교하게 계산된 컴퓨팅 부하, H100 GPU에서의 실제 측정 결과와의 비교, 그리고 FlashAttention, 단계 증류, 스파스 어텐션, 퀀타이징, 잠재 공간 압축 등 모든 최적화 방안의 양적 영향을 평가합니다.

Wan2.1의 아키텍처 분석: FLOPS가 집중되는 곳

Wan2.1-14B는 세 단계로 구성된 시스템입니다: 텍스트 인코더(UMT5, 5.3B), DiT 디코더(14B), 그리고 VAE 디코더(127M). 특히, 진정한 실시간은 고정된 컨텍스트 창을 유지하며 프레임 단위로 자동 회귀 방식으로 생성하는 것을 의미합니다. 저희는 표준 작업인 16 FPS로 5초간의 비디오(81프레임) → 720p(1280×720)를 기준으로 삼았으며, 이는 노이즈 제거 단계당 21 temporal × 3600 spatial 잠재 토큰 = 75,600 토큰으로 이어집니다.

DiT는 총 40개의 레이어로 구성되어 있습니다. 각 레이어에는 다음과 같은 요소가 포함됩니다:

• 자기 주의(QKV 투영 + 점수 행렬)
• 교차 주의(텍스트 → 비디오)
• 전방 신경망(FFN)

d=5120, d_ff=13,824, S=75,600을 기준으로 계산하면:

• 자기 주의: 약 133 TFLOP (총 작업량의 82%)
• 교차 주의: 레이어당 약 8.4 TFLOP
• FFN: 레이어당 약 21.4 TFLOP

결과적으로 레이어당 총 163 TFLOP 정도가 소요됩니다. 40개의 레이어와 50단계를 고려하면, 5초짜리 비디오당 6.5 PFLOP이 발생합니다. 실제 측정 결과도 이 계산을 뒷받침하는데, 단일 H100에서 242초가 걸렸던 것이 비디오 1초당 48초로 줄어들었고, 이는 이론상 MFU 약 30%에서 6.5 PFLOP에 해당하는 수치와 일치합니다.

최적화: 커널 가속부터 표현 압축까지

처리량을 높이기 위해서는 알고리즘과 하드웨어 개선을 동시에 적용해야 합니다. 아래는 720p 비디오의 지연 시간을 줄이는 데 있어 각 접근법이 기여한 양적 효과입니다:

• FlashAttention + torch.compile: 75,000×75,000 크기의 어텐션 매트릭스 물질화를 없애 메모리 요구를 감소시킵니다. MFU를 50~60%로 높이며, 속도 향상은 1.7배입니다.
• 단계 증류(50단계에서 4단계로): 더 적은 노이즈 제거 단계로도 유사한 품질을 달성하도록 모델을 학습시킵니다. 보수적인 계산에 따르면 10배의 속도 향상입니다.
• CFG 증류: 프롬프트가 있는 경우와 없는 경우 두 번의 전방 처리를 하나로 통합합니다. 효과는 2배입니다.
• 스파스 어텐션(VSA / Block Sparse): 중요하지 않은 토큰 쌍을 건너뜁니다. 현실적인 성능 향상은 4배입니다.
• FP8로 퀀타이징: 특수화된 Tensor Core를 활성화합니다. H100에서는 연산 처리량이 2배 증가합니다.

공격적인 설정(4단계, 완전 스파스, CFG 미사용, FP8 적용)을 적용했을 때의 누적 효과는 1.7 × 10 × 2 × 4 × 2 = 272배입니다. 기본 지연 시간인 48초가 0.18초로 줄어들며, 단일 H100에서도 실시간 구현이 가능해집니다.

VAE가 미래의 핵심 동력인 이유

주요 병목은 어텐션이며, 그 연산 복잡도는 토큰 수(S²)에 따라 제곱으로 증가합니다. 따라서 잠재 공간을 압축하면 선형이 아닌 지수적 가속이 이루어집니다. Wan2.1에서는 8×8 공간 압축을 통해 75,600 토큰을 사용했습니다. Wan2.2에서는 16×16으로 변경하여 토큰 수를 4배 줄였고, 어텐션-FLOP도 16배 낮아졌습니다. 어텐션이 전체 연산의 82%를 차지한다는 점을 고려하면, 전체 성능 향상은 약 13.6배에 달합니다.

이는 GPU의 두 세대 발전에 해당합니다(약 18개월마다 2배씩 성장하는 추세). LTX2.3 역시 이러한 트렌드를 확인해주는데, 32배의 공간 압축과 8배의 시간 압축을 통해 오늘날 1080p 실시간 구현이 가능하다는 사실을 보여줍니다—FLOP을 늘리는 대신 데이터 표현을 더욱 효율적으로 만드는 방식입니다.

모바일 기기: 왜 실시간은 2030년대 문제인가?

성능 비교를 보면 무려 3개의 지수 차이가 존재합니다:

• H100(FP8): 1,979 TFLOP/s
• Snapdragon 8 Elite(FP8): 45 TOPS = 0.045 TFLOP/s

최적화를 272배 적용하고 1.3B 모델로 전환하더라도, 모바일 NPU는 여전히 서버보다 2~3개의 지수 차이로 느립니다. 과거 TOPS 성장 추세(약 2배/2년)를 고려하면 다음과 같은 일정이 예상됩니다:

• 480p@1FPS: 2027년 가능
• 480p@12FPS: 2031~2033년
• 720p 실시간: 2033~2035년 이후

그러나 모델 효율성을 10배씩 개선할 경우(예: 하드웨어를 고려한 아키텍처 또는 새로운 VAE), 이 일정은 약 3년 앞당겨질 수 있습니다. 이런 방향으로의 획기적인 발전만이 품질 저하 없이 모바일 실시간을 실현할 수 있는 유일한 방법입니다.

무엇이 중요한가?

• 자기 주의가 주요 병목: 토큰 수에 대한 제곱 의존성이므로 잠재 공간 압축은 단순히 유용한 것이 아니라 필수적입니다.
• 최적화는 곱셈적으로 작용합니다: FlashAttention, 단계 증류, 스파스 어텐션, 퀀타이징은 서로 경쟁하지 않고 결합하여 총 200배 이상의 속도 향상을 가져옵니다.
• 실시간은 이미 서버에서 구현되었습니다: 단일 H100에서 공격적인 최적화를 통해 720p를 1초 이내에 처리하는 것은 예측이 아니라 실제로 측정된 결과입니다.
• 모바일 NPU는 서버의 원시 연산 성능을 결코 따라잡을 수 없습니다: 이들의 길은 TOPS를 확장하는 것이 아니라, 전문성을 강화하는 방식(예: 전용 비디오 추론 유닛)에 있습니다.
• VAE가 핵심 엔지니어링 동력입니다: 잠재 공간 압축을 개선하면 GPU 두 세대의 성능 향상보다 더 큰 가속을 얻을 수 있으며, 이는 모델 설계 패러다임의 근본적인 변화입니다.

— Editorial Team