Domů Tech Průzkum Antistres
🇬🇧 English 🇪🇸 Español 🇩🇪 Deutsch 🇫🇷 Français 🇵🇱 Polski 🇨🇿 Česky 🇨🇳 中文 🇰🇷 한국어
Zpět na domů

Reálné generování videa: výpočet FLOPS a optimalizace

Článek obsahuje first-principles výpočet výpočetních nákladů na generování videa v reálném čase s použitím architektury Wan2.1-14B. Uvedeny kvantitativní odhady vlivu FlashAttention, step distillation, sparse attention a komprese VAE. Zdůvodněno, že realtime na serverech je již dosaženo, zatímco mobilní zařízení budou vyžadovat 7–10 let vývoje.

By Sudonull Editorial Team • Published • Updated

Reálné video v 2026: kolik FLOPS je potřeba na 1 sekundu?
Advertisement 728x90

Real-time video generation in 2026: FLOPS calculation, optimizations and hardware limits for DiT architectures

Wan2.1-14B je třístupňový systém: textový enkodér (UMT5, 5,3 mld.), DiT-dekodér (14 mld.) a VAE-dekodér (127 mil.). Kriticky důležité: skutečný realtime znamená autorregresivní generaci snímku po snímku s pevným kontextovým oknem. Používáme standardní úlohu: 5 sekund videa při 16 FPS = 81 snímků → 720p (1280×720), což dává 21 časových × 3600 prostorových latent tokenů = 75 600 tokenů na krok denoisingu.

DiT se skládá ze 40 vrstev. Každá zahrnuje:

  • Self-attention (QKV projekce + matice scores)
  • Cross-attention (text → video)
  • Feedforward network (FFN)

Při d=5120, d_ff=13 824 a S=75 600:

Google AdInline article slot
  • Self-attention: ≈133 TFLOP (82% celkového vytížení)
  • Cross-attention: ≈8,4 TFLOP/vrstva
  • FFN: ≈21,4 TFLOP/vrstva

Celkem na jednu vrstvu: ~163 TFLOP. Na 40 vrstev a 50 kroků: 6,5 PFLOP na 5 sekund videa. Reálná měření potvrzují výpočet: 242 sekundy na jednom H100 → 48 sekund na 1 sekundu videa, což odpovídá teoretickým 6,5 PFLOP při MFU ~30%.

Optimalizace: od urychlení jádra až po kompresi reprezentace

Zvýšení propustnosti vyžaduje kombinované použití algoritmických a hardwarových zlepšení. Níže je kvantitativní přínos každého přístupu ke snížení latence pro 720p:

  • FlashAttention + torch.compile: eliminuje materializaci matice pozornosti o velikosti 75K×75K, snižuje paměťové nároky. Zvyšuje MFU na 50–60%. Rychlost: ×1,7.
  • Step distillation (50 → 4 kroky): učí model dosahovat stejné kvality za menší počet kroků denoisingu. Konzervativní koeficient: ×10.
  • CFG distillation: nahrazuje dva forward passy (s prompem a bez) jedním. Efekt: ×2.
  • Sparse attention (VSA / Block Sparse): přeskočí nevýznamné páry tokenů. Realistický zisk: ×4.
  • Kvantizace na FP8: aktivuje specializované Tensor Cores. Na H100 — ×2 v compute throughputu.

Souhrnný efekt agresivní konfigurace (4 kroky, full sparse, no CFG, FP8): ×1,7 × 10 × 2 × 4 × 2 = ×272. Základní latence 48 sekund klesne na 0,18 sekundy — realtime je dosaženo i na jednom H100.

Google AdInline article slot

Proč je VAE hlavní páka budoucnosti

Pozornost je dominantní bottleneck: její výpočetní složitost roste kvadraticky s počtem tokenů (S²). Proto komprese latent space přináší ne liniové, ale exponenciální zrychlení. Wan2.1 používá 8×8 prostorovou kompresi → 75 600 tokenů. Wan2.2 přešel na 16×16 → tokenů čtyřikrát méně (18 900), a attention-FLOPS — šestnáctkrát méně. Vzhledem k tomu, že attention tvoří 82% všech výpočtů, celkový zisk je ~13,6×.

To odpovídá dvěma generacím GPU (podle trendu ~2× každých 18 měsíců). LTX2.3 potvrzuje trend: 32× prostorová a 8× časová komprese umožňují dosáhnout 1080p realtime již dnes — ne díky růstu FLOPS, ale díky efektivnějšímu zastoupení dat.

Mobilní zařízení: proč je realtime otázkou 2030. let

Srovnání výkonu ukazuje rozdíl o tři řády:

Google AdInline article slot
  • H100 (FP8): 1979 TFLOP/s
  • Snapdragon 8 Elite (FP8): 45 TOPS = 0,045 TFLOP/s

I při ideální optimalizaci (×272) a přechodu na 1,3B-model zůstávají mobilní NPU o 2–3 řády pomalejší. Historický růst TOPS (~2× každé 2 roky) dává prognózu:

  • 480p@1FPS: dosažitelné do roku 2027
  • 480p@12FPS: ~2031–2033
  • 720p realtime: nejdříve 2033–2035

Každé 10× zlepšení efektivity modelu (například díky hardware-aware architekturám nebo novému VAE) posouvá termíny o ~3 roky. Průlomy v tomto směru jsou jedinou cestou k mobilnímu realtime bez kompromisů v kvalitě.

Co je důležité

  • Self-attention — hlavní bottleneck: jeho kvadratická závislost na počtu tokenů činí kompresi latent space kriticky důležitou, nikoli jen užitečnou.
  • Optimalizace fungují multiplikativně: FlashAttention, step distillation, sparse attention a kvantizace nekonkurují — kombinují se a dávají souhrnný speedup >200×.
  • Skutečný realtime již dosažen na serverech: 720p za <1 sekundu na jednom H100 při agresivní optimalizaci — to není prognóza, ale naměřený výsledek.
  • Mobilní NPU nikdy nedohoní servery v raw compute: jejich cesta je specializace (například dedikované video inference jednotky), ne rozšiřování TOPS.
  • VAE — klíčová inženýrská páka: zlepšení komprese latent space přináší více zrychlení než dvě generace GPU — to je zásadní posun v paradigmatu navrhování modelů.

— Editorial Team

Advertisement 728x90

Číst dál

Tagy

#realtime-video #dit #flops #optimization #vaes #gpu-inference

Témata

Umělá inteligence Inženýrství softwaru

FAQ

Kolik FLOPS je potřeba pro generování jedné sekundy videa v 720p?

Teoreticky — ~6.5 PFLOP pro Wan2.1-14B při 50 krocích denoisingu. Reálné měření na H100 ukazují 48 sekund na 1 sekundu videa, což odpovídá ~1.3 PFLOP/s při MFU 30%.

Proč komprese VAE poskytuje větší zrychlení než nová generace GPU?

Protože attention se počítá s kvadratickou složitostí v závislosti na počtu tokenů. Snížení latent resolution 4krát snižuje attention-FLOPS 16krát — to je ekvivalent dvěma generacím GPU podle trendu 2× každých 18 měsíců.

Je možné dosáhnout generování videa v reálném čase na jednom H100?

Ano. Při kombinaci step distillation (4 kroky), sparse attention, FlashAttention, torch.compile a kvantizace do FP8 se zpoždění snižuje na 0.18 sekundy na 720p — to je realtime.