Generación de video en tiempo real: cálculo de FLOPS y optimizaciones

Generación de video en tiempo real en 2026: cálculo de FLOPS, optimizaciones y límites de hardware para arquitecturas DiT

Wan2.1-14B es un sistema de tres etapas: un codificador de texto (UMT5, 5.3B), un decodificador DiT (14B) y un decodificador VAE (127M). Lo crucial es que el verdadero tiempo real implica la generación autoregresiva fotograma a fotograma con una ventana de contexto fija. Utilizamos la tarea estándar: 5 segundos de video a 16 FPS = 81 fotogramas → 720p (1280×720), lo que resulta en 21 temporales × 3600 espaciales tokens latentes = 75,600 tokens por paso de denoising.

DiT consta de 40 capas. Cada capa incluye:

• Atención propia (proyecciones QKV + matriz de puntuación)
• Atención cruzada (texto → video)
• Red de alimentación directa (FFN)

Con d=5120, d_ff=13,824 y S=75,600:

• Atención propia: ≈133 TFLOP (82% de la carga total)
• Atención cruzada: ≈8.4 TFLOP por capa
• FFN: ≈21.4 TFLOP por capa

Total por capa: ~163 TFLOP. Para 40 capas y 50 pasos: 6.5 PFLOP por 5 segundos de video. Las mediciones del mundo real confirman este cálculo: 242 segundos en un solo H100 → 48 segundos por segundo de video, lo que coincide con los teóricos 6.5 PFLOP a una MFU de ~30%.

Optimizaciones: desde la aceleración de kernels hasta la compresión de representación

Aumentar el rendimiento requiere la aplicación combinada de mejoras algorítmicas y de hardware. A continuación se muestra la contribución cuantitativa de cada enfoque para reducir la latencia en 720p:

• FlashAttention + torch.compile: elimina la materialización de la matriz de atención de 75K×75K, reduciendo las demandas de memoria. Incrementa la MFU a 50–60%. Aceleración: ×1.7.
• Destilación por pasos (de 50 a 4 pasos): entrena el modelo para lograr una calidad similar en menos pasos de denoising. Factor conservador: ×10.
• Destilación CFG: sustituye dos pasadas hacia adelante (con y sin prompt) por una sola. Efecto: ×2.
• Atención dispersa (VSA / Block Sparse): omite pares de tokens insignificantes. Ganancia realista: ×4.
• Cuantización a FP8: activa los Tensor Cores especializados. En H100: ×2 en el rendimiento computacional.

El efecto acumulativo de una configuración agresiva (4 pasos, dispersión completa, sin CFG, FP8): ×1.7 × 10 × 2 × 4 × 2 = ×272. La latencia base de 48 segundos cae a 0.18 segundos—se alcanza el tiempo real incluso en un solo H100.

Por qué VAE es la palanca clave del futuro

La atención es el cuello de botella dominante: su complejidad computacional crece cuadráticamente con el número de tokens (S²). Por ello, comprimir el espacio latente no produce una aceleración lineal, sino exponencial. Wan2.1 utiliza una compresión espacial de 8×8 → 75,600 tokens. Wan2.2 pasó a 16×16 → cuatro veces menos tokens (18,900), y los FLOPs de atención son 16 veces menores. Dado que la atención representa el 82% de todos los cálculos, la ganancia global es de ~13.6×.

Esto equivale a dos generaciones de GPUs (siguiendo la tendencia de ~2× cada 18 meses). LTX2.3 confirma esta tendencia: una compresión espacial de 32× y temporal de 8× permite alcanzar el tiempo real en 1080p hoy—no aumentando los FLOPS, sino mediante una representación más eficiente de los datos.

Dispositivos móviles: por qué el tiempo real es un problema de la década de 2030

Las comparaciones de rendimiento revelan una brecha de tres órdenes de magnitud:

• H100 (FP8): 1,979 TFLOP/s
• Snapdragon 8 Elite (FP8): 45 TOPS = 0.045 TFLOP/s

Incluso con una optimización ideal (×272) y cambiando a un modelo de 1.3B, las NPUs móviles siguen siendo 2–3 órdenes de magnitud más lentas. El crecimiento histórico de TOPS (~2× cada 2 años) sugiere la siguiente línea de tiempo:

• 480p@1FPS: alcanzable para 2027
• 480p@12FPS: ~2031–2033
• 720p en tiempo real: no antes de 2033–2035

Sin embargo, cada mejora de 10× en la eficiencia del modelo (por ejemplo, mediante arquitecturas conscientes del hardware o un nuevo VAE) desplaza la línea de tiempo unos 3 años. Los avances en esta dirección son la única forma de lograr el tiempo real en dispositivos móviles sin comprometer la calidad.

Qué importa

• La atención propia es el principal cuello de botella: su dependencia cuadrática del número de tokens hace que la compresión del espacio latente sea críticamente importante, no simplemente útil.
• Las optimizaciones funcionan de manera multiplicativa: FlashAttention, destilación por pasos, atención dispersa y cuantización no compiten—se combinan, ofreciendo una aceleración total de más de 200×.
• El tiempo real ya se ha logrado en servidores: 720p en menos de 1 segundo en un solo H100 con optimización agresiva—no es una predicción, sino un resultado medido.
• Las NPUs móviles nunca alcanzarán a los servidores en cómputo bruto: su camino pasa por la especialización (por ejemplo, unidades dedicadas a la inferencia de video), no por escalar TOPS.
• VAE es la palanca ingenieril clave: mejorar la compresión del espacio latente ofrece más aceleración que dos generaciones de GPUs—es un cambio fundamental en el paradigma del diseño de modelos.

— Editorial Team