# Qwen3.5-Omni: El modelo multimodal de Alibaba para generar código a partir de videos de pantalla
El modelo multimodal de Alibaba Cloud, Qwen3.5-Omni, procesa texto, imágenes, audio y video, generando texto y voz en tiempo real. Disponible en versiones Plus, Flash y Light a través de Offline API y Realtime API. Ventana de contexto ampliada a 256.000 tokens, lo que permite analizar hasta 10 horas de audio o 400 segundos de video 720p por solicitud.
Mejoras en escala y arquitectura
Qwen3.5-Omni supera significativamente a su predecesor Qwen3-Omni. El reconocimiento de voz se ha expandido a 113 idiomas y dialectos (frente a 19 anteriores), y la síntesis de voz a 36 (frente a 10). Los componentes Thinker y Talker utilizan Hybrid-Attention MoE. Preentrenado con más de 100 millones de horas de datos multimodales de audio y video.
La técnica ARIA (Adaptive Rate Interleave Alignment) sincroniza dinámicamente los tokens de texto y voz en streaming, minimizando omisiones de palabras y artefactos de pronunciación en números.
Resultados en benchmarks
La versión Plus ha alcanzado el estado del arte en 36 benchmarks de audio y audio-video, así como en reconocimiento y traducción de voz en docenas de idiomas. En comprensión de audio, reconocimiento, traducción y diálogo, el modelo supera a Gemini 3.1 Pro. En tareas de audio-video, está a la par con Gemini. La generación de voz es más estable que ElevenLabs, GPT-Audio y Minimax en 20 idiomas.
Las capacidades de texto y visual se mantienen al nivel de los modelos unimodales Qwen3.5 de tamaño similar.
Comparación de métricas clave:
- Ventana de contexto: 256K tokens (frente a 32K).
- Audio: >10 horas por solicitud.
- Video: ~400 seg 720p.
- Idiomas ASR: 113.
- Idiomas TTS: 36.
- Datos de preentrenamiento: >100M horas.
Nuevas funcionalidades para desarrolladores
El modelo soporta interrupción semántica: distingue la voz del usuario del ruido. Clonación de voz, control de velocidad, volumen y emociones en TTS disponibles. Integrado WebSearch y FunctionCall para funcionalidades ampliadas.
La capacidad emergente Audio-Visual Vibe Coding permite generar código a partir de grabaciones de video de pantalla con instrucciones de audio, sin prompts de texto. Esta funcionalidad surgió sin entrenamiento específico como subproducto de la escalabilidad.
Puntos clave
- Ventana de contexto de 256K tokens maneja secuencias largas de video/audio.
- Hybrid-Attention MoE en Thinker/Talker mejora la eficiencia de inferencia multimodal.
- SOTA en 36 benchmarks, supera a Gemini 3.1 Pro en tareas de audio.
- Codificación de video emergente: genera código funcional a partir de grabaciones de pantalla con voz.
- ARIA elimina artefactos de streaming en tiempo real.
Integración en aplicaciones
Para desarrolladores intermedios y senior, Qwen3.5-Omni es ideal para tareas en tiempo real: asistentes de voz, análisis de video, agentes multimodales. Las APIs permiten integrarlo en pipelines con funciones personalizadas. La estabilidad de TTS en más de 20 idiomas simplifica implementaciones globales.
Escenario de ejemplo: pasar un video de codificación con audio; el modelo extrae la lógica y escribe el código. Útil para automatizar tutoriales, revisar sesiones de pantalla o generar scripts a partir de demos.
— Editorial Team
Aún no hay comentarios.