Qwen3.5-Omni : l'IA génère du code à partir de vidéo

## Qwen3.5-Omni : le modèle multimodal d'Alibaba pour générer du code à partir de vidéos d'écran

Le modèle multimodal Qwen3.5-Omni d'Alibaba Cloud traite le texte, les images, l'audio et la vidéo, en produisant du texte et de la parole en temps réel. Disponible en versions Plus, Flash et Light via Offline API et Realtime API. Fenêtre de contexte étendue à 256 000 tokens — permettant l'analyse de jusqu'à 10 heures d'audio ou 400 secondes de vidéo 720p par requête.

Améliorations d'échelle et d'architecture

Qwen3.5-Omni surpasse largement son prédécesseur Qwen3-Omni. Reconnaissance vocale étendue à 113 langues et dialectes (contre 19 auparavant), synthèse vocale à 36 (contre 10). Les composants Thinker et Talker utilisent Hybrid-Attention MoE. Préalimenté sur plus de 100 millions d'heures de données audio-vidéo multimodales.

La technique ARIA (Adaptive Rate Interleave Alignment) synchronise dynamiquement les tokens texte et parole en streaming, en minimisant les sauts de mots et les artefacts de prononciation pour les nombres.

Résultats sur les benchmarks

La version Plus atteint l'état de l'art sur 36 benchmarks audio et audio-vidéo, ainsi qu'en reconnaissance et traduction vocale sur des dizaines de langues. En compréhension audio, reconnaissance, traduction et dialogue, le modèle surpasse Gemini 3.1 Pro. En tâches audio-vidéo — au même niveau que Gemini. La génération vocale est plus stable qu'ElevenLabs, GPT-Audio et Minimax sur 20 langues.

Les capacités textuelles et visuelles sont préservées au niveau des modèles unimodaux Qwen3.5 de même taille.

Comparaison des métriques clés :

• Fenêtre de contexte : 256K tokens (contre 32K).
• Audio : >10 heures par requête.
• Vidéo : ~400 sec 720p.
• Langues ASR : 113.
• Langues TTS : 36.
• Données de pré-entraînement : >100M heures.

Nouvelles fonctionnalités pour les développeurs

Le modèle supporte l'interruption sémantique : il distingue la parole de l'utilisateur du bruit. Clonage vocal, contrôle de la vitesse, du volume et des émotions en TTS disponibles. WebSearch et FunctionCall intégrés pour une fonctionnalité étendue.

La capacité émergente Audio-Visual Vibe Coding permet la génération de code à partir d'enregistrements vidéo d'écran accompagnés d'instructions audio — sans invites textuelles. Cette fonctionnalité est apparue sans entraînement ciblé, comme sous-produit de l'augmentation d'échelle.

Points clés

• Contexte de 256K tokens pour gérer les longues séquences vidéo/audio.
• Hybrid-Attention MoE dans Thinker/Talker améliore l'efficacité de l'inférence multimodale.
• SOTA sur 36 benchmarks, surpasse Gemini 3.1 Pro en tâches audio.
• Codage vidéo émergent : génère du code fonctionnel à partir d'enregistrements d'écran avec parole.
• ARIA élimine les artefacts de streaming en temps réel.

Intégration dans les applications

Pour les développeurs de niveau intermédiaire/senior, Qwen3.5-Omni est idéal pour les tâches en temps réel : assistants vocaux, analyse vidéo, agents multimodaux. Les API permettent l'intégration dans des pipelines avec des fonctions personnalisées. La stabilité TTS sur plus de 20 langues simplifie les déploiements mondiaux.

Scénario d'exemple : fournir une vidéo de codage avec audio — le modèle extrait la logique et écrit le code. Utile pour automatiser les tutoriels, examiner des sessions d'écran ou générer des scripts à partir de démonstrations.

— Editorial Team