Qwen3.5-Omni: multimodální model Alibaba pro generování kódu z videa obrazovky
Multimodální model Qwen3.5-Omni od Alibaba Cloud zpracovává text, obrázky, audio a video, produkuje text a řeč v reálném čase. Dostupný ve verzích Plus, Flash a Light přes Offline API a Realtime API. Kontextové okno rozšířeno na 256 tisíc tokenů – umožňuje analyzovat až 10 hodin audia nebo 400 sekund videa 720p na jeden požadavek.
Rozsah a architektické vylepšení
Qwen3.5-Omni výrazně překonává předchůdce Qwen3-Omni. Rozpoznávání řeči rozšířeno na 113 jazyků a dialektů (oproti 19 dříve), syntéza řeči na 36 (oproti 10). Komponenty Thinker a Talker využívají Hybrid-Attention MoE. Předtrénování proběhlo na více než 100 milionech hodin multimodálních audio-video dat.
Technika ARIA (Adaptive Rate Interleave Alignment) dynamicky synchronizuje textové a řečové tokeny ve streamingu, minimalizuje vynechání slov a artefakty při vyslovování čísel.
Výsledky benchmarků
Verze Plus dosáhla state-of-the-art na 36 audio- a audio-video benchmarcích, stejně jako v rozpoznávání a překladu řeči na desítkách jazyků. V pochopení audia, rozpoznávání, překladu a dialogu překonala Gemini 3.1 Pro. V audio-video úlohách je na úrovni Gemini. Generování řeči je stabilnější než ElevenLabs, GPT-Audio a Minimax na 20 jazycích.
Textové a vizuální schopnosti zůstaly na úrovni monomodálních Qwen3.5 stejné velikosti.
Klíčové metriky ve srovnání:
- Kontextové okno: 256K tokenů (vs 32K).
- Audio: >10 hodin na požadavek.
- Video: ~400 s 720p.
- Jazyky ASR: 113.
- Jazyky TTS: 36.
- Data předtrénování: >100M hodin.
Nové funkce pro vývojáře
Model podporuje semantické přerušení: odliší uživatelskou řeč od šumu. Dostupné klonování hlasu, ovládání rychlosti, hlasitosti a emocí v TTS. Integrvány WebSearch a FunctionCall pro rozšíření funkcionality.
Emergentní schopnost Audio-Visual Vibe Coding umožňuje generovat kód z videozáznamu obrazovky s audioinstrukcemi – bez textového promptu. Tato funkce vznikla bez cíleného tréninku jako vedlejší efekt škálování.
Co je důležité
- Kontext 256K tokenů zajišťuje zpracování dlouhých video/audio sekvencí.
- Hybrid-Attention MoE v Thinker/Talker zvyšuje efektivitu multimodálního inferenčního procesu.
- SOTA v 36 benchmarcích, převaha nad Gemini 3.1 Pro v audio úlohách.
- Emergentní kódování z videa: generuje funkční kód z obrazovkových záznamů s řečí.
- ARIA eliminuje streamingové artefakty v reálném čase.
Integrace do aplikací
Pro middle/senior vývojáře je Qwen3.5-Omni vhodný pro úlohy v reálném čase: hlasoví asistenti, analýza videa, multimodální agenti. API umožňují vestavět do pipelineů s vlastními funkcemi. Stabilita TTS na 20+ jazycích usnadňuje globální nasazení.
Příklad scénáře: předání videa kódování s audiem – model extrahuje logiku a napíše kód. To je užitečné pro automatizaci tutoriálů, revize obrazovkových sezení nebo generování skriptů z demonstrací.
— Editorial Team
Zatím žádné komentáře.