# Qwen3.5-Omni: multimodalny model Alibaby do generowania kodu na podstawie wideo z ekranu
Multimodalny model Qwen3.5-Omni od Alibaba Cloud przetwarza tekst, obrazy, audio i wideo, generując tekst i mowę w czasie rzeczywistym. Dostępny w wersjach Plus, Flash i Light poprzez Offline API i Realtime API. Okno kontekstowe rozszerzono do 256 tysięcy tokenów — pozwala to analizować do 10 godzin audio lub 400 sekund wideo 720p na zapytanie.
Skala i ulepszenia architektoniczne
Qwen3.5-Omni znacznie przewyższa poprzednika Qwen3-Omni. Rozpoznawanie mowy rozszerzono do 113 języków i dialektów (wobec 19 wcześniej), synteza mowy — do 36 (wobec 10). Komponenty Thinker i Talker wykorzystują Hybrid-Attention MoE. Przedtrening odbył się na ponad 100 milionach godzin multimodalnych danych audio-wideo.
Technika ARIA (Adaptive Rate Interleave Alignment) dynamicznie synchronizuje tokeny tekstowe i mowne w strumieniowaniu, minimalizując pominięcia słów i artefakty wymowy liczb.
Wyniki benchmarków
Wersja Plus osiągnęła state-of-the-art w 36 benchmarkach audio i audio-wideo, a także w rozpoznawaniu i tłumaczeniu mowy w dziesiątkach języków. W rozumieniu audio, rozpoznawaniu, tłumaczeniu i dialogu model przewyższył Gemini 3.1 Pro. W zadaniach audio-wideo — na poziomie Gemini. Generowanie mowy jest stabilniejsze niż ElevenLabs, GPT-Audio i Minimax w 20 językach.
Możliwości tekstowe i wizualne zachowano na poziomie jednomodalnych Qwen3.5 o podobnej wielkości.
Kluczowe metryki w porównaniu:
- Okno kontekstowe: 256K tokenów (wobec 32K).
- Audio: >10 godzin na zapytanie.
- Wideo: ~400 sek 720p.
- Języki ASR: 113.
- Języki TTS: 36.
- Dane przedtreningu: >100M godzin.
Nowe funkcje dla programistów
Model obsługuje semantyczne przerywanie: odróżnia mowę użytkownika od szumu. Dostępne jest klonowanie głosu, kontrola prędkości, głośności i emocji w TTS. Zintegrowano WebSearch i FunctionCall w celu rozszerzenia funkcjonalności.
Wynikająca zdolność Audio-Visual Vibe Coding pozwala generować kod na podstawie nagrania ekranu z instrukcjami audio — bez tekstowego promptu. Ta funkcja wyłoniła się bez celowanego treningu jako efekt uboczny skalowania.
Co ważne
- Kontekst 256K tokenów zapewnia przetwarzanie długich sekwencji wideo/audio.
- Hybrid-Attention MoE w Thinker/Talker zwiększa efektywność multimodalnego wnioskowania.
- SOTA w 36 benchmarkach, przewaga nad Gemini 3.1 Pro w zadaniach audio.
- Wynikowy kod z wideo: generuje działający kod z nagrań ekranu z mową.
- ARIA eliminuje artefakty strumieniowania w czasie rzeczywistym.
Integracja w aplikacjach
Dla programistów średniozaawansowanych i zaawansowanych Qwen3.5-Omni nadaje się do zadań czasu rzeczywistego: asystenci głosowi, analiza wideo, multimodalni agenci. API pozwalają integrować z potokami z niestandardowymi funkcjami. Stabilność TTS w ponad 20 językach ułatwia globalne wdrożenia.
Przykład scenariusza: przesłanie wideo kodowania z audio — model wyciąga logikę i pisze kod. To przydatne do automatyzacji tutoriali, recenzji sesji ekranowych lub generowania skryptów na podstawie demonstracji.
— Editorial Team
Brak komentarzy.