Qwen3.5-Omni: AI가 비디오에서 코드 생성

Qwen3.5-Omni: 화면 비디오에서 코드 생성하는 알리바바의 멀티모달 모델

알리바바 클라우드의 멀티모달 모델 Qwen3.5-Omni는 텍스트, 이미지, 오디오, 비디오를 처리하며 실시간으로 텍스트와 음성을 출력합니다. Offline API와 Realtime API를 통해 Plus, Flash, Light 버전으로 제공됩니다. 컨텍스트 윈도우가 256,000 토큰으로 확대되어 요청당 최대 10시간 오디오 또는 400초 720p 비디오 분석이 가능합니다.

규모와 아키텍처 개선

Qwen3.5-Omni는 이전 모델 Qwen3-Omni를 크게 능가합니다. 음성 인식은 113개 언어와 방언으로 확대(기존 19개 대비), 음성 합성은 36개(기존 10개 대비)로 늘었습니다. Thinker와 Talker 구성 요소는 Hybrid-Attention MoE를 사용합니다. 1억 시간 이상의 멀티모달 오디오-비디오 데이터로 사전 훈련되었습니다.

ARIA 기법(Adaptive Rate Interleave Alignment)은 스트리밍 중 텍스트와 음성 토큰을 동적으로 동기화하여 단어 누락과 숫자 발음 오류를 최소화합니다.

벤치마크 결과

Plus 버전은 36개 오디오 및 오디오-비디오 벤치마크에서 최상위 성능을 달성했으며, 수십 개 언어의 음성 인식과 번역에서도 우수합니다. 오디오 이해, 인식, 번역, 대화 분야에서 Gemini 3.1 Pro를 앞섭니다. 오디오-비디오 작업에서는 Gemini와 동등 수준입니다. 20개 언어에서 음성 생성이 ElevenLabs, GPT-Audio, Minimax보다 더 안정적입니다.

텍스트와 시각 기능은 동일 규모의 단일 모달 Qwen3.5 모델 수준을 유지합니다.

주요 지표 비교:

• 컨텍스트 윈도우: 256K 토큰(기존 32K 대비).
• 오디오: 요청당 10시간 이상.
• 비디오: 720p 약 400초.
• ASR 언어: 113개.
• TTS 언어: 36개.
• 사전 훈련 데이터: 1억 시간 이상.

개발자를 위한 신규 기능

이 모델은 의미적 중단을 지원하여 사용자 음성과 잡음을 구분합니다. 음성 클로닝, TTS에서 속도, 볼륨, 감정 제어가 가능합니다. WebSearch와 FunctionCall 통합으로 기능이 확장됩니다.

신흥 능력 Audio-Visual Vibe Coding은 화면 비디오 녹화와 오디오 지시로부터 텍스트 프롬프트 없이 코드를 생성합니다. 이 기능은 표적 훈련 없이 규모 확대의 부산물로 나타났습니다.

주요 요약

• 256K 토큰 컨텍스트로 긴 비디오/오디오 시퀀스 처리.
• Thinker/Talker의 Hybrid-Attention MoE로 멀티모달 추론 효율 향상.
• 36개 벤치마크 최상위, 오디오 작업에서 Gemini 3.1 Pro 능가.
• 신흥 비디오 코딩: 음성과 함께 화면 녹화로부터 작동 코드 생성.
• ARIA로 실시간 스트리밍 오류 제거.

애플리케이션 통합

중고급 개발자에게 Qwen3.5-Omni는 음성 비서, 비디오 분석, 멀티모달 에이전트 등 실시간 작업에 이상적입니다. API를 통해 커스텀 함수와 파이프라인에 쉽게 내장할 수 있습니다. 20개 이상 언어에서 TTS 안정성이 글로벌 배포를 간소화합니다.

예시 시나리오: 코딩 비디오와 오디오를 입력하면 모델이 로직을 추출해 코드를 작성합니다. 튜토리얼 자동화, 화면 세션 검토, 데모로부터 스크립트 생성에 유용합니다.

— Editorial Team