Qwen3.5-Omni：AI 从视频生成代码

# Qwen3.5-Omni：阿里云的多模态模型，可从屏幕视频生成代码

阿里云的多模态模型 Qwen3.5-Omni 可处理文本、图像、音频和视频，并实时输出文本和语音。通过 Offline API 和 Realtime API 提供 Plus、Flash 和 Light 三个版本。上下文窗口扩展至 256,000 个令牌——每个请求可分析多达 10 小时的音频或 400 秒的 720p 视频。

规模与架构改进

Qwen3.5-Omni 在性能上大幅超越前代 Qwen3-Omni。语音识别支持扩展至 113 种语言和方言（此前为 19 种），语音合成支持 36 种（此前为 10 种）。Thinker 和 Talker 组件采用 Hybrid-Attention MoE 架构。预训练数据超过 1 亿小时的多模态音视频数据。

ARIA 技术（自适应速率交错对齐）在流式传输中动态同步文本和语音令牌，最大限度减少单词跳过和数字发音瑕疵。

基准测试结果

Plus 版本在 36 个音频和音视频基准测试中达到最先进水平，同时在数十种语言的语音识别和翻译任务中领先。在音频理解、识别、翻译和对话方面，该模型超越 Gemini 3.1 Pro。在音视频任务中——与 Gemini 相当。语音生成在 20 种语言上的稳定性优于 ElevenLabs、GPT-Audio 和 Minimax。

文本和视觉能力保持在同等规模的单模态 Qwen3.5 模型水平。

关键指标对比：

• 上下文窗口：256K 令牌（对比 32K）。
• 音频：每个请求 >10 小时。
• 视频：约 400 秒 720p。
• 语音识别语言：113。
• 语音合成语言：36。
• 预训练数据：>100M 小时。

开发者新功能

该模型支持语义中断：可区分用户语音与噪声。支持声音克隆，以及 TTS 中的语速、音量和情感控制。集成 WebSearch 和 FunctionCall 以扩展功能。

新兴能力 Audio-Visual Vibe Coding 可从带有音频指令的屏幕视频录像生成代码——无需文本提示。这一功能作为规模扩大的副产品自然出现，无需针对性训练。

关键要点

• 256K 令牌上下文可处理长视频/音频序列。
• Thinker/Talker 中的 Hybrid-Attention MoE 提升多模态推理效率。
• 在 36 个基准测试中最先进，音频任务超越 Gemini 3.1 Pro。
• 新兴视频编码：从屏幕录像和语音生成可运行代码。
• ARIA 实时消除流式传输瑕疵。

集成到应用中

对于中高级开发者，Qwen3.5-Omni 非常适合实时任务：语音助手、视频分析、多模态代理。API 可嵌入自定义函数的流水线中。在 20+ 语言上的 TTS 稳定性简化全球部署。

示例场景：传入带音频的编程视频——模型提取逻辑并编写代码。适用于自动化教程、审查屏幕会话，或从演示生成脚本。

— Editorial Team