NVIDIA 推出多模态模型 Nemotron 3 Nano Omni，效率提升 9 倍
新模型融合视觉、音频和文本处理，使 AI 代理的工作效率提升 9 倍；该模型已于 4 月 28 日在多个平台上架。
NVIDIA Nemotron 3 Nano Omni：多模态 AI 代理的新纪元
引言
在人工智能领域，存在一个根本性问题：现实是多模态的，但我们的模型却不是。人类可以同时看、听、读并理解上下文，无需在不同“引擎”之间切换。然而，传统 AI 系统被迫使用视觉、语音和文本的独立模型组合，导致上下文碎片化、延迟增加和成本上升。
2026 年 4 月 28 日，NVIDIA 迈出了决定性的一步，推出了 Nemotron 3 Nano Omni——一个开放的多模态模型，将视频、音频、图像和文本统一在单一架构中。该模型展现了前所未有的效率：在保持固定交互水平的同时，其吞吐量比替代开源方案高出 9 倍。这一事件标志着从“碎片化代理”时代向“统一感知”时代的转变，可能从根本上改变企业 AI 格局。
事件详情与时间线
技术架构：MoE、Mamba 与效率
Nemotron 3 Nano Omni 基于 30B-A3B 混合专家（MoE）架构构建。这意味着在 300 亿参数中，每次前向传播仅激活约 30 亿参数，从而以相对较低的计算成本实现高性能。
关键架构决策包括：
- 混合 Mamba-Transformer 核心：将 Mamba 层（优化序列和内存）与 Transformer 层（精确推理）相结合，与纯 Transformer 模型相比，内存和计算效率提升高达 4 倍。
- 时空视频处理：模型使用 3D 卷积捕捉帧间运动，并采用高效视频采样（EVS）技术，将高密度视觉令牌压缩为紧凑集合，而不会使上下文窗口过载。
- 多模态编码器：
- 视觉：C-RADIOv4-H，用于高分辨率和 OCR 精度
- 音频：Parakeet-TDT-0.6B-v2，超越简单转录
- 文本：基于强大文本模型的中央解码器
性能：数据与背景
根据 NVIDIA 的数据，在固定交互阈值的基准测试中，该模型表现如下：
| 场景 | 相比替代方案的优势 |
|------|------------------|
| 视频推理 | 系统容量提升高达 9.2 倍 |
| 多文档推理 | 系统容量提升高达 7.4 倍 |
在采用 NVFP4 量化的 Blackwell GPU 上，该模型在企业任务的开源全模态模型中实现了最高吞吐量。
精度同样一流：Nemotron 3 Nano Omni 在文档智能基准测试（OCRBenchV2：65.8，MMLongBench-Doc：57.5）、视频和音频理解（Video-MME：72.2，WorldSense：55.4）以及语音识别（HF Open ASR：5.95）中均处于领先地位。
可用性与开放性
该模型已在多个平台上架：Hugging Face、OpenRouter、Amazon SageMaker JumpStart、Vultr、Crusoe Managed Inference 以及超过 25 个合作伙伴平台。NVIDIA 不仅发布了模型权重，还发布了完整数据集（约 1270 亿多模态令牌用于编码器训练，1.24 亿示例用于后训练），以及训练配方，包括 25 个 RL 环境配置，部署次数超过 230 万。
影响与意义
对行业：AI 代理开发的范式转变
在 Nemotron 3 Nano Omni 出现之前，开发多模态代理需要复杂的编排：一个独立的视觉模型、一个语音模型、一个文本模型，再加上它们之间的交互逻辑。这导致了上下文碎片化、高延迟和成本上升的问题。
“Nemotron 3 Nano Omni 用统一推理取代了分散的模型链，减少了推理步骤和编排复杂性，降低了推理成本，并增强了跨模态上下文一致性。”
该模型可以在更大的代理系统中充当“感知和上下文子代理”，与执行和规划模型（如 Nemotron 3 Super 和 Nemotron 3 Ultra）集成。
对商业：实际部署案例
大型企业已开始将该模型集成到其产品中：
- H 公司：CEO Gautier Claux 指出，代理现在可以实时分析全屏屏幕录制——这是以前无法实现的功能。
- 富士康和 Palantir 是首批采用者。
- Dell、DocuSign、Infosys、Oracle 正在评估该模型。
具体应用场景包括：
- 文档智能：解读包含图表、表格、扫描合同、截图的 PDF。
- GUI 代理：理解界面元素并导航计算机屏幕（ScreenSpot-Pro：57.8，而之前版本为 5.5）。
- 视频和音频分析：处理会议记录、网络研讨会、呼叫中心。
- 多模态 RAG：跨不同类型的数据进行搜索和推理。
对 NVIDIA 生态系统：战略举措
专家指出，Nemotron 3 Nano Omni 的发布不仅是技术上的创新，更是 NVIDIA 将影响力扩展到硬件之外的战略步骤。“这正值 NVIDIA 的最大客户竭尽全力蚕食 NVIDIA 目前在硬件上的利润，”Futurum Group 的 David Nicholson 评论道。
通过提供世界一流的开放模型，NVIDIA 将开发者绑定到其堆栈生态系统——从 GPU 到基础设施软件——创建了一个“智能工程系统”，其效率在没有对所有组件进行控制的情况下难以复制。
关键参与者的反应
技术社区
开发者社区对该模型表示热烈欢迎。开放权重、数据和配方使得可以在不牺牲安全性和隐私的情况下针对特定任务进行定制。
华盛顿大学教授 Chirag Shah 指出：“当你将这样的东西开源时，开发者会迅速尝试，开始将其集成到他们的解决方案中，如果效果良好，他们就会希望将 NVIDIA 作为基础设施合作伙伴。”
云基础设施合作伙伴
Vultr、Crusoe 等云提供商已在其平台上快速部署了该模型。Vultr 强调开放性是大规模采用的关键：“NVIDIA 的开放生态系统和 Vultr 的可组合云基础设施确保开发者能够实现新的性能水平，而无需不必要的锁定。”
Crusoe 则重点介绍了其 MemoryAlloy 技术，该技术针对长达 256K 令牌的长多模态上下文进行了优化。
预测与结论
Nemotron 3 Nano Omni 不仅仅是又一个模型。它是多模态 AI 技术成熟的标志。关键要点和预测如下：
1. 多模态代理的标准化
在未来 6-12 个月内，统一的全模态架构有望成为企业 AI 代理的标准。碎片化的视觉-语言-音频堆栈将成为过去，就像智能手机时代独立的语音和数据调制解调器消失一样。
2. 通过开放实现民主化
不仅发布权重，还发布数据和训练配方，意味着普通公司无需数十亿美元的研发预算即可根据自身需求调整模型。这将加速 AI 代理在中等规模企业中的渗透。
3. 硬件-软件集成
NVIDIA 展示了“深入硬件”的优化提供了决定性优势：支持 Blackwell 上的 NVFP4 量化、针对 vLLM 和 TensorRT-LLM 优化的内核。竞争对手很难赶上这种集成水平。
4. 局限性与挑战
Nicholson 教授指出一个潜在问题：“我不知道 NVIDIA 是否将此视为针对超大规模企业的战略。很可能大多数企业会在完整的 NVIDIA 堆栈中部署它。”这意味着已经投资于替代生态系统（AMD、Intel、定制 TPU）的组织可能不会感到高兴。
结论
Nemotron 3 Nano Omni 不仅仅是一个具有出色效率指标的模型。它是未来的架构蓝图：统一、高效、开放且与硬件深度集成。NVIDIA 不仅提供了一种工具，还重新定义了企业 AI 的游戏规则。
正如 H 公司的 Gautier Claux 所言：“该模型使代理能够实时分析全屏屏幕录制——这是以前无法实现的功能。”也许一年后，我们会认为这是理所当然的。而这正是真正技术突破的样子。
— Editorial Team
暂无评论。