英伟达发布1200亿参数Nemotron 3.5 Super VL,单GPU智能体吞吐提升5倍
英伟达10月15日宣布推出开放多模态模型 Nemotron 3.5 Super VL,面向需要长时间、多步骤运行的“始终在线”企业智能体。该模型采用混合专家(MoE)架构,总参数 1200 亿,每 token 激活 120 亿,在单张 GPU 上执行智能体任务时,吞吐量最高可达同规模其他开放模型的 5 倍。

在能力设计上,Nemotron 3.5 Super VL 把推理、指令遵循、工具调用与文本、图像、文档、视频理解整合进同一个模型,团队不再需要同时部署文本模型与独立的视觉语言模型,也不必在两者之间传递上下文。典型场景覆盖代码测试与调试、跨网站信息检索、图表与扫描件等文档智能、网络安全威胁识别,以及视频内容检索。英伟达称,在 Artificial Analysis 智能体指数基准上,单 GPU 吞吐超过每秒 600 token。

为降低推理开销,模型采用 LiLiCorr 投机解码、NVFP4 量化与上下文复用等技术,在 DGX Spark 上词元生成速度最高提升至 2.3 倍。在评测上,其在 CharXiv 图表推理基准得分 80.8%,高于前代 Nemotron 3 Nano Omni 的 63%;结合 Python 代码解释后达到 84%。多家企业已基于自有数据后训练该模型:Scale AI 为 Skydance 定制供应商信用处理智能体,推理成本预计降 40 倍、延迟降 5 倍;金融平台 Ramp 将其用于收据转结构化数据,吞吐提升最高 50%、延迟降 10 倍;AI21 与 Alice 合作做威胁情报,准确率提升 40%。

与 Super VL 一同亮相的还有两款端侧模型:Nemotron 3.5 Bolt 74B-A9B 经 2 位量化压缩至 24GB,可在本地 RTX/DGX Spark 运行日常智能体任务;更小的 Bolt E4B 4GB 面向语音助手与嵌入式界面,计划于10月23日发布。三款开放模型覆盖了从企业服务器到边缘设备的完整部署层级,开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道获取,并用 NeMo 工具链做监督微调、LoRA 与强化学习定制。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!