英伟达正式开放Cosmos 3物理AI世界模型,让机器人行动前先思考
10月底,英伟达正式向开发者开放Cosmos 3物理AI世界基础模型。这是全球首款完全开放的全模态世界模型,把推理、世界模拟与动作生成整合进单一架构,分Super、Nano、Edge三档,以开源权重形式在Hugging Face提供下载,面向机器人、自动驾驶与视觉AI等物理AI场景。
10月底,英伟达正式向开发者开放Cosmos 3,一款面向物理AI的开放世界基础模型。黄仁勋将其描述为物理AI爆发时代临近的标志性一步。与以往需要分别维护视觉语言模型、世界模拟器和动作模型不同,Cosmos 3第一次把推理、世界模拟与动作生成塞进同一个全模态模型,让机器人在真实世界里行动之前先思考。

架构上,Cosmos 3基于混合Transformer(MoT),由推理模块解析场景中的对象、交互与时空关系,再由生成模块产出符合物理规律的视频与动作轨迹。模型分三档:Super约640亿参数负责高保真世界建模,Nano约160亿参数用于高效后训练,Edge约40亿参数可跑在Jetson Thor、RTX显卡与DGX上做边缘实时推理。它在数十亿条文本、图像、视频、声音与动作轨迹样本上训练,并开放了一批合成数据集,将物理AI的训练评估周期从数月压缩到数天。

英伟达为Cosmos 3选择了开源权重路线(Linux基金会OpenMDW 1.1许可),模型已在Hugging Face提供下载并可部署为NVIDIA NIM微服务,同时拉起由Agile Robots、Black Forest Labs、Runway、Skild AI等参与的Cosmos Coalition开放联盟。在应用侧,Cosmos 3既可作为机器人策略学习的主干,生成训练数据与闭环仿真,也能为自动驾驶合成多传感器数据、为视频分析提供实时AI智能体。理想汽车已将其用于智能汽车,三星和LG也已基于该平台构建机器人能力,英伟达的算盘是用开放生态把开发者的工作流锁在自己的CUDA与DGX Cloud之上。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!