英伟达开源Cosmos 3世界模型，统一推理、生成与动作赋能具身智能

11 月 5 日，英伟达在 Hugging Face 上发布了四个全新的开源权重检查点，将其 Cosmos 3 世界模型家族扩展到交互式世界仿真与多传感器驾驶场景生成。这四项模型均为 Cosmos 3 Nano（160 亿可训练参数）的训练后版本，采用对商业和非商业都友好的 OpenMDW1.1 许可，开发者可直接下载权重、训练脚本与配套数据集。

四个检查点按任务切分：Transfer-Auto 用于离线合成驾驶数据，可生成最多 11 路相机视角（含鱼眼）的同步视频，并联合输出 RGB 与激光雷达点云；Sim-Auto 是其因果蒸馏的流式变体，以极少去噪步数生成连续的相机与激光雷达片段，支持长时序交互式推演；Sim-Transfer 把物理仿真器的控制量与文本提示渲染成照片级真实视频；Sim-Bimanual 则根据双臂机器人或相机的动作预测下一帧画面，支持 YAM 与 AgiBot 等具身智能本体。

与前代需要多模型分别负责世界生成、可控生成、场景理解与控制生成不同，Cosmos 3 用一套 Mixture-of-Transformers 架构把物理推理、世界生成与动作生成统一起来，文本、图像、视频、音频与动作模态在同一前向传播中处理。英伟达将其定位为物理 AI 的平台层基础设施，意图像 CUDA 之于 GPU 计算那样，成为机器人与自动驾驶仿真的默认世界模型骨架。

现实意义在于降低具身智能的训练门槛。真实世界的机器人与自动驾驶数据采集昂贵、缓慢且常受法律约束，而世界模型能先在仿真中生成训练样本与长尾场景，再迁移到真实设备。最小的 Nano 版本可在单张工作站级显卡上运行，让中小团队也能做实时物理推理。不过英伟达也坦言，这些模型能否可靠支撑策略学习与评估，仍需研究者持续度量与改进。