走进Omniverse：开放世界模型如何推动物理AI的前沿
摘要
NVIDIA推出Cosmos 3开放世界基础模型，采用混合Transformer架构，在文本到图像/视频生成、世界生成、机器人策略等多个基准测试中排名第一，并被机器人、自动驾驶等领域企业采用，同时结合Omniverse与OpenUSD提供从仿真到部署的工作流。
核心要点
- Cosmos 3模型家族包含Super (64B) 用于高保真世界建模、Nano (16B) 用于高效微调和Edge (4B) 用于边缘设备部署，Edge版本可运行在Jetson Thor等边缘GPU上。
- 在Artificial Analysis的文本到图像和图像到视频生成、PAI-Bench的世界生成、Physics-IQ的图像到视频类别以及RoboLab的机器人策略基准测试中，Cosmos 3均排名第一；Super版本在VANTAGE-Bench视觉理解中也是最高排名的开源模型。
- Cosmos 3采用Linux Foundation的OpenMDW 1.1许可证开源，允许团队在自己的数据和硬件上进行后训练，实现模型专业化。
- 该模型已被Doosan Robotics、LG电子、三星电子、Skild AI、Li Auto、小米等公司在机器人、自动驾驶和视觉AI系统中采用。
- NVIDIA扩展Cosmos联盟至日本，吸引机器人及制造业领导者加入，共同开发面向工厂、物流、农业、建筑、医疗和交通的开放世界模型。
原文佐证
- NVIDIA Cosmos 3 — a frontier open physical AI foundation omni-model built on a mixture-of-transformers architecture — combines vision reasoning, world generation and action prediction
- NVIDIA Cosmos world foundation models are available under the Linux Foundation’s OpenMDW 1.1 license, enabling teams to post-train models on their own data and hardware.
AI 洞察
物理AI的核心挑战在于仿真与现实之间的差距以及长尾场景的覆盖，Cosmos 3通过开放权重和统一架构让企业能够针对特定硬件和任务进行高效后训练，加速专业化和部署。其多合一设计减少了维护多模型栈的复杂性，可能成为具身智能的基础设施。NVIDIA通过开源和生态联盟正在构建围绕物理AI的开放标准，这可能会影响未来机器人、自动驾驶等行业的底层技术选型，推动更广泛的产业协作。