物理AI大脑研究
1、 研究对象与边界:物理AI大脑是系统层能力
1**.1物理AI大脑的系统定义**
IDC将物理AI界定为机器学习、多模态智能体、计算机视觉与物理系统的协同,并明确其价值覆盖具身模型、仿真、芯片、边缘基础设施、车队编排、网络安全与服务,而非只有机器人本体。1
因此,物理AI的大脑可定义为:把多模态观测、任务目标、工艺约束与安全边界转化为可执行动作或动作建议的系统层,是模型、数据、实时控制、安全机制、现场接口和运维体系的组合。其控制闭环为:
感知/状态估计 → 状态表征 → 预测/世界模型 → 任务规划与动作策略 → 约束优化/控制 → 执行与反馈
物理AI的价值分配可能沿"硬件 → 数据/软件 → 接口/运维"迁移。是否成立,要看数据能否持续积累、接口能否形成切换成本、部署能否转化为持续的服务收入。
1**.2研究问题**
核心问题 | 研究命题 |
|---|---|
如何理解世界 | 表征路线:物理状态表征 |
如何预测 | 物理状态预测:下一物理状态 |
如何进入世界 | WAM与VLA:从预测到动作 |
如何规划 | 架构路线:分层与端到端 |
如何协调 | 多机协调:异构机器人的协同 |
关键概念:
通用性:可解决问题的任务范围;
泛化性:同一任务族内面对对象、光照、位姿、物料、设备和工艺变化时的适应能力;
自主性:系统在少人工干预下完成任务的能力;
可复制性:从单工位、单厂迁移至同类客户和工厂的能力。
2、 宏观背景:中国具备自动化存量、柔性升级需求与现场数据规模三重基础,物理AI更可能先在限定工业场景落地
2.1 劳动力、存量自动化与柔性升级缺口
劳动力结构变化
伴随人口结构变迁,制造业用工压力正从简单重复劳动,转向"高精柔性装配、异常处理与快速换型"等环节。国家层面拟新增"具身智能机器人应用技术员"等新职业以顺应智能劳动力落地趋势。2
自动化存量基础
IFR《World Robotics 2025》显示,2024年中国在役工业机器人存量约202.7万台,当年新安装29.5万台、约占全球54%,本土供应商份额约57%。3
柔性升级缺口
大量传统机器人依赖示教、硬编码与固定工装,面对工件公差、位姿、光照变化,以及柔性件、非标件时,常需人工干预或重新调试。因此,物理AI的优先机会更可能来自成熟自动化尚未经济解决的柔性工位,而非一开始替代全部人工或全部产线。4
2**.2研究假说:场景收敛+局部泛化**
短期内更可行的路径,可能不是追求跨行业、跨任务的通用能力,而是在有限但高频的任务族中先实现可复制的局部泛化,再以数据、仿真与部署模板逐步扩展通用能力。
相比让机器人"上知天文、下知地理",更务实的路径是让它先理解具体的作业场景,形成适用于细分任务的模型能力,完成从"看得懂"到"干得好"的跨越。
假说是否成立,还需要通过真实工位的成功率、人工接管率、异常恢复时间、部署周期、维护成本和投资回收期验证。
3、 理解与预测:五大路线
物理AI世界模型五大表征路线对比
执行摘要
物理AI大脑"如何理解世界"这一问题可沿预测对象拆成五条并行表征路线:语言中心预测下一词元、像素中心预测下一帧像素、三维结构中心预测3D几何与位姿、视觉表征中心预测压缩视觉嵌入、物理状态预测路线预测下一物理状态56789。五条路线的核心局限均属表征层面的结构性限制,而非工程实现问题——语言空间难以承载连续物理量、视觉合理不等于物理正确、几何结构与物理状态之间存在断层101112。五条路线并非替代关系,VLA 与世界模型可协同工作1314。
一、划分依据:预测对象决定能力边界
围绕世界模型的表征形式已形成多条并行路线,按"预测对象"分类,五条路线的完整对照如下:15
路线 | 预测对象 | 代表 | 数据利用特点 | 核心局限 |
|---|---|---|---|---|
语言中心 | 下一个词元 | π₀及后续模型 | 依赖大规模语言数据 | 学到的是语言描述的世界5 |
像素中心 | 下一帧像素 | Sora、Seedance | 依赖大规模视频 | 视觉合理≠物理正确6 |
三维结构中心 | 3D几何与位姿 | World Labs Atlas | 依赖多视角图像 | 几何结构≠物理状态7 |
视觉表征中心 | 压缩视觉嵌入 | Meta V-JEPA 2 | 非生成式,效率较高 | 表征演化≠物理规律8 |
物理状态预测 | 下一物理状态 | WoW具身世界模型 | 可利用失败轨迹 | 数据成本高,工程化尚早9 |
五条路线的"预测对象"从符号空间(词元)向物理空间(物理状态)逐级迁移。各路线的"核心局限"都指向同一类问题——用何种表示来描述世界,决定了它无法表达哪一类信息。
二、语言中心路线:RL 与 VLA 的重新融合是主要演进方向
语言中心路线的核心思路是把视觉、动作等模态映射到语言空间,在文本空间中预测下一个词元,代表为 Physical Intelligence 发布的 VLA 基础模型 π₀ 及后续模型16。
π₀ 采用基于流匹配(Flow Matching)的 VLA 架构,将预训练视觉语言骨干与扩散动作策略耦合,在超过 10,000 小时的跨本体遥操作数据上训练;后续模型 π0.6 提出 RECAP 方法,绕过 Flow Matching 难以计算对数概率的限制,让强化学习重新与 VLA 深度融合17。
该路线的结构性局限在于:模型学到的是"语言描述的世界"而非物理后果本身;语言空间难以直接表达力、接触、形变等连续物理量10。
据 Physical Intelligence 官方博客,π₀ 将预训练 VLM 微调后以 50Hz 频率输出动作块,以支撑灵巧操作等此前自回归 VLA 难以完成的连续控制任务18;π0.5 在此基础上实现了向全新环境的显著泛化19。据 arXiv 摘要与 36氪报道,RECAP 采用三阶段流程(离线 RL 预训练、真机数据采集与专家遥操作纠错、自主试错自改进),场景覆盖意式咖啡制作、衣物折叠、纸箱包装装配,并宣称吞吐量翻倍2021。
该路线的演进动因可从两处读出:π0.6 之所以要"绕过 Flow Matching 难以计算对数概率的限制",说明连续动作生成架构与强化学习之间存在数学上的适配障碍;50Hz 高频动作块输出则是在不改变语言空间表征的前提下提升连续控制能力的工程手段。
三、像素中心路线:生成质量与物理正确性相互分离
像素中心路线在视觉空间中学习视频或图像序列、预测下一帧像素,代表方向为字节跳动即梦、快手可灵等主流产品,采用 DiT 路线22。
该路线能生成高质量视频,但本质上是"不理解世界"的抽卡式生成,并未显式建模物理规律,目前仅支持 15 至 30 秒片段22。其价值边界在于:在视频生成与内容创作领域具有明确价值,但输出不构成物理AI大脑可依赖的状态预测23。训练目标并非还原真实物理规律,更接近"世界模拟"而非具备完备的状态预测能力;通过生成像素来建模世界,在高维连续感知输入中处理预测不确定性并不可行11。
LeCun、Gary Marcus 等对 Sora 作为世界模拟器提出质疑,指出其生成视频存在违反重力、碰撞动力学、物体持久性等物理一致性错误24;OpenAI 自述其无法准确仿真玻璃碎裂等基本交互物理,长样本存在不连贯与物体自发出现等失效模式25。产品层面,Seedance 2.0 与可灵 3.0 的实测对比显示可灵输出偏僵硬、Seedance 存在生成失败情况26;Seedance 2.0 通过引入世界模型先验知识,试图解决时空一致性、物理因果性与多模态同步难题27。亦有观点认为"视频生成模型不等于世界模型",像素渲染逼真不等于理解物理规律28。
对照项 | 表述 |
|---|---|
生成能力 | 能生成高质量视频,仅支持 15-30 秒片段22 |
物理一致性 | 不显式建模物理规律;"视觉合理≠物理正确"226 |
训练目标 | 更接近"世界模拟",非完备状态预测11 |
外部验证 | |
产品实测 | 可灵输出僵硬、Seedance 存在生成失败26 |
该路线一方面在视频生成与内容创作有明确价值,另一方面其输出不可作为物理AI的状态预测输入——这一价值边界是本路线讨论中信息量最大的事实判断231128。
四、三维结构中心路线:几何真实与动力学真实之间存在断层
该路线依托生成网络构建高保真的三维几何与时空演化表征,使模型从"二维像素的预测"走向"带几何、位姿与物理属性的三维环境理解",代表方向为李飞飞团队创立的 World Labs 及其空间智能路线29。
World Labs 发布的 Atlas 模型基于多模态自回归扩散 Transformer,将相机空间位姿与 3D 几何结构作为原生输入,宣称可从 1 至数十张输入图像重建持久三维世界,支持相机控制生成、时空模拟与可漫游场景30。该路线的价值定位为为物理AI提供空间表示基础设施——数字孪生构建、仿真环境生成、任务规划中的空间查询31。
主要局限:几何真实≠动力学真实;动作后果建模有限;高精度重建与更新成本较高,更适合云端或离线侧。李飞飞团队的自我定位是:当前空间智能的核心任务是从高维感知数据中重建物理结构,服务于机器人操控和自动驾驶,而非直接预测物理状态演化12。
World Labs 官方博客称 Atlas 统一处理文本/图像/视频/3D,输入锚定于共享空间语境,输出最高 1 分钟 1440p 视频32。资本层面,World Labs 完成 10 亿美元新一轮融资,英伟达、AMD 等参与,估值达 50 亿美元3334。
该路线的分工定位较为清晰——它解决"空间表示"而非"物理演化"。资本端已出现大额融资,技术端团队自己把任务边界限定在"重建物理结构",两者对照说明该路线的价值主张与"物理状态预测"能力并不直接等同123233。
五、视觉表征中心路线:非生成式带来算力效率优势,泛化边界在"表征≠物理规律"
该路线的核心不是在像素空间重建全部观测,而是在任务相关的抽象状态空间中预测被遮蔽区域、未来状态或动作后果,以 Meta 提出的 JEPA(Joint Embedding Predictive Architecture)为代表。Meta 于 2025 年发布 V-JEPA 2,将其定位为非生成式、自监督的世界模型;随后提出动作条件版本 V-JEPA 2-AC,探索其在机器人规划中的应用35。
JEPA 的核心优势在于计算效率——在有限算力下做快速前瞻与规划。当任务范围收窄、环境动态相对可控时,JEPA 不需要为精细动作生成完整像素,可与专用控制器形成分工:上层在抽象状态空间完成感知、表征与规划,底层控制器负责关节、力矩与实时轨迹闭环36。
泛化边界:视觉嵌入演化不等于物理规律演化;跨工厂、跨本体泛化仍需大量数据与验证37。
据 arXiv 摘要,V-JEPA 2 在超过 100 万小时互联网视频上预训练,用不足 62 小时无标注 Droid 机器人视频后训练出动作条件世界模型 V-JEPA 2-AC,并在两个不同实验室的 Franka 机械臂上实现零样本抓取放置规划,无需目标环境数据或任务奖励38。Meta 官方博客称 V-JEPA 2 为 12 亿参数视频世界模型,达视觉理解与预测 SOTA,支持新环境零样本机器人规划,并发布三套物理推理评测基准39。另有量化对比显示:V-JEPA 2-AC 抓取成功率较 Octo 提升约 500%,规划速度较 Cosmos 快约 15 倍40。
该路线的效率优势来自"不生成像素"这一架构选择,而非单纯工程优化。上述量化对比均来自网络摘要,引用时需注意来源层级363840。
六、物理状态预测路线:失败轨迹利用是数据效率来源,工程化与数据成本仍是约束
该路线的思路是从"预测下一词元/像素/嵌入"转向"预测下一物理状态",代表为北京人形机器人创新中心发布的 WoW 具身世界模型,具备"物理引擎级生成能力",能学习机器人交互轨迹并预测未来场景41。
该路线的核心判断是数据利用效率显著更高——VLA 依赖高质量成功轨迹,而世界模型可将失败轨迹纳入训练,使机器人在执行动作出现偏差后能够及时调整轨迹,把失败转化为下一次行动的经验42。主要局限:数据成本高,工程化尚早43。
据 WoW 项目主页,WoW 为 140 亿参数生成式世界模型,基于 200 万条真实机器人交互轨迹训练,提出 SOPHIA 视觉-语言智能体迭代修正生成结果以抑制物理幻觉,协同逆动力学模型将精炼计划转译为可执行动作,并发布物理一致性与因果推理基准 WoWBench44。其四大技术组件为:DiT 世界生成基座模型、FM-IDM 逆动力学模型、SOPHIA 反思范式、WoWBench 基准45。WoW 可从 3D 动作轨迹生成 640×480 分辨率、300 帧以上长视频,并建模成功与失败 rollout,为策略学习提供可控训练数据以降低真实采集风险与成本46。
该路线与其他四条的差别不在"预测得更准",而在"能用什么数据训练"——失败轨迹的可用性直接对应真实数据采集成本。但"数据成本高、工程化尚早"的局限说明上述效率优势尚未转化为工程可行性424346。
七、路线之间不是替代关系
VLA 直接将视觉和语言理解映射为行动预测,受益于广泛的互联网知识,但通常被训练成将观察结果和指令映射到行动,而非明确地对世界的时空物理动力学进行建模。五条路线并非替代关系,VLA-JEPA 等融合框架的出现表明各路线可协同工作1314。数据效率维度上,VLA 依赖高质量成功轨迹,而世界模型可将失败轨迹纳入训练47。
另有分析把融合路径描述为 VLA 做低层执行、世界模型做高层规划,并指出 Cosmos 生成的视频尚未达到接触力学、形变、流体等物理精确度,sim-to-real gap 仍是核心问题48。
"融合"出现两条线索——架构层(VLA-JEPA 融合框架)与数据层(成功轨迹 vs 失败轨迹)。二者共同指向一个事实结构:VLA 的优势在互联网知识与动作生成,世界模型的优势在物理动力学建模与数据利用广度131447。
八、五条路线横向对照
路线 | 瓶颈类型 | 工程化/资本状态 |
|---|---|---|
语言中心 | 表征结构性:连续物理量10 | |
像素中心 | 训练目标与物理正确性脱耦11 | 内容创作领域已商业化,时长 15-30 秒2223 |
三维结构中心 | 几何与动力学断层12 | |
视觉表征中心 | 表征演化≠物理规律37 | |
物理状态预测 | 数据成本与工程化43 |
4、 从预测到动作:World Action Model
WAM 定义、架构与能力边界
执行摘要
WAM 的定义落点不在"预测未来状态",而在把候选干预与预测后果连接起来——给定一个动作,预测它会导致什么状态变化49。代表项目 DreamZero(14B 参数,构建于预训练视频扩散骨干 Wan2.1-I2V-14B-480P,仅用 DROID 数据集训练)通过联合的视频-动作扩散 Transformer 同时预测潜在视觉表征与机器人动作,以减少物理上不合理的行动5051。三项核心能力(零样本泛化、30 分钟具身适配、行动前视觉预测带来的可解释性)以定性方式给出52,其量化支撑(AgiBot 平均任务进度 62.2% 对最优预训练 VLA 27.4%、DROID 未见动词 49% 对 25–32%、7Hz 推理的 38× 加速等)来自网络资料摘要,未核对网页正文535455。推理延迟由早期每周期数秒经减少扩散步骤、异步推理、模型蒸馏降至 7Hz 实时闭环,但 7Hz 是研究演示值、且不构成高频控制56575855。
一、WAM 的定义边界:连接动作与后果,而非只预测未来状态
World Action Model 不局限于预测未来状态,而是将候选干预与预测后果连接起来——给定一个动作,预测它会导致什么状态变化49。据 NVIDIA 的表述:WAM 是一种机器人 AI 模型,既学习世界可能发生的变化,又学习机器人可以采取哪些行动来塑造这种变化,通过预测未来状态并将其与行动相匹配,帮助机器人在新任务或新环境中规划与适应50。
按这一口径,"分界"落在两件事上:模型是否以候选动作为条件,以及是否把状态变化作为输出。
与纯世界模型的分界。 第 3 章"物理状态预测路线"中,WoW 具身世界模型从"预测下一词元/像素/嵌入"转向"预测下一物理状态",具备"物理引擎级生成能力",能学习机器人交互轨迹并预测未来场景;该路线的核心判断是数据利用效率显著更高——VLA 依赖高质量成功轨迹,而世界模型可将失败轨迹纳入训练,使机器人在执行动作出现偏差后及时调整轨迹,把失败转化为下一次行动的经验59。这条路线回答的是"世界接下来会怎样",定义上并不要求把候选干预与后果绑定;WAM 则明确要求把两者连起来49。
与 VLA 的分界。 VLA 直接将视觉和语言理解映射为行动预测,受益于广泛的互联网知识,但"通常被训练成将观察结果和指令映射到行动,而非明确地对世界的时空物理动力学进行建模"60。这是 WAM 与 VLA 分界的直接依据。
网络摘要还提供两条分类视角的补充:首个系统性 WAM 综述(arXiv 2605.12090)正式定义 WAM 并区分 VLA 与世界模型,建立 Cascaded(级联)与 Joint(联合)分类法,并梳理数据生态与评测协议(视觉保真、物理常识、动作合理性)61;NVIDIA 开发者博客把 WAM 分成三类形态——逆动力学、联合预测、表征-only,其中 Fast-WAM 属于表征-only 变体,训练期保留视频共训练、推理期跳过视频生成6263。
表 1 把三条路线在预测对象、动作连接、数据利用与代表项目上并列对照4950605659。
表 1:WAM、纯世界模型(物理状态预测路线)与 VLA 的对照
维度 | WAM | 纯世界模型(物理状态预测路线) | VLA |
|---|---|---|---|
预测对象 | 动作导致的状态变化(干预—后果对)49 | 下一物理状态59 | 动作本身60 |
是否以候选动作为条件 | 是,候选干预入、后果出49 | 不以候选干预为必要输入 | 输入观察与指令,输出行动60 |
是否显式建模时空物理动力学 | 以视频为核心学习信号56 | 是(物理引擎级生成能力)59 | 否60 |
数据利用特点 | 视频为主要学习信号56 | 可纳入失败轨迹59 | 依赖高质量成功轨迹59 |
代表项目 | DreamZero(14B,Wan2.1-I2V-14B-480P,仅 DROID)50 | WoW 具身世界模型59 | π₀ 及后续模型 |
主要局限 | 推理延迟显著高于 VLA56 | 数据成本高,工程化尚早59 | 不显式建模时空物理动力学60 |
二、DreamZero 架构:联合视频-动作 DiT 如何抑制物理上不合理的动作
代表项目为 NVIDIA GEAR 实验室提出的 14B 参数 WAM DreamZero,构建于预训练视频扩散骨干网络 Wan2.1-I2V-14B-480P 之上,仅使用 DROID 数据集训练50。
架构的核心机制是联合建模。WAM 采用联合的视频-世界行动模型扩散 Transformer(DiT),能联合预测未来的潜在视觉表征和相应的机器人行动;这种联合建模方式确保两种模态深度整合,通过预测行动以及视觉表征,模型可以减少物理上不合理的行动或倾向于可行行动51。"行动前生成视觉预测、比黑盒 VLA 更快隔离故障"也是 WAM 相对 VLA 的优势来源之一64。
关于"为什么联合建模能减少物理不合理动作",网络摘要给出几种表述,并列保留、不作取舍:
Jim Fan 演讲纪要称,DreamZero 联合解码视频与动作,动作正确性绑定视频正确性;同一纪要还提到视频模型自发涌现物理规律,VLA 实为 LVA65。
Humanoids Daily 澄清 DreamZero 是联合预测,而非"先想象再逆动力学"58。
Rosikand 论文笔记把联合视频-动作理解为逆动力学55。
另一篇报道称 Jim Fan 主张机器人从语言主干转向视频世界模型主干,模型内部模拟物理规律66。
工程细节(网络摘要):Wan2.1-I2V-14B 主干为 40 层 DiT、hidden 维度 5120,采用 flow matching 自回归、双解码头,并用 KV-cache 以真实观测覆写以消除漂移;另有 DreamZero-Flash 加速变体67。训练侧规模约为 500 小时真实数据55。官方开源仓库提供 DreamZero-DROID 与 DreamZero-AgiBot 两组 checkpoint、训练与微调脚本、分布式 WebSocket 推理服务及新机器人适配说明68。Jim Fan 给出的路线图为视频预训练、动作微调、RL、自主改进四个阶段,并列出物理图灵测试、物理 API、物理自主研究三个里程碑69。
三、三项核心能力的证据与边界
DreamZero 的三项核心能力为零样本泛化、快速具身适配与可解释性,其中可解释性直接给出了区分 WAM 与黑盒 VLA 的操作方式52。
零样本泛化。 定义是:从大规模视频数据中学习物理动力学,而非记忆重复演示,无需额外训练即可泛化到全新任务和环境70。网络摘要给出的量化:项目主页列出 6 组实验(AgiBot/DROID 预训练零样本、后训练 OOD、YAM 30 分钟适配、交互式 prompt、7Hz 实时推理 38× 加速),AgiBot 平均任务进度 62.2%,对照最优预训练 VLA 为 27.4%,未训练任务为 39.5%53;arXiv 论文摘要给出 DROID 未见动词 49%,对照 VLA 为 25–32%54;ICLR 2026 收录页强调双向跨本体迁移,视频 only 提升超 40%71。
边界有四条需要同时看:Humanoids Daily 提示"7Hz 为研究演示值,零样本不等于未训练"58;"泛化性"的口径限定为"同一任务族内面对对象、光照、位姿、物料、设备和工艺变化时的适应能力"72;短期内更可行的路径"可能不是追求跨行业、跨任务的通用能力,而是在有限但高频的任务族中先实现可复制的局部泛化,再以数据、仿真与部署模板逐步扩展通用能力"73;跨工厂、跨本体泛化仍需大量数据与验证74。
快速具身适配。 定义是:在部署新机器人时,仅需 30 分钟多样化探索数据即可适配新硬件75。网络摘要补充:arXiv 称视频 only 演示 10–20 分钟相对提升 42%,30 分钟可适配新本体54;ICLR 收录页同样提到 30 分钟 YAM 适配71。这里的"30 分钟"指探索数据的采集时长,不是端到端部署周期。
可解释性。 定义是:由于 WAM 在行动之前生成视觉预测,开发者可以检查预测帧来隔离故障,比黑盒 VLA 更快地区分世界模型问题和行动工作流问题76。NVIDIA Glossary 的官方定义也把"行动前生成视觉预测以隔离故障"列为 WAM 的特性之一77。这属于工作流层面的可解释性,非形式化安全证明。
表 2 汇总三项能力的定性定义、量化线索与边界限定。
表 2:三项核心能力的证据与边界
能力 | 定义 | 网络摘要的量化线索 | 边界与限定 |
|---|---|---|---|
零样本泛化 | 从大规模视频学习物理动力学而非记忆演示,无需额外训练即可泛化到全新任务与环境70 | AgiBot 平均任务进度 62.2% 对最优预训练 VLA 27.4%,未训练任务 39.5%53;DROID 未见动词 49% 对 25–32%54;视频 only 跨本体提升超 40%71 | 7Hz 为研究演示值、零样本不等于未训练58;泛化口径限定在同一任务族内72;跨工厂、跨本体泛化仍需大量数据与验证74 |
快速具身适配 | 部署新机器人时仅需 30 分钟多样化探索数据适配新硬件75 | "30 分钟"为探索数据采集时长,非端到端部署周期 | |
可解释性 | 行动前生成视觉预测,检查预测帧隔离故障,比黑盒 VLA 更快区分世界模型问题与行动工作流问题76 | 官方定义亦列为 WAM 特性77 | 属于工作流层面的可解释性,非形式化安全证明 |
四、WAM 与 VLA:协同关系、推理延迟与 7Hz 的边界
VLA 被训练成把观察结果和指令映射到行动,而非明确建模时空物理动力学60。WAM 弥补了这一差距,因为视频作为核心学习信号,以密集且自然的方式展示了物理世界如何随时间演变56。二者并非替代关系,VLA-JEPA 等融合框架的出现表明二者可协同工作57。
延迟是主要工程代价。WAM 推理延迟显著高于 VLA,早期 WAM 系统每个推理周期需要数秒,但通过减少扩散步骤、异步推理技术和模型蒸馏,目前已实现 7Hz 的实时闭环控制56。
网络摘要对延迟与成本的补充(均未核对网页正文):
38× 加速的构成包括解耦去噪调度、缓存、量化与 CUDA 调优55;
README 实测单次推理在 GB200 约 0.6 秒、H100 约 3 秒58;
Fast-WAM 推理延迟 190ms,比 imagine-then-execute 的 WAM 快 4 倍以上,其判断是视频预测的价值主要在训练期改善世界表征63;
7Hz 需 Blackwell 级硬件67;
成本侧,action tuning 约 9 ZFLOPs,完整视频预训练加适配可超 50 ZFLOPs62;
2026 年 4 月 RoboArena 上 DreamZero 录得 1750 Elo,对照 Pi-0.5 为 162262。
表 3 把上述延迟与成本线索并排,用于对照"从每周期数秒到 7Hz"这条路径上不同方案的位置与代价。
表 3:推理延迟与算力成本的对照线索
方案或节点 | 延迟 | 算力成本 | 备注 |
|---|---|---|---|
早期 WAM 系统 | 每推理周期数秒56 | 未披露 | 通过减少扩散步骤、异步推理、模型蒸馏优化56 |
DreamZero(14B) | 7Hz 闭环;GB200 约 0.6s、H100 约 3s5658 | 完整视频预训练加适配可超 50 ZFLOPs62 | 7Hz 需 Blackwell 级硬件67 |
DreamZero 仅动作微调 | 未单独披露 | action tuning 约 9 ZFLOPs62 | 不含完整视频预训练 |
Fast-WAM(表征-only) | 190ms,比 imagine-then-execute 快 4 倍以上63 | 未披露 | 训练保留视频共训练、推理跳过视频生成63 |
Cosmos3 Edge | 15Hz(Jetson Thor)78 | 未披露 | 与 RTX PRO 6000 上的 Nano-Policy 版本并列78 |
五、五环框架中的定位与相邻路线的交叉
物理AI大脑的五个研究问题——如何理解世界(表征路线)、如何预测(物理状态预测:下一物理状态)、如何进入世界(WAM 与 VLA:从预测到动作)、如何规划(架构路线)、如何协调(多机协调)——中,WAM 承担的是"如何进入世界"这一环79。
与三维结构路线的交叉。 三维结构中心路线的价值在于"为物理AI提供空间表示基础设施——数字孪生构建、仿真环境生成、任务规划中的空间查询",其局限是"几何真实≠动力学真实;动作后果建模有限;高精度重建与更新成本较高,更适合云端或离线侧"80。即该路线解决"空间在哪里",不直接解决"动作会导致什么后果",与 WAM 形成分工而非替代。
与物理状态预测路线的交叉。 两条路线都涉及"下一状态",差别在数据利用与干预建模:物理状态预测路线的核心判断是可利用失败轨迹,把失败转化为下一次行动的经验59;WAM 则在此基础上把候选动作作为条件输入,输出对应的状态变化49。
与分层架构路线的交叉。 7Hz 这类推理频率在分层系统中并不直接驱动关节,而是夹在语义层与控制层之间:以 Figure AI Helix 02 的 System 0—1—2 三级架构为例,System 2 面向秒级尺度负责场景理解与任务拆解,System 1 以 200Hz 把语义目标转化为全身关节目标,System 0 以 1kHz 执行底层平衡与接触力控制81。
六、工程化与部署约束
推理延迟。 见第四节:从每周期数秒到 7Hz,代价是硬件与优化链路(减少扩散步骤、异步推理、蒸馏)566755。
训练数据规模。 DreamZero 仅使用 DROID 数据集训练50,训练侧规模约 500 小时真实数据55。作为对照,Cosmos 3 的预训练数据规模为 767M 图像、348M 视频、8M 动作样本78;Cosmos 3 被描述为统一视觉推理、物理仿真与动作预测82;NVIDIA 官方新闻稿提到 Isaac 仿真框架、Cosmos 与 Isaac GR00T 开放模型的行业落地83。两组数字口径不同(DreamZero 为单数据集训练时长,Cosmos 3 为预训练样本量),不能直接对比。
具身适配成本。 仅需 30 分钟多样化探索数据即可适配新硬件75。
7Hz 与高频控制层的衔接。 以 Helix 02 为例:System 2 秒级、System 1 200Hz、System 0 1kHz,训练数据来自超 1000 小时人类运动记录;2026 年 5 月,搭载 Helix 02 的 Figure 03 完成超 200 小时连续自主作业,累计分拣约 24.9 万件包裹81。即 7Hz 处于中间层位置,与 200Hz/1kHz 层之间还隔着动作生成与反射控制。Cosmos 3 Edge 版本在 Jetson Thor 上达到 15Hz78;"单本体、7Hz 非高频"也被列为 DreamZero 的局限之一55。
表 4 把 2026 年 WAM 相关节点按月份排开,用于观察 DreamZero 从论文发布到基准评测、综述与产品化信息的时间密度。
表 4:2026 年 WAM 相关关键节点
时间 | 事件 |
|---|---|
2026-02 | |
2026-03 | |
2026-04 | DreamZero 在 RoboArena 录得 1750 Elo,对照 Pi-0.5 为 162262 |
2026-05 | 首个系统性 WAM 综述 arXiv 发布,建立 Cascaded/Joint 分类法61 |
2026-06 | NVIDIA 博客梳理三类 WAM 形态与 ZFLOPs 对比62 |
2026-08 | NVIDIA 博客介绍 Cosmos 3 与 Cosmos3-Nano-Policy-DROID 部署,Edge 版 15Hz78 |
七、可落地对比表与量化证据清单
表 5:主要量化证据
维度 | 指标 | 数值 | 口径 / 条件 | 来源 |
|---|---|---|---|---|
零样本泛化 | AgiBot 平均任务进度 | 62.2% | 对照最优预训练 VLA 27.4% | 网络摘要53 |
零样本泛化 | 未训练任务平均任务进度 | 39.5% | 同组实验 | 网络摘要53 |
零样本泛化 | DROID 未见动词成功率 | 49% | 对照 VLA 25–32% | 网络摘要54 |
跨本体迁移 | 视频 only 相对提升 | 超 40% | 双向跨本体迁移 | 网络摘要71 |
快速具身适配 | 探索数据采集时长 | 30 分钟 | 适配新硬件(YAM) | |
快速具身适配 | 视频 only 演示 10–20 分钟相对提升 | 42% | 单次实验 | 网络摘要54 |
推理延迟 | DreamZero 闭环频率 | 7Hz | 需 Blackwell 级硬件;研究演示值 | |
推理延迟 | 单次推理耗时 | GB200 约 0.6 秒 / H100 约 3 秒 | README 实测 | 网络摘要58 |
推理延迟 | Fast-WAM 延迟 | 190 毫秒 | 表征-only,推理跳过视频生成 | 网络摘要63 |
推理延迟 | 早期 WAM 单周期 | 数秒 | 优化前基线 | 本地大纲56 |
推理延迟 | 加速比 | 38× | 相对特定基线;含解耦去噪调度、缓存、量化、CUDA 调优 | 网络摘要55 |
部署形态 | Cosmos3 Edge 频率 | 15Hz | Jetson Thor | 网络摘要78 |
算力成本 | action tuning | 约 9 ZFLOPs | 仅动作微调,不含完整视频预训练 | 网络摘要62 |
算力成本 | 完整视频预训练加适配 | 超 50 ZFLOPs | 同上 | 网络摘要62 |
训练数据 | DreamZero 训练数据 | 约 500 小时真实数据 | 仅 DROID 数据集 | 网络摘要55 |
训练数据 | Cosmos 3 预训练规模 | 767M 图像 / 348M 视频 / 8M 动作样本 | 与 DreamZero 口径不同,不可直接对比 | 网络摘要78 |
基准评测 | RoboArena Elo | 1750 | 2026 年 4 月单一时点,对照 Pi-0.5 为 1622 | 网络摘要62 |
架构参数 | DreamZero 规模 | 14B 参数 | Wan2.1-I2V-14B-480P 骨干;40 层 DiT、hidden 5120 | 本地大纲50、网络摘要67 |
表 6:跨路线落地维度对照
落地维度 | WAM(DreamZero 口径) | VLA | 三维结构路线 | 物理状态预测路线 |
|---|---|---|---|---|
控制频率 | 7Hz(研究演示值)5658 | — | — | — |
硬件门槛 | Blackwell 级67 | — | 更适合云端或离线侧80 | — |
数据侧门槛 | 仅 DROID 训练;约 500 小时真实数据;30 分钟探索即可适配新硬件507555 | 依赖高质量成功轨迹59 | 依赖多视角图像80 | 可纳入失败轨迹59 |
算力成本口径 | action tuning 约 9 ZFLOPs;完整视频预训练加适配超 50 ZFLOPs62 | — | 高精度重建与更新成本较高80 | 数据成本高、工程化尚早59 |
故障定位方式 | 检查行动前的预测帧,区分世界模型问题与行动工作流问题76 | 黑盒,无对应机制76 | — | — |
与高频控制层的关系 | 处于中间层,与 200Hz/1kHz 层之间还隔着动作生成与反射控制81 | 分层架构中承担动作生成角色81 | 作为空间表示基础设施80 | — |
表 6 中 WAM 侧已有控制频率、硬件门槛、算力成本、数据门槛、故障定位五类数字或机制,VLA 侧只有成功率对照与数据依赖方式两项,其余落地维度暂无对应数字。这是资料覆盖面的差异,不构成两者能力高低的比较依据。
口径与证据强度说明
以下几点属于口径限定或演示性数据:
7Hz 是研究演示值,不是产品部署值;README 实测单次推理在 GB200 约 0.6 秒、H100 约 3 秒58。
"零样本"不等于"未训练"58。
成功率口径为"平均任务进度"(62.2%)而非端到端任务成功率;未训练任务为 39.5%53。
1750 Elo 是 2026 年 4 月 RoboArena 单一时点的基准结果62。
38× 加速是相对特定基线的加速比,其构成包括解耦去噪调度、缓存、量化与 CUDA 调优55。
5、 规划与协调:系统架构路线
无论采用哪种预测与动作生成方式,物理AI系统最终都需要一个组织架构,把感知、预测、规划、动作生成、实时控制与安全机制组装成一个可部署、可观测、可回退、可迭代的整体。
围绕这一问题的讨论形成了三条路线。划分依据在于两个核心分歧:
智能应由多个专门化模块协同承载(分层架构),还是由单一模型统一承载(端到端模型);
架构选择应以技术路线的先进性为起点(技术驱动),还是以目标场景的认知需求为起点(场景驱动)。
5**.1分层架构路线**
主张按认知层级与时间尺度分解系统:高层负责语义推理与任务规划,低层负责高频控制与物理反射,各层以不同频率协同运行。VLA模型在其中承担动作生成角色,但系统整体仍由规划、控制、安全等模块共同构成。
典型代表为Figure AI的Helix 02,采用“System 0—1—2”三级架构:System 2面向秒级尺度,负责场景理解与任务拆解;System 1以200Hz将语义目标转化为全身关节目标;System 0以1kHz执行底层平衡与接触力控制,训练数据来自超1000小时人类运动记录。2026年5月,搭载Helix 02的Figure 03完成超200小时连续自主作业,累计分拣约24.9万件包裹。84
主要局限:层级间接口定义与错误传播仍需验证;高层语义偏差难以被低层自主纠正。
5**.2端到端统一模型路线**
主张将感知、推理与动作生成整合于单一可微分框架,避免多层级联中的误差累积。分层链路中,每一层的微小偏差会在后续层级中放大。
典型代表为它石智航AWE 3.5。与全球主流“基于图像理解世界”的VLA路线不同,AWE 3.5以“Born as One”为核心设计理念,从“基因”层面重构具身模型,在设计之初便将动作、感知、几何、触觉等多模态能力深度融合,使其成为模型的原生属性,而非后期拼接模块。85
主要局限:可解释性与安全验证难度高于分层架构,在需功能安全认证的工业场景中验证成本可能显著上升。
5**.3场景决定架构路线**
主张从场景的认知需求反推架构,而非从技术路线先进性出发。代表为酷哇科技CooWAIM 2.0,基于DAWN架构在隐空间联合训练世界预测器与动作降噪器,摒弃像素级长视频预测,聚焦影响动作决策的短时推演。
其消融实验中,CooWAIM 2.0 性能提升集中在2—3秒潜变量推演区间,时域延长至4秒后边际收益显著收窄;端侧算力负载压缩至原水平九分之一,NAVSIM基准PDMS得分89.1,推理延迟331.3毫秒。86
主要局限:“场景反推”依赖对认知需求的准确刻画;场景边界定义不当可能导致过度简化或过度定制。
5**.4三条路线的对比与延伸**
(一)单机场景下的对比
维度 | 分层架构 | 端到端统一模型 | 场景驱动架构 |
|---|---|---|---|
核心主张 | 按认知层级与时间尺度分解系统,高层规划、低层控制,各层以不同频率协同 | 将感知、推理与动作生成整合于单一可微分框架,避免多层级联误差 | 从场景的认知需求反推架构,而非从技术路线先进性出发 |
承载方式 | 多个专门化模块协同 | 单一模型统一承载 | 按场景需求决定模块化程度 |
优势 | 接口清晰,可验证性高;<br>各层可独立调试与替换 | 误差不跨层传播;<br>感知-决策闭环响应快 | 不过度设计;<br>单场景内效率最优;<br>工程投入与场景价值匹配 |
局限 | 层级间误差级联;<br>高层语义偏差难以被低层自主纠正 | 可解释性差;<br>功能安全认证难度高 | 依赖对场景认知需求准确刻画;<br>场景边界定义不当则过度简化或过度定制 |
适用场景 | 需功能安全认证的工业场景 | 数据闭环成熟、任务边界清晰的场景 | 垂直领域早期项目 |
代表项目 | Figure AI Helix 02 | 它石智航AWE 3.5 | 酷哇科技CooWAIM 2.0 |
关键权衡 | 以接口复杂度换取可验证性 | 以可解释性换取误差传播效率 | 以通用性换取单场景最优效率 |
(二)多机场景下的协调机制延伸
多机场景下,任务如何在异构机器人之间分配、冲突如何消解、通信如何标准化——每条路线都有对应的协调机制。
架构路线 | 多机协调方式 | 代表 | 机制描述 |
|---|---|---|---|
分层架构 | 分层协调:中央规划器分解任务,共享内存同步状态 | RoboOS | 采用Brain-Cerebellum分层架构,支持异构本体协作 |
端到端模型 | 去中心化协作:单一VLA策略部署到每台机器人,角色提示实现隐式协调 | CHORUS | 通过角色提示让多个机器人共享同一策略,无需中央调度器即可完成分工。 |
场景驱动架构 | 标准化通信:按场景选择标准化接口或专用调度算法 | MIT多机器人调度算法 | 统一通信接口,支持异构移动机器人混合运行 |
参考来源
IDC,Physical AI:A Systems Market,Not a Robot Category https://www.idc.com/resour
央广网,人社部征求意见拟新增12个新职业、20个新工种 https://edu.cnr.cn/dj/20260703/t20260703_527688616.s
IFR,World Robotics 2025 https://ifr.org/downloads/press_docs/2025-09-25-IFR_pres
Source:机器人产业链深度梳理,从全球分工到中国机会 https://m.21jingji.com/article/20260709/herald/a4b4
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
π0.5: A VLA with Open-World Generalization(Physical Intelligence 官方博客)
Real Machine RL: The Most Powerful VLA Model π*0.6 Arrives!(36氪)
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
Atlas: A World Model for Spatial Intelligence(World Labs 官方博客)
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(arXiv)
Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning(AI at Meta)
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理(大纲)-260921.pdf
WoW: Towards a World-omniscient World-model Through Embodied Interaction(项目主页)
物理AI大脑研究方向梳理(大纲)-260921.pdf
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
Beyond the VLA: NVIDIA's DreamZero and the GPT-2 Moment for Robotic World Models
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
Pretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models
物理AI大脑研究方向梳理大纲
How Robots Learn the Physical World: NVIDIA's Jim Fan on World Action Models
The Great Parallel: Jim Fan Outlines the Robotics End Game Strategy
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理(大纲)-260921.pdf(第 3.4 节)
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理大纲
Beyond VLAs: How World Action Models Reshape Robot Manipulation
物理AI大脑研究方向梳理大纲
物理AI大脑研究方向梳理(大纲)-260921.pdf(第 3.3 节)
物理AI大脑研究方向梳理大纲
NVIDIA Keynote: Cosmos 3 Realizes the World Action Model End Game
NVIDIA and Global Robotics Leaders Take Physical AI to the Real World
Figure AI:Introducing Helix 02:Full-Body Autonomy, https://www.figure.ai/news/he
人民日报:它石智航推动全栈自研成果落地,以具身智能赋能智能制造, http://paper.people.com.cn/rmrb/pc/content/2026
酷哇科技:The DAWN of World-Action Interactive Models, https://arxiv.org/html/2605.11