AI到底是「想错了」还是「判错了」？OpenDriveLab 陈立的组合式世界模型让策略自我纠偏

在具身智能通往 AGI 的征途中，我们正面临一个幽灵般的威胁：“黑盒幻觉”。

当一个机器人或自动驾驶策略出错时，开发者往往很难精准定位原因。因为“预测未来”和“评估好坏”这两个功能在庞大的联合网络中被紧紧绑在一起。一旦出了事故，你根本分不清它到底是“想错了”（对物理世界的预测不对），还是“判错了”（对结果好坏的评估有误）。

这种“想”与“判”的缠绕，正成为阻碍具身策略走向更高安全级和可检查性的最大绊脚石。

这种探索期的迷茫与争论，在2026年7月17日 RSS 2026Workshop现场，OpenDriveLab 核心成员陈立给出了他的答案。

陈立发表了题为“Improving Embodied Policies with Compositional World Models”的演讲，直击这一行业盲区，提出了“组合性”（Compositionality）原则。

这一原则的核心思想很简单：把世界模型的“预测”组件和“价值评估”组件彻底拆开，让它们各自独立、专业运作。预测组件只负责像沙盘一样推演“做动作后会发生什么”，而评估组件则只负责判断“推演出来的后果是好是坏”。这种功能上的解耦，让AI的决策过程变得像拼图一样，既清晰又可追溯。

在这场演讲中，陈立展示了四项层层递进的系统性工作：从自动驾驶的安全仿真 ReSim、操控任务的“先生成后修正” Generation-then-Revise、到自动驾驶后训练基础设施 World Engine、再到机器人策略自我改进的 RISE。这些工作不仅让机器人和无人车学会了“在想象中犯错、在安全中变聪明”，更将这一套组合式法则，一步步从“选择”推向“修正”，乃至风险等级最高的“后训练”。

虽然风险等级层层递进，但每一步都保留了可检查性，让错误可以被追溯，而不是被掩盖在黑盒之中。

以下是陈立在 RSS 2026大会上发表的演讲精编稿，雷峰网AI科技评论基于原英文演讲内容进行了不改原意的翻译编辑：

演讲实录：Improving Embodied Policies with Compositional World Models

主讲人：陈立（Li Chen） | OpenDriveLab

大家好！今天我想和大家探讨一个贯穿我们近期工作的核心思想，这个思想其实非常简单：预测能告诉我们某个动作可能带来什么后果，但仅凭预测本身，并不能告诉我们这个后果是否有用。我将这种“预测与评估保持足够独立、各自实现专业化”的特征，称为世界模型的组合性（compositionality）。

在当前的具身智能领域，正如大家所见，具身策略在将观测和指令映射为动作方面已经变得非常强大。不过，这里需要澄清一点，屏幕右侧展示的部分并非世界模型，它本质上是一个策略。

事实上，很多策略的失败并不是因为它们误解了指令，而是由于策略没有预判其动作可能带来的后果。比如在驾驶场景中，一个策略可能在局部看起来很安全，但仅仅一秒后就会陷入危险的交互；在机器人操控中，机器人可能一动起手就遭遇失败，导致下一阶段的任务根本无法完成。

虽然物理试错（例如真实世界的强化学习）可以暴露这些问题，但它的过程极其缓慢、伴随着风险，且很难进行并行化。相比之下，世界模型提供了一个极具吸引力的方案，让策略在最终做出决策之前，有一个能够审视可能后果的虚拟空间。

随着研究的深入，“世界模型”这个术语已经被广泛使用，其涵盖的系统也因为与动作的关系不同而呈现出多样化的图谱。在这张图上，我放置了一些非常具有代表性的工作。我们可以看到，从左到右，动作接口变得更加可控；从下到上，系统对策略的感知程度逐渐增强。比如常见的视频生成模型，它们虽然能从广泛的视觉和物理先验中学习，但并不提供具身动作接口。另外一些系统则支持可控仿真，比如CARLA以及我们团队的其他工作，但在决策时的在线推理或策略改进方面，它们还没有过多涉足。

而在我们当前及未来的工作（如World Engine和RISE）中，我们探索的重点正是如何利用这些世界模型来改进策略。

为了实现这个目标，我们构建了一个典型的模型流程。

我们首先输入历史观测和一个具体动作（比如在这个例子中的右转），然后为未来的时间步想象出未来的状态。在驾驶场景中，动作可以是轨迹航点等高层级信号；在操控任务中，它则可能是一段连续动作或控制信号。尽管状态的表示形式可以多样化（如视频、潜状态或结构化几何），但核心要求始终是因果可控性，也就是说，改变动作必须能以正确的方式改变想象中的未来。

紧接着是价值评估部分。价值模型接收想象出的未来状态，并结合当前任务或目标，去估算奖励或价值（如进度或优势值）。这个输出可以将预测转化为策略接口。如此一来，策略不仅可以在候选轨迹中进行选择，还可以在动作生成过程中提供梯度，甚至可以在这些生成的经验上进行强化训练。

需要强调的是，我们这里的“组合式”是在功能意义上使用的。即便预测和评估存在于同一个更大的系统中，它们也保持着独立性。

这种让想象与评估分离的机制至关重要，它赋予了系统一种诊断能力，让我们能够追问：一个决策错误究竟是因为模型预测了错误的后果，还是因为价值模型做出了错误的判断？

这种独立性之所以必不可少，是因为两者的目标截然不同。预测部分需要输出高维的未来观测，而评估部分则需要输出奖励、进度或优势值。在建模方法上，动力学预测侧重于高维生成，而价值评估则侧重于任务条件下的评估与失败检测。虽然理论上一个单一的联合网络可以同时服务于这两者，但它会极大地耦合标签、模型容量和更新调度。

因此，我们采用组合式框架，确保这些选择在保持可能性的同时，更加独立和可靠。

基于这一思想，我们开展了四项具体的实践工作，它们在利用世界模型的方式上各有侧重，下面我将为大家逐一展开。

ReSim：自动驾驶的可靠世界模拟

首先是关于自动驾驶可靠世界模拟的ReSim项目，我们以此来解决预测可靠性的问题。

真实世界的数据集（如nuScenes）虽然提供了极大的视觉多样性，但其中的大多数动作都来自于极其谨慎的人类驾驶员。这意味着其动作分布非常狭窄且偏向安全，诸如偏离道路等非正常行为的数据极为稀少。在这些数据上训练出来的世界模型，很容易忽略异常的动作输入，从而生成看似正常的画面。比如，当我们给模型输入一个不安全的控制信号时，它却无法生成相应的危险后果。这对于策略评估是致命的——如果想象中的未来永远是一片祥和，奖励信号就无法区分动作的优劣。

为了扩展动作覆盖，我们将来自CARLA模拟器的非专家动作与来自YouTube及nuScenes的真实数据相结合。真实世界数据提供了丰富的场景和交通标注，而仿真数据则补充了不安全行为的后果。通过这种组合训练，并结合一个能零样本迁移到真实世界的Video2Reward模型，ReSim成功具备了预测危险后果的能力。在NAVSIM测试中，利用ReSim提供的奖励信号，规划得分达到了74.1分。

Generation-then-Revise：操控任务的价值引导生成

这促使我们思考下一个问题：价值能否在决策完成之前就直接影响动作的生成？为此，我们提出了针对操控任务的 Generation-then-Revise 流程。

在以往的工作中，价值推断通常只考虑单条想象轨迹，并且无论初始提议是否正确都会执行串行修正，效率较低。我们的新方法引入了期望优势评论器与多束搜索。策

略首先提出一个动作序列，随后由一个轻量级的两层触发器快速决定是直接执行还是进行修正。如果触发修正，扩散模型会展开多个候选路径，并通过快速评论器估算每条路径的优势值来择优选择。这种“早退出”机制大幅减少了不必要的推理时间，同时确保了修正的质量。

到这一步，世界模型的想象力已经可以改进单个策略。

World Engine：自动驾驶后训练的基础设施

为了让生成的经验能够直接作为策略改进的环境，我们开发了自动驾驶后训练基础设施World Engine。

在这个项目中，我们针对长尾事件，利用3D高斯泼溅（3DGS）将真实场景重建为逼真的交互式环境。这里的行为世界模型是一个基于多智能体轨迹的扩散模型。我们可以设定特定的目标点，并根据地图拓扑生成周围车辆多样化的未来轨迹。行为模型预测运动，3DGS渲染器则生成对应的传感器观测。两者结合，成功将一次真实的记录转化为多次闭环的交互强化训练。

实验表明，这种闭环后训练大幅提升了策略在处理真实长尾事件时的成功率。

RISE：用组合式世界模型实现机器人策略自我改进

将这种重建场景与策略改进相结合的思路，我们也延伸到了机器人领域，这便是我们的第四项工作：RISE（基于想象自我改进的机器人强化学习）。

RISE相关链接：https://github.com/OpenDriveLab/RISE

真实世界的机器人强化学习面临着物理成本高、安全监控难、硬件易损等多重困境。在RISE中，我们以少量的真实演示和物理推演作为锚点，而将大部分的交互训练转移到了世界模型的想象空间中。

RISE的世界模型同样由两个专业化的组件构成：动力学模型负责接收近期观测和未来动作，并预测出多视角的未来画面；价值模型则接收这些想象画面并估算任务进度，将价值差异转化为奖励。这两个组件具有不同的归纳偏置——视频生成需要保持视觉连贯，而价值模型需要敏锐地检测出细微的失败。

在实现细节上，动力学模型基于通用视频生成基座进行了轻量化定制，能在两秒内快速生成25帧画面。同时，我们通过任务中心批处理技术，让模型更专注于学习动作控制引起的视觉差异。价值模型则基于预训练的机器人大模型进行微调，结合了进度回归和时序差分（TD）双重目标，既能提供平滑的进度信号，又对失败动作极其敏感。

这种双组件的专业化带来了巨大的优势。由于动力学模型和价值模型仅在训练期间发挥作用，训练完成后，部署在机器人上的策略完全不承担世界模型的推理开销。此外，由于接口是完全可检查的，当系统表现不佳时，我们可以清晰地诊断出是动力学模型的预测出了偏差，还是价值模型的信用分配出现了失误。

在实际的改进循环中，策略从真实观测锚点出发提出动作，动力学模型预测结果，价值模型进行评估，并将这些想象经验与真实数据混合放入缓冲区用于策略更新。为了防止世界模型产生幻觉，我们限制了推演的步数，并始终以真实数据作为支撑。实验表明，在动态分拣和物体操控等任务上，RISE均取得了显著的性能提升，且最终部署的策略依然保持着极高的执行效率。

总结我们这一系列的工作，其核心在于：使预测和评估专业化，用不同数据进行监督，独立扩展各个组件，并在信任生成经验之前对其进行审视。

展望未来，我认为有三个关键的方向值得重点突破：

第一是基础设施的建设，世界模型的训练、推理和具身环境必须变得更加高效；

第二是泛化能力，尤其是开发通用的价值模型；

第三是世界模型的探索，例如Cosmos Token等新技术在未来的应用。

在这个过程中，我们的挑战在于如何在实现系统整合的同时，不失去组件的专业化与可检查性——而这正是组合式方法的价值所在。

以上就是我今天的分享，谢谢大家！

Q&A 问答环节

Q：第一个问题是：特定的进度价值模型如何在不重新训练的情况下泛化到未见过的任务中？

陈立：目前来看，价值模型本质上依然是任务特定的。我们的做法是利用一些域内数据，在预训练基座（如 π0.5）上进行微调，从目前的反馈来看，这种方式是有效的。

Q：第二个问题也比较类似：价值模型在未见过的数据点上有多可靠？其偏差大概有多大？

陈立：对于全新的任务，价值模型确实无法直接泛化。但是对于域内的泛化（例如光照、位置的改变等常见的泛化测试），价值模型的泛化能力可以与策略模型本身的表现相媲美。因为它们共享了相同的预训练基座，在论文中，我们也使用了相同的数据并结合了TD损失来进行训练。