SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
作者:Qiayuan Liao、Yiyang Shao、Junfeng Long、Kevin Zakka、Roberto Horowitz、Pieter Abbeel、Koushil Sreenath 机构:UC Berkeley 发表:CoRL 2026 arXiv:2610.28480,首次提交于 2026-10-20
一句话定位
SuperMimic 面向人形机器人全身运动控制:给定一段人类动作参考,机器人需要在真实刚体动力学、接触和摩擦条件下完成跟踪。它把不同动作共享的身体动力学压缩进一个可微世界模型,再通过短时域想象 rollout 和 BPTT 直接训练策略,从而避免随着动作库扩大而线性堆叠模型无关强化学习的仿真采样成本。
1. 论文要解决的问题
动作库越大,控制器覆盖的走路、跳跃、翻滚、舞蹈等能力越丰富,但传统方法通常依赖大量模型无关强化学习(model-free RL)仿真采样,训练成本随动作库扩大而快速上升。
论文的关键观察是:不同动作的目标不同,但由同一具机器人身体执行,因此它们共享相同的身体动力学。若把这部分共享规律单独学习出来,就可以让一个动力学模型服务于整个动作库。
2. 核心思想
SuperMimic 同时训练:
- 策略网络 \(\pi_\theta\):根据本体观测和目标动作输出关节控制量;
- 可微世界模型:预测机器人执行动作后的状态、观测、奖励和终止概率;
- 价值网络 critic \(V_\psi\):估计当前状态之后更长期的累计回报。
训练循环有三个阶段:
- 当前策略在物理仿真器中采集状态、带噪动作和结果,写入 replay buffer。
- 从 buffer 取连续窗口,拟合世界模型。
- 从 buffer 中的状态出发,在冻结参数的世界模型中想象未来,利用 BPTT(沿时间展开的反向传播)直接更新策略。
部署时只使用策略网络,不运行世界模型、critic 或在线规划器。世界模型和 critic 是训练工具。
3. 训练数据与世界模型
3.1 监督标签从哪里来
世界模型的标签来自物理仿真器实际执行当前策略动作后的结果:
- 状态真值是仿真器计算出的实际身体状态,包含跟踪偏差、接触和失稳结果;
- 参考动作提供期望目标,不是世界模型要直接预测的实际状态;
- 数据采集时执行 \(a_t+\epsilon_t\),buffer 保存实际执行的带噪动作,使动作和结果正确对应;
- 奖励由仿真环境中的人工设计公式自动计算,不是逐帧人工标注,也不是物理引擎天然提供的评分;
- 无噪声观测由仿真状态构造,在加入传感器噪声前即可获得。
观测可写为
\[ o_t=\bar o_t+\eta_t, \]其中 \(\bar o_t\) 是无传感器噪声的观测,\(\eta_t\) 是人为采样的传感器噪声。无噪声观测不是完整状态,而是由状态经过选取、坐标变换和特征计算得到的部分信息;例如关节位置需要减默认姿态,重力方向需要转换到身体坐标系。上一时刻动作属于控制历史,若要把观测严格写成状态函数,需要把必要历史纳入增广状态。
3.2 世界模型的输入与部署关系
世界模型动力学写为
\[ \hat s_{t+1}=f_\omega(\hat s_t,a_t,\xi), \]其中 \(\xi\) 是当前仿真回合的物理上下文,例如摩擦系数、关节标定偏移和躯干质心偏移。
训练时这些参数由仿真程序随机采样且数值已知,因此可以输入世界模型,让模型在给定物理条件下进行确定性预测。不同 \(\xi\) 下共同训练,构成域随机化,使策略适应物理参数变化。
真机部署不需要获取 \(\xi\)。部署的策略只读取目标和最近的本体感知;历史观测可能支持隐式适应,但论文没有显式的摩擦或质心参数辨识模块,也没有证明能从历史精确恢复这些参数。
3.3 世界模型训练
模型在连续短窗口上进行自回归训练:从真实状态出发,用日志动作连续预测后续状态,再与仿真标签比较。损失包括状态、奖励、无噪声观测和终止标签的误差;可以解析计算的模块不需要单独学习损失。
这里的重点是:模型不仅要预测单步结果,还要在自己的预测状态上继续滚动,从而学习如何修正自身误差。
4. 通过世界模型训练策略
策略在模型中进行短时域想象。每一步先由世界模型产生无噪声观测,再加上传感器噪声,策略输出动作,世界模型继续预测下一状态。
策略目标为
\[ \hat J(\theta)=\mathbb E\left[ \sum_{t=0}^{H-1}\gamma^t\hat c_t\hat r_{t+1} +\gamma^H\hat c_HV_\psi(\hat s_H,g_H,\xi) \right]. \]变量含义:
- \(H\):显式展开的想象时域;论文使用短时域,避免长期模型误差累积;
- \(\gamma\):时间折扣;
- \(\hat r_{t+1}\):模型预测的下一步奖励;
- \(\hat d_t\):模型预测的终止概率;
- \(\hat c_0=1,\ \hat c_{t+1}=\hat c_t(1-\hat d_{t+1})\):软存活权重;
- \(V_\psi\):窗口末端之后的长期价值。
软存活权重让跌倒后的奖励逐渐衰减,同时保持目标可微。末端 critic 类似有限时域 MPC 中的终端价值:只展开短期过程,但估计更远的未来,避免策略偏好“眼前表现好、之后必然失稳”的动作。
4.1 BPTT 梯度
梯度沿着以下链路传播:
\[ \theta\rightarrow a_t\rightarrow \hat s_{t+1} \rightarrow a_{t+1}\rightarrow\cdots\rightarrow\hat J. \]世界模型参数 \(\omega\) 在策略更新时被冻结,表示不更新模型权重;但梯度仍然可以穿过模型,回传到动作和策略参数。
所得梯度是学习代理模型回报的梯度,不保证等于真实仿真器的精确梯度。状态预测误差较小,也不自动意味着模型的 Jacobian 同样准确。
4.2 为什么不直接使用仿真器梯度
如果仿真器已经具备高效、稳定且适合大规模并行的可微动力学,直接对仿真器求导完全合理。问题在于,刚体接触、碰撞、摩擦、约束求解和积分需要额外的导数实现;接触模式切换还可能使导数不光滑或敏感。有限差分也能估计转移 Jacobian,但高维动作会带来额外计算。
SuperMimic 选择学习可微代理模型,是在模型误差和训练效率之间进行工程折中:代理模型既能快速生成大量想象轨迹,又能通过神经网络自动微分提供策略梯度。论文没有证明该方案优于所有直接可微仿真路线。
5. Critic 的训练
令
\[ V_t=V_\psi(\hat s_t,g_t,\xi), \]critic 目标按时间反向递推:
\[ \hat R_t=\hat r_{t+1}+\gamma(1-\hat d_{t+1}) \left[(1-\lambda)V_{t+1}+\lambda\hat R_{t+1}\right], \]边界条件是
\[ \hat R_H=V_H. \]这里 \(\hat R_H=V_H\) 只是想象窗口末端的 bootstrap 边界,不表示真实回合一定终止。\(\lambda=0\) 时是一步 TD 目标,\(\lambda=1\) 时接近完整多步展开;论文取中间值以折中偏差、方差和模型误差。
critic 的损失为
\[ \mathcal L_V=\mathbb E\sum_{t=0}^{H-1}(V_t-\hat R_t)^2. \]严格说,\(\hat R_t\) 是 \(\lambda\)-return 价值目标,不是优势本身。它也可以写成 GAE 形式的价值目标。实际训练中,先沿轨迹反向计算目标,再将目标固定,用监督学习方式拟合 critic;这一步不直接训练策略动作。
6. 下游目标接口
SuperMimic 用不同目标编码器把不同形式的指令映射到共享潜变量,再由共享解码器输出动作:
\[ z=\operatorname{enc}_i(g),\qquad a=\operatorname{dec}(z,o). \]因此,参考动作、速度指令、末端位姿等目标可以共享同一套身体运动能力和世界模型。
下游接口有两种训练方式:
- 蒸馏:仍使用参考动作跟踪奖励,让简单指令间接复现参考动作;
- RL:直接使用下游任务奖励,例如速度跟踪奖励,通过世界模型优化对应目标编码器。
论文的初步速度控制实验表明,直接按速度任务训练的编码器比蒸馏基线更能覆盖动作库中缺少的速度与转弯组合。这个结果支持“下游接口应直接优化自身任务”的判断,但作者也明确将其视为初步研究。
7. 实验结论(只保留定性结论)
- SuperMimic 达到与大规模 PPO 控制器相当或更高的动作跟踪水平,同时显著减少训练时间和 GPU 计算量。
- 受控对比表明,优势不只是来自更快的 rollout,还来自解析策略梯度带来的更高样本效率。
- 动作库扩大时,共享世界模型的预测误差保持稳定,达到目标性能所需的计算量增长较慢,说明模型确实复用了跨动作共享的身体动力学。
- critic 允许使用更短的想象时域,并显著改善受到推扰后的恢复和平衡行为。
- 一个通用控制器可以迁移到真实 Unitree G1,覆盖行走、接触丰富的翻滚和翻转等动作,无需逐动作调参。
- 训练集动作上的高覆盖率不等同于对新动作或复杂真实环境的泛化能力;论文的失败统计主要衡量训练动作覆盖程度。
8. 局限性与关键判断
- 多接口联合训练仍不充分:当前下游任务主要更新自己的编码器,共享解码器主要由动作跟踪目标训练;联合更新是否更有利尚未验证。
- 世界模型只从仿真数据学习:真实机器人数据可能进一步修正动力学模型,并支持系统辨识。
- 环境范围有限:主要针对平地运动,尚未覆盖复杂地形和物体交互。
- 模型梯度存在代理误差:自动微分准确的是神经网络本身,不保证与真实动力学导数一致;模型预测误差、Jacobian 误差和长期 rollout 误差需要分别关注。
- 与 MPC 的关系:训练目标具有“阶段奖励 + 终端价值”的有限时域结构,和 MPC 有相似之处;但部署时不运行模型预测控制,而是直接执行训练好的策略网络。
9. 核心贡献
SuperMimic 的核心贡献不是单独提出世界模型或 BPTT,而是将三者组合成一个可部署的人形全身控制训练系统:
- 用一个共享的可微世界模型复用整个动作库中的身体动力学;
- 用快速想象 rollout 降低数据生成成本;
- 用 BPTT 直接利用动作对未来回报的解析梯度;
- 用 critic 补足短时域想象的长期价值;
- 将同一套身体控制能力扩展到直接优化任务奖励的下游接口。
对有 PNC 背景的理解可以概括为:训练阶段学习一个可求导的近似动力学和价值函数,利用它优化策略;部署阶段保留策略本身,直接根据本体反馈和目标输出控制动作。