ReDrive 论文阅读笔记
核心思想：训练时利用自车轨迹条件下的未来特征预测，塑造更适合规划的视觉表征；部署时仅保留视频编码器与轨迹生成器。
核心评价：ReDrive 最有说服力的部分，是用未来预测塑造能够直接服务规划的视觉表征。第三阶段提供了一个有合理机制但仍需更严格消融的辅助监督方案，不能把它直接理解成已经验证可靠的世界模型安全优化。
阅读约定：“论文报告"表示原文事实；“分析"表示由公式或实验得出的判断；“解释性推断"表示合理机制，但论文尚未直接验证。
0. 先建立整体认识
0.1 ReDrive 在解决什么问题？
传统 PNC（Prediction、Planning and Control，预测、规划与控制）系统通常显式组织目标、道路、障碍物预测和行为决策等信息，再生成轨迹。端到端模型把很多中间处理放进神经网络，关键问题随之变为：
图像编码后的内部特征，是否保留了规划需要的道路结构、运动趋势与未来变化信息？
**表征（representation）**是模型将图像或视频压缩成的一组高维特征。它可能有助于区分前车正在远离还是接近，但通常不能直接把某个特征维度解释成"前车速度”。
ReDrive 希望同时获得两种能力：
- 理解当前场景的语义与结构。
- 捕捉与自车运动有关的未来场景演化。
其做法是先训练一个较强的视频编码器，再通过规划与未来预测共同塑造表征，最后进一步适配轨迹生成器。
0.2 训练与部署的区别
训练期间存在视频编码器、轨迹生成器、未来预测器，以及读取真实未来视频的目标编码器。
部署流程则是：
历史视频 → 视频编码器 → 历史视觉特征 → 轨迹生成器 → 未来轨迹
↑
自车状态
真实未来视频只提供训练监督。未来预测器、目标编码器均不进入最终推理流程，也不需要额外输出检测框、分割结果或生成视频。
“没有显式感知模块"表示没有部署相应辅助头，不表示模型不需要理解道路和交通参与者。
0.3 三个阶段速查
| 阶段 | 主要任务 | 通过梯度更新 | 不通过梯度更新的模块 | 损失 | 训练量 |
|---|---|---|---|---|---|
| 1. 驾驶领域预训练 | 根据可见视频预测遮挡区域特征 | 视频编码器、遮挡预测器 | 目标编码器采用 EMA 更新 | 遮挡特征 L1 | 100 epochs |
| 2. 联合训练 | 同时生成轨迹和预测未来特征 | 视频编码器、未来预测器、轨迹生成器 | 目标编码器采用 EMA 更新 | Flow-matching MSE＋未来特征 L1 | 35K steps |
| 3. 规划器适配 | 在自身生成的轨迹上优化规划器 | 仅轨迹生成器 | 视频编码器、未来预测器、目标编码器均固定 | 多步 flow matching＋最终轨迹 L1＋未来特征 L1 | 5K steps |
EMA 更新与完全冻结不同：前两个阶段的目标编码器不接收梯度，但参数仍然变化；第三阶段才固定。
1. Introduction：背景与动机
1.1 显式感知与 BEV 表征
BEV（Bird’s-Eye View，鸟瞰视角）方法利用目标检测、地图分割等任务，学习具有明确空间结构的特征，再用于规划。
这种路线与传统系统的联系比较直观：先整理车辆、道路和可行驶空间，再做决策规划。代价是相应的任务标注、辅助模块和系统复杂度。
1.2 通用视觉预训练的机会与不足
通用图片或视频模型通过大规模数据学习视觉规律，再迁移到驾驶任务。例如：
- DINOv2：通用自监督图片表征模型。
- MAE（Masked Autoencoder，掩码自编码器）：通过遮挡重建学习视觉特征。
- V-JEPA2：通过视频特征预测学习表征的预训练模型，是 ReDrive 的初始化来源。
通用视觉模型可以提供强先验，但"见过很多视频"不自动等于"适合驾驶规划”。作者指出，在没有辅助感知任务时，通用表征仍可能落后于专门为驾驶训练的 BEV 表征。
1.3 像素世界模型与表征世界模型
**世界模型（world model）**学习场景随时间和动作如何变化。
| 路线 | 预测对象 | 特点 |
|---|---|---|
| 像素空间预测 | 未来图片或视频 | 需要处理纹理、光照等大量细节 |
| 表征空间预测 | 未来视频编码后的高维特征 | 绕开显式视频生成，直接学习特征层面的演化 |
例如，规划可能更关注前车的相对运动，而不需要精确重建车漆反光。表征预测有机会将学习重点放在较高层的变化上，但这种"关注规划相关信息"的倾向仍需任务训练与实验支持。
已有方法会在推理时调用世界模型进行轨迹生成、候选选择或评价。ReDrive 将未来预测主要用于训练，最终部署编码器和轨迹生成器。
2. Related Work：研究位置
2.1 端到端自动驾驶
相关工作包括联合感知、预测和规划的系统，直接建模轨迹分布的生成式规划器，以及引入强化学习或视觉语言模型知识的方法。
ReDrive 使用生成式规划器，但主要贡献集中在视觉表征及训练流程。
2.2 驾驶表征学习
研究路线包括显式 BEV、通用图片表征和视频表征。视频相较单张图片能够提供运动信息：一张图说明车在哪里，多张连续图才有机会说明它正在怎样运动。
2.3 世界动作模型
未来观测既与外部环境有关，也与自车动作有关。例如前车保持相同运动时，自车加速、减速或变道，会形成不同的相对位置和视觉变化。
因此，ReDrive 的未来预测器将自车轨迹作为条件。其预测对象是自车动作条件下的未来视觉表征，不是独立于自车运动的环境描述。
3. Method：模型结构、数据流与训练目标
3.1 模块、符号与张量理解
| 符号 | 含义 |
|---|---|
| \(E_\theta\) | 在线视频编码器，参数为 \(\theta\) |
| \(E_{\mathrm{tgt}}\) | 目标编码器，提供监督特征 |
| \(M_\omega\) | 第一阶段的遮挡预测器；这里用 \(\omega\) 表示其参数，便于与未来预测器区分 |
| \(P_\phi\) | 第二、三阶段的未来预测器，参数为 \(\phi\) |
| \(G_\psi\) | 轨迹生成器 Action DiT，参数为 \(\psi\) |
| \(X_{1:T}\) | 历史视频，包含 \(T\) 帧 |
| \(X_{T+1:2T}\) | 与历史不重叠的后续视频，包含 \(T\) 帧 |
| \(Z_h\) | 历史视觉表征 |
| \(Z_f^{\mathrm{tgt}}\) | 真实未来视频对应的目标表征 |
| \(\hat Z_f\) | 预测未来表征；“帽子"表示模型预测值 |
| \(\tau\)、\(\hat\tau\) | 专家轨迹、生成轨迹 |
| \(A\)、\(\hat A\) | 专家轨迹、生成轨迹编码成的动作 token |
| \(c\) | 自车状态条件 |
Token 是模型内部使用的特征向量单元；Transformer 通过注意力机制处理这些向量间的关系。交叉注意力（cross-attention）让一组特征有选择地读取另一组特征中的信息。
概念上的张量可以写为：
- 视频：\(X\in\mathbb R^{B\times T\times H\times W\times3}\)，其中 \(B\) 是批大小，\(H,W\) 是图像高、宽。这只是说明维度的记法，不代表代码实际排列顺序。
- 编码器 token 特征：\(Z_h\in\mathbb R^{B\times N_h\times d_E}\)，其中 \(N_h\) 为历史 token 数，编码器隐藏维度 \(d_E=1024\)。具体输出重排、筛选方式原文未展开。
- 轨迹：\(\tau\in\mathbb R^{B\times8\times d_\tau}\)，8 表示未来 4 秒内、2 Hz 采样的 8 个轨迹点。每点的具体参数维度 \(d_\tau\) 原文未明确，不能擅自认定为仅 \((x,y)\) 或 \((x,y,\mathrm{yaw})\)。
未来预测器隐藏维度为 768，Action DiT 隐藏维度为 512，均不能直接当作轨迹参数维度。动作 token 数量、状态向量维度及具体特征归一化方式，原文未展开。
3.2 第一阶段：Driving-Domain Pretraining
3.2.1 目标与流程
从公开 V-JEPA2 ViT-L 权重初始化编码器，再用驾驶视频继续自监督预训练。
遮挡后的视频 → 在线编码器 E → 遮挡预测器 M → 遮挡位置的预测特征
↓ L1 比较
完整视频 → EMA 目标编码器 → 相同位置的目标特征
它预测的是被遮挡区域的特征，不需要重建像素，也不需要检测框、地图分割或轨迹标注。
这一阶段是时空遮挡补全。遮挡位置的上下文可能来自视频中的不同空间和时间位置，不能把它直接等同于后续阶段的因果未来预测。
3.2.2 损失函数
$$ L_{\mathrm{ssl}}=\frac{1}{|\mathcal M|}\sum_{i\in\mathcal M}\left\|\hat z_i-z_i^{\mathrm{tgt}}\right\|_1 $$- \(\mathcal M\)：被遮挡的位置集合。
- \(\hat z_i\)：遮挡预测器输出的位置 \(i\) 的预测特征。
- \(z_i^{\mathrm{tgt}}\)：完整视频经过目标编码器得到的对应特征。
- \(L_1\)：对应数值的绝对差；原文说明还在特征维度上取平均。
该损失更新在线编码器和遮挡预测器。目标特征停止梯度，不通过反向传播更新目标编码器。
3.2.3 EMA 与模块保留
EMA（Exponential Moving Average，指数滑动平均）更新为：
$$ \theta_{\mathrm{tgt}}\leftarrow m\theta_{\mathrm{tgt}}+(1-m)\theta $$其中 \(m\) 是衰减系数，第一阶段为 0.99925。目标编码器缓慢跟随在线编码器，提供变化相对平缓的监督目标。
EMA 不等于完全冻结，也不能单独据此证明模型不会发生表征退化。论文沿用完整的 V-JEPA2 训练方案。
第一阶段结束后，只保留视频编码器，遮挡预测器和该阶段的目标编码器均丢弃。第二阶段重新初始化未来预测器和 Action DiT，并维护新的 EMA 目标分支。
3.3 第二阶段：Joint Training
3.3.1 共享编码器，两个并行任务
→ Action DiT → 轨迹生成监督
历史视频 → 在线编码器 E → 历史表征 Zh
→ Future Predictor P → 未来特征监督
↑
专家轨迹 token
真实未来视频 → EMA 目标编码器 → 未来目标特征
规划分支直接读取历史表征，不依赖未来预测器的输出。未来预测分支使用专家轨迹作为条件，两个分支通过共享编码器发生联系。
3.3.2 未来表征预测
论文公式为：
$$ Z_h=E_\theta(X_{1:T}),\qquad Z_f^{\mathrm{tgt}}=E_{\mathrm{tgt}}(X_{T+1:2T}) $$$$ \hat Z_f=P_\phi(Z_h,A) $$专家轨迹先编码成动作 token \(A\)，再通过交叉注意力参与未来预测。
预测和目标特征先归一化，再计算：
$$ L_{\mathrm{feat}}=\frac1N\left\|\operatorname{Norm}(\hat Z_f)-\operatorname{Norm}(Z_f^{\mathrm{tgt}})\right\|_1 $$- \(\operatorname{Norm}\)：论文所述的特征归一化，具体实现未展开。
- \(N\)：未来表征中的元素数量，用于求平均。
- 目标表征停止梯度。
**梯度更新 \(E_\theta\) 与 \(P_\phi\)，不更新轨迹生成器。**这迫使历史表征保留有助于预测自车动作条件下场景变化的信息。
3.3.3 轨迹生成：Action DiT 与 flow matching
Action DiT（用于动作生成的 Diffusion Transformer，扩散 Transformer）接收带噪轨迹、噪声时间、自车状态和历史视觉特征，学习轨迹生成方向。
训练时构造：
$$ \tau_t=(1-t)\tau+t\epsilon,\qquad \epsilon\sim\mathcal N(0,I) $$- \(\tau\)：专家轨迹。
- \(\epsilon\)：与轨迹同形状的标准高斯噪声。
- \(t\)：生成过程的噪声时间。\(t=0\) 对应真实轨迹，\(t=1\) 对应纯噪声。
这里的 \(t\) 不是车辆未来行驶的物理时间。
轨迹生成器输出：
$$ \hat v_t=G_\psi(\tau_t,t,c,Z_h) $$其中噪声时间 \(t\) 和自车状态 \(c\) 通过 AdaLN（Adaptive Layer Normalization，自适应层归一化）注入，历史表征通过交叉注意力提供视觉条件。
线性加噪路径的目标变化方向为：
$$ v_t=\frac{d\tau_t}{dt}=\epsilon-\tau $$损失为：
$$ L_{\mathrm{plan}}=\|\hat v_t-v_t\|_2^2 $$这属于 flow matching（流匹配）：学习样本在生成空间中的速度场。\(v_t\) 不是车辆物理速度，而是整条轨迹样本如何随噪声时间变化。
推理时从高斯噪声开始，沿 \(t=1\) 到 \(t=0\) 的方向求解，逐步得到轨迹。论文采用 5 步生成；具体数值求解器未在正文与配置表中展开。
规划损失更新 \(E_\theta\) 与 \(G_\psi\)，不更新未来预测器。
3.3.4 联合目标与梯度分工
$$ L_{\mathrm{joint}}=L_{\mathrm{plan}}+\lambda L_{\mathrm{feat}},\qquad \lambda=0.1 $$| 损失 | 在线编码器 \(E\) | 未来预测器 \(P\) | 轨迹生成器 \(G\) |
|---|---|---|---|
| 轨迹生成损失 | 更新 | 不更新 | 更新 |
| 未来特征损失 | 更新 | 更新 | 不更新 |
目标编码器通过 EMA 跟随在线编码器，系数为 0.9999。
作者希望先让未来预测建立在专家动作上，避免预测目标过早直接影响轨迹生成器，使策略偏向"更容易预测"的动作。未来预测此时主要通过改善共享表征间接帮助规划。
3.4 第三阶段：Planner Adaptation
3.4.1 从专家轨迹条件换成生成轨迹条件
从高斯噪声开始，Action DiT 执行多步轨迹生成：
$$ \hat\tau=\operatorname{Rollout}(G_\psi;Z_h,c,\epsilon) $$这里 \(\operatorname{Rollout}\) 表示多步生成过程；生成轨迹编码为动作 token 后：
$$ \hat A=\operatorname{Encode}(\hat\tau),\qquad \hat Z_f=P_\phi(Z_h,\hat A) $$未来特征目标仍来自该样本真实记录的未来视频。原来输入 \(P\) 的专家轨迹，被替换为 \(G\) 自己生成的轨迹。
3.4.2 冻结与梯度传递
- 视频编码器 \(E\)：固定。
- 未来预测器 \(P\)：固定。
- 目标编码器：固定。
- Action DiT \(G\)：训练。
**固定参数不代表阻断对输入的梯度。**未来预测器参数不变，但仍可计算它的输出对输入轨迹的导数：
未来特征损失 → 经过固定预测器对轨迹求导 → 生成轨迹 → 更新 Action DiT
类比传统轨迹优化：车辆运动学模型的参数保持固定，仍可通过模型求出控制量变化对结果的影响。类比边界是：这里的模型是学到的高维视觉预测器，其梯度是否可靠需要额外验证。
作者固定预测器，是为了保留专家轨迹条件下学到的对应关系，避免它随不准确的生成轨迹一起变化。固定可以限制共同漂移，但不会自动消除预测器已有误差。
3.4.3 三项损失
$$ L_{\mathrm{plan}}=L_{\mathrm{fm}}+\lambda_{\mathrm{traj}}L_{\mathrm{traj}} $$$$ L_{\mathrm{adapt}}=L_{\mathrm{fm}}+\lambda_{\mathrm{traj}}L_{\mathrm{traj}}+\lambda_{\mathrm{feat}}L_{\mathrm{feat}} $$| 项目 | 定义与作用 |
|---|---|
| \(L_{\mathrm{fm}}\) | 在多步生成的每个去噪步骤施加 flow-matching 监督，约束生成过程 |
| \(L_{\mathrm{traj}}\) | 最终生成轨迹与专家轨迹的 L1，约束生成结果 |
| \(L_{\mathrm{feat}}\) | 生成轨迹条件下的预测未来特征，与真实未来目标特征之间的归一化 L1 |
| \(\lambda_{\mathrm{traj}},\lambda_{\mathrm{feat}}\) | 两个辅助项的权重，论文未列出第三阶段的具体取值 |
最终轨迹监督可以概括为：
$$ L_{\mathrm{traj}}\propto\|\hat\tau-\tau\|_1 $$具体求和/平均方式，以及第三阶段每个 rollout 步的 flow-matching 目标构造和聚合方式，原文未充分展开，不能直接补写成已知实现。
这里的 on-policy rollout 指使用当前规划器自身的生成结果。论文没有描述在这一阶段与环境持续交互、领取奖励的强化学习过程，也没有因此获得偏离专家后的真实环境反馈。
3.5 为什么特征预测与最终轨迹使用 L1？
3.5.1 论文事实与解释边界
论文明确采用 L1 特征监督、最终轨迹 L1 和 flow-matching MSE，但没有报告 L1/L2 对照实验，也没有明确给出选择 L1 的因果解释。以下是损失函数性质带来的合理解释，不能写成作者已验证结论。
第一阶段还沿用了 V-JEPA2 预训练方案，使用 L1 有延续既有配方的背景。
3.5.2 L1 与平方 L2 的差别
令单个预测误差 \(e=\hat y-y\)，其中 \(\hat y\) 为预测值，\(y\) 为目标值。这里讨论的 L2 是常见的平方 L2/MSE，而不是未平方的欧氏范数。
| 项目 | L1 | 平方 L2 |
|---|---|---|
| 损失 | \(\lvert e\rvert\) | \(e^2\) |
| 对预测值的梯度 | 非零误差处为 \(\operatorname{sign}(e)\) | \(2e\) |
| 大误差的影响 | 线性增加 | 平方增加 |
| 接近零误差 | 梯度幅值不会随误差缩小；零点使用次梯度 | 梯度逐渐减小，局部更平滑 |
例如两个轨迹坐标误差为 0.1 m、2 m，L1 对应损失相差 20 倍，平方 L2 相差 400 倍。不同损失的数值尺度和单位也不同，不能替换后默认沿用相同权重仍然公平。
3.5.3 对特征预测与轨迹监督的可能作用
- 特征预测：少数难预测的位置或维度可能误差很大，L1 可减轻这些部分对总梯度的支配。大误差也可能包含重要信息，因此这不是普遍优于 L2 的证明。
- 最终轨迹：L1 可减轻少数大偏差样本或较远轨迹点对优化的支配，也会持续推动小误差修正；平方 L2 则更强调消除大偏差。
- 安全含义：与专家轨迹的坐标距离不等于碰撞风险，不能据此宣称 L1 或 L2 天然更安全。
- 多模态含义：L1 本身不能保证在多条合理路线中选中一条合理路线。把 L1 当作多模态问题的解决方案不成立。
背景知识：在普通标量回归中，平方误差对应条件均值，绝对误差对应条件中位数；二者都不自动解决合理动作存在多个模态的问题。
3.5.4 为什么 flow matching 使用 MSE？
Flow matching 回归的是生成过程的目标速度场，而最终轨迹 L1 比较的是结果。标准条件 flow-matching 构造使用平方误差，使最优回归对应给定带噪状态与条件下的目标平均速度；换成 L1 会改变这一回归目标。
因此，不同监督对象采用不同损失有合理依据，但具体组合的优势仍需要实验验证。
3.6 第三阶段未来特征 loss 的价值与风险
3.6.1 最终判断
第三阶段可以看作在未来特征空间中增加一种辅助模仿约束。它存在合理收益机制，也存在预测器偏差污染轨迹梯度的风险。论文尚未充分隔离未来特征 loss 的独立收益；对第二阶段改善表征的证据，强于对第三阶段该项 loss 的证据。
“规划器输入没有变化"不代表损失不能改善模型。训练时可以增加监督信息或改变误差度量，但这不意味着部署时凭空获得历史观测中没有的未来信息。
3.6.2 潜在收益：学习场景相关的误差度量
即使专家轨迹完全准确，普通坐标 L1 也不等同于驾驶任务最合适的误差度量。例如，在宽阔直路与贴近障碍物处横向偏差 20 cm，坐标 L1 可以相同，驾驶后果却不同。
固定场景条件 \(s\)，把动作编码、冻结预测器和输出归一化合并记为 \(F_s\)。令专家轨迹为 \(\tau^*\)，生成轨迹为 \(\hat\tau\)，真实未来目标特征为 \(z_f^*\)，暂略平均系数：
$$ L_{\mathrm{traj}}=\|\hat\tau-\tau^*\|_1,\qquad L_{\mathrm{feat}}=\|F_s(\hat\tau)-z_f^*\|_1 $$如果预测器满足 \(F_s(\tau^*)\approx z_f^*\)，那么特征损失近似比较生成轨迹与专家轨迹各自对应的未来特征。
在专家轨迹附近，定义轨迹误差 \(e=\hat\tau-\tau^*\)，一阶展开为：
$$ F_s(\hat\tau)-F_s(\tau^*)\approx J_s e $$其中 \(J_s\) 是预测特征对轨迹的雅可比矩阵，表示"轨迹各部分略微改变时，特征如何变化”。于是：
$$ L_{\mathrm{feat}}\approx\|J_s e\|_1 $$它相当于先对轨迹误差做与场景有关的变换与组合，再施加惩罚，可能强调某些时间点、横纵向偏差及点间关联。这是解释性推断，并非论文证明的安全度量。
视觉特征变化较大可能只是自车运动引起的图像位移，并不必然对应更大的驾驶风险。该损失也没有直接定义碰撞、舒适性或通行效率。
3.6.3 主要风险：让规划器补偿预测器误差
定义预测器在专家轨迹上的残差：
$$ b_s=F_s(\tau^*)-z_f^* $$则真实的局部特征误差近似为：
$$ F_s(\hat\tau)-z_f^*\approx J_s e+b_s $$这里 \(J_s e\) 来自轨迹偏差，\(b_s\) 来自预测器本身。第三阶段让规划器同时降低这两部分，因此可能通过改变本来正确的轨迹，去抵消预测器的系统性误差。
用一个标量例子说明。设 \(a\) 是横向轨迹参数，专家值为 \(a^*\)，目标特征为 \(z^*\)，预测器在局部为：
$$ F(a)=z^*+k(a-a^*)+b $$其中 \(k\neq0\) 是预测器的局部敏感度，\(b\) 是预测偏差。仅最小化特征损失时，它偏好的位置是：
$$ a=a^*-\frac{b}{k} $$因此，即使专家轨迹监督干净，额外项仍可能施加偏离专家的拉力。最终结果取决于辅助损失权重及其他监督的约束。
其他重要风险包括：
- 动作分布变化：第二阶段用专家轨迹训练预测器，第三阶段输入生成轨迹。偏离专家后是否仍然准确，论文没有充分验证。
- 导数可靠性：训练样本上的预测值准确，不保证对轨迹扰动的响应也正确。第三阶段依赖的恰恰是这种响应。
- 外部未来的不确定性：其他交通参与者的行为未必能从历史与自车轨迹唯一确定，记录到的一次真实未来可能含有难以预测的变化。
- 冻结不能纠错：固定预测器能限制共同漂移，但其既有偏差仍会进入规划器梯度。
反过来，第三阶段也不要求预测器成为完美物理模拟器；只要局部梯度能稳定帮助规划即可。问题在于论文对此缺少直接证据。
3.6.4 第三阶段整体收益不能直接归因于特征 loss
相较第二阶段，第三阶段同时引入或改变了：
- 从噪声开始的实际多步生成流程。
- 在生成步骤上的 flow-matching 监督。
- 最终生成轨迹 L1。
- 编码器冻结、仅适配规划器。
- 额外 5K 次训练更新。
- 生成轨迹条件下的未来特征监督。
前几项本身就可能改善有限步采样的最终轨迹。因此，加入整个第三阶段有效，不等于未来特征 loss 已被单独证明有效。
论文表 6 的 89.9→90.2 PDMS 是整体第三阶段的结果，没有同预算的"仅去掉特征 loss"对照，也没有给出该结果的多随机种子波动，无法判断独立贡献及其稳定性。
3.6.5 最有价值的补充实验
以下为分析建议，不是论文已完成的实验。应保持训练步数、初始化、冻结方式、采样器和其他损失相同。
| 实验 | 设置 | 目的 |
|---|---|---|
| A | 完整第三阶段流程，但令 \(\lambda_{\mathrm{feat}}=0\) | 测量生成适配、轨迹监督和额外训练本身的收益 |
| B | 在 A 上加入论文的真实未来特征目标 | 测量未来特征 loss 的独立收益 |
| C | 改为比较 \(F_s(\hat\tau)\) 与 \(F_s(\tau^*)\) | 去掉专家轨迹处的预测残差，检验预测器提供的误差度量本身是否有效 |
C 在专家轨迹处特征误差严格为零，但也放弃了直接对齐真实未来的部分信息，不能事先认定优于 B。还应报告多随机种子结果、不同权重的敏感性，以及辅助梯度与轨迹监督梯度的方向关系。
4. Experiments：数据、结果与证据强度
4.1 数据集与评价指标
4.1.1 驾驶视频预训练数据
| 数据集 | 论文附录给出的背景 | ReDrive 使用部分 |
|---|---|---|
| nuPlan | 约 1,200 小时，覆盖 Boston、Pittsburgh、Las Vegas、Singapore；其中约 120 小时有完整传感器数据，涵盖 30 多类场景 | NAVTRAIN 对应的前视相机序列 |
| nuScenes | 1,000 个约 20 秒场景，140 万张相机图像、39 万次 LiDAR 扫描；700/150/150 个训练/验证/测试场景 | 700 个训练场景的 CAM_FRONT |
| PhysicalAI-Autonomous-Vehicles | 约 1,700 小时、306,152 个 20 秒片段，覆盖 25 个国家、2,500 多座城市 | 一个 80 小时子集的 120° 前视广角相机 |
附录背景中，nuPlan 完整传感器套件包含 8 个相机、5 个 LiDAR、IMU（惯性测量单元）和 GPS（全球定位系统）；nuScenes 包含 6 个相机、1 个 LiDAR、5 个雷达、IMU 和 GPS。这些是源数据集配置，不代表 ReDrive 将这些传感器全部作为输入。
预训练时三个数据源均匀采样。nuPlan、nuScenes 只使用训练划分；论文说明来源时长是在数据划分过滤前统计，不能将其直接等同于最终可用视频总时长。
4.1.2 下游规划数据与 103K 的单位
规划训练与评测使用 NAVSIM，包含 v1、v2 和 v2 的困难划分 NavHard。论文报告约 103K 个训练场景、12K 个测试场景，其中 K 表示千。
103K 的单位是 scene，即约 103,000 个驾驶场景样本，不是图像帧数、秒数或公里数。
可以把一个样本理解为以某个驾驶时刻为参照组织的数据。训练时取出历史图像、自车状态、未来视频与专家轨迹。不同样本可能来自相近时刻或相似情境，不能理解为 103,000 种互不相同的交通事件。
NAVSIM 评测结果反映相应基准协议下的规划能力，不能直接等同于真实道路上长时间闭环部署的安全保证。
4.1.3 评价指标
NAVSIM v1 主指标为 PDMS（Predictive Driver Model Score），v2 为 EPDMS（Extended Predictive Driver Model Score）。
| 缩写 | 含义 |
|---|---|
| NC | No-at-fault Collision，无自车责任碰撞 |
| DAC | Drivable Area Compliance，可行驶区域合规 |
| EP | Ego Progress，自车行驶进度 |
| C | Comfort，舒适性 |
| TTC | Time-to-Collision，碰撞时间相关安全指标 |
| DDC | Driving Direction Compliance，行驶方向合规 |
| TLC | Traffic Light Compliance，交通灯合规 |
| LK | Lane Keeping，车道保持 |
| HC、EC | v2 表中列出的舒适性相关分项；论文未展开其具体定义与计算式，这里保留原缩写 |
表中各项均为越高越好。综合分按照官方协议计算，不能把各列简单取平均。v2 表 2 的 NC 至 EC 分项统一采用 corrected evaluator，即修正后的评估器结果。
NavHard 表中的 S1、S2 是两个评测阶段，与模型的三个训练阶段无关。
4.2 与其他方法的主要比较
4.2.1 NAVSIM v1
以下摘录论文表 1 的主要对比，C＋L 表示 Camera＋LiDAR，相机与激光雷达输入。
| 方法 | 输入 | NC | DAC | EP | C | TTC | PDMS |
|---|---|---|---|---|---|---|---|
| UniAD | Camera | 97.8 | 91.9 | 92.9 | 100 | 78.8 | 83.4 |
| Hydra-MDP | C＋L | 98.4 | 97.7 | 85.0 | 100 | 94.5 | 89.9 |
| DiffusionDrive | C＋L | 98.2 | 96.2 | 82.2 | 100 | 94.7 | 88.1 |
| GoalFlow | C＋L | 98.4 | 98.3 | 85.0 | 100 | 94.6 | 90.3 |
| DriveDPO | C＋L | 98.5 | 98.1 | 84.3 | 100 | 94.8 | 90.0 |
| Drive-JEPA | Camera | 98.7 | 96.2 | 82.9 | 100 | 95.5 | 89.0 |
| DriveLaW | Camera | 99.0 | 97.1 | 81.3 | 100 | 96.7 | 89.1 |
| ReWorld | Camera | 99.1 | 98.2 | 82.0 | 99.8 | 97.7 | 90.4 |
| DAWN | Camera | 98.7 | 95.9 | 84.3 | 100 | 96.0 | 89.1 |
| ReDrive | Camera | 99.1 | 97.9 | 84.3 | 100 | 97.2 | 91.0 |
ReDrive 的综合分比 ReWorld 高 0.6，但并非每个分项都最高。不同方法的输入、预训练和训练方案不完全相同，因此该比较证明的是基准上的竞争力，不能隔离每项设计的因果贡献。
4.2.2 NAVSIM v2
| 方法 | EPDMS |
|---|---|
| DiffusionDrive | 84.5 |
| DiffusionDriveV2 | 87.5 |
| WAM-Diff | 89.7 |
| DreamerAD | 87.7 |
| Latent-WAM | 89.3 |
| DriveFuture | 89.9 |
| CoWorld-VLA | 90.0 |
| SparseDriveV2 | 90.1 |
| ReDrive | 90.8 |
ReDrive 各分项为：
| NC | DAC | DDC | TLC | EP | TTC | LK | HC | EC |
|---|---|---|---|---|---|---|---|---|
| 99.1 | 97.8 | 99.6 | 99.9 | 87.6 | 98.7 | 98.2 | 98.3 | 86.4 |
其综合分高于表中的次优方法 0.7，但不代表所有分项均最优。
4.2.3 NAVSIM v2 NavHard
| 方法 | S1 分数 | S2 分数 | 综合 EPDMS |
|---|---|---|---|
| LTF | 61.3 | 39.2 | 24.4 |
| DiffusionDrive | 66.7 | 40.5 | 27.5 |
| GTRS-DP | 未列出 | 未列出 | 23.8 |
| GuideFlow | 未列出 | 未列出 | 27.1 |
| ReCogDrive | 67.7 | 37.6 | 25.7 |
| SGDrive | 71.1 | 35.2 | 25.5 |
| Metis | 75.8 | 41.7 | 32.2 |
| ReDrive | 82.3 | 42.3 | 34.4 |
与 Metis 的分项比较：
| 方法/阶段 | NC | DAC | DDC | TLC | EP | TTC | LK | HC | EC |
|---|---|---|---|---|---|---|---|---|---|
| Metis S1 | 96.6 | 87.8 | 99.0 | 99.3 | 84.5 | 95.6 | 97.8 | 97.8 | 77.8 |
| ReDrive S1 | 97.9 | 93.6 | 99.4 | 99.6 | 84.2 | 96.9 | 97.8 | 97.8 | 73.3 |
| Metis S2 | 79.6 | 73.3 | 84.9 | 97.8 | 85.8 | 76.6 | 47.7 | 95.4 | 75.3 |
| ReDrive S2 | 82.2 | 75.8 | 84.3 | 98.2 | 87.3 | 77.9 | 47.8 | 95.9 | 54.2 |
ReDrive 的优势主要体现在 S1；困难条件下仍有明显薄弱项，例如 S2 的 EC 只有 54.2，低于 Metis 的 75.3。不能将较高综合分概括成各项能力全面更强。
4.3 消融实验
4.3.1 视觉预训练方式与时间长度：表 4
所有结果都在第二阶段训练后评估，各编码器规模可比，从各自预训练权重初始化，再使用相同驾驶数据与相同预训练轮数。
| 预训练方式 | 驾驶视频预训练帧数 | PDMS |
|---|---|---|
| DINOv2 | 图片预训练对照 | 84.4 |
| MAE | 图片预训练对照 | 83.9 |
| V-JEPA2 | 4 | 89.9 |
| V-JEPA2 | 8 | 90.4 |
| V-JEPA2 | 12 | 90.7 |
| V-JEPA2 | 16 | 90.8 |
论文结果支持视频表征与较长预训练时间上下文的价值。这里改变的是预训练时使用的帧数，不是把部署输入同步增加到 16 帧。
4.3.2 编码器微调与未来预测：表 5
采用同一个经过 4 帧驾驶视频预训练的编码器：
| 编码器 | 未来预测器 | PDMS |
|---|---|---|
| 固定 | 无 | 85.7 |
| 可训练，仅规划监督 | 无 | 89.2 |
| 可训练，规划与未来预测联合监督 | 有 | 89.9 |
规划任务适配本身贡献较大，未来预测再提供 0.7 分的补充收益。不能把所有增益都归因于世界模型。
4.3.3 三阶段贡献：表 6
此表采用 4 帧驾驶视频预训练设置：
| 驾驶预训练 | 联合未来预测 | 规划器适配 | PDMS |
|---|---|---|---|
| 无 | 无 | 无 | 88.9 |
| 有 | 无 | 无 | 89.2 |
| 有 | 有 | 无 | 89.9 |
| 有 | 有 | 有 | 90.2 |
第一行仍进行了用于评估的规划训练，“无三个阶段"不代表未经轨迹训练便直接测试。
该表完整流程得分为 90.2，主结果为 91.0，预训练帧数等设置不同，不能混为同一套实验。第三阶段的 0.3 分提升也不等同于特征 loss 的独立增益。
4.4 实验分析
4.4.1 重新训练规划器，检验提升是否保留在表征中：表 7
这组实验采用 8 帧驾驶视频预训练：
| 编码器 | 规划器 | PDMS |
|---|---|---|
| 仅 8 帧驾驶视频预训练后固定 | 重新初始化并训练 | 86.7 |
| 第二阶段联合训练后固定 | 重新初始化并训练 | 90.2 |
| 第二阶段联合训练参考结果 | 原本联合训练的规划器 | 90.4 |
编码器固定、规划器重新训练后，第二阶段编码器仍能支持 90.2，接近原联合训练结果 90.4。这是"提升确实保留在视觉表征中"的重要证据。
论文所述的 3.5 分表征收益对应 \(90.2-86.7\)，不能与表 5 或主结果任意相减。
4.4.2 轨迹可视化
图 3 与附录图 6 用前视画面和 BEV 展示人工轨迹、Drive-JEPA 与 ReDrive。它们提供道路几何和交通交互层面的定性参考，但部分例子仍有与人工路线明显分歧的情况，不能据此断言每个场景都更接近专家。
4.4.3 未来预测器是否使用了动作条件？
作者固定历史表征，对专家轨迹施加 15 个均匀分布的横向偏移，范围为归一化动作空间中的 \([-0.8,0.8]\)，再比较各条件下预测未来特征的余弦相似度。
余弦相似度衡量两个特征方向的一致程度。图 4 与附录图 7 中，轨迹条件差异越大，特征相似度通常越低。
这支持未来预测器确实使用动作条件，但不能证明：
- 偏离专家轨迹后的未来预测符合真实物理演化。
- 动作敏感性对应驾驶风险。
- 对轨迹的梯度能够正确指导规划器。
偏移单位也不能直接解释成米。
5. Conclusion：论文结论与证据边界
论文证明了在所评测的 NAVSIM 设置中，通过驾驶视频预训练、联合未来特征预测及规划器适配，可以得到表现较强的直接规划系统。世界模型可以作为训练监督来源，部署不必保留显式未来预测模块。
证据需要分层理解：
| 结论 | 证据与边界 |
|---|---|
| 整体系统具有较强基准表现 | v1、v2、NavHard 主结果支持 |
| 第二阶段改善了视觉表征 | 冻结编码器、重新训练规划器的实验提供直接支持 |
| 第三阶段整体可能带来补充收益 | 表 6 提供初步支持，但缺少随机波动报告 |
| 第三阶段未来特征 loss 独立有效 | 缺少同预算移除该项的消融，尚未隔离证明 |
| 学到了正确的反事实世界模型 | 动作敏感性图不足以支持 |
| 推理模块更少 | 架构支持；不等于已经证明延迟、吞吐或实际部署收益 |
6. 核心贡献、适用条件、局限与开放问题
6.1 最值得记住的贡献
- 将强视频预训练与动作条件未来特征预测结合，学习规划导向的视觉表征。
- 第二阶段让规划与未来预测通过共享编码器协作，同时保留直接轨迹生成路径。
- 固定编码器并重训规划器的实验，支持提升已保留在表征中。
- 部署仅需视频编码器与轨迹生成器，未来预测可以作为训练工具。
6.2 方法成立需要的条件
- 有足够的驾驶视频与可靠的相机几何处理。
- 下游训练包含同步的历史观测、专家轨迹及真实未来观测。
- 预训练、未来预测与规划监督之间的权重和训练量匹配。
- 若使用第三阶段特征监督，预测器在生成轨迹附近的响应需要足够可靠，辅助梯度不能压倒轨迹监督。
6.3 主要局限
- 第三阶段未来特征 loss 的独立贡献没有被同预算消融隔离。
- 缺少预测器反事实准确性和轨迹梯度可靠性的直接验证。
- 特征距离未被证明对应安全风险或驾驶任务代价。
- 困难场景仍有舒适性与后续阶段表现不足。
- 训练使用较大模型与 16 张 H20；模块减少不等于已验证整体部署效率。
- 多项实现细节未展开，包括轨迹参数化、动作 token、部分时间配置、第三阶段权重及完整优化细节。
- 现有结果属于 NAVSIM 协议下的表现，不能直接外推为真实道路安全保证。
6.4 仍值得验证的问题
- 相同训练预算下，第三阶段去掉未来特征 loss 后还有多少差距？
- 以预测器对专家轨迹的输出作为特征目标，能否减少系统性偏差？
- 哪些轨迹方向被未来特征显著放大，它们对应安全相关变化，还是主要对应视角和外观变化？
- 对偏离专家的轨迹，预测误差、特征梯度与实际驾驶后果之间是什么关系？
- 步数、辅助权重和随机种子变化后，小幅收益是否稳定？
- 编码器与规划器能否进一步缩小，在部署成本下降的同时保留主要收益？
附录 A. 相机对齐与"丢弃视野不足的片段”
A.1 为什么要对齐？
PhysicalAI 的前视广角相机与 nuPlan 相机在视野和投影模型上存在差异。直接混合可能增加数据分布差异，因此作者将 PhysicalAI 视频几何变换到近似 nuPlan 前视相机的几何分布。
A.2 实际映射过程
使用每个片段的 f-theta 相机标定，逐个目标像素执行反向映射：
- 根据目标 nuPlan 相机模型，确定该像素对应的观察射线。
- 根据源相机的 f-theta 标定，将该方向映射到原始图片位置。
- 从源图像做双线性采样，填入目标像素。
双线性采样是在原图相邻像素之间插值，不能生成原相机未观测到的方向。
A.3 什么是"视野不足以覆盖目标画面”？
如果某些目标像素需要的观察方向，在原相机中没有有效图像内容，就无法完成完整映射。论文丢弃这类视频片段，避免对视野外内容做外推。
以下角度仅为示意，不是 nuPlan 实际相机参数，并假设相机朝向相同：
| 相机 | 水平视野 | 覆盖方向 | 能否生成示例目标画面 |
|---|---|---|---|
| 目标相机 | 100° | 左右各 50° | — |
| 源相机 A | 120° | 左右各 60° | 能覆盖 |
| 源相机 B | 90° | 左右各 45° | 两侧各缺 5°，无法完整覆盖 |
实际覆盖判断依赖标定后的射线映射与有效图像区域，不只是比较标称水平视野大小。
拉伸图片只会改变已有内容的形状，不会补出没拍到的车辆或道路，还会破坏像素与观察方向的几何对应关系。因此，这种情况选择丢弃片段，而不是直接拉宽画面。
附录 B. 模型和超参数
B.1 模型规模
| 阶段/模块 | 层数 | 隐藏维度 | 注意力头数 | 参数量 |
|---|---|---|---|---|
| 视频编码器 ViT-L | 24 | 1024 | 16 | 304M |
| 第一阶段遮挡预测器 | 12 | 384 | 12 | 22M |
| 第二、三阶段未来预测器 | 12 | 768 | 12 | 153M |
| Action DiT | 28 | 512 | 16 | 103M |
M 表示百万。ViT-L 是大型 Vision Transformer（视觉 Transformer）。未来预测器 MLP（多层感知机）扩张比例为 4。
编码器与 Action DiT 参数量相加约为 407M，可作为部署主体规模的粗略估计；论文没有给出完整延迟和吞吐对比。
B.2 第一阶段配置：论文表 8
| 项目 | 设置 |
|---|---|
| 视频长度 | 主配置 16 帧 |
| 采样率 | 10 Hz |
| 图像分辨率 | 256×512 |
| 空间 patch / 时间 tubelet | 16×16 / 2 帧 |
| 小遮挡块 | 8 个，scale 0.15 |
| 大遮挡块 | 2 个，scale 0.70 |
| 遮挡时间范围 | 使用覆盖完整时间范围的多块遮挡策略 |
| 优化器 | AdamW，自适应优化器，采用解耦权重衰减 |
| 学习率 | 5.25×10⁻⁴ |
| 权重衰减 | 0.04 |
| 数值精度 | bfloat16，16 位浮点格式 |
| 训练量 | 100 epochs |
| 目标编码器 EMA | 0.99925 |
空间 patch 是划分图像的局部块，tubelet 还将连续若干帧组合成时空单元。scale 数值按原表保留，具体采样几何未展开。
B.3 第二阶段配置：论文表 9、10
| 项目 | 设置 |
|---|---|
| 历史 / 未来视频 | 4 帧 / 后续 4 帧，不重叠 |
| 图像分辨率 | 256×512 |
| 优化器 | AdamW |
| 学习率 | 3×10⁻⁵ |
| AdamW 的 β₁、β₂ | 0.9、0.95 |
| 权重衰减 | 1×10⁻⁵ |
| 学习率调度 | 1,000 steps warmup 后保持常数 |
| 梯度裁剪阈值 | 1.0 |
| 规划损失 | Flow-matching MSE，均方误差 |
| 未来预测损失 | L1 |
| 未来预测权重 | 0.1 |
| 配置表中的 diffusion timesteps | 1,000 |
| 推理生成步数 | 5 |
| 目标编码器 EMA | 0.9999 |
| 数值精度 | bfloat16 |
| 训练量 | 35K steps |
| 轨迹输出 | 未来 4 秒，2 Hz，共 8 点 |
Warmup 指训练初期逐步提升学习率；权重衰减用于限制参数增长；梯度裁剪用于限制过大的更新梯度。
配置表中的 1,000 timesteps 与 5 次推理生成不是同一个概念，不能理解为推理要执行 1,000 次网络前向。
**4 帧未来视频与 4 秒规划轨迹也不能等同。**明确给出的 10 Hz 是预训练视频采样率，原文没有明确第二、三阶段视频采样间隔，不能据此推算其未来视频的实际时间跨度。
B.4 第三阶段和硬件
第三阶段为 5K steps，使用 5 步生成，只训练 Action DiT。正文未独立列出该阶段完整优化配置，也未报告两个辅助损失权重的具体数值。
论文报告所有实验运行在 16 张 NVIDIA H20 GPU 上。GPU 是图形处理器，这里用于神经网络计算。GPU 数量不等于 global batch size，不能从 16 张卡推出每步样本数。
附录 C. Epoch、step、数据规模与训练量选择
C.1 三个概念分别回答什么？
| 概念 | 回答的问题 | ReDrive 示例 |
|---|---|---|
| 数据规模 | 有多少训练样本? | 约 103K 个 NAVSIM 场景 |
| Epoch | 相当于学习了多少轮数据？ | 第一阶段 100 epochs |
| Step | 进行了多少次训练更新？ | 第二阶段 35K、第三阶段 5K |
一个 epoch 通常按训练集规模定义一轮学习。随机视频裁剪、数据源均匀采样等机制下，具体一轮如何定义依赖实现，不能保证每条原始视频都恰好访问一次。
一个训练 step 通常是"取一批数据、前向计算、计算损失、反向传播、更新参数”。Batch 是一批样本，batch size 是样本数；有梯度累积时，若干微批次才进行一次优化器更新，日志的计步口径应以实现为准。
C.2 换算与多 GPU
令训练集样本数为 \(N_{\mathrm{data}}\)，每次参数更新合计使用的样本数为 \(B_{\mathrm{global}}\)，则近似有：
$$ \text{steps per epoch}\approx\frac{N_{\mathrm{data}}}{B_{\mathrm{global}}} $$$$ \text{等效 epochs}\approx \frac{\text{更新步数}\times B_{\mathrm{global}}}{N_{\mathrm{data}}} $$在常见数据并行且各卡批大小一致时，global batch size 是各卡批大小与梯度累积次数共同决定的。16 张 GPU 一起完成一次同步参数更新，通常仍算 1 step。
纯示例，不是论文配置：若有 103,000 个场景，global batch size 为 128，则一轮约 805 steps；35,000 steps 累计约 448 万次样本使用，相当于 43.5 轮，包含重复使用的数据。
论文没有明确 global batch size，因此不能确定 35K steps 实际相当于多少轮。第一阶段 100 epochs 使用的混合驾驶视频也不是直接按这 103K 个规划场景计算，不能直接换算比较。
C.3 不同阶段训练多少步，通常如何决定？
训练量是需要实验选择的超参数，通常由验证表现、收益饱和情况与计算预算共同决定，不能仅从数据规模直接算出。
| 观察 | 判断与处理 |
|---|---|
| 训练 loss 下降，验证表现提高 | 训练仍可能有收益 |
| 训练 loss 下降，验证表现持平 | 更多拟合未转化为目标能力，考虑停止或调整配置 |
| 训练 loss 下降，验证表现变差 | 可能过拟合，或目标与评测能力不一致，考虑更早 checkpoint |
Checkpoint 是保存的模型参数状态。选训练量应使用验证集，测试集留作最终评估。
各阶段的具体依据不同：
- 第一阶段：遮挡预测 loss 仅是代理指标。更可靠的是比较不同预训练时长的编码器，在统一下游方案下能否继续提高规划能力；EMA 目标还在变化，不能凭某个绝对 loss 值判断已学好。
- 第二阶段：定期看验证集 PDMS 及碰撞、道路合规等分项，同时观察两项训练损失。暂时不涨分也可能与学习率等配置有关。
- 第三阶段：已有较强初始化，短期适配值得尝试；但这不能推导出 5K 最优。应特别警惕未来特征 loss 降低、实际规划表现却变差。
实用流程是先设预算上限，定期验证和保存，找到收益趋于饱和的范围，再细化训练量，并对小幅收益检查随机波动。多阶段系统还应看前一阶段的额外计算能否转化为后一阶段的收益。
论文没有给出训练曲线或步数选择实验。100 epochs、35K steps、5K steps 是取得所报告结果的一套配置，尚未被证明分别是最优训练量。
7. 核心贡献、适用条件、局限与开放问题（阅读定位）
ReDrive 最有说服力的部分，是用未来预测塑造能够直接服务规划的视觉表征。第三阶段提供了一个有合理机制但仍需更严格消融的辅助监督方案，不能把它直接理解成已经验证可靠的世界模型安全优化。
相关笔记
- [[Drive-JEPA]] 与 [[WA-JEPA - 视频JEPA改造为自动驾驶世界动作模型]] 同为基于 JEPA 思路的驾驶表征学习工作
- [[LAW - Latent World Model for E2E Driving]]、[[DrivoR]] 同为表征空间世界模型与端到端规划结合的道路