PlanWAM：用规划任务塑造未来表示，服务端到端自动驾驶

一句话理解：PlanWAM 让一个训练时能看到真实未来图像的教师，通过轨迹生成与评分任务学习一组"未来 latent"；再让只能看到历史学生预测这些特征，并用它们改善候选轨迹的生成与选择。关键争议点：这份 latent 究竟表达了未来环境演化，还是主要编码了"自车实际怎么开了"——笔记最后给出了机制判断。

论文：arXiv:2610.11382 · 项目主页
机构：东南大学、蔚来、南洋理工大学、同济大学
基线：DrivoR（见 [[DrivoR 论文阅读笔记]]）
相关工作：[[WA-JEPA - 视频JEPA改造为自动驾驶世界动作模型]]、[[MomWorld 论文阅读笔记]]（同为面向规划的 latent 世界模型路线）

0. 先记住的结论

方法主线：先让能看到真实未来图像的教师，通过轨迹生成和评分任务学习一组特征；再让只能看到历史的学生预测这些特征，并用它们改善候选轨迹的生成与选择。

从规则规划的视角，可以把它理解为：给"候选生成器＋候选评价器"增加一份经过特权信息训练的上下文。这份上下文是神经网络特征，不是显式的他车轨迹、占用图或物理状态。

需要同时记住两层结论：

论文实验证据：这套特权信息训练与特征蒸馏流程改善了 NAVSIM 和闭环 HUGSIM 的规划成绩，尤其有利于候选轨迹选择。
讨论后的机制判断：教师大概率会优先利用未来图像中的自车实际运动和已经实现的驾驶决策，走"事后还原自车运动"的捷径。现有实验没有排除这一解释，不足以证明其学到了环境动力学。这是根据信息路径和训练目标作出的机制推断，尚未经过探针或干预实验直接验证。

因此，对这篇论文最稳妥的定位是：利用真实未来观测的特权信息蒸馏改善规划。“对规划有用的未来相关特征"已有证据，“表达并预测未来环境演化"仍缺少直接验证。

全文用"作者报告"指论文实验与实现事实，用"直接推论"指可从公式或表格得出的结论，用"机制判断"指讨论形成的解释。没有执行论文训练、代码复现或新的验证实验。

1. Introduction：为什么要研究"预测哪一种未来”？

传统 PNC（规划与控制）预先规定他车轨迹、占用等预测输出；端到端网络可以用未显式解码的内部数字特征，即潜在表示（latent representation），承载未来信息。

已有世界模型多预测未来图像、鸟瞰图（BEV）或通用视觉特征，但这些目标未必最有利于规划。PlanWAM 的核心是：**用轨迹生成和评分损失塑造未来 latent，再让仅看历史的学生预测它。**作者称之为 Planning-Shaped World Action Model，即由规划任务塑形的世界动作模型。

驾驶世界模型主要分为未来场景生成和面向驾驶任务的特征预测两条路线。PlanWAM 属于后者，以 DrivoR 为基线，给候选生成器与评分器加入未来上下文，重点改动是让规划任务决定这份上下文的学习目标。

结构边界：它先预测一份未来 latent，供各候选共用，没有针对不同自车动作分别推演环境反应。

3. Method：模型、损失与训练流程

3.1 问题定义和符号

为避免把观测帧数与轨迹点数混在一起，笔记使用以下符号：

符号	含义	报告配置
$t$	当前时刻	—
$H_t$	历史输入的统称，包含多视角图像、自车状态、导航	4 个历史时刻、4 个摄像头
$v_i^k$	时刻 $i$、摄像头 $k$ 的图像	前、左、右、后
$c_i$	自车状态与导航信息	具体字段未逐项列出
$h_t$	压缩后的历史表示	128 个 token
$f_t^+$	真实未来图像得到的查询特征	256 个 token
$z_t^+$	后验教师的未来 latent	256 个 token
$\hat z_t^+$	先验学生预测的未来 latent	256 个 token
$m_t^+,m_t^-$	教师／学生的规划上下文	384 个 token
$B$	batch 大小	训练全局为 128
$d$	下游特征维度	256
$N_z$	未来 latent 的 token 数	256
$K$	自车候选轨迹数	64
$J$	每条轨迹的位姿点数	8
$\tau_k$	第 $k$ 条候选轨迹	$8\times3$
$\tau^*$	示范／真实自车轨迹	训练回归目标

一个 token 可理解为一条定长的数字特征记录。这里下游每条记录有 256 个数字。符号上标 $(+)$ 表示未来相关，帽子 $\hat{\cdot}$ 表示预测值；$m^-$ 只是学生分支的记号，不表示负数。

普通端到端规划器直接学习：

$$p(\tau\mid H_t).$$

引入未来 latent 后，作者采用：

$$p(\tau,z_t^+\mid H_t)=p(z_t^+\mid H_t)\,p(\tau\mid H_t,z_t^+).$$

它把功能拆成"推断未来表示"和"根据历史与未来表示规划”。这种概率分解本身并不能规定 latent 必须包含环境状态语义。

3.2 总体数据流

flowchart TD
    H[历史图像、自车状态与导航] --> E[历史压缩 h：128 tokens]
    F[训练时真实未来图像] --> T[后验教师：未来 latent z⁺]
    E --> T
    T --> TP[阶段1：轨迹生成与评分]
    TP -. 规划损失反向塑形 .-> T
    E --> S[先验学生：预测未来 latent ẑ⁺]
    T -. 阶段2：冻结教师，特征对齐 .-> S
    E --> M[历史＋预测未来：384 tokens]
    S --> M
    M --> G[64条候选轨迹]
    G --> R[六项评分并选择轨迹]
    M --> R

**后验（posterior）**在训练时能看到真实未来；**先验（prior）**只能看到历史。这里主要是在区分信息可见范围，不需要把实现理解成变分自编码器（VAE）；论文没有为 latent 给出一套显式高斯后验、采样与 KL 散度约束。

3.3 Recency-Aware History Representation：近期优先的历史压缩

3.3.1 图像与自车信息编码

共享视觉编码器处理每个摄像头和时刻的图像：

$$x_i^k=F_{\mathrm{vis}}(v_i^k),\qquad r_i^k=F_{\mathrm{reg}}(x_i^k),\qquad e_i=F_{\mathrm{ego}}(c_i).$$

其中 $x_i^k$ 是图像特征，$r_i^k$ 是 scene registers，即用于汇总场景的特征槽位；$e_i$ 是自车信息经过 MLP 后的特征。

视觉骨干使用 DINOv2 ViT-S，即小型视觉 Transformer。基础参数冻结，通过 LoRA 训练一个较小的参数增量，rank 为 32。

每张图像提取 16 个 registers。**它们既不是 16 个检测目标，也没有被规定成固定物体槽位。**论文没有在已给出的实现说明中进一步展开 $F_{\mathrm{reg}}$ 的完整提取细节，因此不把这 16 个槽位等同于 DINOv2 原生寄存器的配置。

3.3.2 时间寄存器金字塔 TRP

Temporal Register Pyramid（TRP）按时间远近给历史分配不同查询预算。从最旧到当前，每个摄像头分别使用 $[4,4,8,16]$ 个查询。

压缩前有：

$$4\text{历史帧}\times4\text{摄像头}\times16\text{registers}=256\text{ tokens}.$$

压缩后有：

$$4\times(4+4+8+16)=128\text{ tokens}.$$

它保留较多近期细节，对较旧历史压缩更强。类似 PNC 中保留最新状态的精确信息，同时从更早观测中提取运动趋势；这种类比不表示网络内部真的在做显式运动学滤波。

对第 $\ell$ 个时间层，构造查询：

$$\widetilde Q^{(\ell)}=Q^{(\ell)}+E_{\mathrm{time}}^{(\ell)}+E_{\mathrm{cam}}^{(\ell)}+E_{\mathrm{level}}^{(\ell)}+E_{\mathrm{ego}}^{(\ell)}+\bar r_t.$$

这里 $Q^{(\ell)}$ 是可学习查询；各个 $E$ 分别编码时间、摄像头、压缩层级、自车信息；$\bar r_t$ 是当前场景 registers 汇聚的上下文。压缩历史也会参考当前场景。

然后用 Q-Former 读取对应层的历史 registers：

$$h_t^{(\ell)}=\operatorname{QFormer}\left(Q=\widetilde Q^{(\ell)},K=R^{(\ell)},V=R^{(\ell)}\right),\qquad R^{(\ell)}=\operatorname{Concat}_{i\in\mathcal G_\ell,k}r_i^k.$$

$\mathcal G_\ell$ 表示该层涵盖的历史时刻集合，所有层的输出拼接为 $h_t$。

注意力中的 Q（Query，查询）表达"要提取什么"，K（Key，键）用于匹配相关输入，V（Value，值）提供被汇总内容：

$$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V.$$

$d_k$ 是每个注意力头的键维度，softmax 将匹配分数变成归一化权重。可把它理解成"先按相关性找资料，再做加权汇总"。查询数量决定压缩输出的 token 数。

TRP 没有额外的历史重建损失，而是由规划任务和未来特征蒸馏共同优化。训练会推动它保留对这些目标有用的信息，但不会自动赋予特征明确物理语义。

3.4 Planning-Shaped Future Representation：教师如何学习未来 latent？

3.4.1 教师读取真实未来

后验教师在训练时观察未来 $\{1,2,3,4\}$ 秒的四摄像头图像。每张图像仍提取 16 个 registers，因此未来 token 数为：

$$N_z=4\times4\times16=256.$$

加上未来时间编码后组成查询：

$$f_t^+=\operatorname{Concat}_{i,k}\left[r_i^k+E_{\mathrm{time}}^{\mathrm{fut}}(i-t)\right].$$

教师计算：

$$z_t^+=P_\phi(h_t,f_t^+)=\operatorname{WM}_{\mathrm{post}}\left(Q=f_t^+,K=h_t,V=h_t\right).$$

$P_\phi$ 表示教师分支，$\phi$ 是其参数，WM 表示作者所称的世界模型模块。真实未来放在 Q，历史放在 K、V。

论文概述公式（式 3）还把未来自车与导航上下文 $c_{t+1:t+T}$ 列为后验输入，但具体实现公式与附录主要展开未来图像 registers 查询，并未清楚说明未来 $c$ 的独立编码路径。不能据此断言教师直接输入了真实未来轨迹；本文讨论的自车运动捷径仅依赖未来图像就已经成立为重要疑点。

3.4.2 规划目标怎样塑造特征

对历史和未来 token 分别加入类型编码后，形成教师规划上下文：

$$m_t^+=\operatorname{Concat}\left(h_t+E_{\mathrm{type}}^{\mathrm{hist}},\,z_t^++E_{\mathrm{type}}^{\mathrm{fut}}\right).$$

类型编码告诉网络"哪些 token 来自历史，哪些来自未来"。轨迹生成器和评分器分别使用：

$$\{\tau_k^+\}_{k=1}^{K}=G_{\mathrm{plan}}(m_t^+),\qquad s^+=G_{\mathrm{score}}(\{\tau_k^+\},m_t^+).$$

$G_{\mathrm{plan}}$ 生成候选，$G_{\mathrm{score}}$ 输出候选评分，$s^+$ 表示教师侧的评分结果。主要任务监督是：

$$L_{\mathrm{post}}=L_{\mathrm{plan}}+L_{\mathrm{score}}.$$

损失通过反向传播调整前面模块的参数，使 latent 朝有助于生成和评价轨迹的方向变化。作者没有给 $z_t^+$ 加额外通用图像／特征重建目标，而是称其为 planning-shaped future representation，即由规划塑形的未来表示。

直观理解：如果某种特征让评分器更容易分辨"应让行的轨迹"和"有风险的抢行轨迹"，训练就会奖励这种特征。这能够解释任务价值，却不能单凭目标函数确认特征包含的是他车未来状态，还是已实现的自车驾驶方案。

3.5 Hindsight-to-Foresight Distillation：学生如何只靠历史工作？

3.5.1 先验查询与逐 token 对齐

先验学生用可学习查询代替真实未来特征：

$$Q_{i,k,j}^{\mathrm{prior}}=Q_{0,i,k,j}^{\mathrm{prior}}+E_{\mathrm{time}}^{\mathrm{fut}}(i-t)+E_{\mathrm{cam}}(k)+E_{\mathrm{slot}}(j).$$

这里 $i$ 是未来时间，$k$ 是摄像头，$j$ 是 register 槽位；$Q_0$ 是可学习参数。查询按与教师相同的"时间—摄像头—槽位"顺序排列。

学生计算：

$$\hat z_t^+=P_\theta(h_t)=\operatorname{WM}_{\mathrm{prior}}\left(Q=Q^{\mathrm{prior}},K=h_t,V=h_t\right),$$

其中 $\theta$ 是学生参数。固定槽位顺序便于逐 token 蒸馏，不等于每个槽位拥有固定的物体或物理含义。

3.5.2 特征蒸馏损失

Hindsight-to-Foresight Distillation（H2F）可理解为"从事后信息到事前推断的蒸馏"：

$$L_{\mathrm{latent}}=\frac{1}{N_zd}\left\|\hat z_t^+-\operatorname{sg}(z_t^+)\right\|_F^2.$$

$\|\cdot\|_F^2$ 表示对全部特征元素的平方差求和，除以 $N_zd$ 后得到每样本的 MSE；实现时还需对 batch 聚合。$\operatorname{sg}$ 是停止梯度，教师目标不会被这项损失反向修改。

教师给出的未来相关特征成为学生的学习目标，学生只能从历史中提取可预测线索。学生随后使用：

$$m_t^-=\operatorname{Concat}\left(h_t+E_{\mathrm{type}}^{\mathrm{hist}},\,\hat z_t^++E_{\mathrm{type}}^{\mathrm{fut}}\right)$$

同时支持候选生成和评分。这称为 Foresight-Conditioned Planning（FCP），利用预测未来上下文的规划。

3.6 两阶段训练与防坍塌正则

阶段一：训练具有未来信息的教师

训练后验分支及相关历史、规划与评分模块。完整任务损失为：

$$L_{\mathrm{task}}(z)=L_{\mathrm{plan}}+L_{\mathrm{score}}+10^{-4}L_{\mathrm{norm}}(z)+10^{-4}L_{\mathrm{div}}(z),\qquad z=z_t^+.$$

对 $z\in\mathbb R^{B\times N_z\times d}$，论文给出：

$$L_{\mathrm{norm}}(z)=\frac{1}{BN_z}\sum_{b,i}\left[1-\frac{\|z_{b,i}\|_2}{\sqrt d}\right]_+^2,$$$$L_{\mathrm{div}}(z)=\frac{1}{BN_z(N_z-1)}\sum_b\sum_{i\ne j}\left(\frac{z_{b,i}^\top z_{b,j}}{\|z_{b,i}\|_2\|z_{b,j}\|_2}\right)^2.$$

$[x]_+=\max(x,0)$。第一项惩罚过小的 token 范数，第二项惩罚 token 之间过大的平方余弦相似度，减少重复特征。

这些正则只约束特征的数值幅度和相互冗余，不负责约束环境状态语义，也不排除自车运动捷径。

阶段二：冻结教师，训练学生及下游模块

保留独立且冻结、处于评估模式的教师副本；将阶段一结构兼容的参数复制给学生侧，再用较低学习率训练：

$$L_{\mathrm{stage2}}=L_{\mathrm{task}}(\hat z_t^+)+0.05\,L_{\mathrm{latent}}.$$

未来图像只由冻结教师读取，不暴露给学生；附录还说明这些未来图像不做增强。教师目标被 detach，即从反向传播图中切断。即使整体采用混合精度，latent 对齐仍以 FP32 计算。

**第二阶段并非只训练先验世界模型。最终配置还更新学生侧历史编码、LoRA、规划器和评分器；ViT 基础权重继续冻结。**教师得到的是具有真实未来信息的特征，学生得到的是历史预测特征，下游需要适应二者差异。

3.7 轨迹生成器：64 个候选怎样产生？

规划器用 $K=64$ 个查询读取 384-token 的历史—未来上下文。四层解码器细化候选特征，每层包含候选间的单头自注意力、对规划上下文的单头交叉注意力，以及宽度 1024 的前馈网络。

最终 MLP：$256\rightarrow1024\rightarrow24$。24 个输出数字构成 8 个位姿 $(x,y,\psi)$，其中 $x,y$ 是位置，$\psi$ 是航向。规划时域为 4 秒，相邻轨迹点间隔 0.5 秒。

生成器采用 best-of-$K$ 的 L1 回归：

$$L_{\mathrm{plan}}=\frac1B\sum_{b=1}^{B}\min_{1\le k\le K}\frac1J\sum_{j=1}^{J}\|\tau_{b,k,j}-\tau^*_{b,j}\|_1.$$

每个样本中，只有最接近示范的候选获得直接轨迹回归监督。

这有利于避免把所有候选都拉到同一条示范上，但不保证形成充分的候选多样性。论文仍观察到 proposal collapse，即多个候选过度相似的坍塌问题。原文未展开位置与航向分量是否另做尺度归一化。

3.8 轨迹评分器：学习模拟器给出的规划质量

将每条候选展平为 24 维，经 MLP $24\rightarrow1024\rightarrow256$ 得到评分查询。四层评分解码器读取同一份历史—未来上下文，并在候选特征上加入自车状态 token。最后六个独立 MLP 头 $256\rightarrow1024\rightarrow1$ 输出六项分数。

缩写	全称	中文含义
NC	No-at-fault Collision	无有责碰撞
DAC	Drivable-Area Compliance	可行驶区域合规
TTC	Time-to-Collision	碰撞时间相关安全指标
EP	Ego Progress	自车沿路线的归一化进度
DDC	Driving-Direction Compliance	行驶方向合规
C	Comfort	舒适性

这里的 TTC 分数是基准按风险规则计算的子指标，并非直接把"剩余多少秒"原值作为表中分数。

训练时，官方候选轨迹模拟器（proposal simulator）评价各候选，提供目标 $q_{b,k,m}$。若评分网络输出 logit $a_{b,k,m}$，则：

$$L_{\mathrm{score}}=\sum_{m\in\mathcal M}\frac1{BK}\sum_{b=1}^{B}\sum_{k=1}^{K}\operatorname{BCEWithLogits}(a_{b,k,m},q_{b,k,m}),$$

其中 $\mathcal M=\{\mathrm{NC,DAC,TTC,EP,DDC,C}\}$。logit 是 sigmoid 前的实数输出；BCEWithLogits 将 sigmoid 与二元交叉熵组合计算，也可接收相应连续目标。

NC、DDC 中取值 0.5 的标签被映射为保守负类；未定义的 TTC 标签会被屏蔽。评分监督使用规划质量，没有简单用离示范轨迹的距离代替好坏评价。

对 NAVSIM-v1，第 $k$ 条候选使用：

$$\log S_k=\log p_k^{\mathrm{NC}}+\log p_k^{\mathrm{DAC}}+\log\left(5p_k^{\mathrm{TTC}}+5p_k^{\mathrm{EP}}+2p_k^{\mathrm C}\right),\qquad k^*=\arg\max_k\log S_k.$$

$p_k^m$ 是评分头经 sigmoid 得到的预测值。PDMS 中的常数分母不影响排序，DDC 在 v1 排名公式中权重为零。

输入评分器的候选几何坐标被 detach，所以评分损失不会沿候选坐标路径直接更新轨迹解码器。评分损失仍会经评分器读取的规划上下文，更新可训练的历史与未来特征。

论文详细列出的是六个评分头与 v1 选择公式，未同样展开 v2 扩展指标对应的独立评分头或完整选轨实现，不补写为十头评分器。

3.9 部署与张量形状（附录 A）

部署时去掉教师和未来图像加载，仅保留：

历史图像＋自车信息
    → TRP历史压缩 h
    → 先验预测未来特征 ẑ⁺
    → 拼接历史与预测未来
    → 生成64条候选
    → 预测六项分数
    → 选择一条轨迹

中间量	张量形状
原始历史 registers	$B\times256\times256$
压缩历史 $h_t$	$B\times128\times256$
教师／学生未来查询	$B\times256\times256$
教师／学生未来 latent	$B\times256\times256$
规划上下文 $m_t^\pm$	$B\times384\times256$
候选轨迹	$B\times64\times8\times3$
候选六项评分	$B\times64\times6$

模块	层数	隐藏宽度	注意力头数	FFN 宽度	输出
TRP	2	256	4	1024	128 个历史 token
后验世界模型	4	256	4	1024	256 个教师 token
先验世界模型	4	256	4	1024	256 个预测 token
轨迹生成器	4	256	1	1024	$64\times8\times3$
轨迹评分器	4	256	1	1024	每候选六项分数

FFN 为逐 token 的非线性变换，表中 FFN 使用 GELU 激活。世界模型每层采用预归一化，依次执行查询自注意力、查询对历史的交叉注意力和 FFN，各子层均有残差连接，dropout 为 0.1。生成器投影 dropout 为 0.1，随机深度为 0.2。

历史帧具体采样间隔、完整自车状态字段、最终控制器等细节，论文已给出的实现段落未展开；不能把四个历史时刻直接解读为固定四秒历史。

4. Experiments：评价协议、结果与消融

4.1 数据与训练设置

项目	论文配置
输入图像	4 个历史时刻，前／左／右／后四摄像头
图像分辨率	$1148\times672$
训练时真实未来观测	未来 1、2、3、4 秒，同样四摄像头
视觉骨干	DINOv2 ViT-S，基础参数冻结，LoRA rank 32
规划时域	4 秒，8 个位姿点，0.5 秒间隔
优化器	AdamW
每阶段时长	50 epochs
学习率	阶段一 $10^{-4}$，阶段二 $10^{-5}$
调度	前 10% 训练步线性预热，随后余弦衰减到零
硬件与 batch	16 张 NVIDIA A800，每卡 8 样本，全局 128
latent 蒸馏权重	0.05
范数／多样性正则权重	各 $10^{-4}$

NAVSIM 的数据源为基于 nuPlan 日志的 OpenScene。论文在 navtrain 上训练、navtest 上评价；NAVSIM-v1/v2 使用相同数据划分，采用各自的评价器。

作者将 NAVSIM 结果归入开环规划评价，但这并非只计算轨迹点误差：它会模拟自车执行未来 4 秒轨迹，其他参与者沿日志轨迹运动，不会响应自车行为。

HUGSIM 使用闭环滚动：自车动作改变后续状态和渲染图像，其他参与者也能与滚动过程交互。模型从 NAVSIM 直接迁移，不做 HUGSIM 特定微调，因此称为 zero-shot 零样本迁移。

4.2 评价指标（整合附录 C）

NAVSIM-v1：PDM Score

$$\mathrm{PDMS}=\mathrm{NC}\cdot\mathrm{DAC}\cdot\frac{5\mathrm{TTC}+5\mathrm{EP}+2\mathrm C}{12}.$$

NC 评价有责碰撞，DAC 检查自车轮廓是否留在可行驶区域；TTC 检查预测的迫近碰撞风险；EP 评价沿路线中心线的归一化进度；C 检查加速度、加加速度（jerk）、航向等舒适性边界。NC、DAC 为乘法门控，其他项是加权质量，严重碰撞或越界难以被高进度、舒适性补偿。先对每个场景评分再平均，所以把主表分项均值代入公式不一定复现总分。

NAVSIM-v2：Extended PDM Score

新增子项：TLC（交通灯合规）、LK（车道保持)、HC（历史舒适性）、EC（扩展舒适性，衡量相邻规划的时间一致性），DDC 也参与。乘法惩罚项为 $\{\mathrm{NC,DAC,DDC,TLC}\}$，加权平均项为 $\{\mathrm{EP,TTC,LK,HC,EC}\}$。人类轨迹惩罚过滤机制：

$$\operatorname{filter}_m=\begin{cases}1,&m(\mathrm{human})=0,\\ m(\mathrm{agent}),&\text{其他情况}.\end{cases}$$$$\mathrm{EPDMS}=\left(\prod_{m\in\mathcal M_{\mathrm{pen}}}\operatorname{filter}_m\right)\frac{\sum_{m\in\mathcal M_{\mathrm{avg}}}w_m\operatorname{filter}_m}{\sum_{m\in\mathcal M_{\mathrm{avg}}}w_m},$$

EP、TTC 权重各 5，LK、HC、EC 权重各 2。仍先逐场景计算再平均。

HUGSIM：路线完成率与 HD-Score

$$\mathrm{HD\text{-}Score}=R_c\frac1{T_e}\sum_{u=1}^{T_e}\left[\mathrm{NC}_u\mathrm{DAC}_u\frac{5\mathrm{TTC}_u+2\mathrm{COM}_u}{7}\right].$$

$R_c\in[0,1]$ 为路线完成比例。评估场景来自 nuScenes、Waymo、KITTI-360、PandaSet，分为 Easy、Medium、Hard、Extreme 四档：Medium 插入匀速车，Hard 加阻碍性/攻击性车辆，Extreme 使用尝试拦截自车预测未来的攻击规划器。总体分数按场景数加权，不是各难度或来源等权平均。

4.3 主要结果

基准	指标	PlanWAM
NAVSIM-v1	PDMS	93.8
NAVSIM-v2	EPDMS	90.9
HUGSIM 零样本闭环	HD-Score	38.7

NAVSIM-v1 相比 DrivoR 基线提高 0.7 分，有收益但幅度有限，通行进度也是收益来源，不能概括成安全项全面领先。v2 总分较好但 EC 偏弱，其他分项也非全面领先。HUGSIM 支持跨域闭环规划收益，困难场景改善较明显。这些成绩能说明方法有任务价值，却不能区分 latent 学到的是环境未来，还是自车行为编码。

4.4 核心消融实验

对比方向	关键结论
整体组件（表 4）	历史压缩、未来蒸馏、直接使用未来上下文均有增益，完整组合最好
未来表示目标（表 5）	规划任务塑形优于该实验中的通用未来特征重建
latent 使用位置（表 6）	对候选选择的帮助比只用于生成更明显，同时使用最好
历史查询预算（表 7）	同预算下近期优先更好，增加 token 数不一定有效
初始化与蒸馏（表 8）	二者结合效果最好；教师读取真实未来，成绩不能当作部署表现

最值得保留的结论是：**候选集中已有合理方案时，改善评价能够帮助选对。**这并不要求 latent 一定是完整的环境模型。消融证明任务价值，没有对照"环境未来编码"和"自车运动编码"，因此没有排除行为蒸馏解释。

运行成本只记一个数：单张 A800、batch size 1、FP32 下延迟约 342 ms，需结合实际规划周期评估。

4.5 失败分析（正文 4.4、图 5）

对 NAVSIM-v1 零分失败案例的分析：总失败减少，选错候选的减少是主要来源；NC、TTC、DDC 相关失败减少，但 DAC 相关失败与候选坍塌反而增加。这与评分环节受益更大的消融一致，不能概括成候选生成全面改善。

5. Conclusion：作者主张与证据范围

作者贡献主张：①将未来建模改写为面向规划的预测表示学习；②提出近期优先历史压缩、真实未来后验教师、历史先验学生及两阶段蒸馏流程；③将预测 latent 同时用于候选生成和评分，在 NAVSIM 和 HUGSIM 上取得较好成绩。

实验已支持的是：**这种训练和使用特征的方式有规划价值，评分与选择环节尤其受益。**更强的"学到了未来环境状态及动力学"解释，需要独立于规划总分的验证，见第 7 节。

6. 补充实验与可视化（附录 D、E）

补充消融：教师读取未来 registers 直接作为 Q 优于作为 K、V 或先压缩再作为 Q（表 14）；更长未来配合更多 token 效果更好但时域与容量未独立控制（表 15）；蒸馏权重需与任务目标平衡，更接近教师不一定规划更好（表 16）；第二阶段仅训练先验、冻结下游效果不足，需联合适配（表 17）。特征相似度高不能代替任务表现，更不能证明环境状态语义。

定性结果：NAVSIM 案例覆盖弯道、转弯、交叉口、多车道与密集交通（灰色 64 条候选、红色所选轨迹、绿色记录轨迹）；HUGSIM 在四个来源上各展示连续六步闭环案例。案例帮助观察行为，但不能单靠可视化确认网络内部 latent 的具体语义。

7. 讨论后的最终技术判断：世界状态预测，还是自车行为蒸馏？

7.1 首要判断

PlanWAM 的规划收益有证据，但"学到了环境动力学"尚未建立。当前结构和目标下，教师大概率优先编码真实未来中已经发生的自车运动及驾驶决策。

这是笔记讨论形成的机制判断，而非论文报告或已完成实验的结果。判断依据是：未来图像提供答案相关信息，训练目标直接奖励提取这些信息，而架构没有排除该路径。其具体占比，以及是否同时编码大量他车未来状态，尚无直接测量。

7.2 为什么自车运动捷径很可能发生？

未来图像不只包含"外部世界发生了什么"，还包含"自车实际上怎么开了"：

相机平移带来的视差、景物流动与道路几何变化，提供位移线索。
相机朝向变化，提供转弯与航向变化线索。
相对距离、车道位置等变化，携带减速、通过、并线等驾驶结果。

教师同时能读历史和未来，因而有条件从前后画面提取这段已经发生的自车运动。轨迹回归要监督的恰好就是这段运动。

真实未来图像 → 事后提取自车位移、航向或驾驶方案
             → 编码进 latent → 还原示范轨迹并帮助排序

这条路径不要求先建立他车及道路状态的未来演化模型。好比教师已经看过车辆最终左转的视频，提炼"这次车向左走了"就能帮助回归轨迹，不必先解释完整的路口博弈。

**问题的重点不是训练时用了未来就不允许，而是这些未来信息究竟承担了什么功能。**特权信息训练本身可以有效；要把它解释成世界动力学学习，还需排除更直接的行为答案提取。

7.3 未来只放在 Q，为什么仍能泄露自车运动线索？

“K、V 只有历史，所以输出不会包含未来图像信息"这个理解不成立。

未来 Q 决定读取历史时的注意力权重，未来查询之间还有自注意力；更直接的是，附录明确每个子层都有残差连接：

$$Q_{\mathrm{out}}=Q_{\mathrm{in}}+\operatorname{CrossAttention}\bigl(\operatorname{LN}(Q_{\mathrm{in}}),h_t,h_t\bigr).$$

残差路径保留携带真实未来信息的 $Q_{\mathrm{in}}$，不要求所有输出内容都来自历史 V。该式用于说明信息路径，省略了其他子层和投影，不是论文另给的完整实现式。

时间／摄像头／槽位编码只帮助对齐；范数和多样性正则只缓解数值坍塌。它们都没有切断上述捷径。

7.4 评分损失为什么不足以消除这种解释？

输入	一种足以解释收益的分工（机制推断）
历史 $h_t$	提供道路、障碍物、相对位置和运动趋势
未来 $z_t^+$	提供实际自车运动、已实现的高层驾驶方案
候选轨迹	提供当前待评价方案

这三者的组合可能改善评分，而不要求 $z_t^+$ 独立表达他车未来状态。因此增加 $L_{\mathrm{score}}$ 并不能自动保证教师学习环境动力学。评分提升验证的是任务效果，不能直接判定内部机制。

7.5 如果教师主要编码自车运动，学生究竟学了什么？

学生可能形成"历史观测 → 预测隐式自车未来行为／轨迹编码 → 生成并选择轨迹"的链路。这仍然是一种未来预测，不能笼统说学生"完全没有隐式未来预测”；更准确的判断是：它预测的目标可能主要是自车未来行为，而不是经过验证的未来世界状态。

即便如此，这套训练仍有价值：高维隐式行为编码可能比直接回归一条轨迹提供更丰富的学习信号，也可能改善候选组织和评价。收益成立与"世界模型"解释成立，不能相互替代。

7.6 教师不预测未来，蒸馏为什么仍然可能有效？

教师可以利用特权信息构造监督目标，不必自身完成事前预测。真正的问题是教师目标有多大程度可由历史预测。

固定教师与特征空间，仅考虑 MSE 蒸馏项时，理想解为 $\hat z^*(H)=\mathbb E[z_{\mathrm{teacher}}\mid H]$。如果教师大量编码事后已知、事前尚有随机性的具体动作结果，学生只能学习其可预测规律。多种未来对应的 latent 均值，也未必对应一个真实可实现的未来状态。64 条候选是自车规划输出的多样性，不能直接当作环境未来的多模态建模。

7.7 “世界模型"命名如何评价？

对世界模型的要求	对本文的判断
根据历史预测未来相关 latent	符合宽泛定义
latent 表达未来环境状态，并能预测其演化	现有证据不足
根据不同自车动作推演不同环境未来	报告结构未实现逐候选动作条件化推演

**最终技术定位：以真实未来观测提供特权监督，通过未来相关特征蒸馏改善规划。**在完成额外验证前，不把它的规划收益归因为已经学到环境动力学。

7.8 什么实验最能区分两种解释？（建议，本次未执行）

实验	如何控制	能回答的问题
真实未来自车轨迹教师	用真实未来自车轨迹替换未来图像作为教师信息源，保持相近容量与流程	单靠行为答案能解释多少收益？
固定自车相机运动，干预他车未来	保持历史与相机路径，改变他车未来行为，观察 latent 和评分变化	特征是否对外部环境未来有独立敏感性？
冻结模型后的环境预测探针	比较仅用历史、历史＋latent，在控制自车未来运动后预测他车未来位置／占用	latent 相比是否额外保留环境未来信息？

轨迹教师若获得接近图像教师的收益，将强化行为蒸馏解释；图像教师若明显更好，只能说明图像提供了额外有用信息，还需干预或探针确认其对应环境未来。探针实验中应分别测量教师能否编码环境未来与学生能否预测这部分信息。

7.9 从 PNC 角度应如何吸收这篇论文？

熟悉的 PNC 环节	PlanWAM 对应模块	类比边界
历史状态整理、动态线索提取	TRP 历史压缩	latent 没有显式目标状态约束
对未来交通形势的判断	历史先验预测 latent	未来环境语义尚未验证
候选轨迹采样／生成	64 个规划查询及解码器	不是显式几何采样格或运动学优化器
碰撞、越界、效率等代价评估	六项评分头	预测模拟器标签，部署时由网络估分
选取最优候选	基于预测分数排序	没有逐候选的交互世界推演

最值得借鉴：让中间特征直接接受下游任务监督，并让评分器也使用额外上下文；对候选规划系统，选得准往往与生成得多一样重要。

8. 核心贡献、适用条件、局限性与待验证问题

核心贡献

提出规划目标塑形未来 latent，再从真实未来教师蒸馏到历史学生的训练方法。
采用近期优先的历史 token 分配，在较小预算下获得更好结果。
将预测 latent 同时用于候选生成与评分，消融说明选择环节贡献较大。
报告较好的 NAVSIM 分数与跨域 HUGSIM 闭环成绩，支持方法的规划价值。

适用条件

训练数据有时间同步的历史、真实未来多摄像头图像和示范轨迹。
有可为候选提供规划质量标签的模拟器或评价器。
系统采用候选生成与选择结构，能接入额外上下文特征。
有能力完成两阶段训练，并联合适配学生侧的历史、生成和评分模块。
部署只依赖历史可观测输入，但需评估报告延迟（约 342 ms）对规划周期的影响。

主要局限性

核心方法论疑点：未来图像可泄露自车已经实现的运动，尚未排除行为蒸馏捷径。
缺少环境未来语义探针、受控干预或行为教师对照，无法据规划总分确认 latent 的世界状态含义。
没有逐候选动作条件化的环境推演，环境未来的不确定性也未显式建模。
总分提升伴随 v2 EC 偏低、失败集合中 DAC 恶化、候选坍塌增加等取舍。
NAVSIM 其他参与者不响应自车；HUGSIM 是闭环仿真与跨域测试，仍未提供真实道路部署验证。
对细小消融差异未给出多随机种子方差或置信区间，不应解释成确定、普适的规律。
部分工程细节仍未展开（历史采样间隔、register 提取细节、v2 扩展评分的选轨实现等）。

仍待验证的问题

图像教师相对真实未来自车轨迹教师，究竟提供了多少独立增益？
教师／学生 latent 中分别有多少信息对应自车运动、他车未来和道路约束？
排除自车相机运动线索后，特征是否仍能稳定改善候选评价？
将世界模型改成按候选自车动作推演未来，能否进一步处理交互与反事实问题？
如何同时改善候选多样性、相邻规划一致性与运行时延？

最终阅读结论：PlanWAM 是一项有实证规划收益的未来特权信息蒸馏方法。自车未来运动捷径是当前最有力、也最应优先验证的机制解释；在排除这条路径之前，不把"规划分数提高"当成"已经学会环境动力学"的证明。