WA-JEPA：将视频 JEPA 改造成自动驾驶世界-动作模型
论文：WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving 时间：2026年8月21日（arXiv:2608.20974v1） 链接：https://arxiv.org/abs/2608.20974 阅读目标：从具有规则式 PNC 经验的工程视角，理解它如何把"预测未来场景"与"输出自车轨迹"放到同一个生成过程里。
相关笔记同属"世界模型融合"方向的自动驾驶论文另见 Metis：不对称注意力解锁联合训练与解耦推理、DriveVA - 视频动作模型即零样本驾驶员、EponaV2: Driving World Model with Comprehensive Future Reasoning、World4Drive - 无需感知标注的端到端自动驾驶世界模型。
1. 一句话结论
WA-JEPA 以 V-JEPA 2 的视频表征为视觉骨干，将原有的"随机遮挡特征补全"改成"由过去预测未来"，并用条件 Flow Matching 同时生成未来场景 latent 和自车未来轨迹。它试图同时获得两类模型的优点：V-JEPA 的高层时空语义，以及世界模型的未来推演能力。
作者报告的主要结果是：在 NAVSIM-v2 的 navtest 上得到 91.7 EPDMS，在未使用 HUGSIM 数据训练或微调的条件下，在 436 个 HUGSIM 闭环场景上得到 0.4462 HD-Score。
2. 背景与问题
2.1 从模块化 PNC 到端到端规划
传统自动驾驶通常将感知、预测、规划和控制拆开。规则式 PNC 的优点是中间变量明确，例如障碍物轨迹、可行驶区域、候选轨迹和代价项都可单独审查；缺点是模块接口误差会叠加，且每个任务需要专门规则或监督。
端到端（End-to-End，E2E）驾驶直接学习：
$$ \text{多传感器观测} \longrightarrow \text{自车未来动作或轨迹}。 $$许多 E2E 方法仍依赖检测、分割、占用等中间监督。另一类方法只用图像和少量轨迹标签学习这个映射，但存在 监督不足（supervision deficit）：输入视频包含道路、交通灯、其他交通参与者、遮挡、时序运动等大量信息，输出却只是几步自车轨迹，模型缺少足够约束来学会"为什么要这样开"。
2.2 两条已有路线
- 视觉-语言-动作（Vision-Language-Action，VLA）：借助视觉语言模型的语言理解和推理能力做决策。其问题是很多方法仍是"密集视觉输入到稀疏动作输出"的直接映射。
- 世界-动作模型（World-Action Model，WAM）：同时预测未来世界和自车动作，用未来帧预测提供更稠密的自监督。许多视频生成式 WAM 使用 VAE（Variational Autoencoder，变分自编码器）压缩后的 latent；该空间首先为重建像素服务，可能缺少规划真正关心的高层时空语义。
2.3 V-JEPA 的机会与缺口
V-JEPA（Video Joint Embedding Predictive Architecture）不重建像素，而是预测被遮挡视频区域的特征表示。它学习到的表示通常更关注物体、布局和运动关系，因而比像素重建 latent 更有语义。
但原始 V-JEPA 不能直接作为可部署规划器，原因有三点：
- 它随机遮挡时空 patch，目标本质是"根据周围内容补全缺失区域"，不是严格的"只看过去预测未来"。
- 它直接回归一个确定的特征。完全未观测的未来通常有多种合理可能，直接回归容易输出平均、平滑的未来。
- 它只建模视觉特征，没有将未来世界状态与自车轨迹放进一个可直接规划的预测过程；已有 V-JEPA 规划方式可能还需要目标图像和 MPC 多轮优化。
WA-JEPA 的命题是：保留 V-JEPA 2 的时空表示能力，再补上因果未来生成和动作建模。
3. 预备知识：V-JEPA 2 的师生特征预测
原始 V-JEPA 使用：
- 在线编码器 $E_\theta$：接受带遮挡的观测；
- 目标编码器 $E_{\bar\theta}$：接受目标观测，提供训练目标；
- 预测器 $P_\psi$：从在线编码器的上下文特征预测目标特征。
其训练形式为：
$$ \min_{\theta,\psi} \left| P_\psi(E_\theta(\alpha))- \operatorname{sg}(E_{\bar\theta}(\beta)) \right|_1, \tag{1} $$其中 $\alpha$ 是带遮挡的输入，$\beta$ 是目标输入；$\operatorname{sg}(\cdot)$ 表示 stop-gradient（停止梯度），即反向传播时目标编码器输出被当作常量。
目标编码器不是被梯度直接更新，而是在线编码器的指数移动平均（EMA）：
$$ \bar\theta \leftarrow \mu\bar\theta+(1-\mu)\theta. \tag{2} $$$\mu$ 是 EMA 动量。可把目标编码器视为更新较慢的老师，在线编码器是快速学习的学生。
3.1 表示塌缩是否被理论保证避免？
**没有严格保证。**若两个编码器和预测器都输出同一个常量，预测与目标相同，MSE 或 L1 损失也可能很低甚至为零。
本文实际依赖以下机制降低塌缩风险：目标端 stop-gradient 使学生不能在当前反传中同时改写目标；EMA 使目标网络不会立即追随在线网络变化；更重要的是，Stage 1 从已具备时空语义的 V-JEPA 2 权重初始化，而不是随机初始化。于是训练早期的目标特征随样本、时间、相机和空间位置变化，固定输出无法拟合。
但论文没有报告显式的方差约束、协方差去相关损失或对比负样本来从目标函数上排除常量解；若在线网络长期塌缩，EMA 教师最终也可能随之塌缩。因此这里应理解为有效的训练稳定化策略，而非数学上的防塌缩证明。
4. 问题定义与符号
给定历史多视角图像、当前自车状态和历史动作，模型预测未来 $K$ 个时刻的自车位姿：
$$ f_\theta(X_{1:H},s,Y_{1:H}) \mapsto \hat Y_{H+1:H+K}= \{(\hat x_k,\hat y_k,\hat\phi_k)\}_{k=1}^{K}. \tag{3} $$- $H$：历史帧数；$K$：未来预测帧数或动作步数；
- $X_t=\{X_t^c\}_{c=1}^{C}$：第 $t$ 帧的 $C$ 个同步相机图像；
- $s$：紧凑自车状态；
- $Y$：自车历史或未来动作；$(x,y,\phi)$ 分别为位置和航向角。
论文实现中输入左、前、右、后四个相机的 4 帧历史图像，图像分辨率为 256×512，预测 8 个未来动作，频率为 2 Hz。视觉 token 的精确 hidden dimension、每帧 patch 数和具体位置编码形式，正文未说明。
为便于理解，可用符号形状表示：
- $Z_{\text{ctx}}\in\mathbb{R}^{B\times N_{\text{ctx}}\times D}$：历史场景 token；
- $Z_{\text{cond}},Z_t,Z^*_{\text{future}}\in\mathbb{R}^{B\times N_{\text{future}}\times D}$：未来条件、带噪未来、干净未来目标 token；
- $Y\in\mathbb{R}^{B\times K\times3}$：未来轨迹；
- $B$、$D$、$N$ 分别是 batch 大小、特征维度和 token 数。
这些是由公式推导出的抽象形状，不是论文披露的具体数值。附录说明标准设定中 8 个未来帧以 tubelet size 2 表示为 $F=4$ 个未来 token 时间步，并从四相机场景 token 网格选取动态位置。
5. 方法总览：两阶段训练
| 阶段 | 数据与监督 | 核心目标 | 未来图像是否输入学生预测器 |
|---|---|---|---|
| Stage 1 | nuPlan 多视角视频，无动作监督 | 将 V-JEPA 2 适配为未来 latent 预测器 | Patch-mask 时部分可见；Full-mask 时完全不可见 |
| Stage 2 | NAVSIM navtrain，未来场景 + 动作监督 |
联合生成未来场景 latent 与未来自车轨迹 | 否；只使用 Full-mask |
这相当于先训练"通过历史推演未来世界"的能力，再让轨迹监督把世界表示拉向对规划有用的方向。
6. Stage 1：混合未来遮挡预训练
6.1 历史上下文 token
论文采用预训练 V-JEPA 2 ViT-L 作为视觉骨干。各相机流被视作独立视频、通过共享在线编码器处理。历史帧始终可见：
$$ Z_{\text{ctx}}=E_\theta(X_{1:H}). \tag{5} $$它承载"从当前已观测场景出发，未来可能如何演化"的条件信息。
6.2 Z_cond：未来条件 token 如何生成
未来图像使用遮挡模式 $M^{(m)}$，其中 $m\in\{\text{full},\text{patch}\}$。仅未遮挡的未来 patch 被在线编码器读取，随后得到：
$$ Z_{\text{cond}}^{(m)}= \Phi^{(m)} \left( Z_{\text{mask}}, E_\theta(X_{H+1:H+K},M^{(m)}) \right). \tag{6} $$- $Z_{\text{mask}}$：可学习的 mask token；
- $E_\theta(\cdot)$：对可见未来 patch 产生 token；
- $\Phi^{(m)}$：mask-aware fill-and-scatter 操作。它先建立完整未来 token 槽位，再把可见 patch 的 token 放回原来的时间、相机和空间位置，其他位置保持 mask token。
以一帧未来图像被分成四个 patch 为例，若第 1、3 个 patch 可见：
$$ Z_{\text{cond}}=[v_1,m_2,v_3,m_4], $$其中 $v_1,v_3$ 是视觉编码器输出，$m_2,m_4$ 是可学习 mask token。它不是未来真值，而是预测器的条件输入。
两种掩码的作用不同：
- Patch-mask：保留部分未来 patch，任务是利用局部未来信息补全其他未来 token，降低学习难度，并保持 V-JEPA 原有的局部特征补全能力。
- Full-mask：所有未来 patch 都不可见，因此 $Z_{\text{cond}}^{(\text{full})}$ 完全由 mask token 构成。模型只能由历史推断未来，学习严格的过去到未来动力学。
6.3 EMA 目标未来 token
目标编码器读取完整未来图像：
$$ Z^*_{\text{future}}=E_{\bar\theta}(X_{H+1:H+K}). \tag{7} $$它只作为训练标签，不进入学生预测器输入。星号表示干净的目标 latent，并非像素级未来视频。
6.4 条件 Flow Matching 与 x-prediction
对未来 scene token 采样高斯噪声 $\epsilon_{\text{future}}\sim\mathcal{N}(0,I)$，并沿噪声与真实未来之间构造线性路径：
$$ Z_t=(1-t)\epsilon_{\text{future}}+tZ^*_{\text{future}}. \tag{8} $$- $t$ 是 flow time（生成路径的连续时间），不是物理时间；
- $t=0$ 对应纯噪声，$t=1$ 对应干净未来 latent；
- 正文说会采样连续 flow time，但未给出其精确采样分布。
预测器接收历史场景、未来条件、当前带噪未来和 flow time，并预测干净终点：
$$ \hat Z_{\text{future}} =P_\psi^{\text{future}} (Z_{\text{ctx}},Z_{\text{cond}},Z_t,t). \tag{9} $$这被称为 clean-latent 或 x-prediction：网络预测的是 $t=1$ 的完整干净未来状态，而不是直接预测 flow 速度。预测器采用 MMDiT（Multimodal Diffusion Transformer）风格，主要通过 context scene token 与 future scene token 的联合 self-attention 交互；具体 block 内部结构正文未说明。
Stage 1 损失为未来 token 的均方误差：
$$ \mathcal{L}_{\text{Stage 1}} =\mathcal{L}_{\text{future}} =\frac{1}{N} \left| \hat Z_{\text{future}}- \operatorname{sg}(Z^*_{\text{future}}) \right|_2^2, \tag{10} $$其中 $N$ 是参与损失计算的未来 scene token 数。该目标要求模型在已知当前带噪状态和历史条件时，还原正确的干净未来 token。
7. Stage 2：联合世界-动作建模
Stage 2 从 Stage 1 权重初始化，增加动作流，并保持场景预测监督。关键不是"先生成未来视频，再根据视频输出轨迹"，而是在同一个生成过程里同时维护场景 latent 与轨迹这两个状态。
7.1 为什么只使用 Full-mask
Stage 2 使用：
$$ Z_{\text{cond}}=Z_{\text{cond}}^{(\text{full})}. $$因此它完全是可学习 mask token，不含任何真实未来图像的样本相关信息。真实未来图像只通过 EMA target encoder 构建 $Z^*_{\text{future}}$ 作为训练标签。
这样做是因为部署时不可能拿到未来图像。若动作分支在训练中读取了部分真实未来 patch，会造成 future leakage（未来信息泄漏）。
从信息内容看，Full-mask 下的 $Z_{\text{cond}}$ 不提供未来观测。它可能仍保留未来 token 的固定槽位模板，并保持与 Stage 1 相同的 predictor 接口；“作为查询或位置先验"的解释是合理推断，但论文没有对其单独消融，也未公开内部融合方式。因此不能断言它在 Stage 2 必不可少。若模型已有明确的时间、相机、空间位置编码，理论上可以去掉它；是否影响性能需要实验验证。
7.2 动作 token 的构造
先将未来真值动作归一化：
$$ \bar Y_{H+1:H+K}=\operatorname{Norm}(Y_{H+1:H+K}), $$并以与场景 token 相同的 flow time 加噪：
$$ \tilde Y_t=(1-t)\epsilon_y+t\bar Y_{H+1:H+K}, \qquad \epsilon_y\sim\mathcal{N}(0,I). \tag{11} $$$\tilde Y_t$ 不是已知未来轨迹，而是当前需要被逐步去噪的"轨迹草稿”。它与历史动作和自车状态分别编码后拼接：
$$ T_{\text{act}}=\operatorname{Concat}[T_n,T_h,T_s], \tag{12} $$$$ T_n=F_n(\tilde Y_t),\qquad T_h=F_h(Y_{1:H}),\qquad T_s=F_s(s). $$论文说明 $F_n$ 是线性投影，$F_h,F_s$ 是 MLP。动作 token 同时包含：当前的带噪未来动作状态、历史运动信息和自车当前运动状态。
7.3 联合预测器与梯度方向
同一个 Joint Future-Action Flow Predictor 有场景输出流和动作输出流：
$$ \hat Z_{\text{future}} =P_\psi^{\text{future}} (Z_{\text{ctx}},Z_{\text{cond}},Z_t, \operatorname{sg}(T_{\text{act}}),t), \tag{13a} $$$$ \hat{\bar Y}_{H+1:H+K} =P_\psi^{\text{act}} (Z_{\text{ctx}},Z_{\text{cond}},Z_t, T_{\text{act}},t). \tag{13b} $$两条输出流来自同一联合 predictor，而不是彼此独立的两个网络。前向计算时场景分支能读取动作 token，动作分支也能读取场景信息，因此二者可相互约束。例如，路口、前车减速和行人等场景变化会影响轨迹；轨迹的候选趋势也可帮助模型关注规划相关的场景区域。
但场景分支读取的是 $\operatorname{sg}(T_{\text{act}})$：scene loss 不会通过该接口更新动作 token 编码支路。论文附录说明，这个不对称设计避免未来场景预测损失主导或破坏动作流；反过来，动作输出流仍可关注可微的历史和未来场景 token，所以动作监督可以通过共享交互模块塑造规划相关的场景表示。
可将梯度关系概括为：
- future scene loss 更新场景相关支路和共享 predictor，但在 action-token 接口处停止；
- action loss 可经联合交互模块影响场景表示和动作支路。
论文没有给出 Joint Predictor 的精确代码、attention 拓扑、$Z_{\text{cond}}$ 与 $Z_t$ 的具体融合方式，或使用 AdaLN（Adaptive Layer Normalization）等时间条件机制的证据。将它们实现成相加、独立 stream、cross-attention 或 AdaLN 调制都属于可能的工程设计，不能写成作者已公开的事实。
7.4 Stage 2 损失
动作输出也是对整段干净未来轨迹的预测，使用 MSE：
$$ \mathcal{L}_{\text{act}} =\frac{1}{K}\sum_{k=1}^{K} \left| \hat{\bar y}_k-\bar y_k \right|_2^2, \tag{14} $$其中 $\bar y_k=\operatorname{Norm}(x_k,y_k,\phi_k)$，$\hat{\bar y}_k$ 是对应预测。总损失为：
$$ \mathcal{L}_{\text{Stage 2}} =\lambda_{\text{future}}\mathcal{L}_{\text{future}} +\lambda_{\text{act}}\mathcal{L}_{\text{act}}. \tag{15} $$$\lambda_{\text{future}}$ 与 $\lambda_{\text{act}}$ 控制维持世界建模能力和拟合动作的相对强度；论文正文未给出数值。
8. 推理：从噪声联合生成未来场景与轨迹
部署输入只有历史多视角观测、历史动作和自车状态；没有未来图像，也没有真值未来动作。未来场景 token 和归一化未来动作都由高斯噪声初始化。每个采样步骤，联合 predictor 预测二者的干净终点，再将终点换算为线性 flow 上的速度并迭代积分。论文使用 12 个采样步骤。
8.1 “终点预测"到底是什么
这里的终点不是指"只预测最后一个轨迹点”。对任一 flow 状态 $x_t$，网络预测的是 $t=1$ 时的完整干净状态：
- 对场景分支，终点是完整 $Z^*_{\text{future}}$ token 序列；
- 对动作分支，终点是完整 $K$ 步归一化轨迹 $\bar Y_{H+1:H+K}$。
这里的 flow velocity 是 token/轨迹向量在生成路径上的变化率，不是车辆真实物理速度。
8.2 从 x-prediction 推导 flow velocity
对一般状态 $x$，论文的线性插值路径为：
$$ x_t=(1-t)x_0+tx_1, $$其中 $x_0$ 是高斯噪声，$x_1$ 是干净目标。对 $t$ 求导：
$$ v_t=\frac{dx_t}{dt}=x_1-x_0. $$推理时已知当前 $x_t$，网络给出 $\hat x_1$，但无法直接知道 $x_0$。由路径反解：
$$ x_0=\frac{x_t-tx_1}{1-t}. $$代入得到：
$$ \boxed{ \hat v_t=\frac{\hat x_1-x_t}{1-t} }. $$所以：
$$ \hat v_t^z=\frac{\hat Z_{\text{future}}-Z_t}{1-t}, \qquad \hat v_t^y=\frac{\hat{\bar Y}_{\text{future}}-\tilde Y_t}{1-t}. $$这直接由论文公式 (8) 推导。论文只说会将终点预测转换成线性 flow 速度并积分，没有披露具体 ODE solver、最终时间点的数值处理、步长调度或其他采样器细节。
8.3 为何选 x-prediction 而非直接预测 velocity
作者采用 x-prediction 的直接事实是：训练目标就是干净未来 latent/轨迹，损失是对该干净终点的 MSE。它带来三个自然好处：
- 监督目标就是规划所关心的完整未来场景和完整轨迹，语义直观。
- 场景 token 与轨迹的物理含义不同，但都可统一为"当前带噪状态 $\rightarrow$ 干净终点状态"。
- velocity target $x_1-x_0$ 随每次随机噪声 $x_0$ 改变；x-prediction 的标签 $x_1$ 对同一数据样本固定。
代价是公式含 $1/(1-t)$：当 $t$ 接近 1，终点预测误差会被放大到速度误差中。工程上通常避免在恰好 $t=1$ 再计算该式，最后一步可直接采用终点估计；但本文的精确处理正文未说明。
论文只比较了 Flow Matching 与直接回归，并未比较 x-prediction 和 v-prediction。因此不能从该论文得出"x-prediction 一定优于 v-prediction"的结论。
9. 实验设置
9.1 训练与推理超参数
- Stage 1 在 nuPlan 多视角视频上预训练；Stage 2 在官方 NAVSIM
navtrain上训练；在navtest上评估。 - 使用 V-JEPA 2 ViT-L；Stage 1 和 Stage 2 分别使用 64、32 张 NVIDIA A800 GPU，单卡 batch size 为 4。
- 优化器为 AdamW，使用 bfloat16 和 DeepSpeed ZeRO-2；encoder、scene projector、joint predictor 的学习率分别为 $1\times10^{-5}$、$1\times10^{-4}$、$1.5\times10^{-4}$，weight decay 为 0.04。
- 推理使用 12 个采样步骤。随机模型预测以 10 个固定随机种子评估并报告均值；确定性 baseline 评估一次。
9.2 NAVSIM 指标
NAVSIM-v1 的 PDMS（Predictive Driver Model Score）包括：
- NC：无自车责任碰撞；
- DAC：车身不离开可行驶区域；
- TTC：预计碰撞时间满足安全阈值；
- Comf.：加速度、jerk、横向加速度、yaw rate 等舒适性符合数据集人类驾驶范围；
- EP：沿路线中心线的前进距离比例。
NC 或 DAC 为零会令整体分数为零，反映安全约束具有乘法门控作用。
NAVSIM-v2 的 EPDMS（Extended PDMS）额外考虑：
- DDC：行驶方向合规；
- TLC：红灯停车线合规；
- LK：车道保持；
- HC：历史运动和新规划在连接处的舒适性；
- EC：伪仿真两个阶段运动学曲线的一致性。
EPDMS 对若干子指标使用 human-reference penalty filter：若人类参考在同一场景同一指标上也为零，不对模型施加该项惩罚。这不删除场景，只抑制特定惩罚。EPDMS* 使用修复前聚合实现，EPDMS 使用修复后的官方评估；二者只能在各自协议内比较。
9.3 HUGSIM 闭环设置
HUGSIM 使用 436 个场景，来自 nuScenes（88）、KITTI-360（113）、Waymo（108）和 PandaSet（127）。论文用固定的 HUGSIM commit、共同控制器、命令和评估代码重算方法分数。WA-JEPA 的两个训练阶段均不使用这些 HUGSIM 源数据集或渲染观测，因此属于零样本、源数据集不重叠的闭环评估。
10. 结果
10.1 NAVSIM-v2
WA-JEPA 在 navtest 上的修正后 EPDMS 为 91.7，高于：
| 方法 | 类别 | EPDMS |
|---|---|---|
| SparseDriveV2 | 端到端 | 90.1 |
| CoWorld-VLA | 世界/动作 | 90.0 |
| Discrete-WAM | 世界/动作 | 90.4 |
| WA-JEPA | 本文 | 91.7 |
其子项为：NC 99.4、DAC 98.2、DDC 99.7、TLC 99.9、EP 87.8、TTC 98.9、LK 98.3、HC 98.3、EC 88.1，修复前 EPDMS* 为 88.0。
10.2 NAVSIM-v1
WA-JEPA 的 PDMS 为 91.8；对比 Drive-JEPA 89.0、WAM-Flow 90.3、WAM-Diff 91.0、DriveWorld-VLA 91.3。其 NC 99.5、DAC 98.3、TTC 97.7、Comfort 100、EP 85.0。
10.3 HUGSIM 零样本闭环
WA-JEPA 的 HD-Score 为 0.4462，高于 LTF 0.2310、DrivoR 0.3252、UniAD 0.3124、VAD 0.1393。其 NC 0.6856、DAC 0.9635、TTC 0.6120、Comfort 0.6620、PDMS 0.5717、RC 0.5689。
按难度的 HD-Score 为：Easy 0.7977、Medium 0.5563、Hard 0.3060、Extreme 0.1362。按数据源划分，WA-JEPA 在 nuScenes、KITTI-360、Waymo、PandaSet 上均为表中最高，分别为 0.4725、0.2963、0.5542、0.4702。
主实验 10 个种子的 EPDMS 均值为 91.7014，标准差 0.0531，95% t 置信区间为 [91.6634, 91.7393]。
11. 消融与表征分析
11.1 视觉编码器初始化
在不使用本文 Stage 1、直接训练 Stage 2 的对比中：MAE 为 83.8 EPDMS，SigLIP2 为 83.1，DINOv3 为 83.8，原始 V-JEPA 2 为 89.5。这说明视频级 V-JEPA 2 预训练相较图像级自监督或视觉语言初始化更适合作为该世界-动作模型的起点。
11.2 Stage 1 掩码策略
| Stage 1 设置 | EPDMS |
|---|---|
| 不做 Stage 1 | 89.5 |
| 仅 Patch-mask | 91.0 |
| 仅 Full-mask | 91.3 |
| Patch-mask + Full-mask | 91.7 |
结论是：Patch-mask 的局部补全训练和 Full-mask 的严格因果预测信号互补。仅凭该消融不能判断二者的最优混合比例，因为论文未报告比例。
11.3 Stage 2 的场景-动作耦合与未来预测
| 设置 | EPDMS |
|---|---|
| 仅动作预测基线 | 89.9 |
| 增加独立 Flow 未来预测器 | 90.8 |
| 联合场景-动作、无显式未来 latent 监督 | 91.1 |
| 联合建模 + 直接回归未来 latent | 90.7 |
| 联合建模 + Flow Matching | 91.7 |
未来场景预测和动作-场景联合建模是互补的；对未来 latent 使用直接回归反而降低性能。
11.4 为什么 Flow Matching 优于直接回归
作者在目标表示空间中衡量未来 token 的时序变化，只统计真值中变化最大的动态位置，避免静态路面主导结果。
- Directional similarity collapse gap：预测序列各未来时刻之间的余弦相似度，相对目标序列增加了多少；越低说明预测没有把不同未来时刻压成相似状态。Flow Matching 约从直接回归的 0.30 降至 0.10。
- Change-magnitude collapse：预测的相邻时刻特征变化幅度与目标变化幅度的比值；1 最好，低于 1 表示未来变化被低估。Flow Matching 约从 0.45 提升至 0.80。
PCA 图也显示，Flow Matching 的远期 token 保留更清晰的空间结构；直接回归随时间步增加更平滑。这支持"直接回归趋向条件均值、弱化未来动态"的解释，但不表示 Flow Matching 已完整覆盖多模态未来的不确定性。
12. 与 PNC 的对应关系
可以把 WA-JEPA 的两个生成变量理解为：
- 未来场景 token：不是可直接使用的检测框、占用栅格或预测轨迹，而是包含道路结构、其他参与者变化等信息的高维隐变量；
- 未来动作 token：不是控制器直接输出的转角/加速度，而是 8 个未来时刻的自车 $(x,y,\phi)$ 轨迹。
它与"预测模块先输出显式对象轨迹，规划模块再选轨迹"的模块化流程不同。它在 latent 空间里让"世界如何变化"和"自车将如何开"共同迭代生成，因此动作监督能影响场景表征。类比到 PNC，这近似于把交互预测与轨迹生成耦合优化；但 latent 没有显式安全约束、交通规则约束或可解释的代价项，不能把它等同于可审计的传统规划器。
13. 核心贡献、适用条件与局限性
核心贡献
- 将 V-JEPA 的随机遮挡补全改造为混合未来遮挡，使预训练目标包含严格的历史到未来推演。
- 以条件 Flow Matching 在语义 latent 中生成未来，而不是对完全未知未来做单一确定性回归。
- 在一个联合 predictor 中耦合未来场景 token 和自车轨迹，并通过不对称 stop-gradient 保持场景预测与动作学习的梯度分工。
适用条件
- 有大规模、同步多相机的连续驾驶视频；Stage 1 不需要动作监督，但 Stage 2 仍需要未来自车轨迹和自车状态。
- 可接受 ViT-L、视频 token 以及多步生成采样带来的训练与推理开销。
- 目标是端到端轨迹规划，且希望通过稠密未来场景监督缓解仅用轨迹标签的监督不足。
局限性和待讨论问题
- Joint Future-Action Flow Predictor 的精确实现、token 融合方式、位置编码、时间条件注入方式、损失权重和采样器细节均未在正文公开；论文仓库在本次阅读时仅有 README，因此无法据论文精确复现。
- EMA + stop-gradient 降低表征塌缩风险，但正文未提供理论保证或显式 anti-collapse 正则。
- Stage 2 Full-mask 下 $Z_{\text{cond}}$ 不含真实未来信息；论文没有"移除它"或"替换为独立 query"的消融，无法确定它在 Stage 2 的实际必要性。
- 论文验证了 Flow Matching 相对直接回归的优势，但没有比较 x-prediction 与 velocity-prediction，也没有说明后者是否更差。
- HUGSIM 是闭环仿真而非真实道路闭环部署；HD-Score 虽显著领先，但 Extreme 难度仍只有 0.1362，复杂长尾交互仍是主要挑战。
- 模型输出 latent 场景与轨迹，不直接给出传统 PNC 所需的可解释障碍物、碰撞责任或硬安全约束；安全审计和约束兜底仍需额外系统设计。
14. 最终记忆点
WA-JEPA 的核心不是"给 V-JEPA 多接一个轨迹头"，而是三处同时改变：
$$ \text{随机补全} \rightarrow \text{过去预测未来}, \qquad \text{确定性特征回归} \rightarrow \text{Flow Matching 生成}, \qquad \text{只建模视觉} \rightarrow \text{联合建模世界与动作}. $$从规划角度看，它让模型在输出轨迹时，不只学习"这张图通常对应什么轨迹"，还必须学习"历史场景接下来会如何变化，并且这条轨迹如何与该未来相容"。