Featured image of post DriveVA - 视频动作模型即零样本驾驶员

DriveVA - 视频动作模型即零样本驾驶员

DriveVA: 视频动作模型即零样本驾驶员

论文:DriveVA: Video Action Models are Zero-Shot Drivers arXiv: 2604.04198(v2,本地 PDF:2604.04198v2.pdf,30页含正文+附录) 机构:University of Twente、Xiaomi EV、University of Cambridge、University of Bath 提交:2026-04-05;v2 修订:2026-07-01 本笔记基于对论文原文的完整通读 + 多轮追问讨论整理,按主题汇总最终结论,保留关键推导过程和论文原文依据。

💡 相关笔记

本论文与知识库中已有的世界模型融合类驾驶工作一脉相承:LAW - Latent World Model for E2E Driving、Epona - 自回归扩散世界模型、WorldDrive - 统一视觉与运动表征的端到端自动驾驶框架、World4Drive - 无需感知标注的端到端世界模型、HorizonDrive - 自回归世界模型的自我纠偏炼金术;闭环评测中对比的 DriveTransformer 论文阅读笔记;以及世界模型方向的 Fast-WAM(世界动作模型)。


1. 一句话核心思想

DriveVA 把"未来视频预测"和"驾驶轨迹(动作)规划"放进同一个基于 DiT 的 flow matching 联合去噪过程里,而不是像以往方法那样分开建模、事后用特征传递做"软对齐"。核心论点:视频级别的监督才是规划能力提升的主要驱动力,去掉视频监督后 NAVSIM PDMS 从 90.9 暴跌到 71.4。

四大贡献:① 统一视频-动作世界模型;② 基于 DiT 的统一解码器同时生成未来视频潜码和动作 token;③ 视频续播(Video Continuation)策略维持长时程一致性;④ NAVSIM SOTA + 强零样本跨数据集迁移能力。


2. 核心结果一览

评测 结果
NAVSIM v1(闭环,仅前视摄像头,无 LiDAR) PDMS 90.9,超过 LAW(84.6)、Epona(86.2)、PWM(88.1)、DriveVLA-W0(87.2)
nuScenes(零样本,NAVSIM 训练直接测) 平均 L2 0.84m、碰撞率 0.06%;相比 PWM 分别降低 78.9% / 83.3%;且超过所有在 nuScenes 上微调过的 baseline
CARLA v2 Bench2Drive(跨域零样本) L2、碰撞率分别降低 52.5% / 52.4%
Bench2Drive Dev10(附录 E.1,闭环) Driving Score 67.47,Success Rate 70.00,优于 DriveTransformer、DriveMamba-12L
视频-轨迹一致性验证(DPVO 重建相机轨迹 vs 参考轨迹) NAVSIM 平均 L2 误差 0.16m,nuScenes 上 0.14m
推理效率 仅需 2 步流匹配采样即可达到近最优闭环性能

定性案例:同一左转场景下,PWM 生成的未来视频显示左转,但预测轨迹却近乎直行——视频与轨迹脱节;DriveVA 的轨迹与生成视频完全吻合。


3. 预备知识:Flow Matching

  • 建模为噪声分布到数据分布的连续时间变换,学习时间相关速度场 $v_\theta(x,s)$,满足 ODE: $$\frac{dx^{(s)}}{ds} = v_\theta(x^{(s)}, s)$$
  • 训练:线性插值路径 $x^{(s)} = (1-s)\epsilon + s\cdot x_{\text{data}}$,网络回归目标速度 $\dot x^{(s)} = x_{\text{data}} - \epsilon$(MSE 损失,Eq.1-2)。
  • 推理:从高斯噪声出发,对速度场做数值积分(Euler 法)即可采样,通常比传统扩散模型步数少得多。

4. 方法细节

4.1 问题定义(Sec 4.1)

给定:语言指令 $T$、历史观测缓冲区 $O_l=\{F_{l-m+1},...,F_l\}$($m=4$ 帧)、自车状态($v_x, v_y$)。

联合预测:

  • $K=8$ 步未来动作 $A_{l+1:l+K}$,每步 $a_{l+i}\in\mathbb{R}^3$(x, y, yaw)
  • $N=8$ 帧未来视频 $F_{l+1:l+N}$(“实际不直接预测原始帧,而是预测其潜在表示”)

闭环滚动:执行完 $A_{l+1:l+K}$ 后,获得新观测,用滑动窗口更新 $O_l$,重复此过程直到任务完成。原文明确定性了这个设计的意义:

“This rolling-horizon setup reduces difficulty in long-horizon prediction to a progressive sequence of short video-continuation problems.”

即:长时程预测的难题,被拆解为一连串"短"续播子问题的链式拼接(详见 §5.7)。

4.2 数据预处理

文本编码通过交叉注意力注入,而非拼接进视觉/动作流——原文(4.2节):“保持时空 token 序列紧凑,并解耦文本长度以获得更灵活的控制能力”。具体理由(最终结论):

  1. 避免自注意力开销膨胀、保持时空结构纯粹:视觉/动作 token 带有时空坐标含义(配合 RoPE 等位置编码),文本 token 没有这种坐标语义,硬拼进同一自注意力序列会破坏位置编码一致性,且每多拼接 $L_T$ 个文本 token,整个视频-动作序列的每一层每个 token 都要多算一遍与文本的注意力($O(L^2)$)。交叉注意力把复杂度降为 $O(L_{video}\times L_{text})$。
  2. 解耦文本长度,保持条件块/目标块形状固定:$X_{cond}$、$Y_0$ 的固定形状是训练/推理接口一致的基础(见附录 B “conditioning interface”)。若文本拼进视觉/动作流,指令长度变化会直接改变整个序列长度,打破这个固定形状设计。通过交叉注意力,文本编码器可输出任意长度 token 而不影响视频/动作序列的核心生成结构。
  3. (论文未明说,但符合背景的隐含原因):骨干 Wan2.2-TI2V-5B 本身就是用交叉注意力接入文本编码器的预训练视频生成模型,沿用这个接口可以直接复用预训练好的文本-视觉交叉注意力权重,符合论文"充分继承预训练视频生成先验"的整体思路。

视频因果 VAE(Eq.4):采用 Wan2.2-TI2V-5B 的 3D 因果 VAE 编码器,保证潜码帧 $j$ 只依赖原始帧 $\le j$,不依赖任何未来帧。

为什么要保证第一个潜在特征只依赖第一帧观测(最终结论): 非因果(双向对称)VAE 编码任意一帧都需要同时拿到前后帧,若只有单帧(无过去无未来)就必须复制/补零"造假"填满时间窗口,导致潜码分布外、质量下降。因果 VAE 强制 $V_0' = f(\text{frame}_0)$,与后续帧无关,单帧输入就能得到"货真价实"、在分布内的潜码,不需要造假。这在两处是刚需: ① rollout 起步阶段历史帧可能不足 $m=4$ 帧,因果 VAE 让"有多少真实帧就编多少"成为可能; ② 续播时历史窗口是真实帧+生成帧的混合体,窗口里最新的生成帧根本没有"未来帧"可以做对称窗口,因果 VAE 保证每帧潜码只依赖自己和更早的帧,不管来源是真实采集还是刚生成的,编码方式始终自洽。 这个因果性继承自 Wan2.2-TI2V-5B 本身的 TI2V(文本+单图→视频)需求,DriveVA 复用基座权重顺带获得这个性质,恰好契合自己"历史窗口长度可变、真实帧生成帧混杂"的场景。

单帧条件 → 视频续播设置的扩展(Sec 4.2 原文核对,最终结论)

“we further extend this single-frame conditioning to a video-continuation setting by conditioning on a history observation buffer rather than only the current frame. Specifically, at current timestep $l$, we encode the observation buffer $\mathcal{O}_l=\{F_{l-m+1},...,F_l\}$ into a sequence of history latents: $\mathcal{V}_l^{his}=\{V_{l-m+1},...,V_l\}$”

“During training, we encode the full clip to obtain both history latents $V_l^{his}$ and future latents $V_l^{fut}$; during inference, we encode only $O_l$ and generate future latents conditioned on the encoded history latents $V_l^{his}$.”

字面意义:用同一个因果 VAE 编码器,把喂入对象从"1帧"扩展为"m帧历史缓冲区",得到 m 个历史潜码,各自 flatten+投影后拼进条件块。训练时历史/未来潜码都是真实编码(监督信号意义上不涉及续播);推理时只有历史可编码,未来必须由模型从噪声"续"出来——这正是"续播(continuation)“字面含义:历史潜码序列是已经写好的"上半段”,flow matching 生成的是它的延续。“video continuation” 本质上不是一个独立训练的神经网络子模块,而是"扩大条件窗口 + 跨窗口递归"这两个简单机制的组合,复用的是基座模型本身"单帧→视频"的因果 VAE 能力。

4.3 Tokenization 与联合生成(Eq.5-9)

  • $V_t' = \text{Proj}(\text{Flatten}(V_t))$(Eq.5)
  • 条件块:$X_{cond}^{(l)} = [S_l, V'_{l-m+1},...,V'_l]$(Eq.6,$S_l$=ego状态token)——全程无噪声、形状固定,是训练/推理接口一致的基础
  • 生成目标块:$Y_0^{(l)} = [V'_{l+1},...,V'_{l+n_{pred}},\ A_{l+1:l+K}]$(Eq.7)——未来全部潜码帧和全部动作 token 拼成同一个块,一起加噪一起去噪
  • DiT 前向:$\hat v_\theta^{(l,s)} = f_\theta([X_{cond}^{(l)}, Y^{(l,s)}], s\mid T)$(Eq.8)——拼接 $[X_{cond}, Y_{noisy}]$ 做自注意力(视频↔动作双向交互,文本 T 走交叉注意力单独注入),只取目标块部分输出作为速度场预测。

为什么 dit_forward 必须把 $Y$(当前带噪目标)也输入进去,而不是只用 $X_{cond}$+time 算出速度场后让 $Y$ 在外部自行积分(最终结论,三层论证)

  1. 数学上:$v_\theta(x,s)$ 是一个向量场,定义域包含 $x$ 本身(类比流体在空间每一点的速度)。若 $v_\theta$ 真不依赖 $Y$,积分后 $Y^{(1)}=\epsilon+(\text{只依赖条件的固定向量})$——这只是对高斯噪声做整体刚性平移,生成分布仍是高斯(只是均值变了),永远无法弯曲成真实视频/轨迹那种复杂多峰分布。速度场必须在空间不同位置指向不同方向,才能把简单噪声"揉捏"成复杂目标分布。
  2. 架构上:$Y$ 里的视频 token 和动作 token 拼在同一自注意力序列里,是"视频-动作紧耦合"真正实现的位置——动作 token 预测的速度依赖视频 token 当前(部分去噪)的状态,反之亦然。若不把 $Y$ 传入,自注意力对目标块部分根本没有内容可 attend,模型会退化成只根据固定条件生成一个和随机噪声无关的固定输出。
  3. 数值积分上:采样是欧拉法数值解 ODE,“走一步、看一眼、再走一步”——第二步要算的速度必须依赖第一步更新后的 $Y$,不可能提前一次性算完(类比求解普通微分方程 $dx/dt=f(x,t)$ 时 $f$ 离不开 $x$)。

4.4 Flow Matching 目标函数与关键数学论证

若 $Y$ 不依赖,flow matching 精确退化为 MSE 回归模型(最终结论,严格推导)

假设 $v_\theta(s\mid c)$ 不依赖 $Y$,代入损失 $\mathcal{L}=\mathbb{E}[\|v_\theta(s\mid c)-(x_{data}-\epsilon)\|^2]$,最优解为条件期望:

$$v_\theta^*(s\mid c) = \mathbb{E}[x_{data}-\epsilon\mid c] = \mathbb{E}[x_{data}\mid c]$$

($\epsilon$ 均值为0且与数据独立)。此时 $Y^{(1)}=\epsilon+\mathbb{E}[x_{data}\mid c]$——一个固定条件均值加噪声偏移,本质是披着 flow matching 外壳的回归器。

驾驶场景是多模态的(同一路口"直行/左转/右转"都合理),退化成回归条件均值会把不同模式平均混合——视频层面生成模糊叠加帧,轨迹层面输出"左转右转的中间值"。这反过来解释附录 F 失败案例的细节:DriveVA 预测错误时(该通行却预测停车),输出仍是"清晰但选错模式"而非"模糊介于两者之间"——说明模型没有退化成回归,只是采样到了错误但自洽的单一模式。

$s=0$ 处最优速度场必然等于"回归到条件均值",与网络架构、自注意力、是否依赖 $Y$ 均无关(最终结论,更锋利的版本)

flow matching 边际最优速度场的经典结论:

$$v^*(x,s) = \mathbb{E}[x_{data}-\epsilon \mid x^{(s)}=x, c]$$

由于线性插值 $x^{(s)}=(1-s)\epsilon+s\cdot x_{data}$,当 $s=0$ 时 $x^{(0)}=\epsilon$ 恒等成立、与 $x_{data}$ 完全无关(训练时 $\epsilon$、$x_{data}$ 独立采样)。所以 $s=0$ 处条件 “$x^{(0)}=x$” 不提供任何关于目标模态的信息,于是:

$$v^*(x,0) = \mathbb{E}[x_{data}\mid c] - x$$

——这是目标函数本身逼出的数学下限,不是网络偷懒或退化

由此解释 Table 8 采样步数消融(1步崩溃/2步近最优/3步无提升)

  • 1 步 Euler 积分只在 $s=0$ 评估一次速度场并一步走到底:$Y^{(1)}\approx\mathbb{E}[Y_0\mid c]$——这是"所有可能未来的平均",跟纯回归模型没有本质区别,对应 PDMS 崩溃到 13.2。
  • 第一步走完后 $x^{(\Delta s)}$ 不再是纯噪声,$s>0$ 时插值路径开始真正携带 $x_{data}$ 信息——条件期望 $v^*(x,s>0)=\mathbb{E}[x_{data}-\epsilon\mid x^{(s)}=x,c]$ 平均的范围会随 $x$ 携带信息增多而自动收窄(不同模态如左/右转对应路径逐渐分开)。更精确地说,第一步的作用不是"直接告诉模型走哪个模态",而是把采样点从"对所有模态一视同仁的原点"挪到了"已隐含偏向某个模态的位置"——这个位置本身就是后续 committal 的信息载体,关于目标模态的互信息随 $s$ 增加单调增加,只能通过让轨迹真正移动才能被利用。
  • 补充:这不只是"离散化误差"的教科书解释——path 之所以在 $s\to0$ 附近必须剧烈弯曲/分岔,根源正是 $s=0$ 处"信息量为零→只能输出均值"这个数学边界条件。这也解释了为何 3 步相比 2 步提升有限:2 步大概已经足够跨过 $s=0$ 附近这个"必须是均值"的陡峭区域,进入模态基本分离清楚的区域,后续步数只是精修。

附录 B 联合分布链式分解(Eq.10-11)

$$\pi_\theta(F_{l+1:l+N}, A_{l+1:l+K}\mid O_l, T, q_l) = \pi_\theta(F\mid C)\cdot\pi_\theta(A\mid C, F)$$

即"视频续播"因子 × “IDM 风格动作锚定"因子。

附录 B “Conditioning interface”:$X_{cond}$ 在整个流匹配过程中保持无噪声;只有目标块 $Y$(未来视频+动作)接收高斯噪声。默认设置下,未来视频和动作 target token 在去噪时互相 attend(双向耦合)


5. 关键问题的最终结论(按主题)

5.1 什么是跨数据集零样本迁移

类比"在北京学车(NAVSIM 训练),直接扔到上海街头开车(nuScenes 测试)"——目标域数据一条没见过、未做任何针对性微调,模型依然正常工作,说明学到的是真正通用的知识而非死记硬背。DriveVA 做得好的原因:联合建模视频和轨迹迫使模型理解"世界怎么运动"这种跨数据集通用的物理直觉,而不是"背答案"式的驾驶习惯。

5.2 松耦合 vs 紧耦合,PWM 是否是松耦合代表(最终结论,经历两轮修正)

松耦合的典型症状:视频预测模块和轨迹规划模块各自独立损失函数,梯度流单向,推理时视频可以"说谎”(生成左转视频但轨迹仍直行——论文 Fig.3 中 PWM 的经典错误)。

最初的错误论证:“自注意力互相看见对方”→紧耦合。这个论证被追问推翻:自注意力只是信息共享,不天然等于硬约束(动作 token 完全可能"看了视频一眼但仍我行我素")。

修正后的最终结论:真正确保紧耦合的关键是两点组合:

  1. 共享同一个流匹配噪声过程:视频潜码和动作 token 被拼成同一个生成目标块 $Y_0$,一起加噪一起去噪,走同一条从噪声到数据的路径。
  2. 单一联合损失,没有给动作"开后门":只有一个流匹配损失同时作用于视频和动作,没有独立动作损失让动作模块"另辟蹊径"。

但需要诚实承认更深一层:这是统计意义上的约束,而非几何/逻辑意义上的硬约束——DriveVA 学到的是联合分布 $p(\text{视频},\text{动作}\mid\text{条件})$,“视频左转但动作直行"这种组合在训练数据里不存在,所以学到的联合分布在这个区域概率密度低,但这是训练数据分布决定的统计低概率,不是显式的几何规则禁止。

PWM 并非论文直接点名的"松耦合代表”,但其 Fig.3 暴露的视频-轨迹脱节现象是松耦合的典型症状:视频和动作生成过程虽有特征传递,但本质是两条并行的河流,特征传递只是架了一座小桥,桥不够宽,两条河最终仍会各自流向不同方向。

5.3 一次推理的具体参数

项目 数值
历史输入帧数 $m$ 4帧(2秒)
预测未来帧数 $N$ 8帧(4秒)
预测动作步数 $K$ 8步(4秒,与视频时长对齐)
帧率 2 FPS
分辨率 832×480
采样步数(推理) 2步

VAE 会对时间维度降采样,DiT 实际处理的是降采样后的潜码步数 $n_{pred}$(论文未写出具体压缩比例)。

5.4 滑动窗口 vs 视频续播——两个不同层次的机制(最终结论)

这是本次讨论中被反复澄清、最终厘清的核心区分:

  • 滑动窗口(sliding window)解决"历史条件如何更新"——窗口大小恒定为 $m$,丢弃最旧帧、补入最新帧。它依赖真实观测帧来更新。
  • **视频续播(video continuation)解决的不是"补监督信号"(这是个伪问题——任何条件生成模型推理时都不需要 ground truth 算 loss,这与续播无关),而是“下一轮推理的条件输入从哪里来”**这个流程可行性问题:
    • 如果是反应式环境(真实上路/CARLA):执行完动作后摄像头给出新的真实帧,直接编码即可,不涉及续播
    • 如果是非反应式评测(NAVSIM):根本没有新的真实帧出现,第2轮推理要跑,历史条件除了用第1轮生成出来的未来潜码去顶替,别无选择。

这跟自回归语言模型"把生成的 token 喂回去继续生成下一个 token"是同一种结构——不是监督信号的问题,而是"要不要有下一步输入"的问题。

消融实验里去掉 Video Continuation 后 PDMS 90.9→84.6:不是丢失了监督信号,而是多轮 rollout 时视频-动作的耦合链条在窗口交接处断掉——第二轮推理没有第一轮生成的视觉历史作为条件,视频对动作的约束力在跨窗口时消失(但见 §5.6 的进一步修正:Table 5 的这个消融实际测的可能是更基础的一层)。

5.5 为什么会有"没有足够真实观测帧"的情况——NAVSIM 非反应式 vs 反应式(最终结论)

真实部署中摄像头(如20Hz)远快于模型推理速度(2步流匹配很快),真实帧理论上随时管够,“没有足够真实帧"的说法在真实闭环部署里站不住脚。真正的答案在于评测基准的性质

论文引用 [14] 原题为 “Navsim: Data-driven non-reactive autonomous vehicle simulation and benchmarking”

NAVSIM 是非反应式仿真——它给你固定的历史帧片段,你预测完直接用预设回放评分,根本不存在"执行动作→采集新的真实观测"这个真实闭环

若追问"多轮推理后历史窗口是否会稳定收敛为纯真实帧”(用户提出的假设),结论是分场景而定

场景 真实帧是否会"追上来"填满窗口 视频续播的必要性
真实部署 / CARLA 反应式闭环 会——只要重规划节奏不快于传感器采集节奏 只是短暂过渡期的补丁,几轮后可退场
NAVSIM 非反应式评测 永远不会——没有仿真器会告诉你预测的未来实际长什么样 永久刚需,贯穿整个多轮 rollout

这也从另一个角度佐证:视频续播之所以在论文里被当作核心贡献单独消融,很可能是为了应对 NAVSIM 里"历史窗口永远无法被真实数据重新填满"的极端情况。

5.6 用户"内部2帧循环"假设的证伪,及 Table 5 消融真正测的是什么(重要自我修正)

用户假设:模型一次推理无法生成完整8帧,可能只生成2帧,通过反复把生成的2帧送回历史窗口、持续向后推理凑够8帧,理论上前后一致性更好。

核对原文后证伪:Eq.7 明确显示,一次推理是把整个 $N=8$ 帧未来 + $K=8$ 步动作,作为同一个目标块 $Y_0^{(l)}$,共享同一噪声、同一次 DiT 前向、同一条 $s{=}0\to1$ 的流,一次性通过一次 flow-matching 积分生成完的。Table 8 的"采样步数"(1/2/3)指的是这整个目标块的 Euler 离散化步数,不是"每生成2帧就往回喂一次"的分段计数。Table 6 里 N=4/8/12 的比较,测的是单次生成窗口的长度(“longer rollouts introduce additional drift” 说的是单次生成更远未来导致漂移,不是多次拼接导致漂移)。原文从头到尾没有"生成2帧→反馈→再生成2帧"这种内部链式结构的描述。

但用户的元层面质疑是对的——“既然论文专门做了消融实验,不该是个只在 NAVSIM 有效的把戏”。重新核对 Table 5 脚注发现了此前理解范围过窄的问题:

Table 5 脚注:"‘Video Continuation’ refers to video-to-video generation."

这句定义比"跨窗口递归续播"朴素得多:它测的是模型生成未来视频时,是否以过去的视觉帧为条件(video-to-video),对比"non-video-conditioned generation"(可能是仅凭文本+自车状态生成,即条件块中去掉视觉历史 token $V'_{l-m+1...l}$,只留 $S_l$ 和文本)。这与"4.2节:extend single-frame conditioning to a video-continuation setting"一节的定义一致——都是计算机视觉里"video continuation/video prediction"任务的标准含义(类比"文本续写"),跟"是否跨多轮递归喂自己生成的帧"是两件不同的事。

去掉 Video Continuation(ID3,PDMS 90.9→84.6)大概率对应"车辆凭速度和语言指令盲想未来",跟 Action-only 消融(PDMS 暴跌到 47.0,连未来视频都不生成)相比降幅温和得多,符合"少了视觉历史条件、但仍要生成视频+动作"的描述。这个能力(生成未来时要不要参考刚看到的画面)在真实上路场景里同样重要,与 NAVSIM 是否非反应式完全无关——这正是一个放之四海皆准的架构设计问题,用户的质疑成立。

结论:此前几轮讨论把"续播"和"NAVSIM非反应式→只能拿生成帧续接历史窗口"这件事强绑定,这个跨窗口递归机制在 Sec 4.1/Fig.2 里确实存在,但它不是 Table 5 消融测的东西。Table 5 测的是更基础的一层:“生成未来时要不要以视觉历史为条件”——这一层的价值通用,不依赖评测协议是否反应式。

5.7 单次8帧预测算"长视频"还是"短想象"(最终结论)

这是"局部 vs 全局"的两个不同层级,均由原文明确定性:

Sec 4.1:“This rolling-horizon setup reduces difficulty in long-horizon prediction to a progressive sequence of short video-continuation problems.”

  • 单次推理(8帧/4秒)= 短想象单元,刻意设计成"短"。Table 6 证实:单次生成窗口从8帧延长到12帧(6秒),PDMS 就从90.9掉到86.7(drift accumulation)——单次生成越长越容易失控,这正印证了外部评论"长视频一次性生成容易结构漂移"的道理。
  • 真正的"长视频"(覆盖几十秒甚至几分钟任务)靠链式拼接实现,不是单次生成出来的:Fig.2 “Progressive Video Continuation” 画的就是一个个4秒窗口首尾相接、不断向后滚动的过程。DriveVA 从未让模型在一次前向传播里直接生成很长的序列,而是把"生成很长未来"的高难度问题转换成"重复很多次生成很短未来"的低难度问题。

类比自回归语言模型:GPT 不会一次前向传播吐出几万字文章(丧失连贯性),而是逐 token 生成、不断把已生成内容喂回作为新上下文。DriveVA 的 Progressive Video Continuation 本质是把这个思路从"逐 token"换成"逐4秒窗口"——短窗口内部保证生成质量(避免单次生成过长导致漂移),长时程覆盖靠窗口间链式滚动实现

5.8 实车部署时是否还存在"长时程预测"问题(最终结论)

用户结论:“实车部署不会遇到长时程预测问题,每次生成4s未来给控制执行,下一轮再生成新的4s,滚动进行”——这个判断基本成立,但需要两点补充精确化

  1. 消失的具体风险,不是"长时程预测的需求"本身:实车摄像头(如20Hz)远快于模型2步流匹配推理,下一轮推理需要的历史帧真实传感器早已备好,滑动窗口更新永远用真实观测帧,不会触碰"用生成帧续接历史"这条路径——这正是 §5.5 讨论的"续播用生成帧"机制本质上是为了应付 NAVSIM 非反应式评测,而非实车真实需求。但**“预测4秒→滚动→再预测4秒"这个滚动闭环结构本身,在实车和仿真评测里是共用的**——因为模型单次推理能力天生只能吐出4秒未来,无论是否用生成帧续接,长时程任务都必须靠多轮推理链式拼接完成。变化的只是"续接历史用什么帧”(NAVSIM被迫用生成帧,实车永远用真实帧),架构本身不是仿真专属的。

  2. 重规划节奏的粒度:论文 Sec 4.1 原文描述的闭环节奏是"执行完整个 $K=8$ 步(4秒)动作序列后才重新推理一次",即每4秒重规划一次的粗粒度版本,而非用户设想的"每帧都重新推理"。用户设想的更高频重规划(每帧/每几帧重规划一次,只执行预测轨迹的前几步)其实是更标准的 receding horizon / MPC 思路,实车部署通常会采用以获得更强的安全裕度和响应性——但这是比论文原始闭环描述更保守、更工程化的实现方式。两种节奏(每4秒 vs 更高频)都不会触发"生成帧续接历史"的风险,因为无论多高频,只要推理够快,真实帧都追得上。


6. 实验结果汇总(消融实验表)

Table 5(关键设计消融,NAVSIM PDMS)

设置 PDMS
完整 DriveVA 90.9
去掉视频损失(Action-only 式,不生成视频) 71.4(最大降幅)
去掉 Video Continuation(即不以视觉历史为条件,ID3) 84.6
+CARLA 仿真混合训练 90.5 → 90.9

Table 6(预测时间跨度/单次生成窗口长度)

未来帧数 N 时长 PDMS
4帧 2秒 82.1(太短,视频对轨迹约束不足)
8帧 4秒 90.9(最优,与8步/4秒动作序列时长对齐)
12帧 6秒 86.7(漂移累积,反而损害一致性)

Table 7(训练策略)

策略 PDMS
从头训练 62.9
LoRA 微调 74.9
全量微调 90.9

Table 8(采样步数)

步数 PDMS
1 13.2(崩溃,见 §4.4 数学论证)
2 90.9(近最优)
3 90.9(无进一步提升)

Table 9(模型规模,LoRA适配)

配置 PDMS
5B, LoRA 74.9
14B, LoRA 80.6
5B, 全量微调 90.9(仍最高,全量微调比单纯放大模型更重要)

附录 E.2 Table 11(掩码策略 / 预测目标消融)

设置 PDMS Comfort
双向注意力(默认) 90.9 100
因果掩码(动作可看视频,视频不能看动作) 90.1
Video+Action(默认预测目标) 90.9 100
Action-only(不预测视频) 47.0 34.9

说明未来视频预测不只是辅助可视化输出,它为动作 token 提供了稠密的时序锚定。

附录 E.1 Table 10(Bench2Drive Dev10 闭环):DriveVA Driving Score 67.47,Success Rate 70.00,优于 DriveTransformer、DriveMamba-12L。

附录 F(失败案例):即使预测错误(如遇骑行者/路口本该通行却预测停车),预测轨迹依然与生成视频保持一致——说明失败原因是视觉因果推理不足,而非视频-轨迹耦合设计有问题(也印证了 §4.4 中"模型没有退化成回归"的论证:输出是清晰但选错模式,而非模糊平均态)。


7. 术语速查

术语 含义
PDMS NC × DAC × (5·EP + 5·TTC + 2·Comf.) / 12,NAVSIM 综合闭环评分
NC/DAC/TTC/EP/Comf. No Collision / Drivable Area Compliance / Time-to-Collision / Ego Progress / Comfort
$X_{cond}$ 条件块:ego状态 token + 历史视频潜码,全程无噪声、形状固定
$Y_0$ / $Y$ 生成目标块:未来视频潜码 + 动作 token,共同加噪去噪
Video Continuation 以视觉历史帧为条件生成未来视频的设置(video-to-video),非"跨窗口递归"本身
Sliding Window 历史缓冲区更新机制,依赖真实观测帧
Progressive Video Continuation Fig.2 描述的跨多个时间窗口的滚动闭环链式拼接策略
反应式 / 非反应式 是否存在"执行动作→获得真实新观测"的真实闭环;NAVSIM 是非反应式