DriveVA: 视频动作模型即零样本驾驶员
论文:DriveVA: Video Action Models are Zero-Shot Drivers arXiv: 2604.04198(v2,本地 PDF:
2604.04198v2.pdf,30页含正文+附录) 机构:University of Twente、Xiaomi EV、University of Cambridge、University of Bath 提交:2026-04-05;v2 修订:2026-07-01 本笔记基于对论文原文的完整通读 + 多轮追问讨论整理,按主题汇总最终结论,保留关键推导过程和论文原文依据。
相关笔记本论文与知识库中已有的世界模型融合类驾驶工作一脉相承:LAW - Latent World Model for E2E Driving、Epona - 自回归扩散世界模型、WorldDrive - 统一视觉与运动表征的端到端自动驾驶框架、World4Drive - 无需感知标注的端到端世界模型、HorizonDrive - 自回归世界模型的自我纠偏炼金术;闭环评测中对比的 DriveTransformer 论文阅读笔记;以及世界模型方向的 Fast-WAM(世界动作模型)。
1. 一句话核心思想
DriveVA 把"未来视频预测"和"驾驶轨迹(动作)规划"放进同一个基于 DiT 的 flow matching 联合去噪过程里,而不是像以往方法那样分开建模、事后用特征传递做"软对齐"。核心论点:视频级别的监督才是规划能力提升的主要驱动力,去掉视频监督后 NAVSIM PDMS 从 90.9 暴跌到 71.4。
四大贡献:① 统一视频-动作世界模型;② 基于 DiT 的统一解码器同时生成未来视频潜码和动作 token;③ 视频续播(Video Continuation)策略维持长时程一致性;④ NAVSIM SOTA + 强零样本跨数据集迁移能力。
2. 核心结果一览
| 评测 | 结果 |
|---|---|
| NAVSIM v1(闭环,仅前视摄像头,无 LiDAR) | PDMS 90.9,超过 LAW(84.6)、Epona(86.2)、PWM(88.1)、DriveVLA-W0(87.2) |
| nuScenes(零样本,NAVSIM 训练直接测) | 平均 L2 0.84m、碰撞率 0.06%;相比 PWM 分别降低 78.9% / 83.3%;且超过所有在 nuScenes 上微调过的 baseline |
| CARLA v2 Bench2Drive(跨域零样本) | L2、碰撞率分别降低 52.5% / 52.4% |
| Bench2Drive Dev10(附录 E.1,闭环) | Driving Score 67.47,Success Rate 70.00,优于 DriveTransformer、DriveMamba-12L |
| 视频-轨迹一致性验证(DPVO 重建相机轨迹 vs 参考轨迹) | NAVSIM 平均 L2 误差 0.16m,nuScenes 上 0.14m |
| 推理效率 | 仅需 2 步流匹配采样即可达到近最优闭环性能 |
定性案例:同一左转场景下,PWM 生成的未来视频显示左转,但预测轨迹却近乎直行——视频与轨迹脱节;DriveVA 的轨迹与生成视频完全吻合。
3. 预备知识:Flow Matching
- 建模为噪声分布到数据分布的连续时间变换,学习时间相关速度场 $v_\theta(x,s)$,满足 ODE: $$\frac{dx^{(s)}}{ds} = v_\theta(x^{(s)}, s)$$
- 训练:线性插值路径 $x^{(s)} = (1-s)\epsilon + s\cdot x_{\text{data}}$,网络回归目标速度 $\dot x^{(s)} = x_{\text{data}} - \epsilon$(MSE 损失,Eq.1-2)。
- 推理:从高斯噪声出发,对速度场做数值积分(Euler 法)即可采样,通常比传统扩散模型步数少得多。
4. 方法细节
4.1 问题定义(Sec 4.1)
给定:语言指令 $T$、历史观测缓冲区 $O_l=\{F_{l-m+1},...,F_l\}$($m=4$ 帧)、自车状态($v_x, v_y$)。
联合预测:
- $K=8$ 步未来动作 $A_{l+1:l+K}$,每步 $a_{l+i}\in\mathbb{R}^3$(x, y, yaw)
- $N=8$ 帧未来视频 $F_{l+1:l+N}$(“实际不直接预测原始帧,而是预测其潜在表示”)
闭环滚动:执行完 $A_{l+1:l+K}$ 后,获得新观测,用滑动窗口更新 $O_l$,重复此过程直到任务完成。原文明确定性了这个设计的意义:
“This rolling-horizon setup reduces difficulty in long-horizon prediction to a progressive sequence of short video-continuation problems.”
即:长时程预测的难题,被拆解为一连串"短"续播子问题的链式拼接(详见 §5.7)。
4.2 数据预处理
文本编码通过交叉注意力注入,而非拼接进视觉/动作流——原文(4.2节):“保持时空 token 序列紧凑,并解耦文本长度以获得更灵活的控制能力”。具体理由(最终结论):
- 避免自注意力开销膨胀、保持时空结构纯粹:视觉/动作 token 带有时空坐标含义(配合 RoPE 等位置编码),文本 token 没有这种坐标语义,硬拼进同一自注意力序列会破坏位置编码一致性,且每多拼接 $L_T$ 个文本 token,整个视频-动作序列的每一层每个 token 都要多算一遍与文本的注意力($O(L^2)$)。交叉注意力把复杂度降为 $O(L_{video}\times L_{text})$。
- 解耦文本长度,保持条件块/目标块形状固定:$X_{cond}$、$Y_0$ 的固定形状是训练/推理接口一致的基础(见附录 B “conditioning interface”)。若文本拼进视觉/动作流,指令长度变化会直接改变整个序列长度,打破这个固定形状设计。通过交叉注意力,文本编码器可输出任意长度 token 而不影响视频/动作序列的核心生成结构。
- (论文未明说,但符合背景的隐含原因):骨干 Wan2.2-TI2V-5B 本身就是用交叉注意力接入文本编码器的预训练视频生成模型,沿用这个接口可以直接复用预训练好的文本-视觉交叉注意力权重,符合论文"充分继承预训练视频生成先验"的整体思路。
视频因果 VAE(Eq.4):采用 Wan2.2-TI2V-5B 的 3D 因果 VAE 编码器,保证潜码帧 $j$ 只依赖原始帧 $\le j$,不依赖任何未来帧。
为什么要保证第一个潜在特征只依赖第一帧观测(最终结论): 非因果(双向对称)VAE 编码任意一帧都需要同时拿到前后帧,若只有单帧(无过去无未来)就必须复制/补零"造假"填满时间窗口,导致潜码分布外、质量下降。因果 VAE 强制 $V_0' = f(\text{frame}_0)$,与后续帧无关,单帧输入就能得到"货真价实"、在分布内的潜码,不需要造假。这在两处是刚需: ① rollout 起步阶段历史帧可能不足 $m=4$ 帧,因果 VAE 让"有多少真实帧就编多少"成为可能; ② 续播时历史窗口是真实帧+生成帧的混合体,窗口里最新的生成帧根本没有"未来帧"可以做对称窗口,因果 VAE 保证每帧潜码只依赖自己和更早的帧,不管来源是真实采集还是刚生成的,编码方式始终自洽。 这个因果性继承自 Wan2.2-TI2V-5B 本身的 TI2V(文本+单图→视频)需求,DriveVA 复用基座权重顺带获得这个性质,恰好契合自己"历史窗口长度可变、真实帧生成帧混杂"的场景。
单帧条件 → 视频续播设置的扩展(Sec 4.2 原文核对,最终结论):
“we further extend this single-frame conditioning to a video-continuation setting by conditioning on a history observation buffer rather than only the current frame. Specifically, at current timestep $l$, we encode the observation buffer $\mathcal{O}_l=\{F_{l-m+1},...,F_l\}$ into a sequence of history latents: $\mathcal{V}_l^{his}=\{V_{l-m+1},...,V_l\}$”
“During training, we encode the full clip to obtain both history latents $V_l^{his}$ and future latents $V_l^{fut}$; during inference, we encode only $O_l$ and generate future latents conditioned on the encoded history latents $V_l^{his}$.”
字面意义:用同一个因果 VAE 编码器,把喂入对象从"1帧"扩展为"m帧历史缓冲区",得到 m 个历史潜码,各自 flatten+投影后拼进条件块。训练时历史/未来潜码都是真实编码(监督信号意义上不涉及续播);推理时只有历史可编码,未来必须由模型从噪声"续"出来——这正是"续播(continuation)“字面含义:历史潜码序列是已经写好的"上半段”,flow matching 生成的是它的延续。“video continuation” 本质上不是一个独立训练的神经网络子模块,而是"扩大条件窗口 + 跨窗口递归"这两个简单机制的组合,复用的是基座模型本身"单帧→视频"的因果 VAE 能力。
4.3 Tokenization 与联合生成(Eq.5-9)
- $V_t' = \text{Proj}(\text{Flatten}(V_t))$(Eq.5)
- 条件块:$X_{cond}^{(l)} = [S_l, V'_{l-m+1},...,V'_l]$(Eq.6,$S_l$=ego状态token)——全程无噪声、形状固定,是训练/推理接口一致的基础
- 生成目标块:$Y_0^{(l)} = [V'_{l+1},...,V'_{l+n_{pred}},\ A_{l+1:l+K}]$(Eq.7)——未来全部潜码帧和全部动作 token 拼成同一个块,一起加噪一起去噪
- DiT 前向:$\hat v_\theta^{(l,s)} = f_\theta([X_{cond}^{(l)}, Y^{(l,s)}], s\mid T)$(Eq.8)——拼接 $[X_{cond}, Y_{noisy}]$ 做自注意力(视频↔动作双向交互,文本 T 走交叉注意力单独注入),只取目标块部分输出作为速度场预测。
为什么 dit_forward 必须把 $Y$(当前带噪目标)也输入进去,而不是只用 $X_{cond}$+time 算出速度场后让 $Y$ 在外部自行积分(最终结论,三层论证):
- 数学上:$v_\theta(x,s)$ 是一个向量场,定义域包含 $x$ 本身(类比流体在空间每一点的速度)。若 $v_\theta$ 真不依赖 $Y$,积分后 $Y^{(1)}=\epsilon+(\text{只依赖条件的固定向量})$——这只是对高斯噪声做整体刚性平移,生成分布仍是高斯(只是均值变了),永远无法弯曲成真实视频/轨迹那种复杂多峰分布。速度场必须在空间不同位置指向不同方向,才能把简单噪声"揉捏"成复杂目标分布。
- 架构上:$Y$ 里的视频 token 和动作 token 拼在同一自注意力序列里,是"视频-动作紧耦合"真正实现的位置——动作 token 预测的速度依赖视频 token 当前(部分去噪)的状态,反之亦然。若不把 $Y$ 传入,自注意力对目标块部分根本没有内容可 attend,模型会退化成只根据固定条件生成一个和随机噪声无关的固定输出。
- 数值积分上:采样是欧拉法数值解 ODE,“走一步、看一眼、再走一步”——第二步要算的速度必须依赖第一步更新后的 $Y$,不可能提前一次性算完(类比求解普通微分方程 $dx/dt=f(x,t)$ 时 $f$ 离不开 $x$)。
4.4 Flow Matching 目标函数与关键数学论证
若 $Y$ 不依赖,flow matching 精确退化为 MSE 回归模型(最终结论,严格推导):
假设 $v_\theta(s\mid c)$ 不依赖 $Y$,代入损失 $\mathcal{L}=\mathbb{E}[\|v_\theta(s\mid c)-(x_{data}-\epsilon)\|^2]$,最优解为条件期望:
$$v_\theta^*(s\mid c) = \mathbb{E}[x_{data}-\epsilon\mid c] = \mathbb{E}[x_{data}\mid c]$$($\epsilon$ 均值为0且与数据独立)。此时 $Y^{(1)}=\epsilon+\mathbb{E}[x_{data}\mid c]$——一个固定条件均值加噪声偏移,本质是披着 flow matching 外壳的回归器。
驾驶场景是多模态的(同一路口"直行/左转/右转"都合理),退化成回归条件均值会把不同模式平均混合——视频层面生成模糊叠加帧,轨迹层面输出"左转右转的中间值"。这反过来解释附录 F 失败案例的细节:DriveVA 预测错误时(该通行却预测停车),输出仍是"清晰但选错模式"而非"模糊介于两者之间"——说明模型没有退化成回归,只是采样到了错误但自洽的单一模式。
$s=0$ 处最优速度场必然等于"回归到条件均值",与网络架构、自注意力、是否依赖 $Y$ 均无关(最终结论,更锋利的版本):
flow matching 边际最优速度场的经典结论:
$$v^*(x,s) = \mathbb{E}[x_{data}-\epsilon \mid x^{(s)}=x, c]$$由于线性插值 $x^{(s)}=(1-s)\epsilon+s\cdot x_{data}$,当 $s=0$ 时 $x^{(0)}=\epsilon$ 恒等成立、与 $x_{data}$ 完全无关(训练时 $\epsilon$、$x_{data}$ 独立采样)。所以 $s=0$ 处条件 “$x^{(0)}=x$” 不提供任何关于目标模态的信息,于是:
$$v^*(x,0) = \mathbb{E}[x_{data}\mid c] - x$$——这是目标函数本身逼出的数学下限,不是网络偷懒或退化。
由此解释 Table 8 采样步数消融(1步崩溃/2步近最优/3步无提升):
- 1 步 Euler 积分只在 $s=0$ 评估一次速度场并一步走到底:$Y^{(1)}\approx\mathbb{E}[Y_0\mid c]$——这是"所有可能未来的平均",跟纯回归模型没有本质区别,对应 PDMS 崩溃到 13.2。
- 第一步走完后 $x^{(\Delta s)}$ 不再是纯噪声,$s>0$ 时插值路径开始真正携带 $x_{data}$ 信息——条件期望 $v^*(x,s>0)=\mathbb{E}[x_{data}-\epsilon\mid x^{(s)}=x,c]$ 平均的范围会随 $x$ 携带信息增多而自动收窄(不同模态如左/右转对应路径逐渐分开)。更精确地说,第一步的作用不是"直接告诉模型走哪个模态",而是把采样点从"对所有模态一视同仁的原点"挪到了"已隐含偏向某个模态的位置"——这个位置本身就是后续 committal 的信息载体,关于目标模态的互信息随 $s$ 增加单调增加,只能通过让轨迹真正移动才能被利用。
- 补充:这不只是"离散化误差"的教科书解释——path 之所以在 $s\to0$ 附近必须剧烈弯曲/分岔,根源正是 $s=0$ 处"信息量为零→只能输出均值"这个数学边界条件。这也解释了为何 3 步相比 2 步提升有限:2 步大概已经足够跨过 $s=0$ 附近这个"必须是均值"的陡峭区域,进入模态基本分离清楚的区域,后续步数只是精修。
附录 B 联合分布链式分解(Eq.10-11):
$$\pi_\theta(F_{l+1:l+N}, A_{l+1:l+K}\mid O_l, T, q_l) = \pi_\theta(F\mid C)\cdot\pi_\theta(A\mid C, F)$$即"视频续播"因子 × “IDM 风格动作锚定"因子。
附录 B “Conditioning interface”:$X_{cond}$ 在整个流匹配过程中保持无噪声;只有目标块 $Y$(未来视频+动作)接收高斯噪声。默认设置下,未来视频和动作 target token 在去噪时互相 attend(双向耦合)。
5. 关键问题的最终结论(按主题)
5.1 什么是跨数据集零样本迁移
类比"在北京学车(NAVSIM 训练),直接扔到上海街头开车(nuScenes 测试)"——目标域数据一条没见过、未做任何针对性微调,模型依然正常工作,说明学到的是真正通用的知识而非死记硬背。DriveVA 做得好的原因:联合建模视频和轨迹迫使模型理解"世界怎么运动"这种跨数据集通用的物理直觉,而不是"背答案"式的驾驶习惯。
5.2 松耦合 vs 紧耦合,PWM 是否是松耦合代表(最终结论,经历两轮修正)
松耦合的典型症状:视频预测模块和轨迹规划模块各自独立损失函数,梯度流单向,推理时视频可以"说谎”(生成左转视频但轨迹仍直行——论文 Fig.3 中 PWM 的经典错误)。
最初的错误论证:“自注意力互相看见对方”→紧耦合。这个论证被追问推翻:自注意力只是信息共享,不天然等于硬约束(动作 token 完全可能"看了视频一眼但仍我行我素")。
修正后的最终结论:真正确保紧耦合的关键是两点组合:
- 共享同一个流匹配噪声过程:视频潜码和动作 token 被拼成同一个生成目标块 $Y_0$,一起加噪一起去噪,走同一条从噪声到数据的路径。
- 单一联合损失,没有给动作"开后门":只有一个流匹配损失同时作用于视频和动作,没有独立动作损失让动作模块"另辟蹊径"。
但需要诚实承认更深一层:这是统计意义上的约束,而非几何/逻辑意义上的硬约束——DriveVA 学到的是联合分布 $p(\text{视频},\text{动作}\mid\text{条件})$,“视频左转但动作直行"这种组合在训练数据里不存在,所以学到的联合分布在这个区域概率密度低,但这是训练数据分布决定的统计低概率,不是显式的几何规则禁止。
PWM 并非论文直接点名的"松耦合代表”,但其 Fig.3 暴露的视频-轨迹脱节现象是松耦合的典型症状:视频和动作生成过程虽有特征传递,但本质是两条并行的河流,特征传递只是架了一座小桥,桥不够宽,两条河最终仍会各自流向不同方向。
5.3 一次推理的具体参数
| 项目 | 数值 |
|---|---|
| 历史输入帧数 $m$ | 4帧(2秒) |
| 预测未来帧数 $N$ | 8帧(4秒) |
| 预测动作步数 $K$ | 8步(4秒,与视频时长对齐) |
| 帧率 | 2 FPS |
| 分辨率 | 832×480 |
| 采样步数(推理) | 2步 |
VAE 会对时间维度降采样,DiT 实际处理的是降采样后的潜码步数 $n_{pred}$(论文未写出具体压缩比例)。
5.4 滑动窗口 vs 视频续播——两个不同层次的机制(最终结论)
这是本次讨论中被反复澄清、最终厘清的核心区分:
- 滑动窗口(sliding window)解决"历史条件如何更新"——窗口大小恒定为 $m$,丢弃最旧帧、补入最新帧。它依赖真实观测帧来更新。
- **视频续播(video continuation)解决的不是"补监督信号"(这是个伪问题——任何条件生成模型推理时都不需要 ground truth 算 loss,这与续播无关),而是“下一轮推理的条件输入从哪里来”**这个流程可行性问题:
- 如果是反应式环境(真实上路/CARLA):执行完动作后摄像头给出新的真实帧,直接编码即可,不涉及续播。
- 如果是非反应式评测(NAVSIM):根本没有新的真实帧出现,第2轮推理要跑,历史条件除了用第1轮生成出来的未来潜码去顶替,别无选择。
这跟自回归语言模型"把生成的 token 喂回去继续生成下一个 token"是同一种结构——不是监督信号的问题,而是"要不要有下一步输入"的问题。
消融实验里去掉 Video Continuation 后 PDMS 90.9→84.6:不是丢失了监督信号,而是多轮 rollout 时视频-动作的耦合链条在窗口交接处断掉——第二轮推理没有第一轮生成的视觉历史作为条件,视频对动作的约束力在跨窗口时消失(但见 §5.6 的进一步修正:Table 5 的这个消融实际测的可能是更基础的一层)。
5.5 为什么会有"没有足够真实观测帧"的情况——NAVSIM 非反应式 vs 反应式(最终结论)
真实部署中摄像头(如20Hz)远快于模型推理速度(2步流匹配很快),真实帧理论上随时管够,“没有足够真实帧"的说法在真实闭环部署里站不住脚。真正的答案在于评测基准的性质:
论文引用 [14] 原题为 “Navsim: Data-driven non-reactive autonomous vehicle simulation and benchmarking”
NAVSIM 是非反应式仿真——它给你固定的历史帧片段,你预测完直接用预设回放评分,根本不存在"执行动作→采集新的真实观测"这个真实闭环。
若追问"多轮推理后历史窗口是否会稳定收敛为纯真实帧”(用户提出的假设),结论是分场景而定:
| 场景 | 真实帧是否会"追上来"填满窗口 | 视频续播的必要性 |
|---|---|---|
| 真实部署 / CARLA 反应式闭环 | 会——只要重规划节奏不快于传感器采集节奏 | 只是短暂过渡期的补丁,几轮后可退场 |
| NAVSIM 非反应式评测 | 永远不会——没有仿真器会告诉你预测的未来实际长什么样 | 永久刚需,贯穿整个多轮 rollout |
这也从另一个角度佐证:视频续播之所以在论文里被当作核心贡献单独消融,很可能是为了应对 NAVSIM 里"历史窗口永远无法被真实数据重新填满"的极端情况。
5.6 用户"内部2帧循环"假设的证伪,及 Table 5 消融真正测的是什么(重要自我修正)
用户假设:模型一次推理无法生成完整8帧,可能只生成2帧,通过反复把生成的2帧送回历史窗口、持续向后推理凑够8帧,理论上前后一致性更好。
核对原文后证伪:Eq.7 明确显示,一次推理是把整个 $N=8$ 帧未来 + $K=8$ 步动作,作为同一个目标块 $Y_0^{(l)}$,共享同一噪声、同一次 DiT 前向、同一条 $s{=}0\to1$ 的流,一次性通过一次 flow-matching 积分生成完的。Table 8 的"采样步数"(1/2/3)指的是这整个目标块的 Euler 离散化步数,不是"每生成2帧就往回喂一次"的分段计数。Table 6 里 N=4/8/12 的比较,测的是单次生成窗口的长度(“longer rollouts introduce additional drift” 说的是单次生成更远未来导致漂移,不是多次拼接导致漂移)。原文从头到尾没有"生成2帧→反馈→再生成2帧"这种内部链式结构的描述。
但用户的元层面质疑是对的——“既然论文专门做了消融实验,不该是个只在 NAVSIM 有效的把戏”。重新核对 Table 5 脚注发现了此前理解范围过窄的问题:
Table 5 脚注:"‘Video Continuation’ refers to video-to-video generation."
这句定义比"跨窗口递归续播"朴素得多:它测的是模型生成未来视频时,是否以过去的视觉帧为条件(video-to-video),对比"non-video-conditioned generation"(可能是仅凭文本+自车状态生成,即条件块中去掉视觉历史 token $V'_{l-m+1...l}$,只留 $S_l$ 和文本)。这与"4.2节:extend single-frame conditioning to a video-continuation setting"一节的定义一致——都是计算机视觉里"video continuation/video prediction"任务的标准含义(类比"文本续写"),跟"是否跨多轮递归喂自己生成的帧"是两件不同的事。
去掉 Video Continuation(ID3,PDMS 90.9→84.6)大概率对应"车辆凭速度和语言指令盲想未来",跟 Action-only 消融(PDMS 暴跌到 47.0,连未来视频都不生成)相比降幅温和得多,符合"少了视觉历史条件、但仍要生成视频+动作"的描述。这个能力(生成未来时要不要参考刚看到的画面)在真实上路场景里同样重要,与 NAVSIM 是否非反应式完全无关——这正是一个放之四海皆准的架构设计问题,用户的质疑成立。
结论:此前几轮讨论把"续播"和"NAVSIM非反应式→只能拿生成帧续接历史窗口"这件事强绑定,这个跨窗口递归机制在 Sec 4.1/Fig.2 里确实存在,但它不是 Table 5 消融测的东西。Table 5 测的是更基础的一层:“生成未来时要不要以视觉历史为条件”——这一层的价值通用,不依赖评测协议是否反应式。
5.7 单次8帧预测算"长视频"还是"短想象"(最终结论)
这是"局部 vs 全局"的两个不同层级,均由原文明确定性:
Sec 4.1:“This rolling-horizon setup reduces difficulty in long-horizon prediction to a progressive sequence of short video-continuation problems.”
- 单次推理(8帧/4秒)= 短想象单元,刻意设计成"短"。Table 6 证实:单次生成窗口从8帧延长到12帧(6秒),PDMS 就从90.9掉到86.7(drift accumulation)——单次生成越长越容易失控,这正印证了外部评论"长视频一次性生成容易结构漂移"的道理。
- 真正的"长视频"(覆盖几十秒甚至几分钟任务)靠链式拼接实现,不是单次生成出来的:Fig.2 “Progressive Video Continuation” 画的就是一个个4秒窗口首尾相接、不断向后滚动的过程。DriveVA 从未让模型在一次前向传播里直接生成很长的序列,而是把"生成很长未来"的高难度问题转换成"重复很多次生成很短未来"的低难度问题。
类比自回归语言模型:GPT 不会一次前向传播吐出几万字文章(丧失连贯性),而是逐 token 生成、不断把已生成内容喂回作为新上下文。DriveVA 的 Progressive Video Continuation 本质是把这个思路从"逐 token"换成"逐4秒窗口"——短窗口内部保证生成质量(避免单次生成过长导致漂移),长时程覆盖靠窗口间链式滚动实现。
5.8 实车部署时是否还存在"长时程预测"问题(最终结论)
用户结论:“实车部署不会遇到长时程预测问题,每次生成4s未来给控制执行,下一轮再生成新的4s,滚动进行”——这个判断基本成立,但需要两点补充精确化:
-
消失的具体风险,不是"长时程预测的需求"本身:实车摄像头(如20Hz)远快于模型2步流匹配推理,下一轮推理需要的历史帧真实传感器早已备好,滑动窗口更新永远用真实观测帧,不会触碰"用生成帧续接历史"这条路径——这正是 §5.5 讨论的"续播用生成帧"机制本质上是为了应付 NAVSIM 非反应式评测,而非实车真实需求。但**“预测4秒→滚动→再预测4秒"这个滚动闭环结构本身,在实车和仿真评测里是共用的**——因为模型单次推理能力天生只能吐出4秒未来,无论是否用生成帧续接,长时程任务都必须靠多轮推理链式拼接完成。变化的只是"续接历史用什么帧”(NAVSIM被迫用生成帧,实车永远用真实帧),架构本身不是仿真专属的。
-
重规划节奏的粒度:论文 Sec 4.1 原文描述的闭环节奏是"执行完整个 $K=8$ 步(4秒)动作序列后才重新推理一次",即每4秒重规划一次的粗粒度版本,而非用户设想的"每帧都重新推理"。用户设想的更高频重规划(每帧/每几帧重规划一次,只执行预测轨迹的前几步)其实是更标准的 receding horizon / MPC 思路,实车部署通常会采用以获得更强的安全裕度和响应性——但这是比论文原始闭环描述更保守、更工程化的实现方式。两种节奏(每4秒 vs 更高频)都不会触发"生成帧续接历史"的风险,因为无论多高频,只要推理够快,真实帧都追得上。
6. 实验结果汇总(消融实验表)
Table 5(关键设计消融,NAVSIM PDMS)
| 设置 | PDMS |
|---|---|
| 完整 DriveVA | 90.9 |
| 去掉视频损失(Action-only 式,不生成视频) | 71.4(最大降幅) |
| 去掉 Video Continuation(即不以视觉历史为条件,ID3) | 84.6 |
| +CARLA 仿真混合训练 | 90.5 → 90.9 |
Table 6(预测时间跨度/单次生成窗口长度)
| 未来帧数 N | 时长 | PDMS |
|---|---|---|
| 4帧 | 2秒 | 82.1(太短,视频对轨迹约束不足) |
| 8帧 | 4秒 | 90.9(最优,与8步/4秒动作序列时长对齐) |
| 12帧 | 6秒 | 86.7(漂移累积,反而损害一致性) |
Table 7(训练策略)
| 策略 | PDMS |
|---|---|
| 从头训练 | 62.9 |
| LoRA 微调 | 74.9 |
| 全量微调 | 90.9 |
Table 8(采样步数)
| 步数 | PDMS |
|---|---|
| 1 | 13.2(崩溃,见 §4.4 数学论证) |
| 2 | 90.9(近最优) |
| 3 | 90.9(无进一步提升) |
Table 9(模型规模,LoRA适配)
| 配置 | PDMS |
|---|---|
| 5B, LoRA | 74.9 |
| 14B, LoRA | 80.6 |
| 5B, 全量微调 | 90.9(仍最高,全量微调比单纯放大模型更重要) |
附录 E.2 Table 11(掩码策略 / 预测目标消融)
| 设置 | PDMS | Comfort |
|---|---|---|
| 双向注意力(默认) | 90.9 | 100 |
| 因果掩码(动作可看视频,视频不能看动作) | 90.1 | — |
| Video+Action(默认预测目标) | 90.9 | 100 |
| Action-only(不预测视频) | 47.0 | 34.9 |
说明未来视频预测不只是辅助可视化输出,它为动作 token 提供了稠密的时序锚定。
附录 E.1 Table 10(Bench2Drive Dev10 闭环):DriveVA Driving Score 67.47,Success Rate 70.00,优于 DriveTransformer、DriveMamba-12L。
附录 F(失败案例):即使预测错误(如遇骑行者/路口本该通行却预测停车),预测轨迹依然与生成视频保持一致——说明失败原因是视觉因果推理不足,而非视频-轨迹耦合设计有问题(也印证了 §4.4 中"模型没有退化成回归"的论证:输出是清晰但选错模式,而非模糊平均态)。
7. 术语速查
| 术语 | 含义 |
|---|---|
| PDMS | NC × DAC × (5·EP + 5·TTC + 2·Comf.) / 12,NAVSIM 综合闭环评分 |
| NC/DAC/TTC/EP/Comf. | No Collision / Drivable Area Compliance / Time-to-Collision / Ego Progress / Comfort |
| $X_{cond}$ | 条件块:ego状态 token + 历史视频潜码,全程无噪声、形状固定 |
| $Y_0$ / $Y$ | 生成目标块:未来视频潜码 + 动作 token,共同加噪去噪 |
| Video Continuation | 以视觉历史帧为条件生成未来视频的设置(video-to-video),非"跨窗口递归"本身 |
| Sliding Window | 历史缓冲区更新机制,依赖真实观测帧 |
| Progressive Video Continuation | Fig.2 描述的跨多个时间窗口的滚动闭环链式拼接策略 |
| 反应式 / 非反应式 | 是否存在"执行动作→获得真实新观测"的真实闭环;NAVSIM 是非反应式 |