DriveZero：End-to-End Driving Beyond Human Demonstrations

一句话理解：DriveZero 不直接把人类驾驶轨迹当作端到端规划器的唯一老师，而是把问题拆成两部分：用结构化场景状态在高吞吐闭环环境中训练强化学习教师 DriveRL，专门学习"怎么开车"；用多个视觉基础模型蒸馏出视觉骨干 DriveVFM，专门学习"怎么理解图像"；再让纯相机学生 DriveZero 模仿 DriveRL 滚动生成的轨迹，并学习评价多条候选轨迹。

核心思想是：感知和行动需要不同的预训练环境，先分别训练，再通过轨迹蒸馏合并为可部署的相机端到端规划器。

1. 基本信息

论文题目：DriveZero: End-to-End Driving Beyond Human Demonstrations
机构：小米汽车
版本：arXiv:2609.06055，2026 年 9 月 5 日提交
任务：纯相机端到端驾驶规划，超越人类轨迹模仿

2. Introduction：为什么要超越人类轨迹模仿

2.1 传统端到端模仿学习的限制

传统端到端驾驶通常学习：

$$(\text{传感器观测},\ \text{导航意图}) \longrightarrow \text{自车轨迹或控制量}$$

监督目标来自日志中的人类未来轨迹。它具有三个根本限制：

一段日志只记录一个实际发生的未来。 同一个场景可能存在多条合理轨迹，但日志只留下人类司机当时选择的一条。
安全关键状态和恢复动作稀少。 正常司机很少进入即将碰撞、驶出道路或严重偏离车道的状态，因此日志中缺少"偏离之后如何救回来"的数据。
训练数据不包含模型自身诱发的状态。 模型上线后会因为自己的小误差进入日志从未覆盖的状态，随后误差可能连续累积。这是典型的 distribution shift，也可类比为闭环 PNC 中轨迹偏差逐步放大的问题。

2.2 为什么考虑强化学习

强化学习（Reinforcement Learning，RL）让策略在闭环环境中执行动作、观察后果，并通过奖励学习。它可以：

主动访问偏离日志分布的状态；
把碰撞、越界和恢复过程变成训练信号；
不局限于复制人类日志中唯一的一条动作序列；
直接优化安全、合规、舒适性和到达目标等指标。

但让纯视觉端到端模型直接做大规模 RL 非常昂贵：每次交互都需要视觉渲染，而探索本身又需要海量样本。

2.3 论文的解决思路

论文将训练拆成三个模块：

模块	输入	训练方式	主要职责
DriveRL	结构化场景状态、地图、目标点	闭环 PPO 强化学习	学习驾驶行为
DriveVFM	原始图像	多视觉基础模型特征蒸馏	学习语义、边界、几何和空间结构
DriveZero	四路相机、自车状态、导航命令	教师轨迹蒸馏与候选评分	形成可部署的纯相机规划器

这种设计避开了昂贵的像素级闭环探索：DriveRL 在紧凑结构化状态中做 RL，DriveZero 只在真实日志图像上开环训练。

3. Methodology

3.1 DriveRL：从零开始学习闭环驾驶教师

3.1.1 教师为什么使用结构化输入

DriveRL 的目标不是解决视觉感知，而是在高吞吐环境里学习行动策略。它直接接收场景的结构化表示，包括：

自车状态；
周围交通参与者及其历史；
局部矢量地图；
红绿灯状态；
表示导航意图的目标点。

这样可以绕过检测、深度估计和视觉渲染，将计算资源集中在闭环交互和策略优化上。

3.1.2 输入结构

论文附录给出的教师输入为：

输入	单项维度	历史或容量	坐标系
目标锚点	2D 点	2 个	ego
自车状态	9D	当前帧	ego
参与者历史	每帧 15D	5 帧，最多 96 个参与者	ego
矢量地图段	每个 token 10D	最多 256 个	ego
红绿灯状态	4D	附着在对应地图段上	地图片段

参与者历史包含当前时刻以及之前 4 帧，频率为 5 Hz，对应从 $t-0.8\text{s}$ 到 $t$。源数据最多存储 128 个参与者，策略过滤 ego 200 m 范围内的对象，按距离排序后保留最多 96 个，其中 ego 固定在第 0 槽位。

局部地图范围为：

后方 100 m；
前方 200 m；
左右各 200 m。

地图 token 包含两个端点、类型、限速和红绿灯状态，经过带端点位置编码的 MLP 映射到 256 维。

3.1.3 目标点设计

DriveRL 使用两个 ego 坐标系下的 2D 目标锚点：

$$G_t\in\mathbb R^{2\times2}$$

训练时，目标来自日志中的未来自车位置：可以只选择一个位置并复制到两个槽位，也可以选择两个不同未来位置。目标有 50% 概率直接使用日志位置，另 50% 概率投影到附近车道中心。

部署时，将 ego 投影到当前路线 polyline 上，并按以下前视距离选择近、远两个目标：

$$L=\min\left(L_{\mathrm{remain}},\ 12\max(\|v_t\|,5)\right)$$

两个目标分别位于该前视区间的中点和终点，每个规划周期重新计算。

两个目标使用共享编码器和正弦位置编码，再做 mean pooling，因此其表示对槽位交换不敏感。它们表示的是一个无顺序空间目标集合，而不是必须按顺序到达的 waypoint 序列。

附录实验表明：近点与远点组合效果最好；只使用远目标会在六个 nuPlan 设置上都明显下降，说明近目标对局部驾驶引导非常重要。

3.1.4 策略网络

网络包含三类专用编码器，将参与者、ego 运动学和地图输入编码为 256 维 token。

主要数据流为：

ego token ──作为唯一 query──> 两层 ego-to-agent cross-attention
                               ↓
                        聚合周围参与者
                               ↓
                    一层 ego-to-map cross-attention
                               ↓
                         聚合局部地图
                               ↓
       ego、目标、运动学、地图上下文拼接并经 MLP 融合
                               ↓
                         policy / value heads

完整教师约有 5.70M 参数，规模较小，适合大量并行世界中的高频推理。

3.1.5 连续动作与 Beta 分布

DriveRL 不输出轨迹，而是直接输出两个连续控制量的分布：

纵向 jerk：$[-8,5]\ \text{m}/\text{s}^3$；
前轮转角变化率：$[-0.8,0.8]\ \text{rad}/\text{s}$。

动作头分别预测两个独立 Beta 分布的参数 $\alpha,\beta$。通过：

$$\alpha=\operatorname{softplus}(x_\alpha)+1,\qquad \beta=\operatorname{softplus}(x_\beta)+1$$

保证 $\alpha,\beta>1$，使分布保持单峰，避免把过多概率分配给动作边界上的极端急打或急刹。

训练时从 Beta 分布采样以保持探索；正式评测使用解析众数：

$$a_{\mathrm{mode}}=\frac{\alpha-1}{\alpha+\beta-2}$$

归一化动作映射到物理范围后，由运动学自行车模型执行。主要动力学参数为：

轴距 3.09 m；
后轴到车体中心 1.46 m；
最大加速度 4.0 m/s²；
最大转角 $\pi/3$；
加速度时间常数 0.20 s；
转角时间常数 0.05 s。

3.1.6 混合智能体仿真

DriveRL 将真实 nuPlan 日志转换为可交互世界。每个背景参与者通过统一的物理状态—动作接口分配一个行为提供者：

Log Replay：沿日志轨迹回放；
IDM：根据前车和道路动态反应；
Front-vehicle Braking：模拟前车突然制动；
Self-Play：由学习中的同一策略控制部分背景车辆。

正式 nuPlan 教师使用 1:1 的日志回放和 IDM 场景混合。行人等非车辆参与者仍使用日志回放。

IDM 使用约 100 m 车道中心搜索范围、5 m 地图匹配阈值、1 m 最小间距和 1.5 s 时距。

前车紧急制动增强中：位于 ego 前方 3 m 横向走廊内的车辆在场景初始化时有 3% 概率成为制动候选；每个 5 Hz 时刻又有 5% 概率触发，触发后以最大 $-10\ \text{m}/\text{s}^2$ 减速直至停止。

3.1.7 场景一致的参与者插入

日志中的某些参与者只在场景中后段出现。当 ego 已经偏离日志轨迹时，直接在原时刻插入该参与者，可能导致其凭空出现在 ego 旁边甚至发生碰撞。

DriveRL 只有在以下条件都满足时才插入晚出现的参与者：

该参与者已出现在当前日志帧；
当前 ego 与日志 ego 的位置差小于 5 m；
朝向差小于 0.35 rad；
插入后不会和已有可见参与者碰撞。

3.1.8 奖励函数

DriveRL 的标量奖励为：

$$r_t=h_t+(1-d_t)\left(g_t+\frac{1}{H}\prod_{k\in\mathcal K}q_{t,k}\right)$$

其中：

$h_t$：硬事件奖励或惩罚；
$d_t\in\{0,1\}$：是否发生终止事件；
$g_t$：首次到达目标时的一次性奖励；
$H=110$：rollout 时域；
$q_{t,k}\in[0,1]$：第 $k$ 项软驾驶质量；
$\mathcal K$：六项软指标集合。

硬事件包括：

新发生的 polygon collision：$-1.0$；
驶出道路：终止 rollout，并使用以 $-2.0$ 为基础、随速度变化的惩罚。

首次进入目标点 1.5 m 范围获得 $+0.5$，但到达目标不会终止 rollout。论文不使用目标距离 shaping 或 survival reward。

六项软指标为：

cross-lane；
centerline；
curb；
comfort；
TTC；
overspeed。

这些指标采用乘积而不是求和，意味着任何一个指标严重失败都会显著降低软奖励，其他高分项不能轻易补偿。这与 PNC 中"安全、合规和舒适必须同时满足"的木桶效应相似。

红灯违规没有进入正式教师的标量奖励，只作为诊断指标。附录显示，加入红灯奖励可将策略独有的红灯违规率从 3.88% 降到 2.03%，但六项 nuPlan 聚合分数全部下降，说明 benchmark 总分没有完整体现红灯合规价值。

3.1.9 八通道 Critic

标量奖励混合了稀疏碰撞、稀疏到达奖励和稠密软奖励，因此作者使用八通道 value critic：

$$\mathcal C=\{\text{hard},\text{goal}\}\cup\mathcal K$$$$V(s_t)=[V_c(s_t)]_{c\in\mathcal C}\in\mathbb R^8$$

六个软通道并不是六个独立奖励，而是把同一个乘积软奖励按各指标的"缺口"分配。定义：

$$b_{t,k}=\max(1-q_{t,k},0),\qquad B_t=\sum_{j\in\mathcal K}b_{t,j}$$

当 $B_t>10^{-8}$ 时：

$$w_{t,k}=\frac{b_{t,k}}{B_t}$$

否则所有指标均分权重。六个通道分配之和严格等于原乘积软奖励，所以：

$$\sum_{c\in\mathcal C}r_{t,c}=r_t$$

GAE（Generalized Advantage Estimation，广义优势估计）也按通道计算，最后将八个 advantage 相加用于 PPO actor。由于奖励可加、各通道共享相同的 $\gamma,\lambda$ 和终止边界，其和等价于直接对原标量奖励计算 GAE。分解的作用主要是改善 critic 的监督结构和诊断能力，不改变 actor 的标量优化目标。

3.1.10 PPO 配置

主要训练设置为：

配置	数值
数据场景	922,703 个 nuPlan trainval 场景
场景频率	5 Hz
每 rank 世界数	2,048
分布式规模	12 节点 / 96 GPU
全局并行世界	196,608
rollout	110 步，约 22 s
PPO epoch	每次更新 4 个
minibatch	每 rank 20,480 transitions，共 11 个
更新次数	2,400
训练时间	约 21 小时
优化器	Muon
初始学习率	$3\times10^{-4}$
学习率计划	cosine，无 warmup
折扣因子	$\gamma=0.99$
GAE	$\lambda=0.95$
policy/value clip	0.2 / 0.2
entropy coefficient	0.01
value coefficient	0.5
gradient clipping	0.5

3.1.11 Value-guided Test-Time Search

直接执行 Beta 分布众数会丢弃策略的局部动作多样性，也没有充分利用 critic 对延迟回报的估计。论文在推理时进行短时域动作搜索。

每个规划周期：

将策略众数保留为候选 0；
从同一个 Beta 策略中采样 $N-1$ 个第一步动作；
每个候选执行第一步后，后续动作都采用同一策略在对应状态下的众数；
背景车辆使用有限加速度和 yaw rate 的 CTR-A 外推；
用短时奖励和末端 critic value 评价候选。

候选 $i$ 的分数为：

$$S(i)=\sum_{\ell=0}^{L-1}\gamma^\ell\prod_{u\lt\ell}(1-d_u)r_\ell+\gamma^L\prod_{u\lt L}(1-d_u)V(O_L)$$

其中：

$L$：短时 rollout 步数；
$r_\ell$：与 PPO 训练一致的奖励；
$d_\ell$：终止标记；
$V(O_L)$：末端状态价值。

由于背景运动预测和 critic 都可能有误差，只有当最佳采样候选比众数候选高出阈值 $\delta$ 时才替换众数动作，否则继续执行众数。这使 TTS 成为保守的局部策略改进，而不是激进搜索。

正式实验使用：

$L=5$；
$\delta=0.03$；
最大 $N=64$。

所有候选并行 rollout，因此增加 $N$ 主要增加并行计算，增加 $L$ 才增加顺序推理深度。

3.2 DriveVFM：把多个视觉基础模型蒸馏进一个驾驶骨干

3.2.1 为什么不直接使用单个基础模型

不同视觉基础模型擅长的能力不同：

教师	主要能力
DINOv3	空间结构、视觉对应、通用表征
SigLIP2	图像级语义、开放词汇和视觉—语言对齐
SAM	物体边界和分割式空间结构
Depth Anything V2	深度、几何和空间关系

DriveVFM 不训练检测、分割、车道线或深度辅助头，而是直接模仿这些冻结基础模型的内部特征。这样无需任务专用人工标注，并允许通用互联网图像与驾驶图像自由混合。

3.2.2 Summary token 与 patch token

DriveVFM 使用一个共享 Vision Transformer，产生：

每个教师专属的 summary token；
一套所有教师共享的空间 patch token。

Summary token

summary token 是加入 Transformer 的可学习向量，不对应图像中的固定位置。经过多层 self-attention 后，它能读取全部 patch，形成对整幅图的整体摘要。

它主要表达：

场景总体类别；
整图语义；
核心物体和上下文；
图像与语言概念的对应关系。

不同教师使用不同 summary token，是为了允许 DINO 的全局结构表征和 SigLIP 的语言语义表征共存，避免强迫一个向量同时完全拟合多个不同特征空间。

“专属"指每个教师拥有一个可学习 token 参数，并不是每张图片临时生成一枚不同参数。该 token 对不同图片的最终输出会因注意力读取到的图像内容不同而变化。

Patch token

图像被切分为规则小块，每个小块编码为一个 patch token。patch token 保留空间索引，表示"这个图像位置附近有什么”。经过 Transformer 后，它也包含来自其他位置的上下文。

例如，某个 patch 不只是表示"这里像行人"，还可能表达"这里是位于道路右侧、靠近路缘的行人"。

patch token 适合保留：

可行驶区域和道路边界；
小障碍物；
物体边界；
局部几何和深度变化；
场景元素之间的空间关系。

它可类比为带语义的图像视角栅格，但不是 BEV，也没有天然对应物理世界中的固定面积。

3.2.3 教师专属 adaptor

不同教师输出维度和特征分布不同，因此 DriveVFM 为每个教师设置轻量 adaptor，分别投影 summary 和 patch 表示：

教师专属 summary token ──summary adaptor──> 对齐该教师的全局特征空间

共享 patch tokens ──patch adaptor──> 对齐该教师的空间特征空间

预训练完成后，所有教师和 adaptor 都被丢弃，只保留 DriveVFM 主干。

3.2.4 不对称监督

作者根据教师的优势选择监督位置：

教师	Summary	Patch
DINOv3	✓	✓
SigLIP2	✓	—
SAM	—	✓
Depth Anything V2	—	✓

Depth Anything V2 可以蒸馏深度预测，也可以蒸馏其视觉特征。论文实验发现特征蒸馏效果更好，因此正式方法使用视觉特征，而不是让 DriveVFM 显式预测深度图。

3.2.5 总体损失

教师集合记为 $\mathcal T$，总损失为：

$$\mathcal L_{\text{DriveVFM}}=\sum_{k\in\mathcal T}\left(\lambda_k^{\text{sum}}\mathcal L_k^{\text{sum}}+\lambda_k^{\text{patch}}\mathcal L_k^{\text{patch}}\right)$$

其中：

$k$：某个冻结教师；
$\lambda_k^{\text{sum}}$：其 summary 损失权重；
$\lambda_k^{\text{patch}}$：其 patch 损失权重。

正文没有给出各项权重的具体数值。

3.2.6 Summary loss：余弦距离

设：

$s_k$：DriveVFM 中属于教师 $k$ 的 summary token；
$A_k^{\text{sum}}$：对应 summary adaptor；
$t_k^{\text{sum}}$：冻结教师的全局特征。

学生投影为：

$$\hat t_k^{\text{sum}}=A_k^{\text{sum}}(s_k)$$

损失为：

$$\mathcal L_k^{\text{sum}}=1-\frac{\hat t_k^{\text{sum}}\cdot t_k^{\text{sum}}}{\|\hat t_k^{\text{sum}}\|_2\|t_k^{\text{sum}}\|_2}$$

余弦距离主要约束向量方向，不要求绝对模长相同。对于图像级语义 embedding，不同模型的特征幅值经常受归一化和网络结构影响，而语义相似性更多由方向表达。因此它相当于要求学生与教师"表达相同的中心思想"，不要求使用相同音量。

3.2.7 Patch loss：逐位置 MSE

设共享学生 patch 为：

$$P=[p_1,p_2,\ldots,p_N]$$

教师 $k$ 的空间特征为：

$$T_k=[t_{k,1},t_{k,2},\ldots,t_{k,N}]$$

经教师专属 patch adaptor 后：

$$\hat t_{k,i}=A_k^{\text{patch}}(p_i)$$

再与 PHI-S 标准化后的教师特征比较：

$$\mathcal L_k^{\text{patch}}=\frac{1}{ND_k}\sum_{i=1}^{N}\left\|\hat t_{k,i}-\Phi_k(t_{k,i})\right\|_2^2$$

其中：

$N$：patch 数量；
$D_k$：教师特征维度；
$\Phi_k$：教师 $k$ 对应的 PHI-S 变换。

MSE 同时约束方向和幅值，比余弦距离更严格，适合要求学生逐位置复现教师的局部空间结构。

论文没有说明不同教师空间分辨率之间具体如何插值或对齐，因此不能仅根据正文确定完整实现。

3.2.8 为什么 summary 用余弦、patch 用 MSE

两种损失对应不同目标：

summary 关心"整张图表达的总体语义是否一致"，向量模长通常不是稳定语义；
patch 关心"每个位置的完整局部特征是否一致"，局部响应强度和维度数值也可能携带边界、几何和置信度信息。

如果对每个 patch 单独归一化后只计算余弦距离，所有 patch 的模长都会变成 1，可能丢失不同位置之间的相对响应强弱。PHI-S 使用从整个教师数据分布估计的一套固定变换，而不是对每个 patch 单独单位化，因此不会强制所有 patch 具有相同模长。

这种选择不是唯一可能方案；patch 也可以使用余弦类目标，summary 也可以用回归损失。论文采用的是与两类表示用途相匹配的经验设计。

3.2.9 PHI-S：平衡异构教师的特征分布

不同教师的 patch 特征可能具有完全不同的：

数值尺度；
各维方差；
激活分布；
各向异性程度。

如果直接求 MSE，特征幅值更大或少数维度方差更高的教师会产生更大的梯度，从而支配共享 backbone。只调整每个教师一个标量权重，无法解决同一教师内部不同维度之间的不平衡。

PHI-S 对每个教师的 patch 特征离线估计均值和协方差，然后执行：

中心化；
PCA 旋转；
Hadamard 旋转，将高方差主方向的信息分散到多个输出维度；
使用共享标量进行缩放。

PHI-S 会不会改变维度幅值

会。PHI-S 的目的本来就是改变原始坐标维度的数值和方差，使每个输出坐标轴的边际方差更接近。它保留的不是"原始第几维的具体含义"，而是整体特征空间中的信息和几何关系。

PCA 和 Hadamard 属于正交旋转。对中心化特征 $x$，若 $R^TR=I$：

$$y=Rx$$

则：

$$\|Rx\|_2=\|x\|_2$$$$\|Rx_a-Rx_b\|_2=\|x_a-x_b\|_2$$

因此旋转会改变坐标值，却不会因旋转本身破坏样本之间的欧氏距离和夹角。后续共享标量会整体缩放距离，但不会单独放大某一个维度。

均衡边际方差不等于完整白化

如果 PCA 后协方差为：

$$\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_D)$$

再乘归一化 Hadamard 矩阵 $H$，因为每个元素平方为 $1/D$，每个输出维度的方差为：

$$\operatorname{Var}(y_j)=\sum_iH_{ji}^2\lambda_i=\frac{1}{D}\sum_i\lambda_i$$

因此各输出坐标的边际方差可以相等。但完整协方差矩阵仍可能存在很强的非对角相关性；正交旋转不能改变协方差矩阵的特征值，不能把一个强各向异性的分布真正变成 $cI$。

例如：

$$\begin{bmatrix}100&0\\0&1\end{bmatrix}\xrightarrow{45^\circ\text{旋转}}\begin{bmatrix}50.5&49.5\\49.5&50.5\end{bmatrix}$$

两个坐标轴的方差都变成 50.5，但两维高度相关。原来的各向异性被重新表达，并没有从数学上消失。

因此 PHI-S 改善的是 MSE 的数值条件和输出通道梯度平衡，不保证：

所有方向同样容易预测；
所有教师语义完全兼容；
重尾异常值不会影响 MSE；
离线统计与实际驾驶分布不会发生偏移；
学生容量一定足够拟合所有教师。

3.2.10 预训练数据与计划

训练数据混合：

LAION-2B；
ImageNet-21K；
SA-1B；
OpenDV；
nuPlan；
Waymo。

两阶段训练计划为：

$256\times256$ 分辨率，600K 次迭代，global batch 2,048；
$512\times512$ 分辨率，再训练 200K 次，global batch 仍为 2,048。

两阶段均使用 AdamW。

3.2.11 QK-Clip

训练过程中，部分 attention head 的 query-key 点积可能快速增大，使 softmax 前 logit 过大，引发 loss spike、训练发散和 FP16 数值误差。

DriveVFM 在每次优化器更新后监控各 attention head 的最大 QK logit。如果超过 1,000，就用相同的平方根缩放因子同时缩放 query 和 key 投影权重，value 投影和 attention 公式保持不变。

结果为：

方法	最大 QK logit	最大绝对误差	平均绝对误差	FP32/FP16 余弦相似度
Baseline	308,320	1.243	0.109	0.893
QK-Norm	5,125	0.768	0.032	0.981
QK-Clip	995	0.047	0.004	0.999

QK-Clip 不仅让训练后期更平稳，也使 DriveVFM 的 FP16 部署接近无损。

3.3 DriveZero：把 RL 教师蒸馏成纯相机规划器

3.3.1 输入与基本配置

DriveZero 输入：

当前时刻前、后、左、右四路相机；
自车运动学；
导航 command。

论文没有使用历史相机帧。图像输入分辨率为 $960\times512$。

主表模型使用 DriveVFM ViT-L。完整模型约 338.46M 参数，实际训练参数约 18.58M。

3.3.2 为什么使用 LoRA

DriveVFM 预训练解决的是通用视觉表征：语义、边界、空间结构和几何。但它没有直接学过：

哪些视觉信息会改变 ego 轨迹；
哪些车辆更值得关注；
哪些边界、信号灯或障碍会影响候选轨迹排序。

因此完全冻结的 DriveVFM 虽然可以作为特征提取器，但规划头只能被动适应其通用特征。DriveZero 冻结原始 backbone 权重，只在 attention 的 query 和 value 投影上加入 rank-32 LoRA：

$$Q=X(W_Q+B_QA_Q)$$$$V=X(W_V+B_VA_V)$$

其中原始 $W_Q,W_V$ 不更新，$B_QA_Q$ 和 $B_VA_V$ 是秩不超过 32 的可训练低秩增量。

直观上：

调整 Query，改变规划任务"应该关注哪里"；
调整 Value，改变从被关注位置"应该提取什么"。

LoRA 在保留大规模视觉预训练知识的同时，允许视觉注意力适配轨迹蒸馏目标，并降低全量微调的显存、过拟合和灾难性遗忘风险。

论文没有提供"完全冻结且不使用 LoRA"的消融，因此不能从正文断言直接使用 DriveVFM 一定效果差。

3.3.3 相机 3D 位置编码

普通 2D 位置编码只表示 token 位于某张图片的左、右、上、下。在多相机系统中，同样位于画面中央：

前相机对应 ego 前方；
后相机对应 ego 后方；
左右相机又对应不同空间方向。

DriveZero 按照 PETR 为视觉 token 加入 3D 位置编码，使 token 与 ego 坐标系中的空间射线相关联。

正文只说明"following PETR"，没有公布具体深度分桶、坐标范围和位置编码网络。下面是 PETR 风格机制的直观解释，不应视为 DriveZero 已公开的完整实现。

对特征图位置 $(u,v)$，沿其相机射线选择多个候选深度 $d_k$：

$$p_k^{\text{cam}}=K^{-1}\begin{bmatrix}u d_k\\v d_k\\d_k\end{bmatrix}$$

再用相机外参变换到 ego 增标系：

$$p_k^{\text{ego}}=T_{\text{cam}\rightarrow\text{ego}}\begin{bmatrix}p_k^{\text{cam}}\\1\end{bmatrix}$$

多个候选 3D 坐标经归一化和位置编码网络映射成与视觉 token 相同维度的 embedding，再与视觉 token 相加。

这并不表示模型知道该像素的真实深度，只表示该视觉信息来自 ego 周围某一条空间射线，物体可能位于这条射线上的不同深度。

patch 的 $(u,v)$ 如何确定

假设 ViT patch 大小为 $P\times P$，特征图第 $i$ 行、第 $j$ 列 token 对应原图区域：

$$x\in[jP,(j+1)P),\qquad y\in[iP,(i+1)P)$$

通常取该区域中心作为代表位置：

$$u=(j+0.5)P,\qquad v=(i+0.5)P$$

一个 patch 内的所有像素实际对应略有不同的射线；用中心射线代表整个 patch，是与特征分辨率一致的空间量化近似。patch 越小，近似越精细；跨多个 patch 的物体可由 Transformer 联合表达。

如果原始图像经过 resize、crop 或 padding，必须同步更新相机内参，否则反投影射线会产生系统偏差。也可以在特征图坐标系中使用按 stride 缩放后的内参，数学上等价。

3.3.4 Register token 压缩

加入 3D 位置编码后，每个相机使用 16 个 learnable register token 压缩大量视觉 token。

四个相机因此大致形成 $4\times16=64$ 个紧凑 scene token。register 不一定具有预先指定的"车辆、道路、行人"语义，而是通过训练自主形成对规划有用的信息槽位。

3.3.5 Planning 网络

自车运动学和导航 command 被编码成一个 ego token，并加入 $M=64$ 个可学习 trajectory query：

$$q_m'=q_m^{\text{traj}}+e_{\text{ego}},\qquad m=1,\ldots,64$$

trajectory decoder 通过对 scene tokens 做 cross-attention，为每个 query 生成一条候选轨迹。

论文给出的规划器配置为：

配置	数值
planning representation	256 维
proposal decoder	4 层
trajectory proposal	64 条
预测时域	20 个点，5 Hz，约 4 s
每个轨迹点	ego-relative $(x,y,\mathrm{yaw})$

正文没有给出：

decoder attention head 数；
FFN 宽度；
trajectory query 到 20 个轨迹点的具体输出头；
command 的类别和编码方式；
自车运动学向量的具体组成；
register 压缩的完整连接结构。

因此论文提供了模块级结构，但不足以完全复现 planning 网络。

3.3.6 教师轨迹监督

对于每个日志帧：

DriveRL 读取对应的结构化场景状态和目标；
背景参与者按日志回放；
冻结的 DriveRL 闭环 rollout；
得到 20 步教师轨迹 $\tau^T$；
同一时刻的四路图像作为 DriveZero 输入。

教师轨迹表示为 ego-relative $(x,y,\mathrm{yaw})$ 序列。

3.3.7 Winner-Takes-All 轨迹损失

学生输出 $M=64$ 条候选：

$$\{\hat\tau_1,\ldots,\hat\tau_M\}$$

每条候选都与教师轨迹比较，只有最近的一条承担轨迹损失：

$$\mathcal L_{\text{traj}}=\min_m\operatorname{dist}(\hat\tau_m,\tau^T)$$

其中 $\operatorname{dist}$ 是所有轨迹点上的平均 L1 距离。

WTA 避免将左绕、右绕和跟车等多模态未来直接平均成一条不自然轨迹，但每个样本只有一个 query 接收轨迹回归梯度，也可能造成：

部分 query 长期缺少有效监督；
多条 proposal 收敛到相似模式；
候选覆盖度缺乏显式保证。

论文没有报告 proposal 多样性或模式坍缩相关指标。

3.3.8 独立轨迹评分分支

每条候选轨迹先编码为一个 score query，再对视觉 token 做 cross-attention，预测六项 PDM 分量：

collision avoidance；
drivable-area compliance；
ego progress；
time to collision；
comfort；
driving-direction compliance。

设 $\hat s_{mk}$ 为第 $m$ 条轨迹第 $k$ 项预测 logit，$s_{mk}$ 为 PDM target：

$$\mathcal L_{\text{score}}=\frac{1}{M}\sum_{m=1}^{M}\sum_{k=1}^{6}\operatorname{BCE}\left(\sigma(\hat s_{mk}),s_{mk}\right)$$

推理时按 benchmark 规则聚合六个分量，选择预测综合分数最高的轨迹。

候选轨迹进入 scoring decoder 前会 stop-gradient：

$$\operatorname{stopgrad}(\hat\tau_m)\longrightarrow\text{scoring decoder}$$

因此评分损失只训练如何评价和选择已有候选，不能通过反向传播让 trajectory decoder 生成更好的轨迹。如果候选集合中没有正确避障轨迹，评分器无法凭空创造它。

论文没有给出 scoring decoder 的层数、head 数和具体结构。

3.3.9 DriveZero 总损失

$$\mathcal L_{\text{DriveZero}}=\lambda_{\text{traj}}\mathcal L_{\text{traj}}+\lambda_{\text{score}}\mathcal L_{\text{score}}$$

正文没有给出两个权重的具体数值。

3.3.10 Goal Augmentation

日志只记录一个路线意图和对应的人类轨迹。DriveRL 是 goal-conditioned policy，因此同一个初始场景可以输入不同合法导航目标，让教师生成多条与目标一致的反事实轨迹。

增强时必须同步改变：

教师目标；
学生导航 command；
用于评价候选的路线；
教师轨迹和候选 PDM target。

这样一个场景可以产生多个有效监督样本。

需要区分两类多样性：

Goal augmentation 主要增加不同路线意图下的轨迹多样性；
它不等于完整覆盖同一目标下的跟车、让行、绕行、防御性停车等交互行为多样性。

4. Experiments

4.1 DriveRL：nuPlan 闭环评测

4.1.1 评测设置

使用三个 community split：

Val14：1,118 个场景；
Test14-hard：272 个场景；
Test14-random：261 个场景。

每个场景 15 s，并分别使用：

NR（non-reactive）：背景参与者按日志回放；
R（reactive）：可控制车辆使用 IDM，其余仍按日志回放。

使用 nuPlan Closed-Loop Score，综合进度、安全、合规和舒适性，范围 0–100。

4.1.2 主要结果

方法	Val14 NR	Val14 R	Hard NR	Hard R	Random NR	Random R	平均
Log-Replay	93.53	80.32	85.96	68.80	94.03	75.86	—
DriveRL	95.16	94.25	89.97	89.18	94.50	95.00	93.01
DriveRL-TTS	95.54	94.53	91.13	89.15	95.93	95.12	93.57

DriveRL 在六项设置中都超过 Log-Replay。TTS 使用同一个 checkpoint，不重新训练，将平均分提高 0.56。主要收益出现在 non-reactive Test14-hard 和 Test14-random。

“超过日志专家"表示策略在该 benchmark 的综合指标上优于日志回放，不等于已经证明其在开放真实交通中全面比人类司机更安全。

4.1.3 Test-Time Scaling

固定 $L=5$、$\delta=0.03$：

候选数	平均分	相对 DriveRL
直接执行众数	93.01	0.00
8	93.12	+0.11
16	93.13	+0.13
32	93.40	+0.39
64	93.57	+0.56

趋势总体随候选数量增加而提升，但并非每个单项都单调增加，说明短时模型和 critic 评价仍有噪声。

4.1.4 Self-Play

Self-Play 版本使用同一个策略控制 ego 和最多 10 辆背景车。nuPlan 上最佳 Self-Play 平均 93.11，与单 ego 教师的 93.01 接近，但没有稳定优势。

作者认为原因是 nuPlan reactive 背景交通本身由 IDM 驱动，评测并不充分奖励更自然的人—车式交互。Self-Play 主要用于实车版本训练，而不是正式 benchmark 教师。

4.2 DriveZero

4.2.1 训练配置

基础训练集是 NAVSIM navtrain 的 100K 场景。DriveZero-Scale 再增加 237K 个 SimScale 分布外仿真场景。

主要配置为：

配置	数值
GPU	16 × H20
Epoch	25
Batch size	256
Optimizer	AdamW
初始学习率	$2\times10^{-4}$
LR schedule	cosine 到 0，无 warmup
Weight decay	0.01
Gradient clipping	global norm 1.0
精度	FP32
训练时间	38 h
Backbone	冻结 DriveVFM ViT-L
Backbone adaptation	Q/V LoRA，rank 32
轨迹监督	DriveRL rollout，无人类轨迹回归

论文所称"无人类轨迹监督"是指不直接用人类未来轨迹作为行为回归目标。但训练世界、导航目标和一部分背景行为仍来自人类驾驶日志，因此并非完全不使用人类数据。

4.2.2 NAVSIMv1 navtest

方法	输入	人类轨迹监督	PDMS
Human Driver	GT	✓	94.8
DrivoR-Scale	Camera	✓	94.6
DriveRL	GT structured	✗	95.8
DriveZero	Camera	✗	94.8
DriveZero-Scale	Camera	✗	95.3

DriveZero-Scale 的主要分量为：

No Collision：99.2；
Drivable Area Compliance：99.4；
TTC：97.3；
Comfort：99.9；
Ego Progress：92.5。

NAVSIMv1 是 pseudo closed-loop benchmark。这里"超过 Human Driver"指超过其 benchmark PDMS 参考分，不代表完整真实驾驶能力超过人类。

4.2.3 NAVSIMv2 navhard

方法	EPDMS
GigaPixel	50.1
DriveRL（GT）	55.6
DriveZero	51.5
DriveZero-Scale	57.1

DriveZero-Scale 相比 DriveZero：

Stage 1 从 84.1 降到 82.3；
更困难的 Stage 2 从 60.8 升到 69.1；
最终 EPDMS 提升 5.6。

这说明额外分布外仿真数据主要改善了扰动条件下的鲁棒性。

4.2.4 HUGSIM 真闭环零样本评测

HUGSIM 使用 KITTI-360、nuScenes、PandaSet 和 Waymo 场景进行照片级重建。DriveZero 没有针对 HUGSIM 微调。

方法	平均 Route Completion	平均 HD-Score
DrivoR-Scale	46.4	38.1
GigaPixel	50.1	38.5
DriveZero	53.9	39.4
DriveZero-Scale	54.5	46.6

DriveZero-Scale 在 Easy、Medium、Hard、Extreme 上的 HD-Score 分别为：

$$81.9,\ 60.5,\ 24.7,\ 27.6$$

平均 46.6，领先此前 GigaPixel 8.1 分。但 Hard 和 Extreme 仍然较低，说明长尾闭环泛化远未解决。

4.2.5 DriveVFM 消融

所有消融使用 ViT-S，仅使用 navtrain。

与单个视觉基础模型比较

Backbone	PDMS
Depth Anything 3 Small	93.31
Depth Anything 2 ViT-S	93.72
DINOv2 ViT-S	93.88
DINOv3 ViT-S	93.88
DriveVFM ViT-S	94.41

在已经较饱和的 benchmark 上，DriveVFM 比 DINOv3 ViT-S 高 0.53。

多教师累积贡献

教师组合	PDMS
DINOv3 + SigLIP2	93.69
+ SAM	94.10
+ Depth Anything V2	94.41

SAM 带来 +0.41，Depth Anything V2 再带来 +0.31，支持不同教师能力具有累积互补性。

Backbone scaling

Backbone	PDMS
DriveVFM ViT-S	94.41
DriveVFM ViT-B	94.54
DriveVFM ViT-L	94.83
DINOv3 ViT-L	94.55

ViT-S 到 ViT-L 提升 0.42，呈现正向 scaling 趋势。

4.2.6 轨迹监督和目标增强消融

监督方式	PDMS
人类轨迹	93.92
DriveRL 轨迹	93.61
DriveRL + goal augmentation	94.41

关键结论：

单独把人类轨迹换成 DriveRL 轨迹，反而下降 0.31；
加入目标增强后，相比纯 DriveRL 提升 0.80；
最终比人类轨迹监督高 0.49。

因此实验真正支持的是：可查询的 goal-conditioned RL 教师能提供日志中不存在的反事实目标监督。 它没有证明单条 RL 教师轨迹天然比单条人类轨迹更强。

4.2.7 特征与规划可视化

DriveVFM 与 DINOv3 的 patch 特征可视化表明：DriveVFM 对道路区域的响应更一致，也更容易将小物体和长尾障碍与路面区分。

规划可视化中，DriveZero-Scale：

在人类司机犹豫或停车而前方已畅通时，生成更长、更平滑的前进轨迹；
相比 DrivoR-Scale 更少发生碰撞和驶出可行驶区域；
在 HUGSIM 中能更及时响应前车急刹，并在近距离对向会车时保持车道。

这些是定性案例，不能替代系统性的长尾场景统计。

4.3 实车应用

作者部署到小规模车队的是 DriveRL，而不是本文的纯相机 DriveZero。

实车 DriveRL：

使用自有驾驶日志初始化场景和目标；
启用 self-play；
使用自动标注的感知真值构造结构化状态；
混入记录的车载感知输出作为退化输入；
使用大量 domain randomization；
上车时由目标检测、在线建图和导航模块提供周车、局部地图和目标点。

论文只提供拥挤城市道路演示，没有报告系统性的实车里程、安全接管率或对比实验。

5.1 闭环强化学习规划

5.2 驾驶视觉预训练

已有方法使用：

ImageNet 监督；
DINO 类自监督；
图文对齐；
驾驶数据自监督；
几何和 3D 结构预训练。

DriveVFM 采用 RADIO 风格的 agglomerative distillation：不设计新的驾驶辅助任务，而是汇总多个现成基础模型的知识。

5.3 端到端驾驶

多数方法仍以人类 ego 轨迹作为主要行为监督。ROACH、TerraTransfer、GigaPixel 和 Pictura 等开始通过 RL 教师、自博弈或可渲染世界学习行为。

DriveZero 的区别是：不让相机学生直接进入渲染闭环，而是分别训练结构化动作教师和真实图像视觉骨干，再通过轨迹蒸馏统一。

6. 与传统 PNC 的对应关系

DriveZero 系统	PNC 类比	类比边界
DriveRL 结构化输入	感知、预测、地图输出组成的 world model	DriveRL 使用统一 token 网络，不是明确分模块接口
目标锚点	route/lane 引导点	两个点是无序集合，不是严格参考线序列
DriveRL policy	闭环行为决策和控制策略	直接输出 jerk 和转角速度，不经过显式行为树和优化器
reward	安全、合规、效率和舒适代价	通过 RL return 学习，不是在线求解显式 cost function
TTS	局部候选采样与代价选优	候选来自 learned policy，分数由 reward + critic 构成
DriveZero proposals	多条轨迹候选	轨迹由 Transformer query 生成，不是手工采样 lattice
scoring decoder	学习型轨迹评价器	预测 PDM 分量，不是严格物理约束检查器

从 PNC 视角看，DriveZero 并没有完全消灭"生成—评价"结构，而是把候选生成器和评价器都学习化了。

7. 关键质疑与局限性

7.1 结构化教师的行为监督上限

DriveRL 在 benchmark 中拥有精确的参与者状态、历史、地图和红绿灯信息，可能比原始图像更容易规划。但真实世界中，它仍会遗漏图像可见的驾驶线索，例如：

转向灯和双闪灯；
交警或施工人员手势；
行人头部朝向和动作意图；
开启的车门；
临时路障和非标准交通标志；
路面积水、结冰和坑洼；
车辆异常姿态和社会交互线索。

教师轨迹为：

$$\tau_T=\pi_T(S,G)$$

其中 $S$ 是结构化状态、$G$ 是导航目标。学生学习：

$$\pi_S(I,G)\rightarrow\tau_T$$

如果图像中存在变量 $Z$，但 $Z\notin S$，教师行为不会明确依赖它。即使 DriveVFM 能识别 $Z$，轨迹监督也没有告诉学生应该如何根据 $Z$ 改变行为。

因此瓶颈不是 DriveZero 的视觉输入不够丰富，而是行为监督无法表达教师没有观察或建模的信息。

学生并不存在严格的数学上限，因为它还有 PDM 评分、多候选和额外数据；NAVSIMv2 上 DriveZero-Scale 的 57.1 也超过 DriveRL 的 55.6。但这只能说明学生可以在 benchmark 指标上泛化得更好，不能证明它学会了教师完全不具备的视觉条件行为。

7.2 学生和教师存在可观测性不匹配

DriveRL 看到参与者五帧历史，而 DriveZero 只看到当前时刻相机图像。

两个单帧画面可能几乎相同：

场景 A：前车距离 15 m，以稳定速度行驶
场景 B：前车距离 15 m，正在快速减速

教师通过五帧历史可以输出不同轨迹：

A：正常跟车
B：提前减速

学生单帧输入却可能满足：

$$I_A\approx I_B,\qquad \tau_T^A\neq\tau_T^B$$

此时监督冲突来自输入信息不足，而不是网络容量不足。64 条 proposal 可以保存多个可能未来，但最终评分器也只看当前视觉信息；如果决定行为的运动状态不可观测，它仍然无法可靠选择正确模式。

这是方法从结构化时序教师蒸馏到单帧视觉学生时的重要理论瓶颈。

7.3 轨迹监督是否过弱

DriveZero 并非从随机视觉网络直接学习"像素到轨迹”，它还具有：

DriveVFM 的多教师稠密特征预训练；
20 步 $(x,y,\mathrm{yaw})$ 轨迹监督；
64 条候选；
每条候选的六项 PDM 评分监督；
goal augmentation。

因此监督强于"只有一个最终标量"。但预训练只保证模型能表达语义、边界和几何，不保证它知道这些因素何时、为何应改变驾驶决策。

论文没有使用显式的：

agent 状态或速度预测监督；
occupancy 监督；
车道、信号灯和路权监督；
可驾驶区域辅助监督；
教师中间 scene token 或 value 蒸馏；
视觉时序一致性监督；
学生闭环 rollout 反馈。

所以当前结果证明这种弱监督在 NAVSIM/HUGSIM 指标上足够有效，但不能保证视觉—行为因果关系已被充分学习。

7.4 Goal augmentation 的能力边界

Goal augmentation 主要解决：

同一个场景在不同导航意图下应该如何驾驶。

它不能自动解决：

同一个导航意图下，因为隐藏意图、遮挡、车辆状态或社会交互不同而产生的行为多样性。

消融中纯 DriveRL 轨迹低于人类监督，加入 goal augmentation 后才超过人类监督，说明论文的主要优势来自可生成反事实导航目标，而不是教师单条轨迹本身必然更优。

7.5 候选评分无法弥补候选生成失败

评分轨迹在进入 scoring decoder 前被 detach，因此 score loss 不能改善 trajectory decoder。其关系类似传统规划中的候选生成器和代价评价器：评价器只能从已有候选中选优。

如果所有 64 条候选都缺少正确避障或恢复轨迹，评分器无法创造可行解。

7.6 Benchmark 与真实驾驶存在距离

NAVSIMv1/v2 主要是 pseudo closed-loop；
nuPlan reactive 背景车主要由 IDM 驱动；
HUGSIM 更接近真闭环，但 Hard/Extreme 得分仍低；
红灯违规不进入正式 nuPlan 总分；
实车只展示 DriveRL 演示，没有系统里程和接管统计；
相机学生 DriveZero 没有报告实车部署结果。

因此 benchmark SOTA 证明了方法在指定评价规则下有效，但不能直接外推到开放道路的完整安全性。

8. 可以进一步补强的方向

8.1 为学生加入视觉时序或 memory

让学生从多帧图像估计周车速度、加速度和交互趋势，缩小与五帧结构化教师之间的可观测性差距。

8.2 增加中间监督或跨模态蒸馏

除最终轨迹外，还可以蒸馏或预测：

动态参与者状态；
occupancy 和可行驶区域；
速度与运动趋势；
红绿灯、路权和地图结构；
教师 critic value 和风险分解；
教师结构化 scene representation。

这些监督可以明确告诉视觉网络哪些信息与驾驶决策相关。

8.3 让视觉学生获得闭环反馈

可以考虑：

DAgger；
可微或生成式 world model；
重建仿真环境；
student-in-the-loop 数据收集；
闭环 RL 或 RL post-training。

目标是让学生看到自己误差造成的新视角和新状态，而不只在日志帧上开环拟合。

8.4 验证视觉条件行为

关键实验应固定结构化状态，只改变图像中的驾驶相关因素，例如：

转向灯；
行人姿态；
交警手势；
临时路障；
路面状态。

观察 DriveZero 是否产生符合因果关系的行为变化。这个实验能直接检验学生是否真正利用了超出结构化教师的信息。

8.5 分析 proposal 覆盖率

除了最终选中轨迹得分，还应测量：

64 条候选之间的模式距离；
oracle-best proposal 的上限；
不同 query 的使用频率；
安全可行候选的召回率；
WTA 下是否出现 query 饿死或模式坍缩。

9. 核心贡献

将视觉理解和行动学习拆开预训练。 DriveRL 在结构化世界中高效进行闭环 RL，DriveVFM 在海量真实图像上学习视觉表征。
提出混合智能体闭环 RL 框架 DriveRL。 日志回放、IDM、紧急制动和 Self-Play 可以在统一接口中共存，并支持近 20 万个世界并行训练。
利用 critic 进行测试时动作搜索。 在不重新训练的情况下，用策略支持的候选、短时 reward 和末端 value 改善动作选择。
提出驾驶视觉基础模型 DriveVFM。 将 DINOv3、SigLIP2、SAM 和 Depth Anything V2 的互补能力蒸馏到一个 backbone，无需驾驶任务人工标注。
通过教师轨迹和目标增强训练纯相机 DriveZero。 目标条件教师能够生成日志中不存在的反事实导航监督。
在多个 benchmark 上获得较强结果。 DriveRL、DriveZero 和 DriveZero-Scale 分别在 nuPlan、NAVSIM 和 HUGSIM 上取得领先成绩。

10. 最终判断

DriveZero 最有价值的地方，不只是又提出一个端到端网络，而是给出了一种训练资源分配方式：

用结构化状态承担大规模闭环探索，用真实图像承担视觉预训练，再用蒸馏把两种能力合并。

这种方法特别适用于以下条件：

有大量真实日志，可以构造结构化交互世界；
能够大规模并行运行 RL；
有较强的自动标注、地图和参与者状态；
像素级闭环渲染成本过高；
benchmark 的主要驾驶决策可以由结构化状态充分决定。

它的核心风险也来自同一个分解：

如果结构化教师遗漏了会改变驾驶决策的视觉信息，或者学生无法从单帧图像恢复教师使用的动态状态，那么轨迹蒸馏会形成行为监督瓶颈。DriveVFM 能"看见"某个因素，不等于 DriveZero 学会"因为这个因素而改变驾驶"。

因此，论文已经较有力地证明了这套分解在现有 benchmark 上的工程有效性，但尚未证明它足以覆盖真实道路中的所有视觉条件行为和闭环长尾状态。

11. 仍待讨论的问题

如何从信息论或 POMDP 角度刻画结构化教师与单帧学生的可观测性差距？
是否应让学生蒸馏教师的 value、风险通道和动作分布，而不只是最终 rollout 轨迹？
WTA 的 64 个 trajectory query 是否真的形成不同驾驶模式？
目标增强生成的路线是否始终符合地图拓扑、交通规则和真实驾驶习惯？
DriveVFM 的多教师特征冲突如何测量，而不只看最终 PDMS？
DriveZero 加入时序图像、显式动态对象监督或闭环 post-training 后，收益分别来自哪里？
如何验证图像中特有的转向灯、手势和临时障碍真正影响了最终规划？