Bird’s-eye-view Informed Reasoning Driver (BIRDriver)
论文标题: Bird’s-eye-view Informed Reasoning Driver 作者: Yinuo Wang、Mining Tan、Yuanxin Zhong、Zhitao Wang、Siyuan Cheng 版本: ICLR 2026 Poster(OpenReview Submission 11387) 原文链接: https://openreview.net/forum?id=TuU95FWkyH 整理日期: 2026-11-02
本文按论文章节介绍方法与实验,再集中整理讨论后的技术判断及改进方向。下文用“论文报告”“讨论结论”“改进设想”区分证据来源;论文未披露的实现细节明确注明。
0. 先建立整体认识
BIRDriver 的核心,是给现有学习规划器增加一个 VLM 高层决策模块,用少量几何关键点传递驾驶意图。
VLM 是 Vision-Language Model,视觉语言模型,能够同时处理图像和文字。BEV 是 Bird’s-Eye View,鸟瞰图。本文的 BEV 是把结构化目标、地图等信息人工渲染成的一张俯视图片。
整套系统有两条输入支路:
这里的 PLUTO 是一个基于模仿学习的神经网络规划器。模仿学习,是从专家驾驶数据中学习“环境输入应该对应什么驾驶行为或轨迹”。
从规则 PNC(Planning and Control,规划与控制)的经验出发,可以用下面这个场景理解分工:
前方故障车堵住本车道,对向车道有来车。高层先决定等待;对向车辆通过后,再给出借道绕障、回归原车道的空间关键点;PLUTO 结合道路与其他车辆生成具体轨迹。
VLM 类似提供一份简洁的空间决策结果,PLUTO 负责把它变成连续轨迹。但这个类比有边界:下游采用学习得到的软引导,没有传统优化器硬约束那样的保证。
必须抓牢四个事实:
- PLUTO 仍直接接收结构化环境信息,三个关键点压缩的是高层意图。
- VLM 与 PLUTO 分别训练,推理时串联,没有以最终驾驶目标进行跨模块联合训练。
- 关键点误差达到米级,适合作为高层指导,不能直接当精确控制参考。
- 最强实验证据来自结构化场景中的长尾规划改善;真实外观语义理解、遮挡处理和车端实时部署没有得到同等验证。
1. Introduction:论文要解决什么问题
1.1 常规模仿学习规划器的长尾困难
常见训练数据中,正常跟车、车道保持等场景很多;借道绕过长期静止车辆等情况较少。模型可能学会“前面有车就停”,却不擅长判断“这个车可能不会走,应该等待对向间隙后绕行”。
作者希望利用 VLM 预训练形成的常识与泛化能力,帮助规划器处理这些少见局面。
讨论结论:结构化输入本身并不妨碍模型学习复杂交互。更准确的问题是驾驶训练数据覆盖、表示中保留的信息,以及模型能否形成有效的场景判断,不能把结构化输入直接等同于“没有理解能力”。
1.2 怎样把高层意图传给下游
| 接口形式 | 例子 | 论文指出的问题 |
|---|---|---|
| Meta-action,离散元动作 | 左变道、减速、停车 | 粒度较粗,缺少具体空间位置 |
| Hidden feature,模型隐藏特征 | 把 VLM 的内部向量交给规划器 | 意图不易解释,难追溯决策 |
| 完整 waypoint 序列 | 数十个未来轨迹点 | 输出冗长,数值生成负担重;作者认为难充分受益于互联网语言预训练 |
| BIRDriver 的关键点 | 少量相对位置与航向 | 用较短输出表达路径的重要几何变化 |
相关代表方法分别包括 Senna、AsyncDriver 和 DriveVLM。
关键点的直观含义是:“从这里经过,再回到那里。”它比“左绕”具体,又比完整轨迹简洁。
1.3 作者提出的三项贡献
- 将场景压缩为单帧渲染 BEV,作为 VLM 的主要环境输入,减少不同相机与车辆平台之间的输入差异。
- 用最多三个相对位姿关键点连接 VLM 和运动规划器。
- 用三类训练任务及数字 token 加权的 SFT 损失,提高关键点预测精度,并在 nuPlan 的长尾基准 InterPlan 上获得提升。
“减少输入适配成本”是这一接口的优势,但其前提是上游能够提供足够可靠的结构化环境信息。
2. Related Works:与已有方法的关系
2.1 自动驾驶运动规划
规则方法通过人工逻辑、代价和约束生成行为与轨迹;学习方法从数据学习规划策略。论文关注学习规划器面对训练分布之外的复杂局面时,缺少足够广泛的场景理解与常识支持。
2.2 VLM 用于自动驾驶
主要有两条路线:
- 直接让 VLM 输出完整轨迹或控制信号。
- 让 VLM 提供高层指导,由专门的运动规划器生成轨迹。
BIRDriver 属于第二类。这里的“专门规划器”仍然是神经网络,不能自动理解为传统规则规划或数值优化器。
2.3 用 BEV 为 VLM 提供空间依据
BEV 把道路与目标放到统一俯视坐标系中,便于表达几何关系。已有工作用 BEV 做场景问答、高层动作或语义目标生成;BIRDriver 进一步让 VLM 根据 BEV 输出数值关键点。
本文的输入链路是“渲染图片→VLM 的视觉编码器”,没有直接把自动驾驶网络内部的稠密 BEV 特征张量交给语言模型。
3. Preliminary:理解方法所需的基础
3.1 RDP:从密集轨迹中提取形状关键点
RDP 是 Ramer–Douglas–Peucker 曲线简化算法。
给定空间点序列 \(P_1,\ldots,P_N\),连接首尾点,计算中间点到该直线的垂直距离:
$$ d_i= \frac{|(P_N-P_1)\times(P_i-P_1)|} {\|P_N-P_1\|}, \qquad 1这里 \(P_i\) 是第 \(i\) 个二维位置点;二维叉积的绝对值给出平行四边形面积,除以底边长度就是高度,即垂直距离。再取:
$$ d_{\max}=\max_{1若 \(d_{\max}>\epsilon\),保留偏离最大的点,并递归处理它两侧的子轨迹;否则只保留当前子轨迹的端点。\(\epsilon\) 是允许的简化误差阈值。可以把一条轨迹想成一根弯绳:直线段只需固定两端,转弯处需要增加图钉。
RDP 本身有两个边界:
- 它控制几何简化误差,不能单靠固定阈值保证“最多三个点”。
- 原始算法关注空间曲线,本文没有详细说明是否把航向纳入 RDP 的距离度量。
3.2 SFT:通过标准答案训练文本生成
SFT 是 Supervised Fine-Tuning,有监督微调。模型输入 BEV 图片和提示词,目标答案是关键点文本。
Token 是模型处理和生成文本的基本片段,可能是一个数字、多个数字、标点或其他字符串,不能默认“一位数字就是一个 token”。
设输入为 \(X\),正确输出序列为 \(Y=(y_1,\ldots,y_T)\),模型参数为 \(\theta\),训练数据集为 \(\mathcal D\),普通 SFT 的目标为:
$$ \mathcal L_{\mathrm{SFT}}(\theta)
-\mathbb E_{(X,Y)\sim\mathcal D} \left[ \sum_{t=1}^{T} \log p_\theta(y_t\mid y_{<t},X) \right]. $$
\(p_\theta\) 是在输入与前文条件下生成正确下一个 token 的概率。损失越小,正确答案越容易被生成。
训练时通常使用标准答案的前缀预测下一个 token;推理时根据自己已经生成的内容继续输出。这是在解释自回归 SFT 的一般机制,论文没有额外提出新的解码训练方式。
4. Methods:模型结构、数据与训练
4.1 Driving Scene Representation:BEV 里保留什么
论文从环境中提取五类结构化信息,再共同渲染为一张图片。
| 类别 | 具体内容与表示 |
|---|---|
| 地图 Map | 车道、连接车道、人行横道、离散路点等 |
| 交通参与者 Agent | 自车、其他车辆、自行车、行人及其包围框;车辆框上有朝向箭头 |
| 交通灯 Traffic lights | 用自车路线相关停止线的颜色表示绿、黄、红灯 |
| 路线 Route | 可行驶区域、计划路线和紫色参考箭头 |
| 障碍物 Obstacles | 施工标志、路障和交通锥,以黑色框表示 |
正文给出的参与者颜色为:自车橙色、其他车辆蓝色、自行车粉色、行人棕色。其他交通参与者过去两秒的运动轨迹用绿色实线绘制。
因此,单帧输入仍包含被画进图中的历史。它不等于只看到当前一瞬间的位置,但也不等于输入了完整历史序列。
附录系统提示词还解释了灰色车道中心虚线、灰色斜线人行横道、金色任务目标星标等图例。浅蓝色用于道路/路线区域,紫色箭头表示参考路径。
**复现细节:**正文说自行车为粉色,附录提示词说红色;图例文字存在不完全一致,应以实际渲染配置核对。提示词中“无绿色历史轨迹代表静止”是一种输入解释约定,不是严格成立的状态估计结论。
4.1.1 BEV 怎样进入语言模型
采用 Qwen2.5-VL 时,可以按其视觉语言架构理解为:
结构化目标和地图
→ 渲染 BEV 图片
→ VLM 自带的视觉编码器
→ 特征合并/投影,形成语言模型可接收的视觉 token
→ 与文本提示词共同输入语言模型
→ 自回归生成关键点文本
视觉 token 是特征向量,不天然等于带有精确米制坐标的目标列表。模型仍需学习“图上这个位置相当于自车前方多少米”。空间定位辅助任务就在补这项能力。
上述视觉编码与特征转换是对基础 VLM 架构的说明,BIRDriver 正文没有披露其完整逐层配置。
4.1.2 张量与接口:哪些能够确认
| 接口 | 能够确认的内容 | 未披露的细节 |
|---|---|---|
| BEV 图片 | 一张渲染后的俯视图 | 图像分辨率、物理覆盖范围、米/像素比例、完整预处理配置 |
| 视觉 token | 经基础 VLM 的视觉模块形成特征序列 | 本任务实际 token 数与各层隐藏维度 |
| VLM 输出 | 可变长文本,解析后为 \(K\times3\) 的关键点列表,\(K\le3\) | 解码参数、解析失败与越界输出的处理 |
| 规划器关键点输入 | 当前关键点,以及推理时附加的上一周期轨迹终点 | Padding、mask、点序列组织与历史点标识 |
| 关键点特征 | PointEncoder 产生的高维表示,与 query 特征融合 | 隐藏维度、精确融合算子及完整层结构 |
| 规划器输出 | 完整未来轨迹;数学上以 \(N\) 个位姿表示 | 本文未明确给出输出点数、预测时域、采样间隔和全部输出字段 |
其中 \(K\) 是 VLM 关键点数,\(N\) 是密集未来轨迹点数;二者不是同一个量。图 1 还示意了候选轨迹及其概率,但正文没有展开具体候选选择配置。
4.2 Key Point Extraction:关键点表达什么
未来轨迹包含位姿序列:
$$ \mathcal T=\{(x_i,y_i,\phi_i)\}_{i=1}^{N}. $$坐标系以当前自车为原点:
- \(x\):自车前向位置,单位米。
- \(y\):自车左向位置,单位米,向左为正。
- \(\phi\):相对当前自车朝向的航向角,向左转为正;附录输出提示词使用度。
例如:
[20.00, 3.50, 0.00]
表示“前方 20 米、左侧 3.5 米,朝向与当前自车平行的目标位姿”,不代表立即左打方向,也没有直接给出目标速度。
训练标签由专家真实未来轨迹通过 RDP 提取。不同轨迹类型,如车道保持、变道、转弯,会调整最大允许关键点数;最终轨迹点始终保留。
中间关键点不绑定明确时间,主要描述路径几何。最终点继承原始未来轨迹终点的含义,但输出列表没有额外的时间字段,本文也未给出足以把它对应到某个固定秒数的完整配置。
可以类比规则规划中的 path 与 trajectory:关键点主要提供“经过哪里”的意图,完整轨迹仍需决定随时间怎样运动。
实验 RDP 阈值为 \(\epsilon=0.02\)。论文没有说明足够完整的坐标归一化、点数截断及各类轨迹的上限规则,不能直接认定它意味着物理空间中 2 厘米的误差容限。
为什么中间点重要:障碍物前后的原车道可能在同一直线上,只给障碍物后方终点,没有充分表达从哪一侧绕过。中间点能改变候选路径的形状与绕行侧。
4.3 Dataset Design and VLM Fine-tuning:怎样让 VLM 读图并生成数值
4.3.1 三类任务的混合 SFT
| 任务 | 输入和目标 | 主要作用 |
|---|---|---|
| Key Point,关键点任务 | BEV、系统提示词、用户提示词→专家关键点文本 | 学习驾驶意图与关键点生成 |
| Spatial Localization,空间定位任务 | 带目标编号的 BEV→目标相对自车的位置和朝向 | 建立图像位置与物理坐标之间的对应 |
| Driving Scene Stepwise,驾驶场景分步任务 | 正文描述先识别场景,再预测关键点;附录展示 57 类场景识别提示词 | 增强场景识别能力,辅助关键点预测 |
空间定位任务随机选择目标车辆,附录要求按 1、2、3 的编号顺序输出:
[[x1, y1, θ1], [x2, y2, θ2], [x3, y3, θ3]]
这项任务只要求“量出目标在哪里”,不要求规划。可以类比先学会读地图比例尺,再学会设计绕行路线。
训练总量为 838,824 条样本,三类比例为:
$$ \text{Key Point}:\text{Spatial Localization}:\text{Driving Scene Stepwise} =10:1:2. $$这是三类任务混合训练的比例,不能理解成先训练分类器、再单独训练关键点生成器。
4.3.2 对 Stepwise 的最终理解
正文写道,要求 VLM 在预测关键点前识别驾驶场景;附录 A.2.3 给出的是“从 57 个类别中选择最合适场景”的提示词,每种任务有四种措辞变体。
类别混合了不同层次的信息,例如:
- 行为:向左变道、向右变道。
- 运动状态:静止、高速度、高横向加速度。
- 道路位置:处于路口、停车场、停止线。
- 环境关系:跟随慢车、附近有人行横道行人、接近施工标志。
所以这不是一套纯粹的行为决策动作集。
按文本生成式 SFT 框架,最自然的实现是让同一 VLM 生成类别名称,并用交叉熵监督。这是合理还原,论文没有描述新增的 57 分类头,也没有展示足以确认全部实现细节的原始样本。
论文没有给出完整的“场景类别→关键点”训练回答,无法确认类别与关键点是在同一条回答中串联、分多轮串联,还是通过独立样本混合训练;标签来源、重叠类别取舍也未说明。
图 1 将该数据标为 Driving Scene CoT。CoT 是 Chain of Thought,思维链。但结合正文和附录,能够确认的是场景识别辅助监督,不能将其表述为已经验证的完整驾驶推理链。尤其没有展示“怎样判断对向间隙、何时等待、何时借道”的完整推理监督。
推理提示词要求输出关键点;论文未描述把场景类别额外传给 PLUTO。辅助任务主要通过共享模型参数,帮助关键点生成。
4.3.3 LoRA 微调
LoRA 是 Low-Rank Adaptation,低秩适配,属于 PEFT(Parameter-Efficient Fine-Tuning,参数高效微调)。
直观上,它给预训练模型增加较小的可训练参数模块,以较低成本学习任务相关调整,而不必按通常的全参数微调方式更新所有大矩阵。
本文配置为 rank 16、缩放系数 32、dropout 0.05,并把 LoRA 应用到所有线性层。rank 控制低秩更新的容量,缩放系数调节更新强度,dropout 用于训练正则化。
论文同时写道“语言模型部分在训练中解冻”。它与 LoRA 的具体参数冻结边界没有被完整展开,因此不能据此自行断言所有原始语言模型参数都接受全参数训练,也不能补写视觉编码器的冻结状态。
4.3.4 Weighted SFT:数字 token 为什么要加权
普通文本交叉熵对各 token 的重视程度相同,但坐标文本中不同错误的后果差别很大。
例如目标为 -3.50:符号出错可能把右侧目标变成左侧目标,而末位小数出错可能只影响厘米级位置。
作者提高数字、小数点和正负号相关 token 的权重;同一个连续数字片段中,从靠前 token 向靠后 token 线性递减,符号默认获得最高权重。浮点标签统一保留两位小数。
加权目标为:
$$ \mathcal L_{\mathrm{weighted}}
\frac{1}{T} \sum_{t=1}^{T} w_t\left[-\log p_\theta(y_t\mid y_{<t},X)\right]. $$
\(T\) 是移位后的目标 token 长度,即参与“用前文预测下一个 token”监督的长度;\(w_t\) 是位置 \(t\) 的损失权重。
设 \(\mathcal N\) 是按模式匹配得到的连续数字片段集合。对其中片段 \(n\):
- \(d_n\):数字字符的数量。
- \(L_n\):该片段的 token 数。
- \(t_0^{(n)}\):该片段第一个 token 的全局位置。
- \(t_k^{(n)}=t_0^{(n)}+k\),其中 \(k=0,\ldots,L_n-1\)。
- \(\alpha=5\):控制起始权重的超参数。
权重为:
$$ w_t= \begin{cases} (\alpha+d_n) -k\displaystyle\frac{(\alpha+d_n)-1}{L_n-1}, & t=t_k^{(n)},\ L_n>1,\\ \alpha+d_n, & t=t_0^{(n)},\ L_n=1,\\ 1, & t\text{ 不属于任何数字片段}. \end{cases} $$当片段包含多个 token 时,首 token 权重为 \(\alpha+d_n\),末 token 为 1;只有一个 token 时,直接取 \(\alpha+d_n\)。损失除以 \(T\),不是除以权重总和。
需要保留两个认识:
- 这是 token 级权重,不保证每位十进制数字独立加权,实际效果受 tokenizer 的切分方式影响。
- 它仍是文本分类式交叉熵,没有直接计算预测位置偏离真值多少米。
例如真值 3.50,3.49 和 9.50 都可能只错一个数字片段,但物理误差差别很大。增加数字权重不能直接建立这种连续几何距离关系。
论文对比 PDCE(Position-Dependent Cross-Entropy,位置相关交叉熵),认为本方法只改变权重,不构造软目标分布,实现更简单;作者认为也能减少对一般语言能力的影响。本文没有单独报告语言能力保持实验。
4.4 Fine-tuning Motion Planner:PLUTO 怎样接受关键点
4.4.1 编码与融合
作者采用 PLUTO 的 PointEncoder 编码关键点,再与原有 query 特征融合,指导解码器生成轨迹。
Query 可以先理解为规划器用于组织候选轨迹生成的可学习向量;关键点特征让生成过程带上指定的空间意图。具体隐藏维度、融合运算和逐层结构,正文没有完整展开。
这里是软引导:网络学习如何利用关键点,论文没有保证最终轨迹精确穿过每个点,也没有保证关键点与环境冲突时必然被正确拒绝。
作者选择 PLUTO,是因为在相同编码器和微调设置下,Diffusion Planner 对多个关键点的跟随表现较弱。这一结论限定于其适配实验。
4.4.2 规划器独立训练,标签来自专家轨迹
规划器微调独立于 VLM。训练关键点从真实轨迹提取,不是始终由在线 VLM 生成。
为适应预测误差,作者对真值关键点加入高斯噪声:
$$ \tilde{\mathbf p}_i=\mathbf p_i+\boldsymbol\varepsilon_i, \qquad \boldsymbol\varepsilon_i\sim\mathcal N(\mathbf0,\Sigma), $$$$ \mathbf p_i=(x_i,y_i,\phi_i)^\top, \qquad \Sigma=\operatorname{diag} (\sigma_x^2,\sigma_y^2,\sigma_\phi^2). $$\(i\) 是关键点编号,\(\mathbf p_i\) 是真值位姿,\(\tilde{\mathbf p}_i\) 是加噪后的输入。三个标准差分别取 VLM 在对应维度上的平均绝对误差。
意思是:训练时就让规划器接触不完美的空间指令,促使它结合环境生成轨迹,减少对完美关键点的依赖。
这里用的是以 MAE 设定尺度的零均值、对角协方差高斯噪声,不等于完整复现 VLM 的真实错误分布。论文也没有说明所有模型变体是否直接采用表 2 的同一组数值。
本文主要描述了输入适配与噪声增强,没有重新给出足以复现全部 PLUTO 训练目标的损失项和权重,不能自行补写特定关键点硬约束或损失。
4.4.3 推理时增加历史终点
推理直接使用 VLM 预测关键点,不再额外加噪声。同时把上一规划周期轨迹的最终点作为附加关键点,帮助保持决策连续性。
因此,“最多三个点”指 VLM 输出;加入历史点后,规划器的输入点数可以更多。若当前有 \(K\) 个预测点且存在历史终点,按该描述输入共 \(K+1\) 个点,最多四个。
工程上,历史终点需要与当前自车坐标系对齐;这属于由相对坐标接口推出的要求。论文没有展开变换、历史点过期、点序与冲突处理。
4.5 把训练与推理分开看
| 阶段 | 输入与操作 | 优化或输出 |
|---|---|---|
| VLM 训练 | 三类任务混合,关键点标签来自专家轨迹提取 | 数字 token 加权 SFT |
| PLUTO 适配训练 | 结构化环境,加噪后的专家关键点 | 独立微调运动规划器 |
| 串联推理 | BEV→VLM→预测关键点;结构化环境也直接进入 PLUTO,附加历史终点 | 生成未来轨迹并用于闭环执行 |
论文明确采用 decoupled training and sequential inference,即解耦训练、顺序推理。没有在 SFT 后通过 RL(Reinforcement Learning,强化学习)进一步优化 VLM,也没有把闭环驾驶奖励反馈给 VLM。
5. Experiments:效果与消融
5.1 数据集、指标与运行方式
论文基于 nuPlan。该平台包含来自四个城市、超过 1,500 小时的专家驾驶数据,支持从真实日志场景初始化闭环仿真。
| 基准 | 规模或特点 | 主要用途 |
|---|---|---|
| Test14-random | 261 个场景 | 评估常规总体表现 |
| Test14-hard | 272 个困难场景 | 评估较难驾驶局面 |
| InterPlan | 包含施工、故障车辆绕行等长尾场景 | 评估复杂、少见局面的泛化 |
使用 nuPlan 官方 devkit 的 CLS(Closed-Loop Score,闭环评分),各场景分数取平均,范围 0~100,越高越好。
- CLS-NR:Non-Reactive,非响应式闭环,其他交通参与者按日志重放,不随自车行为调整。
- CLS-R:Reactive,响应式闭环,其他交通参与者采用响应策略,本文使用 IDM(Intelligent Driver Model,智能驾驶员模型)。
闭环意味着自车执行自己生成的轨迹,下一时刻局面随执行结果变化;它比单纯比较预测轨迹和专家轨迹的距离,更接近真实规划任务。但 CLS 是综合评分,不能直接当作成功率或无碰撞率。
附录说明每段仿真 15 秒、仿真频率 10 Hz,通过 LQR(Linear Quadratic Regulator,线性二次调节器)跟踪规划轨迹并产生控制指令。
**10 Hz 是仿真运行频率,不证明 VLM 已经实现车端 10 Hz 实时推理。**本文没有给出足以建立该结论的实际推理耗时。
5.2 对比方法
| 方法 | 本文介绍的主要特点 |
|---|---|
| PDM-Closed | 规则式规划器 |
| PDM-Open | PDM 的神经网络版本 |
| UrbanDriver | 使用策略梯度优化驾驶策略 |
| GameFormer | 将 level-k 博弈推理与 Transformer 结合,建模多车交互 |
| PlanTF | 通过扰动归一化与未来纠正改善闭环误差 |
| PLUTO | 通过感知增强和对比学习提升规划鲁棒性,是 BIRDriver 的底座 |
| Diffusion Planner | 使用扩散模型生成轨迹,支持引导机制 |
| InstructDriver | 基于 LLM(Large Language Model,大语言模型)的指令式规划 |
| PlanAgent | 结合 BEV、车道语义和 CoT 的 VLM 规划方法 |
论文把 UrbanDriver 列在 IL-based 对比组中,但其训练采用策略梯度,不能据表格分组推断所有对比方法都只使用监督模仿学习。
5.3 主结果:最明显的收益在 InterPlan
下表对应论文表 1。BIRDriver 使用 Qwen2.5-VL-3B;3B 表示约 30 亿参数规模。
| 方法 | Random NR | Random R | Hard NR | Hard R | InterPlan R |
|---|---|---|---|---|---|
| PDM-Closed | 90.05 | 91.64 | 65.07 | 75.18 | 43.51 |
| PDM-Open | 52.83 | 57.22 | 33.50 | 35.85 | 22.83 |
| UrbanDriver | 63.88 | 61.01 | 49.43 | 49.67 | 8.42 |
| GameFormer | 80.91 | 79.93 | 69.98 | 66.82 | 14.29 |
| PlanTF | 85.98 | 80.53 | 70.10 | 61.49 | 36.53 |
| PLUTO | 91.87 | 90.03 | 80.03 | 76.92 | 48.92 |
| Diffusion Planner | 93.85 | 91.73 | 78.82 | 81.42 | 39.85 |
| InstructDriver | 70.31 | 66.96 | 57.37 | 52.95 | 32.31 |
| PlanAgent | — | — | 72.51 | 76.82 | — |
| BIRDriver | 91.46 | 91.26 | 80.56 | 80.33 | 55.29 |
相对 PLUTO 的变化:
| 指标 | 分数变化 |
|---|---|
| Random NR | -0.41 |
| Random R | +1.23 |
| Hard NR | +0.53 |
| Hard R | +3.41 |
| InterPlan R | +6.37 |
InterPlan 相对提升为:
$$ \frac{55.29-48.92}{48.92}\approx13.0\%. $$相对 Diffusion Planner:
$$ \frac{55.29-39.85}{39.85}\approx38.8\%. $$13.0% 和 38.8% 是相对提升,不能当作增加同等数量的 CLS 分数。
**讨论结论:长尾基准的改善最有说服力;常规场景收益较小,也存在退化,并未全面超过其他规划器。**例如 Hard R 仍低于 Diffusion Planner。
论文展示的借道绕障案例中,BIRDriver 先产生跟随/等待关键点,对向车辆通过后再产生绕行关键点,完成通行。该案例说明的是随闭环局面更新的高层引导,不是一次性输出一条覆盖全部等待与绕行过程的固定时间表。
论文把提升归因于 VLM 的泛化能力,但实验没有独立分离互联网预训练常识、辅助任务、接口设计和规划器适配各自的全部贡献。
5.4 数据任务与加权损失消融
下表对应论文表 2。基座为 Qwen2.5-VL-3B,评估集为 Test14-hard 的 272 个片段。
| 设置 | \(x\) 误差 | \(y\) 误差 | \(\phi\) 误差 |
|---|---|---|---|
| 仅 Key Point | 4.27 m | 1.35 m | 4.23° |
| 加 Driving Scene Stepwise | 4.17 m | 1.28 m | 4.20° |
| 再加 Spatial Localization,即完整数据 | 3.76 m | 1.08 m | 3.80° |
| 完整数据,但不使用加权 SFT | 4.22 m | 1.19 m | 4.13° |
论文使用“mean absolute relative errors”的表述,但表中单位为米和度。结合自车相对坐标系,应按相对位姿的平均绝对误差理解,不是百分比误差;不同关键点数量下的完整匹配和聚合规则未展开。
完整数据相比仅关键点任务,\(x/y/\phi\) 误差分别下降约 11.9%、20.0%、10.2%。
完整数据下,使用加权 SFT 相比不加权,三项误差分别下降约 10.9%、9.2%、8.0%。
由表格可以得出:
- 场景识别辅助监督有收益,但改善温和。
- 继续加入空间定位任务后,改善更明显,说明“把已有空间关系量准”是重要瓶颈。
- 数字加权进一步改善精度,但没有消除米级误差。
最终横向 MAE 仍为 1.08 米。MAE 是平均误差,不是最大误差边界,也不是安全容差。因此不能据此保证每个关键点都在 1.08 米以内,更不能直接把这些点当作可精确跟踪的控制目标。
这些消融主要衡量关键点精度,没有分别报告每个辅助任务和加权损失对应的全部闭环收益。
5.5 关键点提取消融:只有终点不够
下表对应论文表 3,采用 InternVL2.5-4B,在 InterPlan 评估。
| 提取方式 | InterPlan 分数 |
|---|---|
| RDP 多关键点 | 53.81 |
| 只有最终轨迹点 | 34.72 |
只给终点甚至低于原始 PLUTO 的 48.92。作者认为,缺少中间点指导,使规划器难以生成到达终点的有效路径。
直观理解:绕过故障车之后的终点,可能仍在本车道中心线上。这个终点没有交代“从哪侧绕过”,中间点才补上关键路径形状。
注意:这一组使用 InternVL2.5-4B,不能把 53.81 与主表 Qwen2.5-VL-3B 的 55.29 混成同一模型配置的结果。
5.6 VLM 规模消融
下表对应论文表 4,使用相同数据和加权损失设置。
| 模型 | \(x\) 误差 | \(y\) 误差 | \(\phi\) 误差 |
|---|---|---|---|
| InternVL2.5-2B | 6.59 m | 2.79 m | 11.20° |
| InternVL2.5-4B | 3.71 m | 1.44 m | 4.89° |
| Qwen2.5-VL-3B | 3.76 m | 1.08 m | 3.80° |
| Qwen2.5-VL-7B | 3.60 m | 1.08 m | 3.83° |
InternVL 从 2B 增加到 4B,三项误差分别下降约 43.7%、48.4%、56.3%;Qwen 从 3B 增加到 7B,前向误差下降约 4.3%,横向几乎不变,航向略变差。
作者综合精度和推理效率选择 Qwen2.5-VL-3B。结果支持“模型太小时可能明显不足,达到一定规模后边际收益减小”,但没有给出能推广到所有模型家族的统一参数阈值,也没有通过该表直接证明闭环分数随规模如何变化。
6. Conclusion:作者最终证明了什么
论文报告:用 BEV 驱动 VLM 生成关键点,再指导学习规划器,能够改善其长尾场景表现;空间定位、场景识别辅助任务和数字加权 SFT 能提高关键点预测精度。
结合实验,更稳妥的技术结论是:
这是一套有效的分层规划适配方案。它通过可解释的几何接口,把高层判断加入现有学习规划器,最有价值的结果是结构化长尾场景中的通行能力改善。
实验没有证明它已经具备完整的开放视觉语义理解、跨模块联合优化或车端实时部署能力。
7. 附录 A:提示词与场景类别
7.1 系统提示词
系统提示词解释 BEV 图例,并强调安全、舒适和效率:
- 与其他道路使用者保持安全距离,遵守交通规则和信号,特别关注行人与骑行者。
- 横向运动平滑,避免突然动作,逐渐完成变道与转弯。
- 减少无意义变道,兼顾路线直接性、通行效率与平顺性。
- 关键信息缺失或不明确时,优先安全,采用保守意图解释。
明确给出的数值要求:
| 项目 | 提示词要求 |
|---|---|
| 横向加速度 | 不超过 \(2\,\mathrm{m/s^2}\) |
| 横向 jerk | 尽量减小;jerk 是加速度对时间的变化率 |
| 典型变道时间 | 3~5 秒 |
| 最小横向间距 | 1.5 米 |
| 特殊余量 | 对弱势交通参与者、恶劣条件增加安全缓冲 |
这些属于语言提示要求,论文没有把它们转成有保证的动力学或几何硬约束。
7.2 用户提示词
三类任务分别提供四种措辞变体,核心要求如下:
| 任务 | 关键要求 |
|---|---|
| 关键点生成 | 输出嵌套列表,最多三个 \([x,y,\theta]\) 点,米与度制;以紫色参考路线为默认,仅在必要时变道或绕障,再平滑回归路线 |
| 空间定位 | 识别编号 1、2、3 的目标,按编号顺序输出相对位置与朝向 |
| 场景识别 | 根据 BEV,从 57 类中选择最合适的驾驶场景 |
关键点提示词侧重变道、转弯准备、绕障和路径对齐等重要横向意图。
**输入描述存在一处需要复现核对的差异:**正文强调文字不包含具体场景信息,但图 1 的用户提示框包含“Last moment ego speed”,附录给出的提示词未包含这项内容。论文没有统一说明实际输入配置,不能自行把具体自车速度输入视为已确认或已排除。
7.3 57 类场景的完整清单
下列名称按附录列表整理,并统一以下划线连接单词便于检索;它们混合了行为、状态、道路位置和环境关系。
01 accelerating_at_crosswalk
02 accelerating_at_traffic_light_with_lead
03 behind_bike
04 behind_pedestrian_on_driveable
05 behind_pedestrian_on_pickup_dropoff
06 changing_lane_to_left
07 changing_lane_to_right
08 changing_lane_with_lead
09 crossed_by_bike
10 crossed_by_vehicle
11 following_lane_with_lead
12 following_lane_with_slow_lead
13 following_lane_without_lead
14 high_lateral_acceleration
15 high_magnitude_jerk
16 high_magnitude_speed
17 low_magnitude_speed
18 medium_magnitude_speed
19 near_barrier_on_driveable
20 near_construction_zone_sign
21 near_high_speed_vehicle
22 near_long_vehicle
23 near_multiple_pedestrians
24 near_multiple_vehicles
25 near_pedestrian_on_crosswalk
26 near_pedestrian_on_crosswalk_with_ego
27 near_trafficcone_on_driveable
28 on_carpark
29 on_intersection
30 on_pickup_dropoff
31 on_stopline_crosswalk
32 on_stopline_stop_sign
33 on_stopline_traffic_light
34 on_traffic_light_intersection
35 starting_protected_cross_turn
36 starting_protected_noncross_turn
37 starting_right_turn
38 starting_straight_stop_sign_intersection_traversal
39 starting_straight_traffic_light_intersection_traversal
40 starting_unprotected_cross_turn
41 starting_unprotected_noncross_turn
42 stationary
43 stationary_at_crosswalk
44 stationary_at_traffic_light_with_lead
45 stationary_at_traffic_light_without_lead
46 stationary_in_traffic
47 stopping_at_crosswalk
48 stopping_at_stop_sign_no_crosswalk
49 stopping_at_stop_sign_without_lead
50 stopping_at_traffic_light_without_lead
51 stopping_with_lead
52 traversing_crosswalk
53 traversing_intersection
54 traversing_narrow_lane
55 traversing_pickup_dropoff
56 traversing_traffic_light_intersection
57 waiting_for_pedestrian_to_cross
其中 lead 指前车,driveable 指可行驶区域,pickup/dropoff 指上下客区域,protected/unprotected 指转弯有无保护。cross/noncross 是类别名称中的区分,正文未进一步解释其全部判定规则。
8. 附录 B:训练配置
| 项目 | VLM 微调 | PLUTO 适配 |
|---|---|---|
| 基础模型 | 主结果为 Qwen2.5-VL-3B | PLUTO |
| 数据量 | 838,824 条 | 约 100 万训练切片 |
| 三类任务比例 | 10:1:2 | 不适用 |
| GPU | 8 张 NVIDIA H800 | 8 张 RTX 4090 |
| Epoch,完整遍历训练集的轮数 | 5 | 10 |
| Batch size,每批样本数 | 未报告 | 128,未进一步说明全局/单卡口径 |
| 优化器 | AdamW | AdamW |
| 初始学习率 | \(10^{-4}\) | \(10^{-4}\) |
| Weight decay,权重衰减系数 | 0.1 | \(10^{-4}\) |
| 学习率调度 | 余弦退火 | 本文未完整展开 |
| Warm-up,学习率预热 | 本文未明确说明 | 明确不使用 |
| 训练耗时 | 约 3 天 | 约 6 小时 |
| 其他 | LoRA rank 16、缩放 32、dropout 0.05、应用到所有线性层 | 真值关键点添加高斯噪声 |
AdamW 是将权重衰减与自适应梯度更新分离的优化器。余弦退火使学习率随训练按余弦形状下降;warm-up 通常指训练早期逐渐提高学习率。这里仅解释术语,未补充论文未报告的调度参数。
9. 附录 C、D:作者声明的限制与 LLM 使用
作者认为 VLM 推理效率仍是关键限制。当前方法在离线数据生成或仿真智能体中较容易接受;面向车端部署,提出量化、异步推理、先用轻量模型识别长尾再调用 VLM 等可能方向。
这些是未来方向,不能据此认为本文已经实现按需触发或异步部署。论文描述的主体仍是串联推理。
LLM 使用声明:作者写作时仅使用大语言模型改善语法、清晰度和表达,没有让其贡献技术内容。
10. 讨论结论:怎样理解它的信息瓶颈与端到端边界
本章是基于论文结构和实验形成的最终技术判断,不是新增的论文实验结果。
10.1 人工 BEV 的上限由保留字段决定
BEV 保留了车道、目标位置和运动历史等空间骨架,但可能丢掉真实图像里的重要证据:
- 行人的身体朝向、头部朝向、迈步姿态。
- 故障车辆的双闪、警示三角牌、外观状态。
- 交警手势、临时文字告示。
- 路沿高度等没有进入结构化字段的属性。
VLM 可以根据已知信息做常识推断,但不能可靠恢复输入已经丢掉的证据。“看到双闪后判断故障”和“看到一辆静止车后猜它可能故障”具有不同的可靠性。
因此,上游类别、属性和渲染设计决定了 VLM 能理解的世界范围。加大模型或改进奖励,可以提升已有证据的使用能力,却不能自动补回从未输入的真实语义。
10.2 区分两类长尾
| 长尾类型 | 例子 | 本文证据 |
|---|---|---|
| 已知元素构成的罕见空间/交互局面 | 等待对向车后绕过静止车辆、施工区域通行 | InterPlan 实验主要支持这一类改善 |
| 依赖开放外观语义的罕见情况 | 识别交警手势、通过姿态判断行人意图、识别特殊车辆状态 | 论文未验证,且当前 BEV 可能没有保留所需证据 |
讨论结论:BIRDriver 的长尾能力有实际价值,但不能据此推广为已经解决开放视觉语义理解。互联网预训练知识能发挥多少作用,也受输入表示限制。
10.3 遮挡处理:历史线不等于目标持续存在
论文没有说明上游检测器、跟踪器,也没有交代:
- 目标被遮挡后保留多久,何时删除。
- 是否外推位置、速度和朝向。
- 是否编码存在概率、置信度或随遮挡增加的不确定性。
- 当前目标删除后,历史轨迹线是否仍保留。
所以不能把图中两秒历史轨迹理解为已经实现完整的遮挡处理。
通用工程方案可以在短时遮挡时保留跟踪目标、外推状态、逐渐增加不确定性,并通过虚线框或概率区域传递给下游;这些属于建议,不能记成 BIRDriver 的已实现能力。
10.4 解耦训练保留了模块化,也缺少跨模块联合优化
如果把端到端理解为“从传感器输入到轨迹,并通过驾驶任务目标联合优化”,BIRDriver 不具备这条训练链路。
原因包括:
- 输入已经经过人工定义的结构化与渲染接口。
- VLM 与 PLUTO 独立训练。
- 最终驾驶失败没有通过联合损失把梯度反传到 VLM、上游感知和表示。
因此,驾驶失败不会直接通过梯度让上游自动保留之前遗漏的行人姿态等信息。神经网络模块串联在一起,并不自动等于整套系统接受了联合优化。
模块化的收益是接口清楚、容易解释,也容易在现有规划器上适配。代价是表达能力受接口约束,优化目标之间缺少直接反馈。这是该设计的实际取舍。
10.5 从精确结构化状态转为图片,再生成数字,增加了什么成本
高层支路经历:
已有结构化位置和朝向
→ BEV 像素
→ 视觉特征
→ 对场景和空间关系的理解
→ 未来关键点的文本数值
这增加了读图测距和文本数字生成的负担。空间定位辅助任务的较明显收益,说明这项额外成本确实需要专门训练弥补。
但未来关键点在推理时本来未知,不能把整项任务说成“只是在重建已经知道的未来坐标”。质疑针对的是预测之前,模型还要重新学习读取已有空间状态。
同时,PLUTO 还有直接的结构化输入支路。因此并非所有环境信息都必须挤进三个点;真正被压缩的是高层驾驶意图。不过,如果真实语义在上游就被遗漏,两条支路都无法获得。
10.6 可以怎样保留更多真实语义
一个合理方向是用 BEV 提供空间骨架,同时输入真实图像或目标局部裁剪,补充姿态、灯光、手势和文字等语义证据。
扩展 BEV 属性也有帮助,但仍依赖人工持续增加字段。以上是结构改进方向,论文没有实现或验证其效果。
11. 改进设想:SFT 后加入带容差的 RL
本章记录讨论提出的方案,BIRDriver 原文没有实现,收益尚未验证。
11.1 为什么考虑几何奖励
加权 SFT 让模型更重视数字,却没有直接表达“误差 0.01 米与误差 6 米应受到不同惩罚”。
对于给规划器提供软引导的关键点,也没有必要把所有坐标都强迫到与专家文本逐字一致。只要差异处于规划器可接受的范围,多个输出可能具有相近的实际价值。
因此,提出在 SFT 初始化后,用连续几何质量定义奖励:容忍区间内统一满奖励,区间外逐渐降低。
11.2 一个具体但尚未验证的奖励示例
先考虑一个已经与真值匹配的预测点。设预测与真值的差为 \(\Delta x,\Delta y,\Delta\phi\),容忍阈值分别为正数 \(\tau_x,\tau_y,\tau_\phi\)。
由于角度存在周期性,令 \(\operatorname{wrap}_{180}(\Delta\phi)\) 表示把角度差映射到 \([-180^\circ,180^\circ)\)。
定义无量纲误差:
$$ e= \max\left( \frac{|\Delta x|}{\tau_x}, \frac{|\Delta y|}{\tau_y}, \frac{|\operatorname{wrap}_{180}(\Delta\phi)|}{\tau_\phi} \right). $$使用 max 意味着三个维度都在各自阈值内,才进入容忍区。
奖励设为:
$$ R_{\mathrm{geo}}= \begin{cases} 1, & e\le1,\\ \exp[-\beta(e-1)], & e>1, \end{cases} \qquad \beta>0. $$\(\beta\) 控制容忍区外的衰减速度。区间内奖励完全相同,区间外连续下降,能减少纯 0/1 奖励在早期训练时过于稀疏的问题。
前向 1 米、横向 0.3 米、航向 3°只能作为说明机制的示例,既不是论文参数,也不是验证过的安全阈值。真实容差要结合道路边界、障碍物、速度、误差方向和规划器跟随能力确定。
以上公式只定义单个已匹配点的奖励。扩展到完整列表,还需设计关键点数量不同、点序、对应关系、无法解析和越界输出等处理规则,不能直接默认所有输出都能逐索引比较。
11.3 文本坐标怎样接受 RL
SFT 后,可以探索 PPO(Proximal Policy Optimization,近端策略优化)或 GRPO(Group Relative Policy Optimization,组相对策略优化)等序列奖励训练方式。
流程是:模型生成关键点文本,解析成坐标,计算几何或驾驶奖励,再用奖励更新生成策略。奖励函数不要求对“文本解析成数字”的过程求导。
这与本文实际使用的监督交叉熵不同。提及 PPO、GRPO 只是可选算法路线,并不意味着已经完成训练或验证。
11.4 专家 RDP 关键点不是唯一正确答案
同一条安全绕行,可以提前不同距离开始,也可以选择略有差别的中间点。因此,与专家点更接近,不一定代表真实驾驶更好。
若只奖励专家关键点距离,可能惩罚安全有效的替代路径。更贴近任务的做法,是进一步评价下游 PLUTO 生成的轨迹:
- 是否碰撞、越界。
- 动力学与舒适性是否合理。
- 能否完成通行并保持效率。
- 在执行后的闭环交互中是否仍安全有效。
轨迹评估和闭环反馈更贴近最终任务,但计算成本更高。一个可探索的顺序是:
SFT 初始化
→ 带容忍区间的几何奖励 RL
→ 加入下游轨迹质量与闭环奖励
阈值奖励本身不提供安全保证,因为关键点是软引导,实际容错由场景和下游规划器共同决定。
11.5 如果只追求坐标精度,回归头更直接
连续坐标回归头直接输出数值,可以配合连续距离损失或带容忍区间的回归损失,避开文本数字生成的部分负担。
因此,如果目标只是降低关键点坐标误差,增加回归头通常是更直接的路线。RL 更有价值的用途,是利用不可求导或难以求导的轨迹质量、仿真交互和闭环驾驶反馈。
这是路线选择判断,不是关于两种方案实际性能优劣的已完成实验。
12. 与规则 PNC 的对应关系
| BIRDriver 组件 | 熟悉的 PNC 视角 | 类比边界 |
|---|---|---|
| 结构化目标、地图与灯态 | 环境模型输入 | 上游感知与跟踪细节没有展开 |
| VLM 的局面理解 | 行为决策、借道/等待等高层判断 | 不等于已有明确状态机和可验证触发条件 |
| 相对位姿关键点 | 路径引导点、绕行走廊的几何意图 | 关键点不是完整路径边界,也没有硬约束保证 |
| PLUTO | 生成完整连续轨迹的规划模块 | 它是学习规划器,不是传统优化器的直接替代描述 |
| 关键点噪声增强 | 训练阶段模拟高层指令误差 | 不能覆盖所有真实故障分布 |
| 上一周期轨迹终点 | 稳定决策、保持跨周期连续性 | 不等于完整的时序状态与不确定性建模 |
| LQR 跟踪 | 控制执行 | 不证明上游 VLM 实时性或规划安全性 |
最值得借鉴的是:高层意图可以采用少量几何锚点表达,而下游继续使用完整环境生成轨迹。最需要警惕的是:清晰的接口并不自动解决信息遗漏、软引导失效与模块间目标不一致。
13. 最终归纳与待解决问题
13.1 核心贡献
- 用单帧渲染 BEV 为 VLM 提供统一的空间场景接口。
- 用最多三个相对位姿关键点传递高层意图,比离散动作具体,比完整轨迹简洁。
- 通过空间定位、场景识别辅助监督和数字加权 SFT,提高关键点精度。
- 独立适配 PLUTO,结合关键点噪声训练与历史终点输入,在 InterPlan 获得明显提升。
13.2 适用条件
- 上游能够提供足够准确、完整的结构化目标、地图、信号和路线信息。
- 待解决局面的关键信息能被当前 BEV 表示保留。
- 下游规划器能结合环境利用带误差的关键点。
- 应用能够接受 VLM 推理成本,尤其是离线生成或仿真智能体场景。
13.3 主要局限
- 人工 BEV 可能遗漏原始图像中的关键语义。
- 额外的读图测距和文本数值生成带来精度成本,关键点仍有米级平均误差。
- 模块独立训练,最终驾驶目标未直接用于跨模块联合优化。
- Stepwise 未披露完整推理样本与串联格式;遮挡目标处理没有交代。
- 关键点为软引导,缺少精确通过、冲突拒绝及安全约束的保证。
- 车端推理效率与实际部署策略尚待验证。
- 部分适配、评估和数据构建细节未充分披露,常规基准也并非全面改善。
13.4 仍值得研究或复现核对的问题
- Stepwise 的真实样本格式、类别标签来源与重叠类别选择规则是什么?
- BEV 的范围、比例尺及图像预处理如何设置?图 1 的自车速度是否实际输入?
- RDP 如何同时控制误差与点数,是否处理航向,是否使用归一化坐标?
- PointEncoder 怎样与 query 融合?历史终点如何变换、标记和处理冲突?
- VLM 输出格式错误、点数不匹配、超出道路范围或与环境冲突时如何处理?
- 关键点误差的尾部分布、场景相关容差,以及各项辅助设计的独立闭环收益是什么?
- 补入真实图像语义后,能否在开放语义长尾中获得收益?
- 带容差的回归或几何奖励 RL,能否在计算成本可接受的情况下改善下游驾驶表现?
最终定位:BIRDriver 是一套给现有学习规划器增加 VLM 高层决策能力的分层框架。关键点接口和结构化长尾规划收益值得借鉴;输入语义、跨模块优化与真实部署方面的边界也应同时保留。