🚗 DriveReward：用 VLM 当裁判，给自动驾驶轨迹打分
核心洞见： 把"规则难以量化的语义判断"——比如闯红灯、压实线、是否听从导航指令——交给一个微调过的 1B 视觉语言模型来打分，再把这个分数当成 RL 训练的奖励信号。它不是架构创新，而是一份扎实但不 exciting 的工程报告，真正能落地的地方是离线训练阶段，而非车端实时运行。
一、核心思想（一句话概括）
用一个微调后的 1B VLM 作为奖励模型，对自动驾驶端到端规划模型生成的轨迹进行多维度打分，并将打分结果作为 RL 训练的奖励信号，以提升规划模型的表现。
二、论文背景与动机
问题来源
端到端自动驾驶系统通常生成多条候选轨迹，需要评估并选出最优轨迹。现有评估方法分两类：
| 类型 | 代表方法 | 核心缺陷 |
|---|---|---|
| Model-free（规则派） | MSE、PDMS | 依赖精确感知标注，无法理解高层语义规则（如闯红灯） |
| Model-based（模型派） | 评分头、轻量世界模型 | 优化的是数据集特定代理指标，缺乏语义推理能力 |
解决思路
引入 VLM 作为裁判，利用其视觉语义理解能力，对轨迹进行"看图说话"式的综合评估，绕过对精确感知标注的依赖。
三、主要贡献
3.1 DriveReward 数据集
数据来源：NAVSIM 训练集（nuPlan 子集）
核心设计：反事实数据增强
- 现有驾驶数据集几乎全是正常驾驶，缺少失败案例
- 系统性合成各类驾驶失误（急并道、压线、轨迹偏离等）
- 大幅丰富负样本，使奖励模型具备分辨好坏轨迹的能力
七维评分体系
| 维度 | 来源 | 说明 |
|---|---|---|
| NC（无碰撞） | NAVSIM 协议 | 是否发生碰撞 |
| DAC（可行驶区域合规） | NAVSIM 协议 | 是否驶出路面 |
| EP（自车进度） | NAVSIM 协议 | 向前行驶距离 |
| TTC（碰撞时间） | NAVSIM 协议 | 与周围车辆的安全间距 |
| C（舒适度） | NAVSIM 协议 | 加减速平顺性 |
| CF（指令遵循） | ⭐ 新提出 | 是否执行了导航指令（转向等） |
| LG（合法性） | ⭐ 新提出 + Qwen3.5 | 是否闯红灯、压实线 |
CF 和 LG 是最核心的新增价值：这两个维度是规则算法难以量化的语义判断，必须靠 VLM 的视觉理解能力来实现。
标注方式：用 Qwen3.5-35B-A3B 生成带推理链的标注，并在图像上叠加视觉提示辅助模型理解（绿线=轨迹、红点=碰撞点、品红点=越界点）。
数据规模：共 200K 样本；DriveReward-Bench 基于 NAVSIM 测试集，包含 5K 样本。
3.2 DriveReward-1B 模型
基础骨架：InternVL3-1B
核心创新：几何对齐模块（Geometry Adapter）
- 模型输出几何特征 $f_{geo}$，通过 MLP 投影到几何基础模型 VGGT 的潜在空间
- 用 $L_2$ 损失对齐，强迫模型内化空间几何直觉（如判断轨迹是否越出可行驶区域边界）
- 不需要额外的密集 3D 标注
输出设计：纯文本自回归生成，无额外 MLP 回归头
<reasoning>...</reasoning>：详细语义推理链（CoT）<reward>...</reward>：结构化七维评分
两阶段训练
| 阶段 | 数据规模 | 目标 |
|---|---|---|
| Stage 1：领域预训练 | 800K 条跨领域驾驶 QA | 注入驾驶领域知识 |
| Stage 2：任务 SFT | 300K 条 DriveReward 数据 | 学习多维度轨迹打分 |
训练硬件：32 张 NVIDIA H20 GPU
四、实验结果
4.1 DriveReward-Bench（表1）
结论：专门调优的 1B 小模型在任务上显著超过零样本的 8B 通用大模型
| 模型 | 参数量 | Safety↑ | EP-MAE↓ |
|---|---|---|---|
| InternVL3（零样本） | 2B | 29.6 | 0.62 |
| Qwen3.5（零样本） | 4B | 59.9 | 0.60 |
| InternVL3-1B（SFT） | 1B | 72.2 | 0.34 |
| DriveReward-1B | 1B | 80.6 | 0.23 |
4.2 RL 训练提升（表2、表3、表4）
开环（NAVSIM-V1）：DriveReward 作为奖励信号，在所有基础规划模型上一致超过 SFT 基线（约 +1~2% PDMS）
复合奖励设计：
$$PDMS_{CFLG} = NC \times DAC \times \frac{5 \times EP + 5 \times TTC + 2 \times C + 2 \times CF_{pred} + 2 \times LG_{pred}}{16}$$加入 CF 和 LG 后，安全性提升最明显，效率微降。
闭环（Bench2Drive / CARLA）：
| 方法 | Driving Score↑ |
|---|---|
| SFT 基线 | 40.2 |
| RL（RM 预测 PDMS） | 51.4 |
| RL（规则 PDMS） | 55.0 |
| RL（规则 PDMS + RM 的 CF&LG） | 57.1 |
跨数据集零样本泛化效果良好，模型仅在 nuPlan 上训练，迁移到 CARLA 仍有效。
4.3 消融实验（表6）
| 去掉的组件 | Safety 变化 | 结论 |
|---|---|---|
| 推理 CoT | -9.3 | 影响最大，是模型的灵魂 |
| 几何 Adapter | -1.5 | 空间感知有效但非关键 |
| 预训练阶段 | -0.06 | 贡献较小 |
五、论文价值评估
✅ 真实价值
-
CF 和 LG 两个新评估维度：把"规则难以量化的语义判断"转交给模型处理，这是最实质性的贡献。闯红灯、压实线的判断靠几何规则要么需要精确高精地图，要么容易误判，VLM 是更自然的解法。
-
离线 RL 训练的实用工具：在数据工厂和离线训练阶段，提供了一个比人工规则更丰富的奖励信号，工程上有使用价值。
-
系统性工作的一块拼图：结合小米汽车团队同期的 AdaThinkDrive、ReCogDrive、VILTA 等工作，DriveReward 是其整体 VLA 研发体系的基础设施组件，系统价值大于单篇价值。
❌ 主要局限
-
学术创新密度不高
- 反事实数据增强思路并不新颖
- “用 VLM 做奖励模型"在其他领域早有先例，只是搬到了驾驶场景
- 模型架构改动偏工程技巧，非架构创新
-
车端部署存在根本性障碍
- 论文声称选 1B 是考虑"real-time deployment feasibility”，但全部实验均为离线评估
- 高通 SA8797 等智驾芯片的实际可用算力约 15
20 TOPS FP16，内存带宽约 5060 GB/s - 自回归生成 300 个 token 需要约 10 秒，距离 10Hz 要求差约两个数量级
- 结论：该模型无法部署到车端实时运行
-
论文定位存在过度包装
- Introduction 强调实时轨迹选择和车端部署价值，但实验中没有任何车端部署数据
- 真实定位应该是：用轻量模型近似大模型的打分能力，降低离线 RL 训练阶段的奖励计算成本
-
实验提升幅度有限
- RL 训练提升在 1~2 个百分点量级
- 测试时轨迹选择仅捕获理论上限（Best-of-4）的一小部分
六、真实定位总结
| 维度 | 评价 |
|---|---|
| 学术创新性 | ⭐⭐☆☆☆ 偏低，是已有思路的领域迁移 |
| 工程实用性（离线） | ⭐⭐⭐☆☆ 有用，作为训练工具有价值 |
| 工程实用性（车端） | ⭐☆☆☆☆ 无法落地，存在根本性能瓶颈 |
| 系统完整性 | ⭐⭐⭐☆☆ 作为小米团队整体体系的一环尚可 |
一句话定性：这是一篇扎实但不 exciting 的工程报告，核心贡献是用 VLM 实现了两个规则难以量化的打分维度（CF 和 LG），并将其接入 RL 训练流程。车端实时部署的说法站不住脚，真正的使用场景仅限于离线训练阶段的奖励计算。
笔记整理时间：2026年7月