AnchorVLA 论文笔记

论文信息

标题:AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning
作者:刘琦¹²³＊、李亚蓓⁴＊、王洪松³、张恒⁵、贺磊¹²†(＊同等贡献,†通讯作者)
单位:¹清华大学车辆与运载学院 ²清华大学智能绿色车辆与移动全国重点实验室 ³东南大学计算机科学与工程学院 ⁴美团 ⁵东风汽车
arXiv:2607.03182(cs.RO)
Benchmark:Bench2Drive(CARLA闭环),达到 SOTA 成功率 SR=77.28,驾驶分数 DS=89.92(有竞争力但非最高)

一、核心问题与动机

自动驾驶规划需要把导航意图、交通规则、动态交互、语言指令,转化为可执行的连续轨迹。VLA(视觉-语言-动作)模型被引入以提升长尾泛化、常识推理、语义理解和可解释性,但现有方案存在两种范式,各有缺陷:

规划头方式(Planning-Head-based):LLM/VLM 输出只作为条件/引导信号喂给独立的规划模块。问题:VLA 推理对轨迹空间的约束很弱,语义和动作难以对齐。
全轨迹自回归方式(Full-trajectory Autoregressive):把轨迹离散化成坐标/路点 token,逐个自回归生成。问题:token 序列长、信息密度低,语义-动作对齐差,离散化误差累积,推理慢。

AnchorVLA 的解法:把动作表示从"低层坐标 token"提升为"高层轨迹模式锚点(trajectory-pattern anchor)"。每个锚点编码一个完整的局部运动模式(如车道保持、刹车、让行、转弯、超车),LLM 只需在语义化的锚点空间里推理决策,而不是生成冗长的路点序列。

一个直观的类比:以前要么是"大脑说一句’左转吧’然后手脚瞎猜"(规划头),要么是"大脑一毫米一毫米地指挥手脚"(全轨迹自回归);AnchorVLA 让大脑先说"走这个弯道模式"(锚点),手脚再在这个模式上精细调整。

二、方法

2.1 整体问题分解

不把轨迹分布 $p(\tau\mid x)$ 当作一个整体的连续预测问题,而是拆成"行为级决策 + 局部残差精细化"两阶段:

$$\tau = a_k + r_k \tag{1}$$$$p(\tau \mid x) = \sum_{k=1}^{K} p(a_k \mid x)\, p(r_k \mid x, a_k), \quad r_k = \tau - a_k \tag{2}$$

关键点:锚点不只是额外的条件输入,而是显式定义了残差坐标系和局部行为生成空间的决策接口。

2.2 VLA Backbone

编码器:InternVL2-1B(图像 → InternViT-300M;文本 → Qwen2-0.5B-Instruct)
GPS 目标点通过 MLP 投影为 token embedding,与语言 token 融合
多模态 token 提供两类输出:
1. 上下文特征(context features):LLM 中间层/末端隐状态向量,供 DAAR、DARF 使用
2. CoT 推理 token:LLM 自回归生成的人类可读推理文字
在自回归建模变体下,CoT 文字与锚点 token 处于同一自回归序列中(先文字推理,后锚点 token),因此锚点选择建立在模型已生成的推理内容之上,而不是独立模块
上下文特征的隐状态维度约定取最后一个 token(锚点 token)位置的隐状态,量级对应 Qwen2-0.5B 的隐层大小(896 维,此数值来自 Qwen2-0.5B 已公开的模型结构,论文正文未直接给出具体数字)

2.3 DAAR:决策即锚点表示(Decision-as-Anchor Representation)

目标:把高层 VLA 推理映射到紧凑的轨迹模式锚点空间,用锚点分布估计代替坐标级自回归生成。

码本构建:对训练集轨迹做 K-means 聚类,得到码本 $\mathcal{A}=\{a_k\}_{k=1}^{K}$,K=100。每个锚点 $a_k$ 是聚类中心,本质是一条完整的 T 步时序轨迹(该簇内所有轨迹的"平均形状"),不是单个坐标点:

$$a_k = (a_k^1, \dots, a_k^T),\quad a_k^t \in \mathbb{R}^2$$

锚点-真值距离(逐时间步 L2 距离取平均):

$$d(\tau_{gt}, a_k) = \frac{1}{T}\sum_{t=1}^{T}\left\| \tau_{gt}^t - a_k^t \right\|_2 \tag{3}$$

软标签(注意是 softmax 形式,而非简单的"距离反比例"):不用单一硬标签,在最近的 top-N 邻域 $\mathcal{N}$ 上构造 softmax 形式的软目标:

$$q_k = \frac{\mathbb{I}[k\in\mathcal{N}]\exp\left(-d(\tau_{gt}, a_k)/\gamma\right)}{\sum_{j\in\mathcal{N}} \exp\left(-d(\tau_{gt}, a_j)/\gamma\right)} \tag{4}$$

其中 $\gamma$ 为温度系数。距离越近权重越大,邻域外锚点权重为 0,从而在离散锚点集合上保留轨迹空间的局部连续性,并对 K-means 聚类边界误差更鲁棒。

两种 DAAR 实例化方式(共享同一套软标签监督):

Query-based 建模:可学习 query token 附加到输入序列,经 LLM 编码后取该位置输出特征过 MLP 得到 K 维 logits,softmax 得到锚点分布:
$$s_k^{qry}=f_{MLP}(h_{qry})_k,\quad p_\theta^{qry}(a_k\mid x)=\text{softmax}(s^{qry})_k$$

$$\mathcal{L}_{qry} = -\sum_k q_k \log p_\theta^{qry}(a_k\mid x)$$
不使用 LLM 的 next-token 预测接口,纯粹是基于特征的分类器。
Autoregressive 建模:向 LLM 词表引入 K 个特殊锚点 token $\{y_k\}$,与锚点一一固定映射。训练时插入一个 control token 标记锚点预测开始,其后紧跟最近锚点 token 以保持自回归格式;训练目标从 control token 位置在锚点 token 子集上的 logits 计算,同样用软标签交叉熵:
$$p_\theta^{ar}(a_k\mid x)=\text{softmax}(s^{ar})_k,\qquad \mathcal{L}_{ar}=-\sum_k q_k\log p_\theta^{ar}(a_k\mid x)$$
本质是复用 LLM 的 next-token 预测接口,但把输出空间限制在紧凑的锚点词表上。

推理:两种方式都输出 K 维锚点分布,取 top-M(M=6) 个锚点作为候选高层决策,保留行为级多模态性,再送入 DARF 并行生成候选轨迹。

训练/推理不对称性小结:训练阶段学习整个 K 维分布形状(软标签,无"选择"动作);推理阶段才做 top-M 选择。软标签训练让相邻锚点也获得合理概率,是 top-M 候选有意义的前提——若用硬标签训练,分布会退化为近似 one-hot,top-M 退化成 top-1,多候选优势消失。

2.4 DARF:决策锚定残差流(Decision-Anchored Residual Flow)

动机:确定性残差回归会把多个合理的修正方案平均成模糊结果(因为同一锚点+场景下可能存在多种合理的精调方式),因此用 flow matching 建模残差分布,支持多模态精细化。

给定 top-M 候选锚点集合 $\mathcal{I}_M$,对每个候选 $a_k$:

$$\tau_k = a_k + r_k \tag{9}$$

目标残差:$r_{gt}^k = \tau_{gt} - a_k$。采样噪声 $\epsilon\sim\mathcal{N}(0,I)$ 和时间步 $t\in[0,1]$,构造流路径:

$$z_t^k=(1-t)\epsilon+t\,r_{gt}^k,\quad v_k^*=r_{gt}^k-\epsilon,\quad \hat v_k=v_\theta(z_t^k,t,x,a_k) \tag{10}$$

匹配锚点监督:只在 top-M 中离真值最近的锚点 $k^\dagger=\arg\min_{k\in\mathcal{I}_M} d(\tau_{gt},a_k)$ 上计算 flow matching loss(L1):

$$\mathcal{L}_{flow}=\|\hat v_{k^\dagger}-v_{k^\dagger}^*\|_1 \tag{11}$$

置信度分支:为每个候选轨迹预测置信度 $s_k$,评估锚点与驾驶 context 的兼容性,训练时用 softmax 交叉熵监督到匹配锚点:

$$\mathcal{L}_{conf}=-\log\frac{\exp(s_{k^\dagger})}{\sum_{k\in\mathcal{I}_M}\exp(s_k)} \tag{12}$$

推理:从初始噪声 $z_0^k=\epsilon$ 出发,用少量 Euler 步积分速度场,得到候选轨迹后按置信度选最终输出:

$$z_{t+\Delta t}^k=z_t^k+\Delta t\,v_\theta(z_t^k,t,x,a_k),\quad \hat\tau_k=a_k+z_1^k,\quad \hat\tau=\hat\tau_{\arg\max_k s_k} \tag{13}$$

采样步数:主实验中 Flow Step = 2(Table 3、Table 4 明确写出),这是 DARF 相对全轨迹 flow matching 的效率优势来源之一。

Decoder 架构(附录 B):双分支解耦设计,共享输入锚点 $a_k$ 与多模态上下文特征 $H_x$:

Velocity 分支:噪声残差 $z_t^k$ 和锚点各自过 2D sine-cosine 位置编码 + MLP;每层用 AdaLN 式的 feature-wise affine modulation 把时间步特征注入隐状态: $$\text{Mod}(h,c)=h\odot(1+s(c))+b(c) \tag{15}$$ 锚点位置特征作为 query 的位置偏置叠加(而非直接替换残差隐状态):$q_l^k=h_l^k+h_{a,k}^{pos}$;query 对 $H_x$ 做 cross-attention 融合视觉/语言/导航信息;过残差连接、LayerNorm、FFN 后输出速度场 $\hat v_l^k\in\mathbb{R}^{T\times2}$。
Confidence 分支:完全不使用 $z_t^k$ 和 $t$——因为置信度只评估"锚点与驾驶 context 的兼容性",不评估某个具体噪声/去噪中间状态的质量(借鉴 DiffusionDrive 的候选选择策略)。以锚点特征 $h_{a,k}^{conf}$(独立 MLP 编码)为初始隐状态,对 $H_x$ 做 cross-attention,最终输出标量置信度。

2.5 完整轨迹空间 vs 锚点残差空间的区别

两者都用 flow matching,区别在于生成目标不同:

	Full Flow(完整轨迹空间)	DARF(锚点残差空间)
流路径	$z_t^{full}=(1-t)\epsilon+t\tau_{gt}$	$z_t^k=(1-t)\epsilon+t\,r_{gt}^k$
目标	绝对坐标轨迹本身	相对锚点的残差
目标分布形态	高度多峰、分散(直行/左转/刹车差异很大)	紧凑、近似单峰、以 0 为中心

论文(Section 3.4 + Figure 3 标注)指出:当锚点提供了良好的粗粒度参考时,残差目标比完整轨迹目标更紧凑,传输路径更短($d_{ResFlow}\le d_{FullFlow}$),因而少量步数的流积分(few-step Euler)更容易逼近准确。Table 4 消融在相同 2 步条件下验证了这一点:DARF(89.92/77.28)明显优于 Full Flow(88.34/72.73)。

追问:能否直接从锚点(而非噪声)出发,流向绝对坐标轨迹以进一步缩短路径?

若从锚点这个确定点出发($z_0=a_k$,无随机性):给定相同锚点和 context,映射退化为确定性函数,本质等价于 Table 4 中的 Deterministic 基线(1 步,直接回归残差),效果最差(86.74/70.45)——因为丢失了随机源,多个合理修正被平均成模糊解。
若从"以锚点为中心的噪声"出发($z_0=a_k+\epsilon$)流向绝对坐标:做变量代换 $\zeta_t=a_k+z_t^k$($a_k$ 对 $t$ 是常数,速度场不变),可证明这在数学上与 DARF 完全等价,只是坐标系表达方式不同,并非新方案。

结论:决定传输路径长短、采样步数多少的关键是"目标分布相对噪声中心的紧凑程度,以及是否保留了随机性",而不是"从哪个点出发";去掉噪声只会退化为效果更差的确定性回归。

三、实验

3.1 设置

训练数据:沿用 SimLingo 设定——专家轨迹、指令条件的 “dream” 轨迹、以及 VQA/驾驶评论/无语言样本等混合语言监督
Benchmark:Bench2Drive(基于 CARLA 的闭环基准),报告 Driving Score (DS)、Success Rate (SR)、Efficiency、Comfort、Multi-Ability;SR 衡量任务是否完成,反映闭环可靠性
Backbone:复用 SimLingo 的 VLA backbone 并冻结,只修改规划接口
码本/候选数:K-means 聚类 K=100 锚点;推理阶段候选数 M=6
训练:两阶段。① 训练 DAAR 锚点决策模型,15 epoch,8×A100,batch size 16;② 冻结 backbone,训练 DARF 残差生成,15 epoch,4×A100,batch size 32

3.2 主结果(Table 1)

Method	VLA	Generative Planning	DS	SR(%)	Efficiency	Comfort
LinkVLA	✓	×	91.01	74.55	255.84	34.62
BridgeDrive	×	✓	87.99	74.99	236.49	20.98
AnchorVLA	✓	✓	89.92	77.28	251.14	28.94

SR 为所有对比方法中最高(77.28)
相比 LinkVLA:DS 略低(89.92 vs 91.01),SR 更高(77.28 vs 74.55)
相比 BridgeDrive:DS、SR 均更高
Comfort(28.94)低于部分基线,作者认为是生成式精细化灵活性与轨迹平滑度之间的权衡,未来可引入平滑约束改进

3.3 Multi-Ability 评估(Table 2)

Method	Merging	Overtake	Brake	Give-Way	Traffic-Sign	Mean
LinkVLA	60.00	80.00	93.33	50.00	83.68	73.40
BridgeDrive	69.92	66.67	90.00	50.00	89.47	73.15
AnchorVLA	65.00	81.11	90.00	50.00	85.00	74.22

均分最高(74.22),Overtake 最佳,但 Merging/Traffic-Sign 不敌 BridgeDrive,Brake 不敌 LinkVLA。

3.4 消融实验

决策建模方式(Table 3)——核心结论:性能提升不仅来自"使用锚点"本身,更来自把锚点预测紧密建模在 LLM token 空间里:

Method	Extra Latency	DS	SR(%)
LinkVLA-AR(全轨迹自回归基线,无锚点)	361 ms	89.57	73.18
None(无锚点决策,直接把所有锚点扔进DARF)	–	87.49	70.91
Query Based	33 ms	88.67	73.81
Autoregressive	64 ms	89.92	77.28

Autoregressive 相比 Query-based,把锚点表示为 LLM 动作词表中的 token,让高层决策和锚点预测在同一 token 空间建模,SR 从 73.81 提升到 77.28;同时相比全轨迹自回归基线,额外延迟从 361ms 降到 64ms。

Flow Matching 形式(Table 4)——同为 Autoregressive 决策方法:

Flow Matching Method	Flow Step	DS	SR(%)
Deterministic($t=0,z_t=0$ 直接回归)	1	86.74	70.45
Full Flow(完整轨迹空间)	2	88.34	72.73
DARF(锚点残差空间)	2	89.92	77.28

同样 2 步条件下,锚点残差空间显著优于完整轨迹空间,验证了残差空间紧凑性带来的收益(见 2.5 节)。

导航模态(Table 5):GPS 目标点(89.92/77.28)与导航文字指令(90.26/76.82)效果相当,说明 AnchorVLA 对不同形式的导航输入较为鲁棒。

四、失败案例分析(附录 A)

主要失败模式是锚点预测错误导致的误差传播:由于 DARF 在锚点定义的残差空间内生成轨迹,倾向于"精调"而非"推翻"已选定的行为,因此当预测锚点偏离路线或与语言指令不一致时,最终轨迹也会继承该错误行为;此外即便锚点大致正确,DARF 残差精调也可能引入局部几何偏差。作者认为改进方向是引入反思机制(reflective anchor selection),在 DARF 精细化之前重新评估语言推理、导航意图、场景 context 与候选锚点之间的一致性,修正潜在的错误锚点预测。

五、结论

AnchorVLA 是一个分层的决策锚定 VLA 规划框架,用"轨迹模式锚点"作为显式接口,桥接高层 VLA 推理与连续轨迹生成:

DAAR 负责行为级决策——把语义推理映射为紧凑锚点分布,两种实例化中"自回归建模"(锚点预测复用 LLM next-token 接口)显著优于"query-based 建模",说明关键收益来自决策与预测的紧密耦合,而非锚点概念本身
DARF 负责连续执行——在锚点定义的残差子空间上做 flow matching,仅需 2 步 Euler 积分即可生成精细轨迹,残差空间的紧凑性是"少步数也能生成好"的根本原因

在 Bench2Drive 闭环基准上取得 SOTA 成功率(SR=77.28)与有竞争力的驾驶分数(DS=89.92),同时把自回归推理的额外延迟从全轨迹自回归基线的 361ms 压缩到约 64ms,验证了轨迹模式锚点作为语言级推理与连续轨迹规划接口的有效性。

本工作受国家重点研发计划(2024YFB2505500)资助。

AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning