VAD: Vectorized Scene Representation for Efficient Autonomous Driving

VAD: Vectorized Scene Representation for Efficient Autonomous Driving

学习档位 精读

类型 文献 · 更新 2026-07-20

标签 autonomous-driving · planning · end-to-end-learning · nuscenes

所属 端到端驾驶 · 端到端学习 · 场景表示与长期记忆 · 预测、规划与控制

Migration status: imported from ad_projs@a823662; source anchors and claims remain needs-source-verification.

• Paper: https://arxiv.org/abs/2303.12077
• Code: https://github.com/hustvl/VAD at 1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8

中文学习笔记（自动生成，需核验）

Topic: ad-end-to-end-driving · Tier: foundational · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2303.12077
Code: —
Generator: grok

为什么值得读

提出全向量化场景表示的端到端自动驾驶规划范式，摆脱密集栅格化表示的高计算开销与实例级结构信息缺失问题，同时通过实例级约束提升安全性，并显著加速推理，对实际部署具有重要价值。

一句话结论

VAD 将驾驶场景建模为全向量化表示（智能体运动向量与地图向量），通过查询交互与实例级规划约束实现高效、安全的端到端轨迹规划。

问题定义

自动驾驶需要全面理解周围环境以保证可靠轨迹规划。先前工作依赖密集栅格化场景表示（如智能体占用图、语义图、流图、代价图）进行规划，计算密集且缺失实例级结构信息；传统模块化范式中规划无法直接访问原始传感器数据，感知错误难以在规划阶段纠正。

前置知识

BEV 感知基础（如 BEVFormer 的空间/时间注意力与 BEV 特征编码）、向量化地图表示（如 MapTR）、Transformer 解码器与注意力机制、端到端规划与多模态运动预测基本概念、nuScenes 数据集相关知识。

核心贡献

• 提出 VAD，一种端到端向量化自动驾驶范式，将驾驶场景完全建模为向量化表示（向量化智能体运动与地图元素），摆脱计算密集的密集栅格化表示与手工设计的后处理步骤。
• 隐式与显式利用向量化场景信息提升规划安全性：通过查询交互隐式学习，并通过三个实例级向量化规划约束（ego-agent 碰撞、ego-boundary 越界、ego-lane 方向）显式约束。
• 在 nuScenes 上达到 SOTA 端到端规划性能，大幅降低平均位移误差与碰撞率，同时显著提升推理速度（VAD-Base 2.5×、VAD-Tiny 高达 9.3×），利于实际部署。

方法流程

多帧多视角图像输入 → 骨干网络提取图像特征 + BEV 查询与编码器将特征投影到 BEV 特征 → Vectorized Scene Learning：用 agent queries 与 map queries 从 BEV 特征学习向量化场景表示（预测地图向量与多模态智能体运动向量，并进行 agent-agent/agent-map 交互） → Planning via Interaction：随机初始化 ego query 先与 agent queries 交互再与 map queries 交互，提取隐式场景信息 → Planning Head 结合更新后的 ego 特征、可选 ego status 与高层驾驶命令（左转/右转/直行）输出规划轨迹（ego 向量） → 训练阶段用三个实例级向量化约束正则化规划轨迹；整体端到端可微训练。

关键模块和设计取舍

1. Vectorized Scene Learning：map queries 预测地图向量（lane divider、road boundary、pedestrian crossing）及类别分数，提供道路结构与可行驶边界信息；agent queries 先经 deformable attention 学习智能体属性，再经 agent-agent 与 agent-map 注意力交互后预测多模态运动向量（含概率分数）。2. Planning via Interaction：ego query 作为 query 与 agent/map queries（作为 key/value）通过 Transformer decoder 交互，位置编码提供相对位置关系。3. Vectorized Planning Constraints（训练时）：ego-agent collision（保持横向/纵向安全距离）、ego-boundary overstepping（惩罚过近道路边界）、ego-lane directional（以最近车道向量方向作为运动方向先验）。设计取舍：全向量化避免密集栅格计算与后处理，实例级约束在几乎不增加开销下提升安全性与合理性；支持 HD-map-free（依赖学习到的向量地图）并可选 ego status。

数据集、实验设置与指标

nuScenes 数据集。评估端到端规划性能，主要指标为平均规划位移误差（average planning displacement error）与平均碰撞率（average collision rate）。报告了 VAD-Base 与轻量 VAD-Tiny 变体，并与先前方法（如 UniAD）比较推理速度（FPS）。

主要结果（需原文证据）

在 nuScenes 上，VAD 达到 SOTA 端到端规划性能。VAD-Base 相比先前最佳方法 UniAD，平均规划位移误差降低 30.1%（1.03m vs. 0.72m），平均碰撞率降低 29.0%（0.31% vs. 0.22%），运行速度 2.5× 更快（1.8 FPS vs. 4.5 FPS）。VAD-Tiny 推理速度提升高达 9.3×（1.8 FPS vs. 16.8 FPS），同时保持可比性能（平均位移误差 0.78m，平均碰撞率 0.38%）。其他消融与细节待来源核验。

局限、失败场景与适用边界

提取中未详细讨论失败场景与适用边界。从方法描述可见依赖高层驾驶命令进行导航；规划质量受向量化感知/地图学习精度影响；无密集代价图可能在某些复杂交互场景的可解释性或鲁棒性有待验证。更完整局限分析待来源核验。

与前序 / 同期 / 后续方法的关系

感知方面：继承 DETR3D/PETR 的 3D 查询思想、BEVFormer 的 BEV 编码、MapTR 的向量化地图预测（置换不变性）与 LaneGAP 的路径式车道图。运动预测：从传统向量化/GNN/Transformer 方法与端到端密集占用/流预测（FIERY、BEVerse）过渡到实例级交互（ViP3D、PIP），VAD 受 PIP 启发进行 agent-map 交互。规划方面：对比直接输出轨迹/控制（缺乏可解释性）、强化学习、基于密集代价图与手工规则的方法，以及 UniAD 的目标导向多任务整合与 PlanT 的物体级表示；VAD 强调全向量化表示以兼顾效率、安全性与实例级约束，摆脱密集图与后处理。

官方代码与复现建议

官方代码与模型可在 https://github.com/hustvl/VAD 获取。复现建议：按仓库说明安装环境、下载 nuScenes 数据与预训练权重，运行提供的训练/评估脚本验证 VAD-Base 与 VAD-Tiny；注意端到端设置与多任务损失。

推荐阅读顺序

1. Abstract + Introduction（动机、问题、主要结果与贡献）；2. Figure 1/2/3 与 Method Overview（整体流程）；3. 3.1 Vectorized Scene Learning + 3.2 Planning via Interaction + 3.3 Vectorized Planning Constraints（核心设计）；4. Related Work（定位）；5. 实验与消融（提取有限，需结合全文）；最后看代码仓库辅助理解实现。

自测问题

1. Q: VAD 相比先前栅格化端到端规划方法的两个核心优势是什么？ A: 一是利用向量化智能体运动与地图元素作为显式实例级规划约束，有效提升规划安全性；二是摆脱计算密集的栅格化表示与手工后处理步骤，推理速度显著更快。
2. Q: VAD 提出的三个实例级向量化规划约束分别是什么？各自作用？ A: 1. Ego-agent collision constraint：保持与其他动态智能体横向与纵向安全距离；2. Ego-boundary overstepping constraint：惩罚规划轨迹过近道路边界；3. Ego-lane directional constraint：以最近车道向量方向作为先验正则化规划运动方向。
3. Q: 向量化地图是如何获得并用于规划的？ A: 使用 map queries 从 BEV 特征中提取信息，预测地图向量（含 lane divider、road boundary、pedestrian crossing）及类别分数；地图查询与向量既通过交互隐式指导规划，也在约束中显式使用。
4. Q: 规划头（Planning Head）的输入与输出是什么？ A: 输入：更新后的 ego queries（经 agent 与 map 交互）、可选的 ego status 特征以及高层驾驶命令（turn left / turn right / go straight）；输出：规划轨迹（ego 向量，Tf × 2）。
5. Q: VAD-Base 相对 UniAD 在 nuScenes 上的主要量化改进是什么？ A: 平均规划位移误差降低 30.1%（1.03m → 0.72m），平均碰撞率降低 29.0%（0.31% → 0.22%），推理速度提升 2.5×（1.8 FPS → 4.5 FPS）。

原文证据

• Abstract (page 1): VAD achieves state-of-the-art end-to-end planning performance on the nuScenes dataset, outperforming the previous best method by a large margin. Our base model, VAD-Base, greatly reduces the average collision rate by 29.0% and runs 2.5× faster. Besides, a lightweight variant, VAD-Tiny, greatly improves the inference speed (up to 9.3×) while achieving comparable planning performance.
• Introduction (page 2): Compared with the previous SOTA method UniAD [21], our base model, VAD-Base, greatly reduces the average planning displacement error by 30.1% (1.03m vs. 0.72m) and the average collision rate by 29.0% (0.31% vs. 0.22%), while running 2.5× faster (1.8 FPS vs. 4.5 FPS). The lightweight variant, VAD-Tiny, runs 9.3× faster (1.8 FPS vs. 16.8 FPS) while achieving comparable planning performance, the average planning displacement error is 0.78m and the average collision rate is 0.38%.
• Introduction / Key contributions (page 2): • We propose VAD, an end-to-end vectorized paradigm for autonomous driving. VAD models the driving scene as a fully vectorized representation, getting rid of computationally intensive dense rasterized representation and hand-designed post-processing steps. • VAD implicitly and explicitly utilizes the vectorized scene information to improve planning safety, via query interaction and vectorized planning constraints. • VAD achieves SOTA end-to-end planning performance…
• Section 3 Method Overview (page 3): Given multi-frame and multi-view image input, VAD first encodes the image features with a backbone network and utilizes a group of BEV queries to project the image features to the BEV features. Second, VAD utilizes a group of agent queries and map queries to learn the vectorized scene representation, including vectorized map and vectorized agent motion (Sec. 3.1). Third, planning is performed based on the scene information (Sec. 3.2). … Besides, VAD introduces three vectorized planning constraints to restrict the planning trajectory at the instance level (Sec. 3.3).
• Section 3.3 / Figure 3 (page 5): Based on the learned map vector and motion vector, VAD regularizes the planning trajectory V̂ego with instance-level vectorized constraints during the training phase, as shown in Fig. 3. … Ego-Agent Collision Constraint … Ego-Boundary Overstepping Constraint … Ego-Lane Directional Constraint…

Evidence-backed Reading Notes

Topic	Evidence-backed note	Source	Short original cue
Problem	Dense BEV contains redundant information for planning; ego planning needs structured map and agent relations.	[PDF p.1, Abstract]	Introduction
Representation	The note treats the method as vectorized scene token because the paper’s method pages introduce the relevant representation/module vocabulary.	[PDF p.3, Method]	Method
Core mechanism	Vectorized scene learning builds compact agent/map tokens, and planning constraints supervise ego trajectory quality.	[PDF p.3, Method]	Vectorized Scene Representation
Input / Output	Input: multi-camera temporal nuScenes data. Output: vectorized scene elements and ego trajectory.	[PDF p.6, Method]	nuScenes
Training / Evaluation	The paper evaluates nuScenes open-loop planning metrics; mini data cannot support paper-level conclusions.	[PDF p.6, Method]	L2
Relationship	UniAD keeps heavier multi-task structure; SparseDrive uses sparse scene tokens; SSR further reduces explicit perception tasks.	[PDF p.2, Related Work]	Related Work
Failure/Risk	Temporal pkl schema, CAN bus, map/agent annotations, and BEVFormer-style dependencies are the main risks.	[PDF p.3, Method]	Vectorized Scene Representation
Reproduction boundary	Good first nuScenes E2E target after CAN bus and temporal infos are prepared.	[PDF p.6, Method]	nuScenes

Code Cross-References

Local path	Why it matters
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:README.md	Code/repo anchor for implementation cross-check.
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:VADv2/VADv2_config_voca4096.py	Code/repo anchor for implementation cross-check.
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:projects/configs/VAD/VAD_base_e2e.py	Code/repo anchor for implementation cross-check.
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:projects/configs/VAD/VAD_base_stage_1.py	Code/repo anchor for implementation cross-check.
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:projects/configs/VAD/VAD_base_stage_2.py	Code/repo anchor for implementation cross-check.
1688c4b1c3a9e2e7873ca9700ff8058170c0e3c8:projects/configs/VAD/VAD_tiny_e2e.py	Code/repo anchor for implementation cross-check.

Reproduction Notes

• Treat this note as paper/code reading material first; do not interpret mini-data smoke tests as paper reproduction. [PDF p.6, Method]
• Before running experiments, verify the local code entry points above against the paper method terminology and dataset protocol. [PDF p.3, Method]
• If a claim is not linked to a PDF page or code path in this note, treat it as an implementation hypothesis rather than established paper fact.

Local Asset Identity

Discovery evidence

• topic: ad-datasets-benchmarks
• sources: asta
• retrieved_at: 2026-07-20
• query: Find foundational and recent research papers for the topic «数据集与评测» (ad-datasets-benchmarks). Prefer peer-reviewed or widely cited work with clear method contributions. Include open-source code when available. Exclude pure survey spam unless highly cited. Core concepts: autonomous driving dataset, benchmark protocol, closed-loop evaluation, NAVSIM, nuScenes. Search facets: autonomous driving dataset benchmark protocol; closed-loop planning evaluation NAVSIM nuPlan; multimodal autonomous driving
• corpus_id: 257636676
• relevance_score: 0.5901843752132795
• score_total: 37
• suggested_tier: watch

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: VAD: Vectorized Scene Representation for Efficient Autonomous Driving

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.1（arch）；学习用途摘录。

来源：原论文约 p.6（table）；学习用途摘录。

精读判断（人工）

这篇文献回答什么问题

如何用向量化场景表示（车道/agent）服务规划，在 BEV 多任务与纯规划之间取得效率与结构折中。

我方立场

VAD 是从 dense BEV（BEVFormer/UniAD）走向规划友好表示的枢纽。E2E 分轨必读：弄清「感知任务是否必须」之前，先理解向量化给了规划什么归纳偏置。

失败模式

• 仍绑 BEVFormer 老栈与 temporal info；
• 向量化丢弃的密集线索在无图/施工区可能致命。

读完应能回答

1. 向量化相对 dense BEV 的信息取舍？
2. planning constraint 如何进损失？
3. 与 SparseDrive 稀疏端到端如何对照？

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
One-line takeaway	VAD uses vectorized map/agent/ego scene elements and planning constraints to make end-to-end planning more compact.
Problem	Dense BEV contains redundant information for planning; ego planning needs structured map and agent relations.
Representation	vectorized scene token
Input / Output	Input: multi-camera temporal nuScenes data. Output: vectorized scene elements and ego trajectory.
Core Mechanism	Vectorized scene learning builds compact agent/map tokens, and planning constraints supervise ego trajectory quality.
Training / Evaluation	The paper evaluates nuScenes open-loop planning metrics; mini data cannot support paper-level conclusions.
Reproduction Status	Good first nuScenes E2E target after CAN bus and temporal infos are prepared.
Compare With	UniAD keeps heavier multi-task structure; SparseDrive uses sparse scene tokens; SSR further reduces explicit perception tasks.
Failure/Risk	Temporal pkl schema, CAN bus, map/agent annotations, and BEVFormer-style dependencies are the main risks.

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Source Anchors

Anchor	What to verify	Source	Short original cue
Title and abstract	Use to verify paper identity and top-level contribution.	[PDF p.1, Abstract]	VAD: Vectorized Scene Representation for Efficient Autonomous Driving
Motivation	Use to verify the problem statement and why the work is needed.	[PDF p.1, Abstract]	Introduction
Core method	Use to verify the main modeling mechanism and module names.	[PDF p.3, Method]	Method
Key module terms	Use to verify exact component names before editing the note.	[PDF p.3, Method]	Vectorized Scene Representation
Dataset and protocol	Use to verify data dependencies: nuScenes full trainval + CAN bus + VAD temporal infos.	[PDF p.6, Method]	nuScenes
Metrics and results	Use to verify metric names and reported benchmark context.	[PDF p.6, Method]	L2
Experiments or ablation	Use to verify which claims are experimentally supported.	[PDF p.6, Method]	Experiments
Position in related work	Use to verify the claimed relationship to neighboring methods.	[PDF p.2, Related Work]	Related Work
Conclusion or limits	Use to verify final claims and remaining constraints.	[PDF p.9, Method]	Conclusion

反向链接

• 场景表示与长期记忆
• 端到端学习
• 端到端驾驶
• 自动驾驶数据集与评测矩阵
• 自动驾驶数据集与评测矩阵
• 自动驾驶方法谱系
• 自动驾驶方法谱系

---

学习导航

标记为已读

• 所属 Topic: ad-end-to-end-driving
• 学习路径: 学习路线 · 论文库
• 下一篇: SparseDrive 文献笔记
• 返回 Topic