Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving

Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving

⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。

学习档位 中文笔记

类型 文献 · 更新 2026-07-19

所属 端到端驾驶

中文学习笔记（自动生成，需核验）

Topic: ad-end-to-end-driving · Tier: watch · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2508.11488
Code: —
Generator: grok

为什么值得读

提出“perception-in-plan”范式，将感知紧密嵌入规划过程，利用多模态锚定轨迹先验引导针对性感知，并通过自回归方式逐步细化规划，充分释放端到端规划导向优化潜力，在NAVSIM等基准上取得SOTA，是理解耦合感知-规划设计的重要近期工作。

一句话结论

VeteranAD通过规划先验引导的针对性感知与自回归轨迹规划，实现感知与规划的紧密耦合，显著提升端到端自动驾驶规划性能。

问题定义

现有端到端自动驾驶多采用感知-规划串行范式，即使整体可微也难以充分让感知模块优化服务于规划；需要将感知直接融入规划过程，实现随规划目标演化的针对性感知，以提升规划准确性与可靠性。

前置知识

端到端自动驾驶基础（如UniAD、VAD等感知-规划统一框架）、Transformer交叉注意力与查询机制、BEV特征提取（如LSS）、多模态轨迹表示与锚定/聚类、自回归解码、常见规划损失（L1回归、Focal分类）及NAVSIM等闭环/开环评测指标。

核心贡献

• 提出VeteranAD框架，遵循“perception-in-plan”范式，将感知集成到规划过程中。
• 设计Planning-Aware Holistic Perception模块与Localized Autoregressive Trajectory Planning模块，实现感知与规划的紧密耦合。
• 在NAVSIM和Bench2Drive数据集上取得state-of-the-art性能。

方法流程

多视角图像经编码器提取图像特征Fimg、BEV特征FBEV与智能体特征Fagent；从GT规划轨迹聚类得到多模态锚定轨迹，初始化轨迹查询Qtraj；Planning-Aware Holistic Perception以锚定轨迹上的引导点进行位置引导的图像/BEV交叉注意力，以及基于相对距离的智能体交叉注意力；Localized Autoregressive Trajectory Planning自回归地在每个时间步t利用感知结果预测偏移， refinement锚定点得到最终轨迹点，并在末步输出分类分数；整体端到端训练。

关键模块和设计取舍

1. Planning-Aware Holistic Perception：对图像、BEV、智能体特征做位置引导交叉注意力（引导点来自锚定轨迹投影为参考点；智能体侧用相对距离编码增强），实现沿潜在规划轨迹的针对性、全面感知。2) Localized Autoregressive Trajectory Planning：以锚定轨迹为粗规划，自回归逐步预测偏移ΔPft并修正Pt得到Pft，使用Motion-Aware Layer Normalization实现时间步间查询变换；末步输出多模态分类分数。设计取舍：锚定先验提供规划导向，自回归聚焦相关区域，使感知全程服务规划而非独立前缀。

数据集、实验设置与指标

数据集：NAVSIM（navtrain约1192场景训练/验证，navtest 136场景测试；相机+LiDAR、HD地图、2Hz标注，聚焦动态意图变化场景）；Bench2Drive（提及但细节待来源核验）。指标：NAVSIM闭环指标包括NC↑、DAC↑、TTC↑、Comf.↑、EP↑、PDMS↑；辅助任务有BEV分割与智能体检测。输入可为Camera或C&L。

主要结果（需原文证据）

在NAVSIM navtest上，VeteranAD（Camera输入）取得NC 99.1、DAC 98.3、TTC 96.1、Comf. 100、EP 83.1、PDMS 90.2，优于所列对比方法（如DiffusionDrive PDMS 88.1、WoTE 88.3等），实现SOTA；在Bench2Drive上宣称SOTA，具体数值待来源核验。

局限、失败场景与适用边界

摘录中未详细讨论局限、失败场景或适用边界，待来源核验。

与前序 / 同期 / 后续方法的关系

对比主流感知-规划串行端到端方法（UniAD、VAD/VADv2、SparseDrive、GenAD、DiffusionDrive等）及规则/模块化早期方法；强调现有工作多通过分别增强感知或规划提升性能，而VeteranAD采用perception-in-plan将感知直接融入规划。相关还有闭环/开环基准（nuPlan、CARLA、Bench2Drive、NAVSIM、nuScenes）及近期扩散策略、VLM、RL、世界模型等探索。

官方代码与复现建议

官方代码：github.com/fudan-zvg/VeteranAD。复现建议：按摘录实现图像编码（ResNet+LSS+Transformer智能体交互）、锚定轨迹聚类、位置引导交叉注意力、自回归偏移预测与Motion-Aware LN，使用组合损失（BEV CE + 智能体L1/BCE + 规划L1 + Focal），在navtrain训练并在navtest评估PDMS等；具体超参与完整配置待来源核验。

推荐阅读顺序

先读Abstract与Introduction理解perception-in-plan动机与Figure 1对比；再读Methodology的Framework overview、Planning-Aware Holistic Perception与Localized Autoregressive Trajectory Planning（含公式1-5与Figure 2）；然后看Experiments的settings与Table 1结果；最后Related work定位与现有范式差异。

自测问题

1. Q: VeteranAD的核心范式与传统端到端方法有何不同？ A: 传统多为感知后接规划的串行范式；VeteranAD采用perception-in-plan，用规划先验（多模态锚定轨迹）引导针对性感知，并让感知结果直接服务自回归规划。
2. Q: Planning-Aware Holistic Perception如何实现针对性感知？ A: 以锚定轨迹上的引导点Pt作为参考点，对图像特征与BEV特征做位置引导交叉注意力，并对智能体特征结合相对距离编码做交叉注意力，聚焦轨迹沿线交通元素。
3. Q: Localized Autoregressive Trajectory Planning如何工作？ A: 自回归地在每个时间步利用感知输出预测偏移ΔPft，修正锚定点Pt得到最终点Pft；使用Motion-Aware LN变换查询；末步输出分类分数。
4. Q: 在NAVSIM navtest上VeteranAD的关键指标是什么？ A: Camera输入下PDMS 90.2（NC 99.1、DAC 98.3、TTC 96.1、Comf. 100、EP 83.1），优于对比方法。
5. Q: 锚定轨迹如何获得并用于什么？ A: 从GT规划轨迹聚类得到，作为多模态规划先验，初始化轨迹查询并提供引导点，同时作为粗轨迹在自回归中被refinement。

原文证据

• Abstract / page 1: we introduce VeteranAD, a coupled perception and planning framework for end-to-end autonomous driving. By incorporating multi-mode anchored trajectories as planning priors, the perception module is specifically designed to gather traffic elements along these trajectories… We adopt an autoregressive strategy that progressively predicts future trajectories while focusing on relevant regions for targeted perception at each step. … achieves state-of-the-art performance.
• Introduction / page 1-2: We propose a “perception-in-plan” paradigm, which integrates perception into the planning process. … Our contributions are summarized as follows: (i) We propose VeteranAD… (ii) We design two key modules: the Planning-Aware Holistic Perception module and the Localized Autoregressive Trajectory Planning module… (iii) Extensive experiments on the NAVSIM and Bench2Drive datasets demonstrate that VeteranAD achieves state-of-the-art performance.
• Figure 2 / page 3: Overview of the VeteranAD framework. Multi-mode planning queries are initialized from the anchored trajectories. … (a) The Planning-Aware Holistic Perception module… (b) The Localized Autoregressive Trajectory Planning module adjusts the planning trajectories… in an autoregressive manner…
• Methodology / page 4: Pft = ΔPft + Pt. … Ltotal = λ1 LBEV + λ2 Lagent + λ3 Lreg + λ4 Lcls
• Table 1 / page 5: VeteranAD (Ours) Camera 99.1 98.3 96.1 100 83.1 90.2

Discovery evidence

• topic: ad-end-to-end-driving
• sources: crossref, arxiv
• retrieved_at: 2026-07-20
• query: end-to-end autonomous driving planning perception
• arxiv: 2508.11488
• doi: 10.1609/aaai.v40i15.38230
• score_total: 54
• suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

延伸解读与背景补充

生成：2026-07-21 · 来源条数 2 · 模型 heuristic · 需人工核验数字

问题再表述

围绕「Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving」的核心问题与动机（待结合全文核验）。

方法要点补强

• 见原文方法章节；以下为基于摘要/摘录的要点提示。
• Perception in Plan: Coupled Perception and Planning for End-to-End Auto…

与相近工作的关系

与相近工作的关系待核验；请对照 related work。

常见误读

• 勿仅凭摘要推断未给出的数值指标。

自测问题

1. 这篇工作的输入/输出表示是什么？（Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving）
2. 训练目标与评测协议各是什么？
3. 主要失败模式或局限是什么？

外部解读索引

• [2508.11488] Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving — 2026-07-21 — 官方摘要/二次页面（自动抓取）
• [2508.11488] Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving — 2026-07-21 — 官方摘要/二次页面（自动抓取）

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Dr

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.1（arch）；学习用途摘录。

来源：原论文约 p.5（table）；学习用途摘录。

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2025
Authors	—
arXiv	2508.11488
DOI	—
Topics	ad-end-to-end-driving
Paper	https://arxiv.org/abs/2508.11488

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• ad-end-to-end-driving: tier=watch rank=6 score=54 — auto refresh 2026-07-19 sources=arxiv,crossref | promoted needs-review->watch for coverage fill

Extract excerpt

Perception in Plan: Coupled Perception and Planning for End-to-End
                                                                            Autonomous Driving
                                                                         Bozhou Zhang1 *         Jingyu Li1,2 *      Nan Song1          Li Zhang1,2†
                                                                     1                                                  2
                                                                         School of Data Science, Fudan University           Shanghai Innovation Institute

                                                                                    github.com/fudan-zvg/VeteranAD


                                                                         Abstract




arXiv:2508.11488v1 [cs.CV] 15 Aug 2025
                                                                                                                                      Perception            Planning
                                           End-to-end autonomous driving has achieved remarkable
                                           advancements in recent years. Existing methods primarily                 Sensor input                                       Planning output
                                           follow a perception–planning paradigm, where perception                                       (a) Previous methods
                                           and planning are executed sequentially within a fully dif-
                                           ferentiable framework for planning-oriented optimization.
                                                                                                                                            Planning-aware
                                           We further advance this paradigm through a “perception-in-
                                                                                                                                              perception
                                           plan” framework design, which integrates perception into the
                                           planning process. This design facilitates targeted perception                              Planning          Perception
                                           guided by evolving planning objectives over time, ultimately

Local assets

反向链接

• 端到端驾驶

---

学习导航

标记为已读

• 所属 Topic: ad-end-to-end-driving
• 学习路径: 学习路线 · 论文库
• 上一篇: OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving
• 下一篇: RAD-2: Scaling Reinforcement Learning in a Generator-Discriminator Framework for End-to-End Driving
• 返回 Topic