PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving
PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving
Section titled “PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving”学习档位 精读
类型 文献 · 更新 2026-07-20
所属 预测、规划与控制
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: prediction-planning-control · Tier: watch · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~45 分钟
Paper: https://arxiv.org/abs/2311.08100
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”提出端到端自动驾驶中预测与规划的时间步级迭代交互机制（PPAD），通过交错进行多步预测-规划并引入层次化动态关键对象注意力，更自然地建模ego-agent-环境博弈，缓解一次性方法的交互不足问题，且在nuScenes等基准上声称优于SOTA，并开源项目页。
PPAD以自回归方式在每个时间步交错预测（agent）与规划（ego），通过ego-to-agent/map/BEV层次化交互生成更准确的规划轨迹。
现有端到端方法（如VAD、UniAD的一次性交互，或ThinkTwice的两阶段）缺乏时间步级深度交互与博弈建模，难以处理动态未来不确定性与多agent上下文，易产生无效运动规划；需将规划视为基于预测的序列有效轨迹搜索，迭代优化ego-agent-环境交互。
BEV表示与变换（如BEVFormer的deformable attention与时序建模）、向量化agent/map queries（如VAD风格检测/地图解码头）、多头交叉注意力（MHCA）与可变形注意力（DeformAttn）、端到端多任务/planning-oriented框架基础、模仿学习与碰撞约束损失概念。
- 提出PPAD框架，以迭代预测-规划方式优化ego-agent-环境交互，预测过程处理多agent细粒度未来不确定性，规划过程为ego生成单步轨迹，更自然建模规划中的博弈。
- 建模ego、agents、环境与BEV特征的逐步细粒度交互，采用层次化动态关键对象注意力强调空间局部性。
- 在nuScenes和Argoverse数据集上的实验证明方法优于SOTA方法（具体数值待来源核验）。
- 引入噪声轨迹作为预测的训练策略，提升规划鲁棒性；设计置信度感知碰撞损失等。
- 多相机视频经共享backbone提取图像特征；2. Perception Transformer（继承BEVFormer编码器）生成BEV queries（时序可变形注意力）、经检测/地图解码头得到向量化agent queries（含motion embeddings，多模态）与map queries，以及ego queries（三模式：直行/左转/右转）；3. Iterative Prediction-Planning Module交错N次：Prediction过程中agent query基于前一Planning的ego更新，依次与ego/map/BEV交互得到下一步motion；Planning过程中ego基于更新后agents，用层次化key objects attention与agents/map交互，再以当前位置为参考点DeformAttn查询BEV获取几何细节，MLP预测一步waypoint offset并更新状态；4. 训练时对GT ego轨迹加噪，要求从噪声位置恢复准确下一步；端到端优化scene context损失与约束损失等。
关键模块和设计取舍
Section titled “关键模块和设计取舍”Perception Transformer输出BEV/agent/map/ego queries；Iterative模块核心是时间步级双向交互：Prediction条件于前一ego plan更新agent；Planning用S={+∞m,15m,7.5m}层次MHCA聚合全局到局部agents（再MAX+MEAN模态聚合）与maps，随后DeformAttn(BEV, 当前位置参考点)补充非结构化几何；关键对象attention伪代码用距离mask实现动态局部；噪声轨迹训练增强从不准起点恢复能力；取舍：多步迭代更细粒度但计算增加，层次注意力强调局部关键对象而非全局一次交互，BEV交互替代occupancy grid以省内存并显式建模。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”实验在nuScenes和Argoverse数据集上进行；具体实验设置（如N步数、backbone、训练细节、评估协议）与指标（如L2、碰撞率等）摘录中未完整给出，待来源核验。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”nuScenes基准上优于SOTA方法；Argoverse亦证明有效性。具体指标数值、对比表与消融结果待来源核验（摘录仅声明outperforms state-of-the-art methods）。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”摘录中未系统讨论局限、失败场景或适用边界（如多步迭代的计算/延迟开销、对感知错误的敏感性、长时域累积、特定场景泛化等），待来源核验。方法依赖高质量BEV与向量化表示，噪声轨迹策略主要针对训练鲁棒性。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”对比多阶段系统（定位-感知-预测-规划，误差累积）；端到端两类（直接raw sensor回归 vs BEV+queries中间表示，后者如UniAD/VAD更可解释）；BEV生成（bottom-up LSS类 vs top-down BEVFormer类）；相关交互/预测工作如ThinkTwice（两阶段）、QCNet/GameFormer（循环预测）、VAD/UniAD（一次性）。PPAD在VAD启发下将预测-规划变为逐步交错博弈，强调层次局部注意力与BEV动态查询。
官方代码与复现建议
Section titled “官方代码与复现建议”官方项目页 https://github.com/zlichen/PPAD；复现建议：基于BEVFormer+VAD风格实现Perception，严格按层次S集合与距离mask实现key objects attention，交错N次Prediction-Planning，加入噪声轨迹与置信度感知碰撞损失，使用nuScenes等公开数据与相同评估协议；注意query模态处理与DeformAttn参考点。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Fig.1理解核心迭代思想；再Introduction与Related Work定位问题与差异；重点精读Method（3.1框架、3.2交互细节含公式、3.3层次算法、3.4噪声、3.5损失）；最后看实验声明与结论；若有完整版再补结果与消融。
- Q: PPAD与VAD/UniAD等一次性方法的核心区别是什么？ A: PPAD以自回归方式在每个时间步交错进行agent预测与ego规划，建模时间步级双向交互/博弈，而非单次顺序预测后规划。
- Q: Planning过程中ego如何与agents进行层次化交互？ A: 以当前ego位置为中心，对S={+∞m,15m,7.5m}距离集合应用mask后MHCA，聚合多尺度agents，再对多模态做MAX+MEAN，强调从全局交通流到局部关键agents的粗到细。
- Q: BEV Interaction的作用与实现方式？ A: 在agent/map交互后，以ego当前位置为参考点用DeformAttn从BEV特征提取低级几何细节（道路/栅栏等非结构化信息），补充向量化表示，避免occupancy grid的内存与交互不足问题。
- Q: 噪声轨迹作为预测的训练策略目的是什么？ A: 对GT ego每步加噪，训练模型从噪声起点仍能通过交互预测准确下一步waypoint offset，提升规划对位置扰动的鲁棒性。
- Q: Prediction过程的主要交互顺序是什么？ A: agent初始意图query先与更新后的ego交互，再与map选路径，最后与BEV获取几何细节，生成下一步motion。
- Abstract (page 1): we present a new interaction mechanism of prediction and planning for end-to-end autonomous driving, called PPAD … models the interactions among ego, agents, and the dynamic environment in an autoregressive manner by interleaving the Prediction and Planning processes at every timestep
- Abstract (page 1): we design ego-to-agent, ego-to-map, and ego-to-BEV interaction mechanisms with hierarchical dynamic key objects attention … The experiments on the nuScenes benchmark show that our approach outperforms state-of-the-art methods. Project page at https://github.com/zlichen/PPAD.
- Introduction (page 2-3): VAD [23] and UniAD [19] are typical one-shot motion planning methods … ThinkTwice [22] makes it a two-stage framework … we aim to introduce the step-by-step Prediction-Planning into a learning-based framework.
- Method 3.2 (page 6-8): we propose to conduct a hierarchical interaction with the agents … distance set of S of {+∞ m, 15 m, 7.5 m} … E′′′ = DeformAttn(E′′, p^t_E, B)
- Method 3.4 (page 9): we introduce the noisy trajectory as the prediction to the PPAD while training. Specifically, we perturb each step of the ground truth ego trajectory by adding noise. The ego is then trained to predict the original next step waypoint offset
- Contributions (page 3): The experiments conducted on the nuScenes [3] and Argoverse [6,44] datasets have demonstrated the effectiveness of our approach over state-of-the-art approaches.
Discovery evidence
Section titled “Discovery evidence”- topic:
ad-end-to-end-driving - sources:
asta - retrieved_at: 2026-07-20
- query: Find foundational and recent research papers for the topic «端到端驾驶» (ad-end-to-end-driving). Prefer peer-reviewed or widely cited work with clear method contributions. Include open-source code when available. Exclude pure survey spam unless highly cited. Core concepts: end-to-end autonomous driving, planning-oriented, trajectory scoring, diffusion planning, vectorized scene. Search facets: end-to-end autonomous driving planning perception; trajectory vocabulary scoring NAVSIM; diffusion model end
- corpus_id:
265157955 - arxiv:
2311.08100 - relevance_score:
0.6100157178990175 - score_total: 41
- suggested_tier:
watch
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomou方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.11（table）；学习用途摘录。
精读判断（人工）
Section titled “精读判断（人工）”这篇文献回答什么问题
Section titled “这篇文献回答什么问题”预测与规划如何迭代交互（PPAD），避免「先预测后规划」的开环误差累积。
主路径决策分轨的关键论文：真正的难点不是单模块 SOTA，而是预测—规划接口的因果与一致性。E2E 驾驶论文应对照这条「显式交互」基线读。
- 迭代不收敛或过慢；
- 交互模型过强导致规划震荡；
- 开环指标好看、闭环翻车。
读完应能回答
Section titled “读完应能回答”- 单次预测→规划流水线的误差从哪来？
- 迭代交互改了什么信息流？
- 如何设计实验证明「交互」真有用？
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2023 |
| Authors | Zhili Chen, Maosheng Ye, Shuangjie Xu, Tongyi Cao, Qifeng Chen |
| arXiv | 2311.08100 |
| DOI | — |
| Topics | prediction-planning-control |
| Paper | https://arxiv.org/abs/2311.08100 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”prediction-planning-control: tier=watch rank=5 score=53 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving
Zhili Chen1† , Maosheng Ye1 , Shuangjie Xu1 , Tongyi Cao2 , and Qifeng Chen1B 1 2 HKUST DeepRoute.AI {zchenei, myeag, shuangjie.xu}@connect.ust.hk,
arXiv:2311.08100v4 [cs.CV] 22 Jul 2024 tongyicao@deeproute.ai, cqf@cse.ust.hk
Abstract. We present a new interaction mechanism of prediction and planning for end-to-end autonomous driving, called PPAD (Iterative In- teraction of Prediction and Planning Autonomous Driving), which con- siders the timestep-wise interaction to better integrate prediction and planning. An ego vehicle performs motion planning at each timestep based on the trajectory prediction of surrounding agents (e.g., vehi- cles and pedestrians) and its local road conditions. Unlike existing end- to-end autonomous driving frameworks, PPAD models the interactions among ego, agents, and the dynamic environment in an autoregressive manner by interleaving the Prediction and Planning processes at ev- ery timestep, instead of a single sequential process of prediction fol- lowed by planning. Specifically, we design ego-to-agent, ego-to-map, and ego-to-BEV interaction mechanisms with hierarchical dynamic key ob- jects attention to better model the i