预测、规划与控制
预测、规划与控制
Section titled “预测、规划与控制”行为预测、任务/运动规划与控制执行的能力。
类型 Topics · 更新 2026-07-20
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本 Topic 聚焦自动驾驶中预测、规划与控制的联合/耦合建模问题。传统流水线将他车运动预测与自车规划、控制分离，易导致交互不足、闭环不一致与代价失配。需解决如何通过可微分联合训练、迭代交互、树状策略或端到端框架，使预测条件于规划意图、代价可学习、多代理博弈可建模，从而在复杂交互场景（合并、无保护转弯等）中生成安全舒适类人轨迹。基于给定书目与笔记，涵盖从感知-预测联合（如BEV网格）到预测-规划迭代（时间步交错）、可学习代价树规划及数据集支撑，推动从开环预测到闭环规划决策一体化。
非目标 / 边界
Section titled “非目标 / 边界”- 纯感知检测或传感器融合细节
- 底层车辆动力学控制律设计
- 非联合的独立运动预测算法细节
- 通用路径规划算法全面综述（仅作背景）
motion-prediction— 需掌握多代理轨迹预测与交互建模基础，才能理解条件预测与联合优化foundations— 自动驾驶系统架构、BEV表示与规划基本概念是阅读联合框架的前提
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| 联合预测规划 | 将他车运动预测与自车轨迹规划在同一模型或迭代过程中耦合，使预测条件于规划意图 | 易与纯预测后接规划的流水线混淆，后者无闭环反馈 |
| 可微分集成 | 通过可微模块将预测、代价评估与规划联合训练，直接优化闭环性能 | 不同于分离训练后拼接，需梯度可传 |
| 树策略规划 | 生成多分支未来场景树并结合代价评估进行策略选择的规划方式 | 与单轨迹贪心规划不同，强调多假设与条件预测 |
| ego-conditioned 预测 | 他车预测以自车规划轨迹为条件，建模交互博弈 | 非独立无条件预测 |
| 可学习代价函数 | 用神经网络参数化规划代价，从数据中学习安全舒适等偏好 | 非手工设计固定权重代价 |
| 迭代交互 | 在时间步级交错进行预测与规划，逐步 refinement 交互 | 不同于一次性前向交互 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期预测与规划分离，预测独立开环后输入规划器。随后出现交互感知规划与条件预测。近年转向可微分联合训练、树状策略与时间步迭代交互，使预测-规划-代价端到端优化，闭环性能成为直接目标。数据集从单代理转向大规模交互式联合标注，支撑多代理博弈建模。
- (2018) foundational — Planning and Decision-Making for Autonomous Vehicles
- (2020) foundational — Human motion trajectory prediction: a survey
- (2020) watch — MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird’s Eye View Maps
- (2020) watch — Behavior and Interaction-aware Motion Planning for Autonomous Driving Vehicles based on Hierarchical Intention and Motion Prediction
- (2020) watch — Integrated Obstacle Detection and Avoidance in Motion Planning and Predictive Control of Autonomous Vehicles
- (2021) recent — Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset
- (2021) watch — Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review
- (2022) foundational — MTR: Motion Transformer with Global Intention Localization and Local Movement Refinement
- (2023) watch — PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving
- (2023) recent — Differentiable Integrated Motion Prediction and Planning With Learnable Cost Function for Autonomous Driving
- (2023) recent — DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning
- (2024) watch — Path planning algorithms in the autonomous driving system: A comprehensive review
- (2024) recent — End-to-End Autonomous Driving: Challenges and Frontiers
- (2024) recent — PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving
- (2025) watch — Interaction-Aware Trajectory Prediction for Safe Motion Planning in Autonomous Driving: A Transformer-Transfer Learning Approach
- (2026) watch — An Integrated Prediction-Planning-Control Framework for Autonomous Vehicles via Inverse Dynamic Game and Multi-Objective MPC
- DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning（精读）— 可微分联合条件预测与可学习代价的树策略规划框架，直接优化闭环，有中文笔记与代码参考价值
- PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving（中文笔记）— 时间步级迭代预测-规划交互机制，层次化注意力建模 ego-agent 博弈，有中文笔记
- Differentiable Integrated Motion Prediction and Planning With Learnable Cost Function for Autonomous Driving（精读）— 可微分集成预测规划与可学习代价函数，核心联合范式代表作
推荐阅读路径
Section titled “推荐阅读路径”- 先读 foundational 综述 Planning and Decision-Making for Autonomous Vehicles 建立规划决策全景
- 再读 Waymo Open Motion Dataset 理解交互数据与联合评估指标
- 精读 DTPP 与 Differentiable Integrated 掌握可微联合与树/代价设计
- 读 PPAD 与 PLUTO 理解迭代交互与模仿学习规划闭环
- 对照 MTR 等预测骨干与 MotionNet 感知-预测联合作为支撑
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| DTPP | 场景与查询 | ego-conditioned 场景树与规划 | 查询中心 Transformer + 树 | 可微联合预测与可学习代价，优化闭环规划 |
| PPAD | BEV/地图/agent 特征 | 多步规划轨迹 | 时间步交错预测-规划 + 层次注意力 | 迭代交互建模动态博弈 |
| Differentiable Integrated Motion Prediction and Planning With Learnable Cost Function | — | 集成预测与规划轨迹 | 可微模块 + 可学习代价 | 联合训练预测规划与代价 |
| MotionNet | LiDAR BEV 序列 | 网格分类与运动预测 | 时空金字塔网络 | 联合感知与运动预测，边界框无关 |
工程实现与复现风险
Section titled “工程实现与复现风险”- 联合训练计算与内存开销大，实时性待核验
- 可学习代价可能过拟合数据分布，泛化与安全性需额外约束
- 迭代交互引入误差累积，长时域不稳定
- 树策略分支爆炸与剪枝策略设计复杂
- 闭环评估依赖仿真器，真实部署 sim-to-real 差距
- 如何在可微联合框架中保证硬安全约束与可解释性
- 大规模交互数据下多模态意图与长期博弈的可扩展建模
- 预测-规划-控制全链路可微与车辆动力学耦合的稳定性
- 从开环指标到真实闭环驾驶质量的可靠对齐方法
Topic 自测清单
Section titled “Topic 自测清单”- 联合预测规划与传统分离流水线的核心区别是什么？为何能缓解交互不足？
- DTPP 中 ego-conditioned 场景树与可学习代价如何联合可微训练？
- PPAD 的时间步迭代交互相比一次性方法有何优势？层次化注意力作用是什么？
- 可学习代价函数相比手工代价的优缺点及工程风险？
- Waymo Open Motion Dataset 对联合预测评估指标的贡献是什么？
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 16 篇（foundational/recent/watch 见 papers.yml）。
子 Topic
Section titled “子 Topic”论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）
Section titled “基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）”- MTR: Motion Transformer with Global Intention Localization and Local Movement Refinement (2022) · 固定 · 中文笔记
- Human motion trajectory prediction: a survey (2020) · 精读
- Planning and Decision-Making for Autonomous Vehicles (2018) · 待获取 PDF
近期重要（选题 5 · 可学习 3 · 待获取 PDF 2）
Section titled “近期重要（选题 5 · 可学习 3 · 待获取 PDF 2）”- DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning (2023) · 固定 · 中文笔记
- PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving (2024) · 固定 · 中文笔记
- Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset (2021) · 中文笔记
- End-to-End Autonomous Driving: Challenges and Frontiers (2024) · 待获取 PDF
- Differentiable Integrated Motion Prediction and Planning With Learnable Cost Function for Autonomous Driving (2023) · 待获取 PDF
观察清单（选题 8 · 可学习 5 · 待获取 PDF 3）
Section titled “观察清单（选题 8 · 可学习 5 · 待获取 PDF 3）”- MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird’s Eye View Maps (2020) · 中文笔记
- PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving (2023) · 精读
- An Integrated Prediction-Planning-Control Framework for Autonomous Vehicles via Inverse Dynamic Game and Multi-Objective MPC (2026) · 中文笔记
- Behavior and Interaction-aware Motion Planning for Autonomous Driving Vehicles based on Hierarchical Intention and Motion Prediction (2020) · 中文笔记
- Integrated Obstacle Detection and Avoidance in Motion Planning and Predictive Control of Autonomous Vehicles (2020) · 中文笔记
- Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review (2021) · 待获取 PDF
- Interaction-Aware Trajectory Prediction for Safe Motion Planning in Autonomous Driving: A Transformer-Transfer Learning Approach (2025) · 待获取 PDF
- Path planning algorithms in the autonomous driving system: A comprehensive review (2024) · 待获取 PDF
聚合内容（子树）
Section titled “聚合内容（子树）”成熟度 developing · 内容数 64 · 论文池 16