自动驾驶预测、规划与控制
自动驾驶预测、规划与控制
Section titled “自动驾驶预测、规划与控制”自动驾驶中的轨迹预测、规划与控制方法（MTR、DTPP、PLUTO 等）。
类型 Topics · 更新 2026-07-19
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本Topic聚焦自动驾驶中运动预测、轨迹规划与控制的核心链路，解决多智能体交互场景下如何准确预测他车多模态未来轨迹、并据此生成安全可行的自车规划轨迹，以及闭环控制执行的问题。传统分模块方法在预测-规划接口处易出现误差累积与不一致，而端到端或联合方法需处理场景表示、意图建模、多模态输出与代价评估的平衡。依托nuPlan、Waymo Motion、Argoverse 2 Motion、NAVSIM等数据集，围绕MTR系列、PLUTO、DTPP、GTRS等主线工作，探讨Transformer意图查询、模仿学习规划器、可微联合预测-代价评估与广义轨迹打分等技术，以提升开环精度与闭环安全性、鲁棒性，尤其应对交互密集、长尾场景。目标是建立从场景编码到策略树/多模态轨迹生成与评估的完整认知框架，服务于具身智能决策落地。
非目标 / 边界
Section titled “非目标 / 边界”- 不深入传感器底层感知或建图细节
- 不覆盖完整车辆动力学仿真或硬件在环控制实现
- 不展开纯强化学习无模仿基线的大规模训练细节
- 不详细讨论V2X通信协议或事故数据集全量标注流程
foundations— 需掌握基本Transformer编码器-解码器、轨迹表示与自动驾驶模块化流水线概念，以便理解意图查询与多模态预测motion-prediction— 本Topic与运动预测强相关，需熟悉多模态轨迹预测问题定义与常见评价指标框架motion-planning-control— 规划与控制接口、闭环评测概念是理解模仿学习规划器与代价评估的基础
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| 多模态运动预测 | 预测智能体未来可能采取的多种合理轨迹模式及其概率，而非单一确定性路径 | 常与简单回归混淆，后者易输出平均同质轨迹而忽略模式多样性 |
| 意图查询（Intention Query） | 可学习的查询向量用于定位全局意图并 refined 局部运动，常见于MTR类Transformer解码 | 易与目标候选点密集采样混淆，意图查询更轻量且可端到端学习 |
| 模仿学习规划器 | 从专家演示中学习映射观测到轨迹/动作的规划模型，如PLUTO类工作 | 与纯优化规划混淆，前者数据驱动但可能分布偏移，后者可解释但计算重 |
| 代价评估（Cost Evaluation） | 对候选轨迹打分以选择最优策略，常结合安全、舒适、效率等项，可微时支持端到端 | 与硬约束碰撞检测混淆，代价允许软权衡与梯度传播 |
| 对称场景建模 | MTR++中对多智能体联合预测采用对称编码，提升场景一致性与效率 | 易与简单共享编码器混淆，对称设计强调互导与一致性 |
| 树策略规划（Tree Policy Planning） | 如DTPP中联合条件预测与代价评估构建策略树进行规划 | 与单轨迹回归混淆，树结构支持分支多模态决策 |
| 闭环评测 | 规划器输出控制后在仿真中交互反馈的完整驾驶评估，对比开环轨迹匹配 | 开环精度高不代表闭环安全，分布偏移与级联误差是关键 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期运动预测多依赖密集目标候选或独立回归，效率与多样性不足。Transformer意图查询（MTR/MTR++）转向可学习全局意图定位加局部精炼，实现高效多模态与多智能体联合。规划侧从规则/优化转向强模仿学习（PLUTO）与可微联合预测-代价（DTPP）、广义轨迹打分（GTRS），推动端到端或多模态规划闭环上限。整体从分模块接口松耦合演进到场景一致的联合建模与认知层次启发。
- (2021) recent — Multimodal Motion Prediction with Stacked Transformers
- (2022) foundational — MTR: Motion Transformer with Global Intention Localization and Local Movement Refinement
- (2022) watch — MotionCNN: A Strong Baseline for Motion Prediction in Autonomous Driving
- (2022) recent — Multi-modal Motion Prediction with Transformer-based Neural Network for Autonomous Driving
- (2023) recent — DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning
- (2024) foundational — MTR++: Multi-Agent Motion Prediction With Symmetric Scene Modeling and Guided Intention Querying
- (2024) watch — Rethinking Imitation-based Planners for Autonomous Driving
- (2024) watch — DeepAccident: A Motion and Accident Prediction Benchmark for V2X Autonomous Driving
- (2024) recent — PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving
- (2025) foundational — Interaction-Aware Trajectory Prediction for Safe Motion Planning in Autonomous Driving: A Transformer-Transfer Learning Approach
- (2025) watch — CogAD: Cognitive-Hierarchy Guided End-to-End Autonomous Driving
- (2025) watch — FocalAD: Local Motion Planning for End-to-End Autonomous Driving
- (2025) watch — DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
- (2025) watch — Exploring Shared Gaussian Occupancies for Tracking-Free, Scene-Centric Pedestrian Motion Prediction in Autonomous Driving
- (2025) recent — GTRS: Generalized Trajectory Scoring for End-to-end Multimodal Planning
- (2026) watch — Graph Attention Transformer with Multi-Task Learning for Motion Prediction in Autonomous Driving
- MTR: Motion Transformer with Global Intention Localization and Local Movement Refinement（精读）— 主线基础，引入意图查询的Transformer运动预测，被广泛采用为Waymo Motion等基线，奠定多模态预测范式
- MTR++: Multi-Agent Motion Prediction With Symmetric Scene Modeling and Guided Intention Querying（中文笔记）— 扩展MTR至多智能体对称场景与互导意图查询，场景一致性强，竞赛表现突出，直接支撑联合预测
- PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving（精读）— 主线模仿学习规划器，在nuPlan等上推动闭环极限，连接预测到规划落地
推荐阅读路径
Section titled “推荐阅读路径”- 先读MTR建立意图查询与全局-局部精炼的预测基础
- 再读MTR++理解多智能体对称建模与联合预测扩展
- 接着读PLUTO掌握模仿学习规划器如何将预测用于闭环规划并推极限
- 随后读DTPP理解可微联合条件预测与代价评估的树策略规划
- 最后读GTRS与近期watch论文（如FocalAD、CogAD）对比广义打分、局部聚焦与认知层次在端到端中的应用，结合数据集评测思考接口一致性
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| MTR | 场景历史轨迹与地图特征 | 多模态未来轨迹 | Transformer编码器-解码器+意图查询 | 全局意图定位与局部运动精炼 |
| MTR++ | 多智能体场景 | 联合多模态轨迹 | 对称场景建模+互导意图查询 | 场景一致多智能体高效预测 |
| PLUTO | 观测与场景（nuPlan类） | 规划轨迹/策略 | 模仿学习规划器 | 推动闭环模仿学习规划极限 |
| DTPP | 条件场景 | 策略树轨迹 | 可微联合预测+代价评估 | 树策略规划 |
| GTRS | 多模态候选 | 打分后轨迹 | 广义轨迹打分 | 端到端多模态规划 |
工程实现与复现风险
Section titled “工程实现与复现风险”- 预测多模态与规划接口不一致导致级联误差与闭环崩溃
- 模仿学习规划器对专家数据分布敏感，长尾交互场景泛化差
- 意图查询或对称建模计算与内存开销在实时部署中需权衡
- 代价评估项设计不当易偏向保守或激进，影响舒适与安全平衡
- 开环指标好但闭环评测（nuPlan/NAVSIM等）暴露控制与交互问题
- 多数据集迁移时场景表示与标注差异导致模型脆弱
- 如何在保持多模态多样性的同时进一步提升多智能体联合预测的场景一致性与效率？
- 模仿学习规划器如何更好地融合可微代价或优化以缓解分布偏移？
- 认知层次或局部聚焦机制如何系统融入主线Transformer/意图框架？
- 闭环基准（含Real-to-Simulation）如何更真实反映长尾安全与交互？
- 广义轨迹打分与树策略如何扩展到更复杂控制与不确定性量化？
Topic 自测清单
Section titled “Topic 自测清单”- MTR中全局意图定位与局部运动精炼分别解决什么问题？与密集候选方法相比优势何在？
- MTR++的对称场景建模与互导意图查询如何支持多智能体联合预测？
- PLUTO作为模仿学习规划器在nuPlan类闭环上试图突破什么局限？潜在风险是什么？
- DTPP的可微联合条件预测与代价评估如何服务于树策略规划？与纯回归规划差异？
- 比较开环多模态预测精度与闭环规划安全时，常见工程陷阱有哪些？如何用给定数据集验证？
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 16 篇（foundational/recent/watch 见 papers.yml）。
论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）
Section titled “基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）”- MTR: Motion Transformer with Global Intention Localization and Local Movement Refinement (2022) · 固定 · 中文笔记
- MTR++: Multi-Agent Motion Prediction With Symmetric Scene Modeling and Guided Intention Querying (2024) · 中文笔记
- Interaction-Aware Trajectory Prediction for Safe Motion Planning in Autonomous Driving: A Transformer-Transfer Learning Approach (2025) · 待获取 PDF
近期重要（选题 5 · 可学习 4 · 待获取 PDF 1）
Section titled “近期重要（选题 5 · 可学习 4 · 待获取 PDF 1）”- PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving (2024) · 固定 · 中文笔记
- DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning (2023) · 固定 · 中文笔记
- GTRS: Generalized Trajectory Scoring for End-to-end Multimodal Planning (2025) · 固定 · 中文笔记
- Multimodal Motion Prediction with Stacked Transformers (2021) · 中文笔记
- Multi-modal Motion Prediction with Transformer-based Neural Network for Autonomous Driving (2022) · 待获取 PDF
观察清单（选题 8 · 可学习 6 · 待获取 PDF 2）
Section titled “观察清单（选题 8 · 可学习 6 · 待获取 PDF 2）”- MotionCNN: A Strong Baseline for Motion Prediction in Autonomous Driving (2022) · 中文笔记
- Graph Attention Transformer with Multi-Task Learning for Motion Prediction in Autonomous Driving (2026) · 中文笔记
- Exploring Shared Gaussian Occupancies for Tracking-Free, Scene-Centric Pedestrian Motion Prediction in Autonomous Driving (2025) · 中文笔记
- CogAD: Cognitive-Hierarchy Guided End-to-End Autonomous Driving (2025) · 中文笔记
- FocalAD: Local Motion Planning for End-to-End Autonomous Driving (2025) · 中文笔记
- DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation (2025) · 中文笔记
- Rethinking Imitation-based Planners for Autonomous Driving (2024) · 待获取 PDF
- DeepAccident: A Motion and Accident Prediction Benchmark for V2X Autonomous Driving (2024) · 待获取 PDF
成熟度 seed · 内容数 16 · 论文池 16