自动驾驶
自动驾驶感知、跟踪、预测、规划与系统评测的知识地图。
类型 Topics · 更新 2026-07-19
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本Topic聚焦自动驾驶系统的整体架构与核心挑战，涵盖从传感器输入到车辆控制输出的全链路问题。传统模块化流水线（感知-预测-规划-控制）存在误差累积、接口脆弱与难以联合优化的问题；端到端范式试图直接映射感知到动作，却面临可解释性、数据效率、闭环验证与安全保证不足。需解决多传感器融合（相机/LiDAR/雷达）、三维场景理解、轨迹预测、路径规划与决策、实时性与鲁棒性，以及在nuScenes、Waymo、nuPlan等基准上的评估与泛化。同时应对复杂城市场景、长尾事件、天气与光照变化、闭环仿真到实车部署鸿沟。本Topic作为umbrella，梳理通用实践、深度学习应用、端到端前沿与安全挑战，为后续感知跟踪、预测规划控制、数据集与E2E子分支提供整体视角，强调从开环检测指标向闭环驾驶性能与安全验证的转变。
非目标 / 边界
Section titled “非目标 / 边界”- 不深入单一子模块算法实现细节（如具体BEV生成或检测头设计，见ad-perception-tracking）
- 不覆盖车辆硬件、V2X通信协议或非驾驶机器人具身操作
- 不提供实车代码部署指南或特定厂商系统逆向
- 不编造未给出的实验数值、消融结果或页码
foundations— 需具备计算机视觉、深度学习与基础控制/规划概念，以便理解模块化与端到端范式差异ad-datasets-benchmarks— 熟悉nuScenes/Waymo/nuPlan等数据集结构与评估协议，是阅读本Topic综述与对比的基础
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| 端到端自动驾驶 (End-to-End AD) | 从原始传感器数据直接输出控制指令或轨迹的范式，减少模块接口 | 常与模块化系统混淆；E2E仍可能内含隐式中间表示，非完全黑箱 |
| BEV (Bird’s-Eye-View) | 鸟瞰图统一表征，将多视角/多模态投影到车辆中心俯视网格，便于融合与下游任务 | 易与纯2D检测或伪LiDAR混淆；生成方式分深度估计与查询式等 |
| 流式感知 (Streaming Perception) | 考虑传感器流与计算延迟的实时感知，强调时间对齐与低延迟输出 | 不同于离线批处理检测；需权衡精度与时延 |
| 多模态融合 (Multimodal Fusion) | 相机、LiDAR、雷达等传感器信息的联合表示与交互 | 早期多采用BEV拼接，近期有token对齐或查询式端到端；鲁棒性对传感器缺失敏感 |
| 闭环基准 (Closed-Loop Benchmark) | 系统输出影响后续状态的仿真评估（如DriveE2E），相对开环指标更贴近实车 | 开环高分不保证闭环安全；sim2real差距仍大 |
| 规划与决策 (Planning and Decision-Making) | 基于预测生成安全、舒适、合规的轨迹与行为选择 | 与预测任务边界模糊；传统优化与学习式规划并存 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期自动驾驶以规则与经典优化为主的模块化流水线，感知多依赖手工特征与LiDAR点云。深度学习推动相机3D检测、BEV统一表征与多任务感知，显著提升开环指标。近年端到端范式兴起，从模仿学习到可微分规划与多模态大模型，试图联合优化全链路，并引入视觉语言与闭环评估。安全、可解释与数据效率成为新焦点，从开环检测向闭环驾驶与实时流式系统迁移。
- (2018) foundational — Planning and Decision-Making for Autonomous Vehicles
- (2020) foundational — A Survey of Autonomous Driving: Common Practices and Emerging Technologies
- (2020) foundational — Deep Learning for Safe Autonomous Driving: Current Challenges and Future Directions
- (2020) watch — A Survey of End-to-End Driving: Architectures and Training Methods
- (2021) watch — Autonomous Driving Architectures: Insights of Machine Learning and Deep Learning Algorithms
- (2022) watch — 3D Object Detection for Autonomous Driving: A Survey
- (2022) recent — Milestones in Autonomous Driving and Intelligent Vehicles: Survey of Surveys
- (2022) watch — A Review on Autonomous Vehicles: Progress, Methods and Challenges
- (2023) recent — Autonomous driving system: A comprehensive survey
- (2024) watch — Real-time Stereo-based 3D Object Detection for Streaming Perception
- (2024) needs-review — OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving
- (2024) recent — Path planning algorithms in the autonomous driving system: A comprehensive review
- (2024) recent — Vision Language Models in Autonomous Driving: A Survey and Outlook
- (2024) recent — End-to-End Autonomous Driving: Challenges and Frontiers
- (2025) watch — DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
- (2025) watch — A Survey on End-to-end Perception and Prediction for Autonomous Driving
- (2025) watch — Review of: “Don’t Shake the Wheel: Momentum-Aware Planning in End-to-End Autonomous Driving”
- (2025) needs-review — GTRS: Generalized Trajectory Scoring for End-to-end Multimodal Planning
- A Survey of Autonomous Driving: Common Practices and Emerging Technologies（精读）— 2020 foundational综述，系统梳理通用实践与新兴技术，建立整体架构与术语基础
- End-to-End Autonomous Driving: Challenges and Frontiers（精读）— 2024 TPAMI综述，聚焦E2E挑战与前沿方向，覆盖架构、训练与安全问题
- Planning and Decision-Making for Autonomous Vehicles（仅书目）— 2018 foundational，奠定规划与决策经典框架，与后续学习式方法对比必要
推荐阅读路径
Section titled “推荐阅读路径”- 先读2020 Survey of Autonomous Driving建立模块化与整体架构共识
- 再读Planning and Decision-Making理解经典规划与决策问题定义
- 接着精读End-to-End Autonomous Driving: Challenges and Frontiers把握范式变迁与开放问题
- 结合Vision Language Models in Autonomous Driving与A Survey on End-to-end Perception and Prediction扩展多模态与联合感知预测
- 最后浏览近期watch论文（OpenEMMA、DriveE2E等）了解E2E与闭环新方向，并对照子分支笔记
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| A Survey of Autonomous Driving: Common Practices and Emerging Technologies | 传感器数据与系统级描述 | 架构分类与技术趋势综述 | 模块化流水线为主 | 总结实践与新兴技术 |
| End-to-End Autonomous Driving: Challenges and Frontiers | 原始传感器或多模态特征 | 轨迹/控制指令或中间可解释输出 | 端到端网络或混合架构 | 联合优化驾驶性能与安全挑战 |
| Planning and Decision-Making for Autonomous Vehicles | 感知与预测结果 | 安全轨迹与行为决策 | 优化/搜索/规则或混合 | 合规舒适安全规划 |
| DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation | — | 闭环驾驶性能评估 | — | Real-to-Sim闭环基准构建 |
工程实现与复现风险
Section titled “工程实现与复现风险”- 模块接口误差累积导致规划失败与安全隐患
- 端到端黑箱可解释性与责任界定困难
- 开环指标与闭环实车性能差距（sim2real）
- 长尾场景与传感器退化下的鲁棒性不足
- 实时延迟与计算资源约束影响流式感知
- 数据集偏差导致泛化失败与过度拟合特定城市
- 如何有效融合模块化可解释性与端到端性能优势？
- 闭环基准如何更好对齐实车安全与法规要求？
- 视觉语言模型在驾驶决策中的可靠 grounding 与幻觉控制？
- 多模态在极端传感器缺失下的退化策略？
- 大规模E2E训练的数据效率与稀有事件覆盖？
Topic 自测清单
Section titled “Topic 自测清单”- 模块化流水线与端到端自动驾驶的主要优缺点分别是什么？请结合误差传播与可解释性说明。
- BEV表征在多相机/多模态感知中的核心优势是什么？常见生成方式有哪些差异？
- 为什么开环检测指标高分不必然对应闭环驾驶安全？请举出可能原因。
- 流式感知（Streaming Perception）与传统离线3D检测在评估上有何关键区别？
- 从本Topic给出的综述看，规划与决策领域从经典方法到学习式方法的主要范式转变体现在哪些方面？
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 18 篇（foundational/recent/watch 见 papers.yml）。
子 Topic
Section titled “子 Topic”论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 1 · 待获取 PDF 2）
Section titled “基础必读（选题 3 · 可学习 1 · 待获取 PDF 2）”- A Survey of Autonomous Driving: Common Practices and Emerging Technologies (2020) · 固定 · 中文笔记
- Planning and Decision-Making for Autonomous Vehicles (2018) · 待获取 PDF
- Deep Learning for Safe Autonomous Driving: Current Challenges and Future Directions (2020) · 待获取 PDF
近期重要（选题 5 · 可学习 0 · 待获取 PDF 5）
Section titled “近期重要（选题 5 · 可学习 0 · 待获取 PDF 5）”本档尚无可学习正文（PDF/中文笔记）；下列为待获取选题。
- End-to-End Autonomous Driving: Challenges and Frontiers (2024) · 待获取 PDF
- Path planning algorithms in the autonomous driving system: A comprehensive review (2024) · 待获取 PDF
- Autonomous driving system: A comprehensive survey (2023) · 待获取 PDF
- …另有 2 篇待获取 PDF
观察清单（选题 8 · 可学习 5 · 待获取 PDF 3）
Section titled “观察清单（选题 8 · 可学习 5 · 待获取 PDF 3）”- 3D Object Detection for Autonomous Driving: A Survey (2022) · 中文笔记
- DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation (2025) · 中文笔记
- Real-time Stereo-based 3D Object Detection for Streaming Perception (2024) · 中文笔记
- Review of: “Don’t Shake the Wheel: Momentum-Aware Planning in End-to-End Autonomous Driving” (2025) · 中文笔记
- A Survey on End-to-end Perception and Prediction for Autonomous Driving (2025) · 中文笔记
- Autonomous Driving Architectures: Insights of Machine Learning and Deep Learning Algorithms (2021) · 待获取 PDF
- A Review on Autonomous Vehicles: Progress, Methods and Challenges (2022) · 待获取 PDF
- A Survey of End-to-End Driving: Architectures and Training Methods (2020) · 待获取 PDF
聚合内容（子树）
Section titled “聚合内容（子树）”关联 Topic
Section titled “关联 Topic”成熟度 developing · 内容数 112 · 论文池 16