模仿学习与离线学习
模仿学习与离线学习
Section titled “模仿学习与离线学习”从专家数据学习策略的模仿学习与离线强化学习方法。
类型 Topics · 更新 2026-07-20
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本Topic聚焦自动驾驶与具身智能场景下的模仿学习（Imitation Learning）与离线强化学习（Offline RL）。核心解决如何仅从固定专家演示或日志数据集中学习可靠驾驶/控制策略，克服纯行为克隆（Behavior Cloning）的协变量偏移、误差累积与稀有事件覆盖不足问题。结合Dataset Aggregation等数据聚合、多任务辅助、层次模型、生成对抗式模仿及扩散策略等方法，提升闭环表现与样本效率。覆盖nuPlan、NAVSIM等数据集上的端到端控制与交通行为学习，衔接在线RL与纯规划范式，为安全、可扩展的离线策略获取提供方法基础与评估视角。
非目标 / 边界
Section titled “非目标 / 边界”- 在线强化学习中的主动探索与环境交互数据收集
- 纯基于规则或模型预测控制的规划系统细节
- 端到端感知中的重建、检测或建图算法实现
- 具身导航中细粒度主动实例验证基准的完整构建细节
foundations— 需掌握监督学习基本原理与自动驾驶感知-决策基本流程reinforcement-learning— 理解RL与IL的关系、价值估计及offline设定差异ad-end-to-end-driving— 提供端到端驾驶上下文与常见基准场景
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| Behavior Cloning | 将专家状态-动作对作为监督学习目标直接拟合策略的模仿学习基本方法 | 常与交互式模仿学习或offline RL混淆，忽略分布偏移 |
| Offline RL | 仅使用预先收集的固定数据集学习策略，无需在线交互 | 与在线RL及纯BC的区别在于是否利用奖励/价值估计与约束 |
| Dataset Aggregation | 通过查询专家或聚合新数据来缓解协变量偏移的交互式模仿学习框架 | 常简称为DAgger，易与纯离线数据增强混淆 |
| Covariate Shift | 训练专家分布与闭环部署策略诱导分布不匹配导致性能下降 | 与概念漂移或单纯过拟合不同，特指状态分布偏移 |
| Diffusion Policy | 用扩散模型建模动作分布的视觉-运动模仿学习策略表示 | 易与生成模型用于数据增强混淆，核心是动作去噪过程 |
| Generative Adversarial Imitation Learning | 通过对抗方式匹配专家状态-动作占用度量的模仿学习方法 | 与标准GAN及BC的区别在于直接优化占用而非逐动作监督 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期端到端驾驶以纯Behavior Cloning直接映射感知到控制为主，面临闭环偏移。随后引入合成最差案例、层次模型与多任务辅助缓解稀有事件与误差累积。近年扩散策略与score-based方法更好建模多模态动作，offline RL则系统利用大规模日志数据并引入约束与价值函数。范式从单纯监督学习转向分布匹配、数据聚合与离线价值估计的混合框架。
- (2018) foundational — Agile Autonomous Driving using End-to-End Deep Imitation Learning
- (2019) foundational — ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
- (2019) watch — Exploring the Limitations of Behavior Cloning for Autonomous Driving
- (2020) watch — Learning to Drive by Imitation: An Overview of Deep Behavior Cloning Methods
- (2021) recent — Multi-task Learning with Attention for End-to-end Autonomous Driving
- (2021) recent — Deep Reinforcement Learning for Autonomous Driving: A Survey
- (2021) recent — Learning for a Robot: Deep Reinforcement Learning, Imitation Learning, Transfer Learning
- (2022) watch — Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving
- (2023) foundational — Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
- (2023) watch — VIPeR: Provably Efficient Algorithm for Offline RL with Neural Function Approximation
- (2023) recent — A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems
- (2023) recent — Goal-Conditioned Imitation Learning using Score-based Diffusion Policies
- (2024) watch — Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
- (2025) watch — DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
- (2025) watch — Pseudo-Expert Regularized Offline RL for End-to-End Autonomous Driving in Photorealistic Closed-Loop Environments
- (2026) watch — PInVerify: An Offline Embodied Benchmark for Active Instance Verification
- Exploring the Limitations of Behavior Cloning for Autonomous Driving（精读）— 系统剖析 BC 在驾驶中的协变量偏移、闭环退化与数据覆盖边界
- Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning（精读）— 从 horizon / compounding error 理解模仿学习何时够用、何时必须引入交互或离线 RL
- ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst（待获取 PDF）— 合成最差案例改进 BC 的奠基工作；PDF/精读齐备前作扩展书目
推荐阅读路径
Section titled “推荐阅读路径”- 先读Behavior Cloning局限性与概述类工作，明确协变量偏移与horizon问题
- 精读ChauffeurNet与Agile End-to-End Deep Imitation Learning，掌握改进BC的经典范式
- 阅读Offline RL综述与VIPeR等，建立离线价值估计与约束视角
- 学习Diffusion Policy与Goal-Conditioned变体，理解多模态动作建模
- 对比多任务注意力、层次模型与DecompGAIL等近期驾驶/交通应用，结合nuPlan与NAVSIM思考
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst | 感知输入与地图等 | 驾驶控制动作 | — | 模仿最优并合成最差案例以改进BC闭环 |
| Diffusion Policy: Visuomotor Policy Learning via Action Diffusion | 视觉观测 | 连续动作序列 | 动作扩散模型 | 通过去噪过程学习视觉运动策略 |
| Multi-task Learning with Attention for End-to-end Autonomous Driving | 图像等视觉 | 控制信号与辅助任务输出 | 多任务注意力网络 | 在条件模仿学习框架下提升场景表示与稀有事件反应 |
| Exploring the Limitations of Behavior Cloning for Autonomous Driving | — | — | — | 系统分析BC在自动驾驶中的局限 |
| Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning | — | — | — | 理解模仿学习中时域horizon的影响 |
工程实现与复现风险
Section titled “工程实现与复现风险”- 行为克隆闭环部署时的协变量偏移导致累积误差与失败
- 离线数据集对稀有事件与长尾场景覆盖不足
- 长时域horizon下误差放大与策略退化
- 多任务或扩散策略训练稳定性与推理延迟
- 仿真/日志数据到真实闭环迁移的分布差异
- 如何有效融合Behavior Cloning与Offline RL的约束与价值估计
- 扩散策略在驾驶长时域与多模态交互中的可扩展性
- 分解式多agent GAIL如何生成更真实交通行为
- horizon理解如何指导BC与交互式方法选择
- 伪专家正则化offline RL在逼真闭环环境中的鲁棒性
Topic 自测清单
Section titled “Topic 自测清单”- Behavior Cloning的核心假设是什么，为什么在自动驾驶闭环中容易失效？
- Offline RL与纯Imitation Learning的主要区别体现在哪些方面？
- Dataset Aggregation（DAgger）如何缓解协变量偏移？简述其基本思路。
- Diffusion Policy相比传统确定性BC在动作表示上有何优势？
- ChauffeurNet中“imitating the best and synthesizing the worst”分别解决什么问题？
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 16 篇（foundational/recent/watch 见 papers.yml）。
论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 0 · 待获取 PDF 3）
Section titled “基础必读（选题 3 · 可学习 0 · 待获取 PDF 3）”本档尚无可学习正文（PDF/中文笔记）；下列为待获取选题。
- Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (2023) · 待获取 PDF
- ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst (2019) · 待获取 PDF
- Agile Autonomous Driving using End-to-End Deep Imitation Learning (2018) · 待获取 PDF
近期重要（选题 5 · 可学习 1 · 待获取 PDF 4）
Section titled “近期重要（选题 5 · 可学习 1 · 待获取 PDF 4）”- Multi-task Learning with Attention for End-to-end Autonomous Driving (2021) · 中文笔记
- Goal-Conditioned Imitation Learning using Score-based Diffusion Policies (2023) · 待获取 PDF
- A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems (2023) · 待获取 PDF
- Deep Reinforcement Learning for Autonomous Driving: A Survey (2021) · 待获取 PDF
- …另有 1 篇待获取 PDF
观察清单（选题 8 · 可学习 6 · 待获取 PDF 2）
Section titled “观察清单（选题 8 · 可学习 6 · 待获取 PDF 2）”- VIPeR: Provably Efficient Algorithm for Offline RL with Neural Function Approximation (2023) · 中文笔记
- Pseudo-Expert Regularized Offline RL for End-to-End Autonomous Driving in Photorealistic Closed-Loop Environments (2025) · 中文笔记
- PInVerify: An Offline Embodied Benchmark for Active Instance Verification (2026) · 中文笔记
- Exploring the Limitations of Behavior Cloning for Autonomous Driving (2019) · 精读
- Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning (2024) · 精读
- DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning (2025) · 中文笔记
- Learning to Drive by Imitation: An Overview of Deep Behavior Cloning Methods (2020) · 待获取 PDF
- Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving (2022) · 待获取 PDF
成熟度 developing · 内容数 17 · 论文池 16