CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning
CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning
Section titled “CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: ad-datasets-benchmarks · Tier: recent · Year: 2026 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~50 分钟
Paper: https://arxiv.org/abs/2605.15120
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”针对端到端规划中「单轨迹模仿训练 vs 规则化规划指标评估」的系统性错配，尤其对 proposal-selection 规划器同时受限于候选覆盖与排序质量的问题，提出可部署时无需评估器的闭环价值估计与保守自蒸馏框架，并在 NAVSIM 系基准上报告 SOTA 级结果，兼具方法与「不完美 scorer 何时可用」的理论条件。
CLOVER 用评估器过滤的伪专家做集级覆盖监督，再以真子分数拟合 scorer 并对生成器做 top-k/向量帕累托 + 稳定性正则的保守闭环自蒸馏，从而同时抬高候选集覆盖与排序质量。
端到端规划器常被训练为模仿单条 logged 人类轨迹，却用规则规划指标（安全、可行、进度、舒适等，如 NAVSIM PDMS/EPDMS）评估；靠近示范的轨迹仍可能违规，远离示范的轨迹反而可能高分。该错配对 proposal-selection 规划器尤为关键：最终性能同时取决于生成器是否覆盖高质量备选，以及 scorer 能否正确选出它们。
端到端自动驾驶规划与轨迹表示；proposal-selection / 多模态轨迹生成；模仿学习与蒸馏；规则规划指标（PDMS/EPDMS 等子分数合成）；Transformer 轨迹查询与视觉编码器（文中实例为 DINOv2+LoRA）；可选：帕累托支配、集级覆盖损失的基本概念。
- 提出 CLOVER：耦合候选生成与轨迹级价值估计/排序的闭环框架（部署时不依赖评估器）。
- 引入评估器过滤的伪专家轨迹与集级覆盖监督，将单轨迹模仿扩展为多模态候选集训练，提升候选集质量与 oracle 上界。
- 提出保守闭环自蒸馏：交替用真规划子分数拟合 scorer，并以教师 top-k 与向量帕累托目标 + 稳定性正则精炼生成器。
- 分析不完美 scorer 在「选定集相对真评估器富集」条件下可可靠引导生成器，并经验验证 Stage-2 提升质量且保持多样性。
推理：多视角图像+自车状态 → 场景编码 → 生成器产出 K 条候选轨迹 → 轨迹级 scorer 预测规划子分数 → 按官方 PDMS 规则合成后 argmax 选最终轨迹（EPDMS 可选用锚点软重排）。训练两阶段：Stage1 用评估器过滤的伪专家做集级覆盖（保留 logged 先验）并预训练 scorer；Stage2 交替（1）在当前生成提案上用真子分数拟合 scorer；（2）冻结教师提案，用 scorer 构造 top-k 与向量帕累托目标，对学生生成器做集级覆盖蒸馏并加稳定性项，避免对不完美标量奖励无约束最大化。
关键模块和设计取舍
Section titled “关键模块和设计取舍”（1）轻量 generator–scorer：DINOv2-Small+LoRA 视觉编码 + Transformer 轨迹查询生成 K 候选（默认 K=64，4s、0.5s 间隔、T=8 位姿）；scorer 对轨迹 waypoint 嵌入并与场景 token 交互，预测碰撞/可行驶区/TTC/进度/舒适等子分数。（2）Stage1 伪专家：基于路线中心线、可行驶区、未来占据等训练特权信息，构造横向偏移、加减速、停走、边界等候选族，预过滤后由评估器打分并做覆盖感知/阈值点采样得到至多 M 条；损失= Lgt（logged）+ Lpe（伪专家覆盖）+ Lscore。（3）Stage2：Lcritic 拟合真子分数；Lgen= λtraj Lgt + top-k 集覆盖 + 向量帕累托集覆盖 + 相对教师的稳定性 L1；帕累托在预测子分数空间上非支配。（4）可选锚点软重排：单模态模仿锚点作时间稳定参考，对近平局高分候选加位置/航向偏差连续惩罚，服务 EPDMS 扩展舒适项。取舍：不用在线 RL 试错，而用离线评估器反馈；用保守蒸馏而非直接最大化 learned reward，以防 scorer 漏洞与多样性崩溃。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”评估：NAVSIM（含 v1、v2 EPDMS）、更具挑战的 NavHard 划分，以及补充的 nuScenes 开环评估。指标：PDMS、EPDMS（含扩展舒适等）；nuScenes 上的 L2 误差与碰撞率。训练/分析使用规则评估器 E 给出真子分数；伪专家与蒸馏仅训练期使用。实现细节与附录中的 PDMS/EPDMS 定义、伪专家生成规则、锚点公式等摘录中指向 Appendix A/B/C/E，正文未完整展开。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”据摘要与引言：在 NAVSIM 上达到 94.5 PDMS 与 90.4 EPDMS，称建立新的 SOTA；在 NavHard 上获得 48.3 EPDMS，匹配已报道最强结果；在 nuScenes 开环上，在对比方法中取得最低 L2 误差与碰撞率。分析称同时提升提案质量与多样性，增益来自更强候选分布而非仅 top-1 选择。完整对比表与消融细节不在本摘录内，其余数值待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”非强化学习：无环境交互与试错，反馈完全离线、基于 logged 场景与规则评估器。Scorer 全局不完美时依赖「选定集在真评估器下富集」与保守更新（稳定性项控制偏离）；直接最大化 imperfect score 可能利用漏洞或损害多样性，故采用 top-k/帕累托+稳定项。EPDMS 扩展舒适依赖跨帧一致性，单轨迹 scorer 可能近平局抖动，故可选锚点软重排（非硬阈值）。伪专家依赖训练期特权 metric-cache（路线、地图、未来占据），推理不需要。摘录未系统罗列失败场景与计算开销边界，更多局限待全文核验。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”相对纯模仿的 E2E 规划（多视角/Transformer/BEV/查询等）：显式用评估器反馈做轨迹级价值估计并精炼候选分布。相对多模态/提案选择（Hydra-MDP、VADv2 离散词表；DiffusionDrive、GoalFlow 生成式；iPad 在线精炼等）：用评估器过滤伪专家做集级覆盖，缓解单 logged 监督导致的覆盖不足。相对学习代价/排序模块：将 scorer 作为闭环价值估计器，在真子分数上拟合并以保守目标引导生成器。相对 RL/actor-critic（如 Evadrive）：表面类似「提案+评价」，但无在线交互，定位为离线评估器引导的排序与提案精炼框架。
官方代码与复现建议
Section titled “官方代码与复现建议”摘要声明代码与生成数据将发布于 https://github.com/WilliamXuanYu/CLOVER。复现建议（据摘录）：按 Stage1→Stage2 两阶段协议；实现 DrivoR 风格 generator–scorer、K=64、伪专家生成与评估器子分数监督；Stage2 交替 scorer 拟合与教师 top-k/向量帕累托蒸馏并开稳定性项；EPDMS 可按 Appendix C 做锚点软重排。官方评估器与 NAVSIM/NavHard 协议需与论文一致；无代码时以「待来源核验」核对超参与附录细节。
推荐阅读顺序
Section titled “推荐阅读顺序”先读 Abstract 与 Fig.1/引言（错配问题与双阶段动机）→ §3.1 提案-打分形式化与架构 → §3.2 Stage1 伪专家覆盖 → §3.3 Stage2 保守自蒸馏（top-k/帕累托/稳定）→ §3.4 推理与可选锚点 → §4 选定集富集定理（理解为何 imperfect scorer 可用）→ §2 Related Work 定位 → 再补附录 A/B/C/D/E 与实验表（本摘录未全含）。
- Q: CLOVER 认为 proposal-selection 规划器的最终性能主要受哪两个耦合因素约束？ A: 生成器是否覆盖高质量备选轨迹，以及 scorer/ranker 能否正确识别并选出它们。
- Q: Stage1 的伪专家是简单对 logged 轨迹加噪吗？如何构造？ A: 不是。基于训练期特权信息（路线中心线、可行驶区、未来占据等）从横向偏移、加减速、停走、边界等可解释候选族生成，经预过滤与评估器打分，再按覆盖策略/阈值点采样得到集；推理时不需要。
- Q: Stage2 为何不用对 learned 标量分数做无约束最大化？ A: 直接最大化不完美 scorer 可能利用 scorer 错误或导致多样性崩溃；故用教师 top-k 与向量帕累托集级覆盖，并加相对教师的稳定性正则，做保守蒸馏。
- Q: 定理「选定集富集」要求 scorer 全局完美吗？可靠条件是什么？ A: 不要求。只需 scorer 选出的目标集在真评估器下比当前提案分布更富集高分轨迹，且更新足够保守（αξ>η），则高分区概率质量可提升。
- Q: 摘要报告的 NAVSIM 与 NavHard 主要数字是什么？代码地址？ A: NAVSIM：94.5 PDMS、90.4 EPDMS（称 SOTA）；NavHard：48.3 EPDMS（匹配最强报道）；代码/生成数据：https://github.com/WilliamXuanYu/CLOVER。
- Abstract / page 1: On NAVSIM, CLOVER achieves 94.5 PDMS and 90.4 EPDMS, establishing a new state-of-the-art performance. On the more challenging NavHard split, it obtains 48.3 EPDMS, matching the strongest reported result. … Code and generated data will be released at https://github.com/WilliamXuanYu/CLOVER.
- Abstract / page 1: CLOVER follows a lightweight generator–scorer formulation: a generator produces diverse candidate trajectories, and a trajectory-level scorer predicts planning-metric sub-scores to rank them at inference time. … constructs evaluator-filtered pseudo-expert trajectories and trains the generator with set-level coverage supervision. It then performs conservative closed-loop self-distillation
- Introduction / page 2: Their final performance is constrained by two coupled factors: whether the generator covers high-quality alternatives, and whether the scorer can identify them.
- §3.3 / page 6: The top-k term concentrates probability mass on high-scoring proposals, the vector-Pareto term preserves safety–progress–comfort trade-offs, and the stability term keeps refinement conservative by discouraging drift away from the teacher proposal distribution.
- §4 Theorem 1 / page 7: Assume that the scorer-selected target set is enriched with true high-score trajectories: qt(o) ≥ pt(o) + ξt(o), ξt(o) > 0. … Then pt+1(o) ≥ pt(o) + αt ξt(o) − ηt(o). Therefore, if αt ξt(o) > ηt(o), Stage-2 refinement increases the probability mass assigned to high-score trajectories.
- §2.4 / page 4: CLOVER is not a reinforcement learning method. … CLOVER operates offline on logged driving scenes; all feedback is computed from generated candidate trajectories using a rule-based planning evaluator, and no online environment interaction or exploration is performed.
Discovery evidence
Section titled “Discovery evidence”- topic:
ad-datasets-benchmarks - sources:
arxiv - retrieved_at: 2026-07-20
- query: autonomous driving dataset benchmark protocol
- arxiv:
2605.15120 - score_total: 63
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- CLOVER: Closed-Loop Value Estimation & Ranking for End-to-End Autonomous Driving Planning …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2605.15120] CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2605.15120] CLOVER: Closed-Loop Value Estimation & Ranking for End-to-End Autonomous Driving Planning — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Drivi方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.9（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2026 |
| Authors | — |
| arXiv | 2605.15120 |
| DOI | — |
| Topics | ad-datasets-benchmarks |
| Paper | https://arxiv.org/abs/2605.15120 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”ad-datasets-benchmarks: tier=recent rank=1 score=63 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”CLOVER: Closed-Loop Value Estimation & Ranking for End-to-End Autonomous Driving Planning
Sining Ang1,2 Yuguang Yang3,2 Canyu Chen4,2 Yan Wang2∗ 1 Department of Automation, University of Science and Technology of China 2 Institute for AI Industry Research, Tsinghua University
arXiv:2605.15120v2 [cs.RO] 15 May 2026 3 School of Electronic Information Engineering, Beihang University 4 National College for Excellent Engineers, Beihang University angsn@mail.ustc.edu.cn wangyan@air.tsinghua.edu.cn
Abstract End-to-end autonomous driving planners are commonly trained by imitating a single logged trajectory, yet they are evaluated by rule-based planning metrics that measure safety, feasibility, progress, and comfort. This creates a training–evaluation mismatch: trajectories close to the logged path may still violate planning rules, while alternative trajectories farther from the demonstration can remain valid and high-scoring. The mismatch is especially limiting for proposal-selection planners, whose performance depends on both candidate-set coverage and scorer ranking quality. We propose CLOVER, a Closed-LOop Value Estimation and Ranking framework for end-to-end autonomous driving