Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive
Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive
Section titled “Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 基准、评测与安全 · 自动驾驶数据集、基准与评测
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: benchmark-eval-safety · Tier: recent · Year: 2026 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~50 分钟
Paper: https://arxiv.org/abs/2605.00066
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”自动驾驶规划器评估中，开环快但可复现性高，闭环是金标准却昂贵高方差。本文系统交叉对照NAVSIM与Bench2Drive上15个SOTA方法的结果，量化安全感知开环指标（尤其PDMS及子指标）对闭环Driving Score的预测力，揭示安全-进度权衡与排序反转，并提出更简单的3指标代理，对高效可靠评估协议设计与指标选择极具参考价值。
NAVSIM的PDMS与Bench2Drive DS呈强正相关但非单调（Spearman ρ=0.90，n=8），Ego Progress是最强单预测因子，简化CL-Proxy=NC×DAC×EP可匹配全PDMS的预测力，安全-进度权衡与雪球效应导致残差差距。
开环评估（尤其传统ADE/FDE）能否可靠预测闭环驾驶表现？近期NAVSIM引入的安全感知、规则式子指标与聚合PDMS/EPDMS是否能弥合开环-闭环差距？需系统交叉基准相关性分析来回答。
开环 vs 闭环评估差异、轨迹预测/规划指标（ADE/FDE/L2）、NAVSIM的PDMS/EPDMS及子指标（NC、DAC、TTC、EP、Comfort等）、Bench2Drive/CARLA的Driving Score与Success Rate、Spearman秩相关、端到端自动驾驶规划器基本概念。
- 系统交叉引用15个同时报告NAVSIM与Bench2Drive结果的SOTA方法，构建配对数据集（完整配对n=8）。
- 证明NAVSIM聚合PDMS与Bench2Drive DS呈强正但非单调相关（ρ=0.90），并存在由安全-进度权衡引起的排序反转。
- 识别Ego Progress（EP）为最强单子指标闭环预测因子（ρ=0.83），显著优于碰撞指标NC（ρ=0.45）。
- 提出简化闭环代理CL-Proxy=NC×DAC×EP，在配对样本上达到与完整5指标PDMS相同的ρ=0.90，表明当前SOTA中TTC与Comfort边际信息有限；并指出雪球效应作为残差差距的候选机制。
- 系统交叉引用SparseDriveV2、SafeDrive、Hydra-NeXt、WoTE、VADv2、DriveSuprim等论文表格，提取NAVSIM PDMS/EPDMS/子指标与Bench2Drive DS/SR，严格匹配模型配置，排除配置漂移方法，得到完整配对n=8；2. 计算Spearman相关与p值，对比传统L2、PDMS及各子指标与DS的关系；3. 分析排序反转与安全-进度权衡；4. 构造并验证简化CL-Proxy；5. 讨论结构差异（反应性、误差累积、慢行惩罚、控制转换）与雪球效应。
关键模块和设计取舍
Section titled “关键模块和设计取舍”非算法模块论文，核心为分析设计：数据收集与配置匹配政策（优先同论文或已文档化一致配置的第三方汇总）；相关性与排序分析；安全-进度权衡诊断（高安全低进度在开环高分但闭环因超时/慢行惩罚掉分）；CL-Proxy简化（乘性惩罚门NC×DAC再乘EP，去掉接近饱和的TTC/Comfort）；结构差异对照（NAVSIM非反应回放单段4s轨迹 vs Bench2Drive反应式全程执行+控制转换+慢行惩罚）。取舍：优先Bench2Drive协议（DS更高且多数近期工作采用），承认小样本与潜在配置混淆。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”开环：NAVSIM（PDMS = NC×DAC×(5·TTC+2·C+5·EP)/12；EPDMS扩展惩罚门与加权项）；子指标含NC（无责碰撞）、DAC（可行驶区域）、TTC、EP（自车进度）、Comfort等。闭环：Bench2Drive（CARLA，220短路线，44交互场景；DS为路径完成率与违规惩罚乘积，SR为无违规成功率；优先Bench2Drive协议，对慢行更宽松）。配对完整数据n=8方法（UniAD、Hydra-MDP、WoTE、Hydra-NeXt、SafeDrive、VADv2、SparseDriveV2、DriveSuprim等）；传统L2对照n=7。指标：Spearman ρ与p值，排序位置变化。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”传统L2与DS无相关甚至负相关（ρ=-0.36，n=7）。NAVSIM PDMS与Bench2Drive DS强正相关（Spearman ρ=0.90，p=0.002，n=8），但非单调且有排序反转（如SafeDrive PDMS第3但DS第5；DriveSuprim PDMS第1但DS非第1）。子指标中EP最强单预测（ρ=0.83），DAC 0.71、TTC 0.59、NC 0.45；聚合PDMS略高于EP alone。CL-Proxy=NC×DAC×EP在相同n=8上达ρ=0.90，与全PDMS持平，提示TTC/Comfort在当前SOTA接近饱和时边际贡献小。安全最大化牺牲进度的方法在开环排名高但闭环因超时/慢行掉分。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”配对样本量小（n=8），统计功效与泛化受限；可能存在配置/训练数据/骨干网络漂移（虽已尽量匹配）；EPDMS配对更不完整；结构差异（非反应 vs 反应、单段 vs 全程误差累积、无/有慢行惩罚、轨迹 vs 控制转换）导致系统性偏差；残差差距归因于雪球效应等机制仍为候选；仅覆盖当前报告双基准的SOTA，对更多架构或未来方法待验证。摘录未完整给出§7讨论细节。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”前序：Dauner et al. 证明传统ADE/FDE与闭环无可靠相关；Li et al. 显示开环可被仅用自车状态的简单MLP轻易刷分；nuPlan更整体但仍开环；Waymo团队显示同架构族内开环损失与闭环失败呈幂律但跨架构破裂。同期/相关：NAVSIM/NAVSIM v2引入安全感知乘性评分近似闭环语义；Bench2Drive提供标准化CARLA闭环；大量端到端规划器（UniAD、Hydra-MDP/NeXt、DiffusionDrive、VADv2、SparseDriveV2、SafeDrive、DriveSuprim等）同时报告双基准使交叉分析成为可能。本文填补“安全感知开环指标跨架构闭环预测力”的系统量化空白。
官方代码与复现建议
Section titled “官方代码与复现建议”论文摘录中未提及官方代码或数据仓库；工作为已发表结果的交叉汇总与统计分析，复现需自行从引用论文（SparseDriveV2、SafeDrive、Hydra-NeXt、VADv2、DriveSuprim等）提取对应表格数字，严格匹配配置，计算Spearman相关。建议优先使用Bench2Drive标准协议数字，并注意开环-闭环配置一致性。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Figure 1建立核心问题与三发现；再读§1 Introduction与Contributions；§3 Background熟悉PDMS/EPDMS公式与Bench2Drive DS/SR及协议差异；§4 Data Collection与Tables 1-4掌握配对数据；§5 Analysis（传统指标、PDMS相关、子指标、排序反转、权衡）；§6 CL-Proxy；最后Related Work与Limitations/雪球效应。表4与图1是关键证据。
- Q: 传统开环L2/ADE/FDE与Bench2Drive DS的相关性如何？ A: 无可靠相关甚至负相关（图1a给出ρ=-0.36，n=7），且可被无场景理解的简单方法刷分。
- Q: NAVSIM PDMS与Bench2Drive DS的Spearman相关及样本数是多少？是否完全单调？ A: ρ=0.90，p=0.002，n=8；强正但非单调，存在排序反转（如SafeDrive）。
- Q: 哪个NAVSIM单子指标对闭环DS预测最强？其ρ与NC对比如何？ A: Ego Progress（EP）ρ=0.83，显著高于NC的ρ=0.45；DAC 0.71、TTC 0.59。
- Q: CL-Proxy公式是什么？预测力如何？ A: CL-Proxy = NC × DAC × EP；在n=8配对上达到与全PDMS相同的ρ=0.90，说明当前SOTA下TTC与Comfort边际信息有限。
- Q: 导致开环-闭环排序不一致的主要原因是什么？ A: 安全-进度权衡：过度保守（高安全低进度）在开环（无强慢行惩罚）得分高，但闭环因超时/慢行惩罚（p=0.70）及误差累积掉分；另有雪球效应与结构差异（反应性、控制转换等）。
- Abstract: the aggregate NAVSIM PDM Score shows a strong positive but non-monotonic correlation with Bench2Drive Driving Score (Spearman ρ = 0.90, p = 0.002), with clear ranking inversions; (2) among individual NAVSIM sub-metrics, Ego Progress (EP) is the strongest single predictor of closed-loop success (ρ = 0.83), substantially exceeding the safety-critical collision metric NC (ρ = 0.45); … a much simpler 3-metric formula (CL-Proxy = NC×DAC×EP) matches the predictive power of the full 5-metric PDMS at the same Spearman ρ=0.90 on our paired sample of n=8 methods
- Figure 1 caption (page 2): (a) Traditional L2 displacement shows no correlation with closed-loop Driving Score (n=7 paired methods… ρ=−0.36). (b) NAVSIM’s safety-aware PDMS shows strong positive correlation (n=8 paired methods)… (c) … Ego Progress (EP) is the strongest single predictor of closed-loop DS (ρ=0.83), substantially exceeding the collision metric NC (ρ=0.45).
- §1 Introduction / Contributions: 1. Compile a cross-benchmark paired dataset by systematically cross-referencing published results from 15 methods… yielding 8 complete paired data points (§4). 2. Show that NAVSIM’s safety-aware aggregate score (PDMS) exhibits positive but non-monotonic correlation with closed-loop DS, with clear ranking inversions caused by the safety–progress trade-off (§5.2). 3. Identify Ego Progress (EP) as the strongest individual sub-metric predictor… 4. Propose a simplified closed-loop proxy (CL-Proxy) using only 3 of the 5 PDMS sub-metrics…
- §3.1 / Eq. (1): PDMS = NC × DAC × (5 · TTC + 2 · C + 5 · EP) / 12 , where NC and DAC act as binary/ternary gates…
- Table 3 (page 4): Paired NAVSIM PDMS and Bench2Drive DS (n = 8). … UniAD 83.4 / 45.81; … SafeDrive 91.6 / 66.77; SparseDriveV2 92.0 / 89.15; DriveSuprim 93.5 / 83.02
- §5.1 / Ranking Inversion example (page 5): The most prominent ranking inversion involves SafeDrive. Among the 8 methods, SafeDrive ranks 3rd by PDMS (91.6) but only 5th by DS (66.77)—a two-position drop from open-loop to closed-loop ranking.
Discovery evidence
Section titled “Discovery evidence”- topic:
ad-datasets-benchmarks - sources:
arxiv,openalex - retrieved_at: 2026-07-20
- query: autonomous driving dataset benchmark protocol
- arxiv:
2605.00066 - score_total: 54
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Dri…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2605.00066] Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2605.00066] Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.3（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2026 |
| Authors | Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun |
| arXiv | 2605.00066 |
| DOI | — |
| Topics | benchmark-eval-safety, ad-datasets-benchmarks |
| Paper | https://arxiv.org/abs/2605.00066 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”benchmark-eval-safety: tier=recent rank=4 score=50 — auto refresh 2026-07-19 sources=arxivad-datasets-benchmarks: tier=recent rank=4 score=54 — auto refresh 2026-07-19 sources=arxiv,openalex
Extract excerpt
Section titled “Extract excerpt”Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun *†
Abstract jectory against ground truth, offers orders-of-magnitude faster turnaround and near-perfect reproducibility. Open-loop evaluation offers fast, reproducible assessment of au- The fundamental question is: Can open-loop metrics re- tonomous driving planners, but its ability to predict real closed-loop liably predict closed-loop driving performance? As illus-
arXiv:2605.00066v1 [cs.RO] 30 Apr 2026 driving performance remains questionable. Prior work has shown trated in Figure 1, the answer depends critically on which open- that traditional open-loop metrics such as Average Displacement Er- loop metric is used. ror (ADE) and Final Displacement Error (FDE) exhibit no reli- Prior work answers this question negatively for traditional able correlation with closed-loop Driving Score. In this paper, we metrics. Dauner et al. [2] demonstrated that ADE and FDE— ask whether the more recent, safety-aware open-loop metrics intro- the dominant open-loop metrics for trajectory prediction— duced by NAVSIM v2 can bridge this gap. By systematically cross- show no meaningful correlation with closed-loop driving qual- referencing published results from 15 state-of-the-art methods across