DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
Section titled “DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 自动驾驶数据集、基准与评测 · 自动驾驶预测、规划与控制 · 端到端驾驶 · 基准、评测与安全 · 仿真与合成数据 · 数据工程与数据闭环 · 强化学习 · 世界模型
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: ad-datasets-benchmarks · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2509.23922
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”首个基于CARLA的Real2Sim闭环E2EAD基准，通过高架基础设施视角与高保真数字孪生交叉口，将真实交通场景导入仿真，显著缩小模拟评估与真实道路测试的差距，并提供专家数据集与多基线评估，推动更贴近实际部署的E2E研究。
DriveE2E通过基础设施离线协同与Real2Sim，将15个真实交叉口数字孪生与800个动态交通场景导入CARLA，构建更真实的闭环端到端自动驾驶评估基准。
现有开环评估（如nuScenes）无法反映车辆-环境交互与实时决策；CARLA上主流闭环基准（如CARLA LB V2、Bench2Drive）依赖人工配置场景与交通参与者，与真实交通模式存在差距，限制了E2EAD算法的实际相关性与可部署性。
端到端自动驾驶（E2EAD）基础、开环与闭环评估区别、CARLA仿真器、模仿学习（IL）、Real2Sim概念、基础设施传感器与车辆传感器差异、数字孪生构建流程。
- 提出基于基础设施视角增强的Real2Sim框架，将真实交通元素与孪生交叉口资产导入CARLA，提升仿真真实感并更贴近真实测试需求。
- 构建15个城市交叉口的高保真数字孪生，并从超过100小时基础设施传感器数据中选取800个真实交通场景，覆盖多样驾驶行为、地理位置、天气与时段，忠实复现道路几何与环境结构。
- 建立综合闭环基准，评估UniAD、VAD、TCP、AD-MLP、MomAD等基线，并提供从数字孪生场景采集的专家数据集以支持模仿学习训练。
- 从高架基础设施多视角摄像头采集动态交通场景（3D检测+跟踪+多视图融合生成轨迹与3D框）；2. 构建静态交叉口数字孪生资产（HD地图导入RoadRunner精修、OpenStreetMap建筑、Blender对齐与外观配置）；3. 为每个场景指定ego车辆并配置nuScenes风格传感器；4. 将动态场景与孪生资产加载到CARLA形成孪生驾驶场景；5. 沿原始轨迹采集专家数据集；6. 在log-replay模式下进行闭环评估（ego由E2E模型控制，其他参与者按记录轨迹回放）。
关键模块和设计取舍
Section titled “关键模块和设计取舍”动态场景获取：高架多摄像头（枪机+鱼眼）全覆盖、交通灯信号、3D检测/跟踪与质量过滤，选择800场景覆盖8类驾驶行为等；静态资产：HD地图+卫星/街景精修道路拓扑、OSM建筑+外观匹配、手动交通灯，Blender统一导出符合CARLA格式；Ego指定：选择全程可见且行为多样代表的车辆，配置LiDAR/相机/雷达/IMU-GPS；闭环协议取舍：采用log-replay（非ego不反应）以保证大规模评估效率与真实行为保真，因反应式模型尚不成熟且密集交叉口易不稳定。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”15个北京高级别自动驾驶示范区交叉口数字孪生；超过100小时基础设施多视角视频；筛选800个动态场景（8种驾驶行为、6种天气、多种时段）；每个场景指定ego并采集专家演示数据（10Hz LiDAR点云、多视角RGB、雷达、GPS、3D框标注、状态、HD地图）；传感器配置类似nuScenes；评估采用模仿学习训练的多个经典E2E模型闭环表现。具体数值指标与详细实验设置在提供的摘录中未完全展开。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”待来源核验
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”当前采用简化log-replay闭环（非ego严格按记录轨迹行驶，不响应ego动作），无法充分评估真实交互；反应式行为模型尚不成熟，易产生不稳定或缺乏真实交互准则；静态资产与CARLA蓝图尺寸可能存在轻微不一致（已做标注调整）；仿真保真度为Medium；依赖特定15个交叉口与筛选后的高质量场景，泛化边界待进一步验证。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”开环评估（nuScenes等）限制长时程规划；现有CARLA闭环基准（Longest6、Safebench、CARLA LB V2、Bench2Drive）多为人工场景；MetaDrive/ScenarioNet等Real2Sim使用Panda3D低保真、车辆视角、几何为主而外观一致性低，且无标准化E2E基线；DriveE2E首次在CARLA上实现基础设施视角高保真外观一致的Real2Sim闭环E2E基准，并提供专家数据与多模型评估。
官方代码与复现建议
Section titled “官方代码与复现建议”推荐阅读顺序
Section titled “推荐阅读顺序”摘要与图1-2总览 → 引言（问题与动机） → 相关工作与Table 1对比 → 第3节方法（3.1动态获取→3.2静态构建→3.3 ego与传感器→3.4专家数据→3.5闭环评估） → 贡献总结 → 附录仿真-真实对比（若有）→ 实验与结果部分（摘录未完整提供）。
- Q: DriveE2E与传统CARLA闭环基准的主要区别是什么？ A: 传统基准依赖人工配置场景，DriveE2E通过Real2Sim将真实基础设施采集的动态交通与高保真数字孪生交叉口导入，提升真实感与一致性。
- Q: 为什么使用基础设施视角而非车辆视角进行Real2Sim？ A: 基础设施高架传感器视野更广、遮挡更少，能更全面地提取交通参与者，使ego可从任意新视角感知。
- Q: 当前闭环评估采用什么协议？有何取舍？ A: Log-replay模式（其他参与者按记录轨迹不反应）。取舍是为了大规模评估效率与保留真实行为保真度，因反应式模型尚不成熟。
- Q: 专家数据集如何构建与用途？ A: 在孪生场景中让指定ego沿原始轨迹行驶，以10Hz记录传感器数据、3D标注与状态，用于模仿学习训练E2E模型。
- Q: 论文评估了哪些基线模型？ A: UniAD、VAD、TCP、AD-MLP、MomAD。
- Abstract / page 1: we introduce a simple yet challenging closed-loop evaluation framework that closely integrates real-world driving scenarios into the CARLA simulator with infrastructure cooperation. Our approach involves extracting 800 dynamic traffic scenarios selected from a comprehensive 100-hour video dataset… and creating static digital twin assets for 15 real-world intersections
- Introduction / page 2-3: DriveE2E is the first CARLA-based, closed-loop benchmark for end-to-end autonomous driving grounded in a Real2Sim approach… we adopt the log-replay approach.
- Contributions / page 3: We establish a comprehensive closed-loop benchmark for E2EAD by evaluating several baselines, including UniAD Hu et al. (2023b), VAD Jiang et al. (2023), TCP Wu et al. (2022), AD-MLP Zhai et al. (2023), and MomAD Song et al. (2025).
- Table 1 / page 3: DriveE2E (Ours) CARLA Medium ! Inf. View High !
- Sec 3.5 / page 6: In our current implementation, we adopt the simplest form—log-replay mode—in which the ego vehicle is controlled by the E2EAD model, while all other agents follow their original recorded trajectories without responding to the ego’s actions.
Discovery evidence
Section titled “Discovery evidence”- topic:
ad-datasets-benchmarks - sources:
arxiv - retrieved_at: 2026-07-20
- query: autonomous driving dataset benchmark protocol
- arxiv:
2509.23922 - score_total: 60
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Pre-Print D RIVE E2E: C LOSED -L OOP B ENCHMARK FOR E ND - TO -E ND AUTON…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2509.23922] DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2509.23922] DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-t方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.6（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | — |
| arXiv | 2509.23922 |
| DOI | — |
| Topics | ad-datasets-benchmarks, ad-prediction-planning-control, ad-end-to-end-driving, benchmark-eval-safety, simulation-synthetic, data-engineering, reinforcement-learning, world-modeling, world-models |
| Paper | https://arxiv.org/abs/2509.23922 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”ad-datasets-benchmarks: tier=recent rank=2 score=60 — auto refresh 2026-07-19 sources=arxivad-prediction-planning-control: tier=watch score=55 — auto refresh 2026-07-18 sources=arxiv | promoted needs-review->watch for coverage fillad-end-to-end-driving: tier=watch rank=4 score=61 — auto refresh 2026-07-19 sources=arxivbenchmark-eval-safety: tier=foundational rank=1 score=60 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fillsimulation-synthetic: tier=recent rank=1 score=63 — auto refresh 2026-07-19 sources=arxivautonomous-driving: tier=watch rank=4 score=55 — auto refresh 2026-07-19 sources=arxivdata-engineering: tier=foundational rank=1 score=51 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fillreinforcement-learning: tier=watch rank=1 score=53 — auto refresh 2026-07-19 sources=arxivworld-modeling: tier=recent rank=5 score=49 — auto refresh 2026-07-19 sources=arxiv | promoted watch->recent for coverage fillworld-models: tier=foundational rank=1 score=60 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fill
Extract excerpt
Section titled “Extract excerpt”Pre-Print
D RIVE E2E: C LOSED -L OOP B ENCHMARK FOR E ND - TO -E ND AUTONOMOUS D RIVING THROUGH R EAL - TO - S IMULATION Haibao Yu1,2,5∗, Wenxian Yang2∗, Ruiyang Hao2,3∗, Chuanye Wang2∗, Jiaru Zhong2,4∗, Ping Luo1 , Zaiqing Nie2† 1 The University of Hong Kong 2 AIR, Tsinghua University 3 King’s College London 4 The Hong Kong Polytechnic University 5 Tuojing Intelligence yuhaibao94@gmail.com zaiqing@air.tsinghua.edu.cn
arXiv:2509.23922v1 [cs.CV] 28 Sep 2025 A BSTRACT
Closed-loop evaluation is increasingly critical for end-to-end autonomous driving. Current closed-loop benchmarks using the CARLA simulator rely on manually configured traffic scenarios, which can diverge from real-world conditions, limit- ing their ability to reflect actual driving performance. To address these limitations, we introduce a simple yet challenging closed-loop evaluation framework that closely integrates real-world driving scenarios into the CARLA simulator with infrastructure cooperation. Our approach involves extracting 800 dynamic traf- fic scenarios selected from a comprehensive 100-hour video dataset captured by high-mounted infrastructure sensors, and creating static digital twin assets for 15 real-world intersections with consistent visual appearance. These di