自动驾驶数据集与评测矩阵

自动驾驶数据集与评测矩阵

类型 笔记 · 更新 2026-07-17

标签 autonomous-driving

所属 自动驾驶数据集、基准与评测

排名与数据可用性具有时间性，执行复现前必须核对当前 benchmark 版本。

调研时间：2026-07-02。本文按“复现优先”而不是“绝对榜单第一”组织：优先收录近三年有论文、代码、权重、配置或官方实现线索的 SOTA/强基线。闭源榜单第一、私有数据训练、heavy ensemble 方案只作为背景，不作为本工作区优先复现目标。

1. 口径与使用方式

字段	含义
开源优先 SOTA	官方榜单、论文报告或挑战获胜方案中，代码/模型/配置可获取或明确承诺开源的方案。
强基线	不一定是当前榜单第一，但代码稳定、社区复现多、适合作为本地 smoke test 或迁移基线。
复现可行性	基于可获取的 KITTI、nuScenes mini 与单卡环境的常见状态判断。
指标风险	不同 benchmark 的指标不可混用；open-loop planning、non-reactive simulation、closed-loop simulation 的结论尤其不能直接互推。

建议阅读顺序：先看本文件确定“任务和数据集”，再回到方法谱系理解方法继承，最后阅读自动驾驶文献笔记。

2. 数据集总览

任务	常用开源数据集	主要指标	数据说明	复现建议
2D/3D detection	KITTI、nuScenes、Waymo Open Dataset、Argoverse 2 Sensor、ONCE	AP、mAP、NDS、APH	KITTI、nuScenes mini 已有	先 KITTI/mmdetection3d，再 nuScenes mini 多相机。
Multi-object tracking	nuScenes tracking、Waymo tracking、Argoverse 2 tracking	AMOTA、AMOTP、IDS、MOTA	仅 mini 不足	先验证 tracker/eval loop，不追指标。
BEV/occupancy	Occ3D-nuScenes/Waymo、OpenOccupancy、SemanticKITTI、nuScenes lidarseg	mIoU、IoU、RayIoU	未下载 occupancy labels	需单独补 Occ3D/OpenOccupancy。
Online HD map	nuScenes map、Argoverse 2、OpenLane、OpenLane-V2	mAP、Chamfer、OLS、TOP_ll/TOP_lt	nuScenes mini 有 maps，但非完整任务数据	可先读 MapTR/TopoMLP；正式跑需 full 数据。
Motion prediction	Waymo Open Motion、Argoverse 2 Motion、nuScenes prediction	minADE、minFDE、mAP、MissRate	未下载 Waymo/AV2 motion	MTR 需 Waymo Motion；不要用 nuScenes mini 替代。
Open-loop planning	nuScenes E2E、NAVSIM	L2、collision、PDMS、EPDMS	nuScenes mini 不足，NAVSIM 未下载	nuScenes mini 只做 dataloader/forward；NAVSIM 需另补。
Closed-loop planning	nuPlan、CARLA Leaderboard、Bench2Drive、Bench2Drive-R、nuPlan-R	Driving Score、Success Rate、closed-loop score	未下载	需要独立环境和数据，不与 nuScenes 共用。
VLM/LLM driving	DriveLM、Bench2Drive-VL、nuScenes-QA/Senna-style QA	QA accuracy、decision F1、closed-loop score	未下载 QA/模型权重	适合先读论文和 demo，训练门槛高。
World model/simulation	GAIA-1、DriveDreamer、World4Drive、SparseWorld、Bench2Drive-R	generation quality、planning score、closed-loop score	未下载	作为长期趋势跟踪，不是第一批复现对象。

3. 3D 检测与跟踪

数据集

• KITTI: 老牌 3D detection 入门数据，适合作为入门环境和 mmdetection3d 基线。
• nuScenes：1000 个 20s 场景，6 cameras、5 radars、1 lidar，常用于 camera-only/multi-modal 3D detection、tracking、map、E2E planning；论文与本机数据证据见关联笔记。
• Waymo Open Dataset: 大规模 lidar/camera 感知与 motion benchmark，指标体系与 nuScenes 不同。
• Argoverse 2: 包含 1000 个 Sensor sequences、20000 个 LiDAR sequences、250000 个 Motion Forecasting scenarios，适合长距感知和 motion。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
SparseBEV	2023	nuScenes camera-only 3D detection	论文报告 SOTA，代码开源	fully sparse detector，scale-adaptive attention、spatio-temporal sampling、adaptive mixing。	中；可作为 BEVFormer/Sparse4D 的外部对照。
Far3D	2023	Argoverse 2 / nuScenes surround-view 3D detection	论文报告 SOTA，代码开源	2D priors + 3D adaptive queries，面向 150m 长距检测。	中；若补 AV2，优先级升高。
Sparse4D v3	2023	nuScenes 3D detection/tracking	代码开源	sparse instance bank，把 detection 和 tracking 更紧密结合。	高；已 clone，适合 nuScenes mini smoke test。
VoxelNeXt	2023	nuScenes/Waymo/AV2 lidar detection/tracking	代码开源	fully sparse voxel detection，不做 sparse-to-dense 转换。	中；偏 LiDAR，不是当前视觉主线。
Range-view 3D detection	2024	Waymo / Argoverse 2 lidar detection	代码开源	重新评估 range-view，报告 Waymo range-view SOTA。	低到中；对 LiDAR 路线有参考价值。
CMT / SparseFusion	2023	nuScenes camera-lidar fusion	代码线索明确	用坐标编码或 sparse candidates 做跨模态融合。	中；需要完整 nuScenes camera+lidar。

复现建议：先用 KITTI 验证基础环境；再用 nuScenes mini 跑 DETR3D/PETR/Sparse4D 的 dataloader、forward、loss；Waymo/AV2/ONCE 不应在第一阶段下载。

4. Occupancy 与语义场景补全

数据集

• Occ3D: 基于 Waymo 和 nuScenes 生成 dense、visibility-aware occupancy labels，并提供 Occ3D-Waymo 与 Occ3D-nuScenes benchmark。
• OpenOccupancy: 常用于 nuScenes occupancy 任务，与 SurroundOcc/TPVFormer 等路线相关。
• SemanticKITTI / nuScenes lidarseg: 更偏 LiDAR semantic segmentation 或 occupancy-style scene understanding。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
CTF-Occ / Occ3D baseline	2023	Occ3D-Waymo / Occ3D-nuScenes	官方数据与 benchmark	coarse-to-fine occupancy，解决 voxel 语义和几何监督。	中；需下载 Occ3D labels。
SurroundOcc	2023	nuScenes / SemanticKITTI	代码和数据可用	2D-3D attention lift，多尺度 occupancy supervision。	中；适合 occupancy 入门。
OccGen	2024	多 occupancy benchmark	论文报告 SOTA	diffusion/noise-to-occupancy，生成式 coarse-to-fine refinement。	低到中；工程链路比 SurroundOcc 更复杂。
Sparse conv real-time occupancy	2024	nuScenes occupancy	代码视项目而定	用 sparse convolution 追求实时语义 occupancy。	低；先补 labels 再评估。

注意：occupancy 数据不等于 nuScenes 原始数据。nuScenes mini 不能直接跑 Occ3D/OpenOccupancy 指标，至少需要额外下载 occupancy labels 和对应 info 生成脚本。

5. Online HD Map、Lane 与 Topology

数据集

• nuScenes map / Argoverse 2 map: MapTR/MapTRv2、VAD/SparseDrive map head 常用。
• OpenLane: 3D lane perception benchmark。
• OpenLane-V2: 2000 road scenes，面向 lane、traffic element、lane-lane/lane-traffic topology reasoning。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
MapTRv2	2023	nuScenes / Argoverse 2 online vectorized map	代码开源	permutation-equivalent point set、hierarchical matching、one-to-many matching、dense supervision。	高；对 VAD/SparseDrive map branch 很有帮助。
TopoMLP	2023	OpenLane-V2 topology	代码开源，挑战第一方案	强 lane/traffic detector + MLP topology heads。	中；适合理解拓扑评测。
TopoLogic	2024	OpenLane-V2 topology	代码开源	用几何距离和 query similarity 做可解释 topology reasoning。	中；可作为 TopoMLP 对照。
EAN-MapNet	2024	nuScenes online map	论文报告 SOTA	anchor neighborhoods 和 local self-attention，强调效率。	中；若代码可用再复现。
PriorMapNet	2024	nuScenes / AV2 online map	论文报告 SOTA，代码承诺	reference point 和 BEV feature priors，稳定 matching。	低到中；等代码成熟。
TopoGPT	2026	OpenLane-V2 topology	论文报告 SOTA	autoregressive lane graph，显式学习 lane geometry prior。	趋势跟踪；先读论文。

复现建议：若目标是端到端规划，MapTRv2 比单独追 OpenLane-V2 更实用，因为 VAD/SparseDrive/UniAD 都需要 map element 表示。

6. Motion Prediction

数据集

• Waymo Open Motion Dataset: 超过 100000 scenes，每个 20s、10Hz，包含 interactive/joint motion 任务和 HD map。
• Argoverse 2 Motion Forecasting: 250000 scenarios，含 HD map，适合多 agent 预测。
• nuScenes prediction: 规模较小，但与 nuScenes E2E 链路对接方便。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
MTR / MTR++	2022/2023	Waymo Motion	代码开源 MTR 仓库	intention query + local refinement，MTR++ 做 symmetric scene modeling。	中；需 Waymo Motion。
MGTR	2023	Waymo Motion	论文报告榜单第一	引入 LiDAR semantic features 和 multi-granular transformer。	低到中；数据和 LiDAR 特征依赖高。
QCNeXt	2023	Argoverse 2 multi-agent forecasting	2023 AV2 challenge 1st	query-centric encoding + multi-agent DETR-like decoder。	中；若补 AV2 motion 可考虑。
RedMotion	2023	Waymo Motion	代码开源	redundancy reduction，自监督增强 motion representation。	低到中；可作为轻量对照。
LiMTR	2024	Waymo Motion	代码开源	在 MTR 上融合 LiDAR local features。	低；先跑 MTR。

复现建议：MTR 是 motion prediction 第一优先级，但当前没有 Waymo Motion 数据；如果只用 nuScenes mini，会变成数据格式改造实验，不是复现。

7. Planning 与端到端驾驶

数据集/Benchmark

• nuScenes E2E planning: UniAD/VAD/SSR/SparseDrive 常用，指标多为 L2/collision 等 open-loop 代理。
• nuPlan: 1282 小时、4 城市，提供 closed-loop simulation/evaluation，是 PLUTO/DTPP 主线。
• NAVSIM: data-driven non-reactive simulation，用短时 BEV abstraction unroll 得到 PDMS/EPDMS，比纯 L2 更接近闭环但仍非 reactive。
• Bench2Drive: CARLA closed-loop benchmark，2M annotated frames、13638 clips、44 interactive scenarios、220 routes。
• Bench2Drive-R / nuPlan-R: 走向 reactive simulation；Bench2Drive-Robust 则评估 camera failure、ego-state noise、inference delay 等部署扰动。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
UniAD	2023	nuScenes E2E	代码开源	planning-oriented 多任务链。	中；链路长，不做第一批。
VAD	2023	nuScenes E2E	代码开源	vectorized scene representation + planning constraints。	中到高；补 CAN bus 后优先于 UniAD。
SparseDrive	2024	nuScenes E2E	代码开源	sparse scene representation 统一感知、地图、预测、规划。	中；先跑 Sparse4D。
PLUTO	2024	nuPlan	代码开源	强 imitation planner、feature cache、nuPlan simulation。	中；需 nuPlan mini/full。
DTPP	2023	nuPlan	代码开源	joint conditional prediction + tree policy cost evaluation。	中；需 nuPlan。
DiffusionDrive	2024	NAVSIM	代码开源	truncated diffusion，多模态规划且控制采样成本。	中；需 NAVSIM。
GTRS	2025	NAVSIM v2	代码开源	generalized trajectory scoring，Navsim v2 Challenge winning solution。	中到高；补 NAVSIM 后优先。
SparseDriveV2	2026	NAVSIM / Bench2Drive	代码开源	factorized trajectory vocabulary + factorized scoring。	高；代表 scoring 路线最新开源项目。
ReCogDrive	2025	NAVSIM	论文报告 SOTA	VLM + diffusion planner + RL fine-tuning。	趋势跟踪；需要 VLM 数据/权重。
Bench2Drive baselines	2024	CARLA closed-loop	benchmark 开源	多能力闭环评测，避免只看 open-loop L2。	中；需 CARLA/Bench2Drive 环境。

复现建议：nuScenes 端到端只用 mini 做流程检查；要比较 planning 方案，NAVSIM 的成本低于完整 CARLA/Bench2Drive，优先级更高。

8. VLM/LLM Driving 与 World Model

数据集/Benchmark

• DriveLM / nuScenes-QA / Senna-style QA: 静态场景问答、解释、高层决策。
• Bench2Drive-VL: 把 VLM 放进 closed-loop driving 评测，弥补静态 QA 与真实驾驶之间的差距。
• GAIA-1、DriveDreamer、World4Drive、SparseWorld: 世界模型和生成式闭环/规划方向。

近三年开源优先 SOTA/强基线

方法	年份	任务/数据集	状态	优化点	复现优先级
Agent-Driver	2023	LLM driving agent / nuScenes	代码线索	LLM + tool library + memory + reasoning engine。	低到中；适合方法阅读。
DriveVLM	2024	VLM scene understanding/planning	论文和系统报告	scene description、scene analysis、hierarchical planning。	低；偏系统趋势。
Senna	2024	VLM + E2E planning	代码开源	decouple high-level language decision and low-level trajectory prediction。	中；先跑 inference。
Senna-2	2026	VLM-E2E alignment	代码开源	对齐 VLM 高层决策和 E2E 低层规划，含 closed-loop alignment。	中；显存/权重门槛高。
Bench2Drive-VL	2026	closed-loop VLM driving benchmark	代码/数据开源	DriveCommenter + VLM closed-loop interface。	趋势跟踪；需 CARLA。
DriveDreamer / DriveDreamer-Policy	2023/2026	world model / policy	代码视项目而定	可控驾驶视频生成，world-action model 连接语言、未来视频和动作。	低；长期方向。
World4Drive / SparseWorld	2025/2026	world model for planning	论文报告	latent world model 或 sparse world model 直接服务 planning。	低；先读论文。

复现建议：VLM/World Model 不应排在第一批复现。单卡更适合 4-bit/8-bit inference、小规模 LoRA 或 demo，而不是完整训练。

反向链接

• 自动驾驶方法谱系
• 闭环评测与开环指标