DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration
DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration
Section titled “DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 自动驾驶数据集、基准与评测 · 数据工程与数据闭环 · 仿真与合成数据 · 训练系统与实验管理
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: ad-datasets-benchmarks · Tier: watch · Year: 2026 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2601.15260
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”它填补了现有大规模驾驶数据集普遍缺少高保真、地理参考数字孪生的空白，支持真实流量1对1映射到仿真、边缘场景系统测试、传感器修改与sim-to-real评估，同时提供连续18km多场景多时段多模态数据与公开工具链，对感知算法鲁棒验证与合作感知研究极具价值。
DrivIng 提供约18km城市/郊区/高速连续路线的多模态驾驶数据（6相机+LiDAR+高精度定位）与完整数字孪生，实现真实交通到仿真的1对1转移及可复现感知基准。
现有驾驶数据集虽覆盖多样场景，但多为短序列、缺乏高保真数字孪生，难以支持系统化边缘案例仿真、传感器修改、真实流量保真转移与sim-to-real严格验证；合作感知等需要复杂同步多智能体场景时，真实采集成本高昂。
自动驾驶感知基础（3D目标检测/跟踪）、多传感器标定与同步、nuScenes等数据集格式、CARLA等仿真平台、MMDetection3D等检测框架；对数字孪生/real-to-sim有基本了解更佳。
- 综合真实世界数据集：约18km跨城市/郊区/高速路线，6路RGB相机360°覆盖+车顶LiDAR，覆盖日/黄昏/夜。
- 高频标注：10Hz 3D边界框+跟踪ID，12类，约120万标注实例。
- 全集成数据与验证测试床：整条路线地理参考数字孪生，支持场景重放、环境修改与系统评估。
- 基准评估：在真实数据上使用MMDetection3D中SOTA相机/LiDAR感知模型。
- 开发工具包与公开发布：nuScenes格式转换器、数据集、代码库、数字孪生，支持真实与仿真感知任务。
在Audi Q8 e-tron上采集（6RGB+1LiDAR+ADMA GPS/IMU），标定同步参考UrbanIng-V2X；覆盖约18km连续路线生成日/黄昏/夜三段序列；LiDAR点云10Hz人工标注3D框+跟踪ID（12类及属性），图像人脸/车牌高斯模糊；构建地理参考数字孪生实现真实目标1对1映射到CARLA仿真；提供nuScenes转换与MMDetection3D基准。
关键模块和设计取舍
Section titled “关键模块和设计取舍”传感器套件：6×GSML2 RGB（20FPS，1920×1080，4×60°+2×100° HFOV）、Robosense Ruby Plus LiDAR（20FPS，128线，360°H/-25°~15°V，≥10%反射率达240m）、Genesys ADMA Pro+（100FPS，RTK，1cm定位）。标注：LiDAR优先，人工+多轮视觉复核（点云+图像），12类+属性（如成人/儿童、紧急/常规、站/走/坐等）。数字孪生：全路线geo-ref，支持真实交通映射与场景灵活修改。取舍：强调连续长路线+完整孪生而非大量短独立序列；隐私 anonymize 但保留标注完整性；统计显示日间目标更密。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”DrivIng：约18km（独特约16km）路线，>63k标注帧（约378k RGB图像+63k LiDAR），三段连续序列（Day约23092帧/38.5min、Dusk约20246帧/33.7min、Night约19705帧/32.8min），总约120万3D标注实例（Day约560k、Dusk约336k、Night约268k），12类（Car最多，Animal/OtherPedestrian最少），Others主要为施工障碍/锥筒等。对比表I：相对TWICE/CitySim/OPV2V/UrbanIng-V2X，DrivIng有更大可驾驶轨迹（~18km）、更多资产（>31k）、OBS视角、U&H场景、全geo-ref。基准用MMDetection3D SOTA相机/LiDAR模型。指标细节待来源核验。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”待来源核验（摘录仅描述基准设置与公开，无具体mAP等数值结果）。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”摘录中未详述失败场景与定量局限；相对通用短序列数据集，长连续路线可能场景布局多样性受限；夜间/黄昏目标密度较低；数字孪生 fidelity 与真实域 gap 仍依赖仿真质量；仅OBS视角（无RSU）；适用于有孪生支持的系统测试与real-to-sim，但对极多样全局覆盖需求可能需结合其他数据集。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”建立在KITTI、nuScenes、Waymo等标准感知数据集之上（短独立序列，缺长连续与高保真孪生）；对比有孪生的TWICE（封闭短场景）、CitySim（无人机轨迹+3D地图，无ego传感器）、OPV2V与UrbanIng-V2X（小多交叉口合作感知孪生，区域有限）；DrivIng补全连续路线级real-to-sim映射，支持CARLA等仿真扩展与系统评估。
官方代码与复现建议
Section titled “官方代码与复现建议”官方发布于https://github.com/cvims/DrivIng（数据集、数字孪生、HD map、代码库、nuScenes格式转换器）；建议按提供工具转换后用MMDetection3D复现基准，利用孪生做场景重放与修改实验。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction明确动机与贡献；再看Related Work与Table I对比定位；然后Dataset（传感器、轨迹、标注、统计与图1-5）理解数据与孪生；最后看基准与发布部分；若有完整版再补实验细节。
- Q: DrivIng数字孪生的核心优势是什么？ A: 地理参考的完整路线孪生，支持真实交通1对1映射到仿真，同时可修改环境/创建复杂多智能体场景，便于系统测试与sim-to-real。
- Q: 传感器配置与采集条件？ A: 6RGB（360°）+1LiDAR+ADMA高精度定位；约18km城市/郊区/高速；日/黄昏/夜三段连续序列。
- Q: 标注频率、规模与类别？ A: 10Hz 3D框+跟踪ID，约120万实例，12类（含属性如成人/儿童、紧急车辆等）。
- Q: 与UrbanIng-V2X等有孪生数据集的主要区别？ A: DrivIng提供更长连续~18km多场景路线、仅OBS视角、更大面积/更多资产，强调路线级real-to-sim而非小区域合作感知。
- Q: 公开内容包括哪些？ A: 数据集、数字孪生、HD map、代码库、nuScenes转换器，支持真实与仿真感知任务。
- Abstract / page 1: we present DrivIng, a large-scale multimodal dataset with a complete geo-referenced digital twin of a ∼ 18 km route spanning urban, suburban, and highway segments. … All sequences are annotated at 10 Hz with 3D bounding boxes and track IDs across 12 classes, yielding ∼ 1.2 million annotated instances. … enables a 1-to-1 transfer of real traffic into simulation
- I. INTRODUCTION / contributions: 1) Comprehensive real-world dataset: Covers an approximately 18 km route … 2) High-frequency annotations: … approximately 1.2 million labeled instances. 3) Fully-integrated data and validation testbed: A digital twin … 4) Benchmark evaluations: … MMDetection3D 5) Developer toolkit and public release: … https://github.com/cvims/DrivIng
- III. DATASET / A. Sensor Setup: Data was collected using an Audi Q8 e-tron equipped with 6 RGB cameras, 1 LiDAR, and 1 GPS/IMU module. … RGB Cameras (6×): … 20 FPS, 1920 × 1080 … LiDAR (1×): Robosense Ruby Plus, 20 FPS, 128 rays … GPS/IMU (1×): Genesys ADMA Pro+, 100 FPS, RTK correction, 1 cm precise positioning
- III. B. Track Information: DrivIng covers an approximately 18 km real-world route, comprising over 63k annotated frames … Day sequence comprises 23 092 frames … Dusk … 20 246 … Night … 19 705
- III. C/D Annotation & Statistics: All objects were annotated in the LiDAR point cloud at 10 Hz … 12 classes … approximately 1.2 million annotated objects, distributed … about 560k in Day, 336k in Dusk, and 268k in Night.
- Table I / Related Work: DrivIng addresses these limitations by offering three continuous sequences of an approximately 18 km driving route … Paired with a geo-referenced digital twin
Discovery evidence
Section titled “Discovery evidence”- topic:
data-engineering - sources:
arxiv - retrieved_at: 2026-07-20
- query: auto labeling 3D object detection autonomous driving
- arxiv:
2601.15260 - score_total: 58
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2601.15260] DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2601.15260] DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integra方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.3（arch）；学习用途摘录。
来源：原论文约 p.2（qualitative）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2026 |
| Authors | Dominik Rößle, Xujun Xie, Adithya Mohan, Venkatesh Thirugnana Sambandham, Daniel Cremers, Torsten Schön |
| arXiv | 2601.15260 |
| DOI | — |
| Topics | ad-datasets-benchmarks, data-engineering, simulation-synthetic, training-systems |
| Paper | https://arxiv.org/abs/2601.15260 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”ad-datasets-benchmarks: tier=watch rank=5 score=52 — auto refresh 2026-07-19 sources=arxivdata-engineering: tier=watch rank=5 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19simulation-synthetic: tier=watch rank=4 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19training-systems: tier=watch rank=3 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
Extract excerpt
Section titled “Extract excerpt”DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration Dominik Rößle1 , Xujun Xie1 , Adithya Mohan1 , Venkatesh Thirugnana Sambandham1 , Daniel Cremers2 , Torsten Schön1
Abstract— Perception is a cornerstone of autonomous driving, Simulation environments provide a powerful solution to this enabling vehicles to understand their surroundings and make limitation [7]. They enable the modification of environmental safe, reliable decisions. Developing robust perception algorithms conditions and the systematic evaluation [8], [9] of algorithms requires large-scale, high-quality datasets that cover diverse driving conditions and support thorough evaluation. Existing under edge cases [10], [11]. Recent research in cooperative datasets often lack a high-fidelity digital twin, limiting systematic perception, where multiple agents share and fuse sensor data
arXiv:2601.15260v2 [cs.CV] 29 Jan 2026 testing, edge-case simulation, sensor modification, and sim-to- to mitigate occlusions and to improve the overall perception of real evaluations. To address this gap, we present DrivIng, a surrounding objects [1], [4], highlights the need for simulation- large-scale multimodal dataset with a complete geo-referenced aided approaches that can replicate complex, synchronized digital twin of a ∼ 18 km route spanning urban, suburban, and highway segments. Our dataset provides continuous recordings multi-agent scenarios, which are often prohibitively expensive from six RGB cameras, one LiDAR, and high-precision ADMA- or logistically challenging to r