OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving
OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving
Section titled “OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 LLM 与语言推理 · 端到端驾驶 · VLM 与视觉语言理解
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: vlm-understanding · Tier: recent · Year: 2024 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2412.15208
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”它以开源方式复现闭源EMMA的核心功能，结合预训练MLLM与Chain-of-Thought推理，提供高效端到端规划与感知框架，便于社区复现、扩展与研究开放自动驾驶系统。
OpenEMMA是一个基于预训练MLLM与CoT推理的开源端到端自动驾驶框架，通过速度与曲率预测积分生成轨迹，并用细调YOLO增强3D检测。
传统模块化自动驾驶系统因模块间通信错误和刚性接口难以扩展与适应新场景；专用端到端系统泛化差；闭源MLLM模型如EMMA限制了社区访问与实验。
熟悉多模态大语言模型（MLLM）、Chain-of-Thought推理、自动驾驶感知/规划基础、nuScenes数据集与端到端轨迹预测概念。
- 提出OpenEMMA，开源端到端多模态自动驾驶模型，利用现有开源模块与预训练MLLM复现EMMA在轨迹规划与感知上的功能。
- 在nuScenes验证集上对多种MLLM进行端到端轨迹规划实验，展示有效性与适应性。
- 完整发布代码库、数据集与模型权重，供社区利用、改进与扩展。
输入前视相机图像I与历史ego状态T（速度与曲率）；Stage1用CoT推理生成意图命令、场景描述与主要对象；Stage2预测未来T秒速度S与曲率C；通过积分（含航向角θ、速度分量vx/vy）计算轨迹P；同时用细调YOLO3D进行单帧前视3D目标检测。
关键模块和设计取舍
Section titled “关键模块和设计取舍”CoT推理（意图命令如跟车道/转向/加减速、场景描述、主要对象位置与重要性）；中间表示速度S与曲率C（而非直接坐标），再积分得轨迹（使用累积梯形规则）；因MLLM空间推理弱，集成YOLO3D（2D-3D一致性约束，细调YOLO11n作2D检测器）进行3D检测；强调可解释人类可读输出。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”nuScenes验证集（约150场景）；T=5秒未来轨迹；指标为相对GT的L2误差（m，1s/2s/3s/avg）与failure rate（首秒L2>10视为失败）；YOLO11n在nuImages上细调（640×360，COCO预训练，300 epochs，mAP50=0.60316）；可视化用GPT-4o等。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”OpenEMMA在多种MLLM上整体优于zero-shot基线（尤其L2与failure rate）；具体：LLaVA-1.6-Mistral-7B zero-shot L2 avg 3.24 failure 4.06 → OpenEMMA 2.98/6.12；Llama-3.2-11B zero-shot 3.00/23.92 → 2.92/22.00；Qwen2-VL-7B zero-shot 2.46/24.00 → 2.81/16.11（L2略高因成功处理更多难例但轨迹质量仍有限）；YOLO mAP50达0.60316；可视化显示在右转弯、突然切入与夜间等场景的鲁棒性。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”仅使用基础CoT推理（未来可集成CoT-SC/ToT等）；当前MLLM对象定位弱，故依赖外部细调YOLO而非纯MLLM；无任务微调，性能劣于微调方法；仅前视单帧检测，适用边界限于类似设置。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”直接受闭源EMMA（基于Gemini）启发并开源复现其功能；对比传统模块化与端到端AD（如LMDrive、Senna、DriveVLM、GPT-Driver、RAG-Driver、DriveLM等）；置于MLLM for AD与端到端AD（模仿/强化学习）演进中。
官方代码与复现建议
Section titled “官方代码与复现建议”推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction理解动机与贡献；再读Methodology（2.1规划CoT与积分，2.2 YOLO检测）；然后Experiments（Table1结果与可视化）；最后Related Work、Conclusion与Limitation。
- Q: OpenEMMA的输入与主要输出是什么？ A: 输入前视相机图像与文本历史ego状态；输出速度/曲率预测积分后的轨迹，以及3D检测与可解释场景理解。
- Q: 为何不直接预测轨迹坐标而预测速度与曲率？ A: 使输出更符合人类驾驶可解释性（油门对应速度，方向盘对应曲率），并通过积分得到轨迹。
- Q: 为何集成YOLO而非纯依赖MLLM做检测？ A: 预训练MLLM在目标检测与空间推理上表现差，故用细调YOLO3D（含YOLO11n）实现高精度3D框。
- Q: OpenEMMA相对zero-shot的主要改进体现在哪？ A: 通过CoT推理，在L2误差与failure rate上整体优于zero-shot（尤其鲁棒性提升），尽管无微调。
- Q: 论文指出的未来改进方向有哪些？ A: 引入更高级推理技术如CoT-SC与ToT；提升MLLM自身 grounding能力以减少外部检测器依赖。
- page 1 Abstract: we propose OpenEMMA, an open-source end-to-end framework based on MLLMs. By incorporating the Chain-of-Thought reasoning process, OpenEMMA achieves significant improvements compared to the baseline
- page 2 Contributions: We introduce OpenEMMA, an open-source end-to-end Multimodal Model for autonomous driving that leverages existing open-source modules and pre-trained MLLMs to replicate the functionalities of EMMA
- page 4 Table 1: OpenEMMA consistently outperforms the zero-shot baseline in both L2 norm error and failure rate
- page 4-5 Section 3.1: a prediction is considered a failure if the L2 norm exceeds 10 within the first second of the future trajectory
- page 6 Limitation: we incorporated only basic Chain-of-Thought reasoning during inference. … due to the limited object grounding capabilities of current MLLMs, we incorporated a fine-tuned YOLO model
Discovery evidence
Section titled “Discovery evidence”- topic:
ad-end-to-end-driving - sources:
arxiv - retrieved_at: 2026-07-20
- query: end-to-end autonomous driving planning perception
- arxiv:
2412.15208 - score_total: 53
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2412.15208] OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2412.15208] OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.5（qualitative）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2024 |
| Authors | Shuo Xing, Chengyuan Qian, Yuping Wang, Hongyuan Hua, Kexin Tian, Yang Zhou, Zhengzhong Tu |
| arXiv | 2412.15208 |
| DOI | — |
| Topics | llm-language-reasoning, ad-end-to-end-driving, vlm-understanding |
| Paper | https://arxiv.org/abs/2412.15208 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”llm-language-reasoning: tier=needs-review rank=7 score=53 — auto refresh 2026-07-19 sources=arxivad-end-to-end-driving: tier=needs-review rank=7 score=53 — auto refresh 2026-07-19 sources=arxivautonomous-driving: tier=needs-review rank=7 score=51 — auto refresh 2026-07-19 sources=arxivvlm-understanding: tier=recent rank=3 score=53 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”OpenEMMA: Open-Source Multimodal Model for End-to-End Autonomous Driving
Shuo Xing1 , Chengyuan Qian1 , Yuping Wang2 , Hongyuan Hua3 , Kexin Tian1 , Yang Zhou1 , Zhengzhong Tu1 1 Texas A&M University 2 University of Michigan 3 University of Toronto
arXiv:2412.15208v2 [cs.CV] 14 Feb 2025 {shuoxing,tzz}@tamu.edu
Abstract proach, with specialized components handling distinct as- pects such as perception [17, 21, 28, 47, 65], mapping Since the advent of Multimodal Large Language Mod- [28, 48], prediction [35, 45], and planning [51]. However, els (MLLMs), they have made a significant impact across while this compartmentalization aids in debugging and op- a wide range of real-world applications, particularly in timizing individual modules, it often leads to scalability is- Autonomous Driving (AD). Their ability to process com- sues due to inter-module communication errors and rigid, plex visual data and reason about intricate driving scenar- predefined interfaces that struggle to adapt to new or un- ios has paved the way for a new paradigm in end-to-end foreseen conditions [4, 20, 35, 43]. AD systems. However, the progress of developing end-to- Recent advancements have seen the development of end- end models for AD has been slow, as existing fine-tuning to-end systems that learn driving actions directly from sen- methods demand substantial resources, including e