CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion
CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion
Section titled “CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 时序感知、跟踪与记忆
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: temporal-perception-tracking · Tier: recent · Year: 2022 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2209.02540
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”针对自动驾驶中相机-LiDAR融合3D多目标跟踪的遮挡、误检和多类别干扰问题，提出结合外观-运动优化的CAMO-MOT框架，包含首创的遮挡头与多类别损失，在KITTI/nuScenes上取得SOTA稳定性与低IDS，适合学习多模态跟踪设计。
CAMO-MOT通过遮挡状态优化的外观模块、置信度加权的运动模块与多类别融合关联，实现鲁棒的相机-LiDAR 3D多目标跟踪。
3D多目标跟踪需保持连续动态检测一致性以支持规划导航；纯相机方法易受遮挡导致外观特征不可靠（ID切换），纯LiDAR方法在不规则运动或大帧间位移时易失配，现有融合方法未充分考虑遮挡下外观不可信及误检导致的跟踪失败，且多方法仅支持单类别、存在跨类别ID切换。
跟踪-by-检测范式、3D检测器输出、Kalman滤波/运动预测、外观ReID特征、IoU/gIoU关联、相机与点云多模态融合基础、KITTI/nuScenes跟踪基准指标（HOTA/MOTA/AMOTA/IDS）。
- 提出基于组合外观-运动优化的相机-LiDAR融合3D MOT框架CAMO-MOT，有效整合两种模态信息，可对接多种3D检测器实现稳定跟踪。
- 首次提出遮挡头用于状态估计，通过在跟踪中选择最优外观特征，缓解2D图像遮挡影响。
- 提出引入类别损失的融合关联策略，解决跟踪过程中不同类别间的干扰问题。
- 在KITTI与nuScenes跟踪基准上表现优异：KITTI多模态方法中SOTA稳定性且全方法最低IDS；nuScenes全方法SOTA。
基于跟踪-by-检测：每个时刻t，3D检测器从点云输出检测Dt并传入O2S-OAM与CS-MM；O2S-OAM从图像提取深度特征，经遮挡头估计遮挡状态Occs，匹配头输出外观关联矩阵Capp；CS-MM对轨迹Tt-1做运动预测并基于gIoU3D与置信度St-1构建运动关联矩阵Cmo；M2-FAM引入类别损失Clst得到Appt与Mot，先基于Mot做第一关联，再对剩余Dum/Tum基于Appt做第二关联；最后更新关联轨迹Tall，剩余检测作为新轨迹。
关键模块和设计取舍
Section titled “关键模块和设计取舍”O2S-OAM（最优遮挡状态外观模块）：改性DLA-34提取图像特征，遮挡头对目标区域双线性插值至224×224识别遮挡状态以选择最优外观特征，匹配头用端到端网络输出关联矩阵（考虑对象间关系，补全新/消失目标）；CS-MM（置信度分数运动模块）：用3D gIoU构建检测-轨迹运动代价矩阵，对低置信度误检提高代价以降低被跟踪概率，优化Kalman预测；M2-FAM（多类别多模态融合关联）：引入类别损失使关联仅在同类内进行，分两阶段关联（先运动后外观）。取舍：独立处理两模态后后端融合以避前端对齐难题；遮挡头多次选择最优外观；置信度抑制误检；多类别损失防跨类切换。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”在KITTI与nuScenes跟踪基准上验证；指标包括HOTA、MOTA、AMOTA、IDS（身份切换数）等；与EagerMOT、BEVFusion等对比；支持多类别（如Car、Pedestrian）。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”KITTI测试集：相对先前SOTA多模态方法EagerMOT提升+5.60% HOTA与+2.56% MOTA，在全多模态MOT方法中排名第一，且全方法最低IDS（Car 23，Pedestrian 137）；nuScenes测试集：全算法SOTA，AMOTA 75.3%，相对第二的BEVFusion（用更强检测器）+1.20% AMOTA；即使检测器较弱仍具竞争力。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”跟踪性能高度依赖检测器精度（误检仍影响）；前端融合特征对齐困难故采用后端；复杂遮挡与不规则运动虽缓解但摘录未详述全部失败案例；多类别场景复杂性仍可能导致问题；摘录未完整覆盖所有边界与消融细节，待来源核验。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”2D MOT：DeepSORT、Tracktor、JDE、FairMOT、ByteTrack、TransTrack、MOTR等，依赖外观或回归，遮挡时性能下降；3D MOT：AB3DMOT（3D Kalman+gIoU）、EagerMOT（2D/3D融合+Kalman）、MmMOT、JMODT（注意力融合）、PnPNet等，多忽略遮挡分支或仅单类别；本文首次引入遮挡头并加多类别损失，后端融合独立处理模态。
官方代码与复现建议
Section titled “官方代码与复现建议”论文摘录未提及官方代码仓库、实现细节或复现配置，待来源核验；建议基于公开KITTI/nuScenes检测结果对接3D检测器，按模块（遮挡头+匹配头、置信度运动代价、两阶段关联）实现，关注多模态输入同步。
推荐阅读顺序
Section titled “推荐阅读顺序”先读摘要与引言（问题与贡献）→图1问题示意与图2整体框架→相关工作定位→III节方法（O2S-OAM细节含图3、CS-MM、M2-FAM）→实验结果（KITTI/nuScenes对比）→结论与局限。
- Q: CAMO-MOT的三个主要模块是什么？各自解决什么问题？ A: O2S-OAM（遮挡状态外观，选最优特征减遮挡影响）、CS-MM（置信度运动，抑误检）、M2-FAM（多类别融合关联，防跨类切换）。
- Q: 遮挡头如何工作？为何首次提出？ A: 对目标图像区域插值至224×224送入网络估计遮挡状态Occs，跟踪时多次选最优外观特征；先前方法未引入遮挡分支以提升3D MOT。
- Q: 运动代价矩阵如何利用置信度？ A: 基于gIoU3D构建检测-轨迹代价，低置信度误检赋予更高代价，降低被持续跟踪概率。
- Q: KITTI上相对EagerMOT的主要提升与IDS结果？ A: +5.60% HOTA、+2.56% MOTA，IDS最低（Car 23、Pedestrian 137）。
- Q: 关联如何分阶段进行？为何引入类别损失？ A: 先基于运动Mot第一关联，再对剩余用外观Appt第二关联；类别损失使关联仅在同类内，解决多类别ID切换。
- page 1 Abstract: we propose a novel camera-LiDAR fusion 3D MOT framework based on the Combined Appearance-Motion Optimization (CAMO-MOT), which uses both camera and LiDAR data and significantly reduces tracking failures caused by occlusion and false detection. … Our proposed method achieves state-of-the-art performance and the lowest identity switches (IDS) value (23 for Car and 137 for Pedestrian) among all multi-modal MOT methods on the KITTI test dataset. And our proposed method achieves state-of-the-art performance among all algorithms on the nuScenes test dataset with 75.3% AMOTA.
- page 2: CAMO-MOT consists of three main modules, including an optimal occlusion state-based object appearance module (O2S-OAM), confidence score-based motion module (CS-MM), and multi-category multi-modal fusion association module (M2-FAM). … We are the first to propose an occlusion head for state estimation, which addresses the effect of occlusion in 2D images by selecting the optimal appearance feature during tracking. … On the KITTI dataset, our CAMO-MOT achieves a +5.60% HOTA and a +2.56% MOTA compared with the famous EagerMOT [9] … Furthermore, our method has the lowest IDS value (23 for Car and 137 for Pedestrian) … on the nuScenes dataset, our CAMO-MOT ranks first among all MOT methods, and achieves a +1.20% AMOTA compared with BEVFusion [20]
- page 4 Fig. 2 caption / III: An overview of our proposed CAMO-MOT framework in which the following steps are implemented at each discrete time t. (A) The 3D detector inputs the point cloud to produce the detection results Dt … (B) O2S-OAM … occlusion head … (C) CS-MM … (D) M2-FAM introduces the category loss Clst … first association … second association … (E) Finally, the associated trajectories Tall are updated
- page 4 O2S-OAM: This study represents the first time that an occlusion head has been introduced to identify occlusion states. In this process, a tracker is used to select optimal appearance features from multiple moments to achieve association. … The image area of the object is then bilinearly interpolated to 224×224 and sent to the backbone to identify occlusion states.
Discovery evidence
Section titled “Discovery evidence”- topic:
temporal-perception-tracking - sources:
arxiv,openalex - retrieved_at: 2026-07-20
- query: multi-object tracking multi-camera 3D nuScenes
- arxiv:
2209.02540 - doi:
10.1109/tits.2023.3285651 - score_total: 60
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- 1 …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2209.02540] CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2209.02540] CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking w方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.6（qualitative）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2022 |
| Authors | Ke Wang, Xinyu Zhang, Wenyuan Qin, Xiaoyu Li, Jinghan Gao, Lei Yang, Zhiwei Li, Jun Li, Lei Zhu, Hong Wang, Huaping Liu |
| arXiv | 2209.02540 |
| DOI | 10.1109/tits.2023.3285651 |
| Topics | temporal-perception-tracking |
| Paper | https://arxiv.org/abs/2209.02540 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”temporal-perception-tracking: tier=recent score=60 — CAMO-MOT combined appearance-motion optimization for 3D MOT
Extract excerpt
Section titled “Extract excerpt”1
CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion Li Wang, Xinyu Zhang, Wenyuan Qin, Xiaoyu Li, Lei Yang, Zhiwei Li, Lei Zhu, Hong Wang, Jun Li, and Huaping Liu
arXiv:2209.02540v3 [cs.CV] 12 Sep 2022 Abstract—3D Multi-object tracking (MOT) ensures consistency during continuous dynamic detection, conducive to subsequent motion planning and navigation tasks in autonomous driving. However, camera-based methods suffer in the case of occlusions 2 1 2 and it can be challenging to accurately track the irregular motion 1 3 4 (a) of objects for LiDAR-based methods. Some fusion methods work well but do not consider the untrustworthy issue of appearance features under occlusion. At the same time, the false detection problem also significantly affects tracking. As such, we propose a novel camera-LiDAR fusion 3D MOT framework based on the Combined Appearance-Motion Optimization (CAMO-MOT), 6 5 6 which uses both camera and LiDAR data and significantly