BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation
BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation
Section titled “BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 多模态感知与融合
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: multimodal-perception · Tier: needs-review · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2503.03280
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”首个端到端多模态（多视角相机+LiDAR+雷达）BEV运动物体分割网络，利用雷达速度信息与可变形交叉注意力融合，显著提升低光/夜间/雨天等恶劣条件下的鲁棒性，并在nuScenes上建立SOTA，对自动驾驶障碍物规避与路径规划关键。
BEVMOSNet通过相机-LiDAR-雷达在BEV空间的MDCA融合与时序相关，实现精确运动物体分割，相对视觉基线大幅提升IoU并成为该任务首个多模态SOTA。
自动驾驶中需准确理解场景动态物体在BEV下的运动，以实现可靠避障与平滑路径规划；现有视觉方法在低光、夜间与雨天等恶劣条件下性能显著下降，而任务本身相对检测/分割探索较少。
BEV感知与视图变换（如LSS/lifting）、多传感器融合、可变形注意力/交叉注意力、时序相关/光流类方法、nuScenes数据集与移动车辆标注生成、基本分割指标（IoU/precision）。
- 提出首个已知的多传感器深度网络BEVMOSNet，专用于BEV精确运动理解，融合多视角相机、LiDAR与雷达。
- 设计可变形交叉注意力（DCA/MDCA）引导的传感器融合模块，实现跨模态知识共享。
- 实现单阶段端到端可训练网络，在nuScenes上建立BEV运动分割首个SOTA，同时提升相机-only性能。
- 进行全面消融，涵盖backbone、网络组件与多种特征融合技术。
从相机、LiDAR、雷达提取模态特异性特征并变换到BEV；经传感器融合模块（含多头可变形交叉注意力MDCA）融合；对当前与前一帧融合BEV特征图应用相关块提取运动线索；将相关图与当前融合BEV特征拼接后送入分割解码器输出移动车辆BEV分割图。
关键模块和设计取舍
Section titled “关键模块和设计取舍”相机：ResNet-101提取特征+SimpleBEV式2D-3D lifting（体素拉取投影采样）得BEV；LiDAR：体素化得二值占用网格（侧重位置）；雷达：栅格化BEV（用位置+速度等属性，侧重动态信息）；融合：基线为SimpleBEV式拼接+压缩，或MDCA（查询投影后多头可变形采样偏移与注意力权重，跨模态选择关键键）+后续ResNet18 BEV编码器补偿局部错位；相关：扩展FlowNet式相关层（k=3）到BEV比较子区域捕获运动；解码：拼接相关图+当前BEV特征，3x3+1x1卷积得最终分割图。取舍：简单体素/栅格保持LiDAR/雷达简洁；MDCA降二次复杂度并处理域差距/错位；相关无需可学习权重直接比较。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”nuScenes数据集（1000场景，官方train/val：28130/6019样本；6相机+5雷达+32线LiDAR；覆盖多天气/时段）。设置：输入图像下采样224x400；BEV范围100m x100m（ego前后左右各±50m）、50cm网格→200x200；垂直10m、分辨率8→3D体积200x8x200；参考相机定向。GT：过滤网格内车辆3D框并用vehicle.moving属性标移动车辆后投影BEV二值掩码。指标：移动车辆IoU（预测与当前帧GT）与像素precision。训练：Adam，lr=3e-4，weight decay=1e-7（摘录截断）。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”在nuScenes上，BEVMOSNet相对视觉单模态基线BEV-MoSeg整体IoU提升36.59%，相对扩展为运动分割的SimpleBEV提升2.35%，确立BEV运动分割SOTA；SimpleBEV Motion在各传感器配置上均优于BEV-MoSeg，相机-only亦提升8.04%；相机+雷达+LiDAR配置达最佳，且跨距离范围IoU更优（见图1描述）。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”雷达单帧点云稀疏（相对LiDAR）；相机BEV因视图变换误差定位不准，雷达/LiDAR因稀疏/噪声存在错位；融合需处理显著域差距；任务此前探索有限，恶劣天气下单模态仍脆弱；摘录无完整失败案例分析或推理速度/复杂度细节，适用边界主要为nuScenes式多传感器自动驾驶场景 待来源核验。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”前序：光流/背景运动估计、CNN+光流双通路、InstanceMotSeg、BEV-MODNet（单目前视+光流）、BEV-MoSeg（多视+相关）、LSS、SimpleBEV（拼接融合基线）；LiDAR MOS如range image、点云序列、InsMOS/MotionBEV/MambaMOS；雷达如RaTrack、RadarMOSEVE、Radar Velocity Transformer；同期/相关动态感知如Fiery/PowerBev/TBP-Former（多视未来实例/运动）。本文为首个多传感器BEV MOS，扩展SimpleBEV并引入MDCA。
官方代码与复现建议
Section titled “官方代码与复现建议”论文摘录中未提及官方代码或开源仓库；建议查阅arXiv:2503.03280或作者机构页面 待来源核验。复现需nuScenes、按SimpleBEV式多流特征提取+MDCA变体+相关层，注意GT生成与BEV网格设置。
推荐阅读顺序
Section titled “推荐阅读顺序”先读摘要与图1/图2建立全局；再引言与贡献；相关工作定位差异；方法3.1-3.5详读特征提取/融合/相关/解码；实验4.1-4.4看设置与融合消融；最后回看结果与图以核验SOTA声明。
- Q: BEVMOSNet主要解决什么问题，为何需要多模态？ A: BEV下动态物体精确运动理解以支持避障与规划；相机在低光/恶劣天气失效，LiDAR/雷达更鲁棒且雷达提供速度信息。
- Q: 传感器特征如何提取到BEV？ A: 相机：ResNet-101+lifting体素拉取；LiDAR：体素化二值占用；雷达：栅格化（位置+速度等属性）。
- Q: MDCA如何工作及其优势？ A: 多头可变形交叉注意力：查询投影得参考点/偏移/权重，每模态每头采样少量关键键；降低O(N^2)复杂度，共享跨模态知识并处理域差距。
- Q: 如何提取运动线索？ A: 对连续两帧融合BEV特征应用相关层（k=3核比较子区域），再与当前BEV拼接送解码器。
- Q: 主要定量结果是什么？ A: nuScenes上IoU相对BEV-MoSeg提升36.59%，相对扩展SimpleBEV提升2.35%；相机-only SimpleBEV Motion亦比BEV-MoSeg高8.04%。
- page 1 Abstract: we introduce BEVMOSNet, to our knowledge, the first end-to-end multimodal fusion leveraging cameras, LiDAR, and radar to precisely predict the moving objects in BEV. … overall improvement in IoU score of 36.59% compared to the vision-based unimodal baseline BEV-MoSeg … and 2.35% compared to the multimodel SimpleBEV … establishing this method as the state-of-the-art in BEV motion segmentation.
- page 2 contributions: We present a novel multisensor deep network BEVMOSNet, designed specifically for precise motion understanding in a bird’s-eye-view. The proposed network combines multi-view cameras, LiDAR, and radar, representing the first known endeavor of its kind. • Deformable cross attention (DCA) guided design of a sensor fusion module … • Implementation of a single-stage end-to-end trainable network establishing the first state-of-the-art results on the nuScenes dataset
- page 3 Figure 2 caption: BEVMOSNet extracts features from camera, radar, and LiDAR input and transforms them into BEV, where they are fused together by a sensor fusion module. Consequently, a correlation block is applied to the fused BEV feature maps from current and previous frames to extract motion cues, which are then combined with the current fused BEV feature map as input for the segmentation decoder.
- page 4-5 MDCA: We apply deformable multi-modal cross attention shown in Figure 3. This mechanism selectively attends to a small set of keys sampled around a reference point … MDCA(Zq , Pq , Xm ) = [sum … Am,h Xm (P + ∆Pm,h ) …]
- page 6 Setup / results snippet: Compared with BEV-MoSeg …, the SimpleBEV Motion model outperforms BEV-MoSeg … Even in the camera-only scenario, the model … achieves an 8.04% improvement. The SimpleBEV Motion model achieves state-of-the-art results in camera + radar + LiDAR fusion scenarios
Discovery evidence
Section titled “Discovery evidence”- topic:
multimodal-perception - sources:
arxiv,crossref - retrieved_at: 2026-07-20
- query: camera lidar fusion 3D detection autonomous driving
- arxiv:
2503.03280 - doi:
10.5220/0013383300003912 - score_total: 51
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation Hiep Truong Cong1,3 , Ajay Kumar Sigatapu1 , Arinda…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2503.03280] BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2503.03280] BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.6（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Hiep Truong Cong, Ajay Kumar Sigatapu, Arindam Das, Yashwanth Sharma, Venkatesh Satagopan, Ganesh Sistu, Ciaran Eising |
| arXiv | 2503.03280 |
| DOI | 10.5220/0013383300003912 |
| Topics | multimodal-perception |
| Paper | https://arxiv.org/abs/2503.03280 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”multimodal-perception: tier=needs-review rank=8 score=51 — auto refresh 2026-07-19 sources=arxiv,crossref
Extract excerpt
Section titled “Extract excerpt”BEVMOSNet: Multimodal Fusion for BEV Moving Object Segmentation
Hiep Truong Cong1,3 , Ajay Kumar Sigatapu1 , Arindam Das2,3 , Yashwanth Sharma2 , Venkatesh Satagopan2 , Ganesh Sistu3,4 and Ciarán Eising3 1 DSW, Valeo Kronach, Germany, 2 DSW, Valeo India 3 University of Limerick, Ireland and 4 Valeo Vision Systems, Ireland
firstname.lastname@{valeo.com, ul.ie}
Keywords: Autonomous driving, Sensor fusion, Bird’s-eye-view perception, Moving object segmentation
arXiv:2503.03280v1 [cs.CV] 5 Mar 2025 Abstract: Accurate motion understanding of the dynamic objects within the scene in bird’s-eye-view (BEV) is critical to ensure a reliable obstacle avoidance system and smooth path planning for autonomous vehicles. However, this task has received relatively limited exploration when compared to object detection and segmentation with only a few recent vision-based approaches presenting preliminary findings that significantly deteriorate in low- light, nighttime, and adverse weather conditions such as rain. Conversely, LiDAR and radar sensors remain almost unaffected in these scenarios, and radar provides key velocity information of the objects. Therefore, we introduce BEVMOSNet, to our knowledge, the first end-to-end multimodal fusion leveraging cameras, LiDAR, and radar to precisely predict the moving objects in BEV. In addition, we perform a deeper analysis to find out the optimal strategy for deformable cross-attention-guided sensor fusion for cross-sensor knowledge sharing in BEV. While evaluating BEVMOSNet on the nuScenes d