Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes
Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes
Section titled “Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 3D 与空间感知
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: spatial-perception · Tier: recent · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2312.15268
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”针对自监督单目深度估计在动态场景中因静态世界假设失效而性能下降的问题，提出了高效的运动感知方案，结合光流与注意力机制显著提升动态物体与静态背景的深度精度，适合自动驾驶与具身智能中需要处理真实动态环境的研究者。
Manydepth2通过光流与粗深度构建伪静态参考帧并形成运动感知代价体积，结合注意力深度网络，在相似计算成本下有效提升动态场景自监督单目深度估计精度。
自监督单目深度估计依赖静态世界假设，动态元素会破坏相邻帧特征体积的构建，导致动态物体深度估计误差大；多帧方法虽可利用代价体积但同样受动态前景干扰，与立体方法存在性能差距。
自监督单目/多帧深度估计（如Monodepth2、ManyDepth）、光流估计、代价体积构建、图像warping与光度损失、注意力机制（通道与非局部）、HRNet多尺度特征、KITTI等数据集评估协议。
- 利用估计光流与先验深度生成伪静态参考帧，有效中和原帧中动态元素的影响。
- 结合伪静态参考帧、目标帧与初始参考帧，构建捕获运动物体动态的运动感知代价体积。
- 基于HRNet提出融合非局部注意力与通道注意力的深度估计架构，实现多尺度特征有效集成以进行像素级密集预测。
- 在KITTI、Cityscapes和Odometry数据集上优于现有单帧与多帧方法，且可在单卡RTX 3090上高效训练。
阶段1：目标帧It与参考帧Ir经Flow Net、Pose Net、Depth Net生成光流fr←t、变换矩阵[R|t]rt与粗深度Dtc；阶段2：用这些输出构建运动感知代价体积Vm；最后将Vm与It输入注意力深度网络θad预测精炼深度Dt，并用Dt构建最终光度损失Lp进行自监督训练。
关键模块和设计取舍
Section titled “关键模块和设计取舍”伪静态参考帧：由深度计算静态光流，与真实光流差得动态流并生成运动掩码，用掩码将参考帧动态区域替换为从目标帧前向投影的结果；运动感知代价体积：对αÎr+(1-α)Ir与It提取特征，按深度假设平面warp后取平均绝对差构建Vm，再与目标特征经通道注意力融合得最终特征体积；注意力深度网络：基于HRNet多分支多分辨率特征，用非局部注意力与通道注意力跨分支融合；损失为光度损失（L1+SSIM+automask）+平滑损失+与先验深度的一致性损失。设计取舍在于用光流中和动态而非完全排除或分割，并引入注意力提升多尺度融合，同时保持与ManyDepth类似的计算效率。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”主要数据集为KITTI-2015与Cityscapes，另提及Odometry；使用ResNet18姿态网络、HRNet16注意力深度骨干、预训练Gmflow光流网络；深度范围0.1m-80m，尺度用中值对齐；指标包括Abs Rel、Sq Rel、RMSE、RMSE log、δ<1.25/1.25²/1.25³等标准误差与阈值指标。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”与相似计算成本方法相比，在KITTI-2015上自监督单目深度估计的RMSE约降低5%；在KITTI、Cityscapes与Odometry上优于现有单帧与多帧方法；Cityscapes与KITTI定性结果显示动态区域误差明显低于ManyDepth；可在单卡RTX 3090合理时间内训练。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”依赖光流与粗深度的质量（动态场景中静态流与真实流存在差异）；运动掩码阈值阈值敏感；提取中未详细展开极端动态、遮挡或快速运动的失败案例，适用边界主要为有相邻帧且光流可估计的视频序列（待来源核验更多失败场景）。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”改进自ManyDepth与MonoRec等基于代价体积的多帧方法（这些方法假设静态场景，难以处理动态前景）；相对单帧方法（Monodepth2、DevNet等）与早期处理动态方式（排除动态、分割后区别对待或物体级运动预测）更高效地整合时序运动信息进代价体积；同期光流与注意力技术被用于增强表示与融合。
官方代码与复现建议
Section titled “官方代码与复现建议”推荐阅读顺序
Section titled “推荐阅读顺序”先读摘要与引言理解动机与贡献，再看图2整体框架与方法部分（伪静态参考帧、运动感知代价体积、注意力网络），然后实验与定性图，最后相关工作对比与损失细节。
- Q: 伪静态参考帧如何生成？它解决什么问题？ A: 用光流、变换与粗深度计算静态光流，与真实光流差得动态流并阈值生成运动掩码，将参考帧动态区域替换为从目标帧投影结果；中和动态元素对代价体积的干扰。
- Q: 运动感知代价体积如何构建？ A: 对混合伪静态与原参考帧的特征与目标特征，按深度假设平面进行warp后计算平均绝对差得到Vm，再与目标特征经通道注意力融合。
- Q: 注意力深度网络的核心设计是什么？ A: 基于HRNet多分支多分辨率特征，用非局部注意力与通道注意力跨分支与跨尺度融合，实现精确像素级预测。
- Q: 总损失包含哪些项？ A: 光度损失Lp（L1+SSIM+automask）、平滑损失Ls、与先验单目深度的一致性损失Lc。
- Q: 与ManyDepth相比主要优势是什么？ A: 通过伪静态帧与运动感知体积处理动态物体，在KITTI-2015上RMSE约降5%，定性误差更低，且保持相似计算成本。
- Abstract (page 1): Compared to methods with similar computational costs, Manydepth2 achieves a significant reduction of approximately five percent in root-mean-square error for self-supervised monocular depth estimation on the KITTI-2015 dataset.
- Abstract (page 1): To tackle the challenges posed by dynamic content, we incorporate optical flow and coarse monocular depth to create a pseudo-static reference frame. This frame is then utilized to build a motion-aware cost volume in collaboration with the vanilla target frame.
- Introduction contributions (page 1-2): • We utilize estimated optical flow alongside prior depth information to generate a pseudo-static reference frame. … • By incorporating the pseudo-static reference frame, the target frame, and the initial reference frame, we construct a novel motion-aware volume … • Building on the High-Resolution Network (HRNet), we propose a novel depth estimation architecture that combines non-local and channel attention…
- Methodology Overview / Framework (page 3): The structure of Manydepth2 is demonstrated in Fig. 2. During Stage 1, target and reference frame It and Ir are processed Flow Net, Pose Net, and Depth Net to generate optical flow fr←t , transformation matrix [R|t]rt , and coarse depth Dtc . During Stage 2, the outputs are used to generate the motion-aware cost volume V m . Finally, the motion-aware cost volume V m and the target frame It are used by Attention-Based Depth Net to produce the refined depth Dt .
- Experiments (page 4-5): The main tests and evaluations for our study were carried out using two primary datasets: KITTI-2015 [35] and Cityscapes [36]. … Our proposed model outperforms existing single and multi-frame methods on the KITTI, Cityscapes, and Odometry datasets. Additionally, our model can be trained efficiently using only a single NVIDIA RTX 3090 graphics card within a reasonable timeframe.
Discovery evidence
Section titled “Discovery evidence”- topic:
spatial-perception - sources:
arxiv - retrieved_at: 2026-07-20
- query: occupancy prediction autonomous driving
- arxiv:
2312.15268 - score_total: 45
- suggested_tier:
watch
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dy…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2312.15268] Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2312.15268] MGDepth: Motion-Guided Cost Volume For Self-Supervised Monocular Depth In Dynamic Scenarios — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic S方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.4（qualitative）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2023 |
| Authors | Kaichen Zhou, Jia-Wang Bian, Jian-Qing Zheng, Jiaxing Zhong, Qian Xie, Niki Trigoni, Andrew Markham |
| arXiv | 2312.15268 |
| DOI | — |
| Topics | spatial-perception |
| Paper | https://arxiv.org/abs/2312.15268 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”spatial-perception: tier=recent rank=4 score=45 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”Manydepth2: Motion-Aware Self-Supervised Monocular Depth Estimation in Dynamic Scenes
Kaichen Zhou1 , Jia-Wang Bian1 , Jian-Qing Zheng1 , Jiaxing Zhong1 , Qian Xie1 , Niki Trigoni1 , Andrew Markham1
Abstract— Despite advancements in self-supervised monocu- frames, the presence of dynamic elements in these adjacent lar depth estimation, challenges persist in dynamic scenarios frames can potentially disrupt the construction of the feature due to the dependence on assumptions about a static world. In
arXiv:2312.15268v9 [cs.CV] 13 Mar 2025 volume. this paper, we present Manydepth2, to achieve precise depth estimation for both dynamic objects and static backgrounds, all while maintaining computational efficiency. To tackle the High Error RGB challenges posed by dynamic content, we incorporate optical flow and coarse monocular depth to create a pseudo-static reference frame. This frame is then utilized to build a motion- aware cost volume in collaboration with the vanilla target
ManyDepth frame. Furthermore, to improve the accuracy and robust- ness of the network architecture, we propose an attention- based depth network that effectively integrates informatio