3D Visual Illusion Depth Estimation
3D Visual Illusion Depth Estimation
Section titled “3D Visual Illusion Depth Estimation”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 3D 与空间感知
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: spatial-perception · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2505.13061
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”揭示3D视觉错觉（如镜面、画中画、重放等）会严重欺骗机器视觉的单目/双目深度估计，带来AR/VR与机器人安全风险；同时提供近3k场景/20万图像的数据集与基于VLM常识的单目-双目融合框架，对具身智能与鲁棒深度感知研究有直接价值。
3D视觉错觉会误导SOTA单目与双目深度估计，本文构建大规模错觉数据集并提出VLM驱动的单目-双目自适应融合框架，在错觉场景上达到SOTA性能。
深度估计需从单图或图像序列恢复场景3D几何，但3D视觉错觉（平面艺术品/物体被操纵以模拟立体空间关系）会误导人类与机器视觉系统的深度感知，影响下游AR/VR与机器人应用的安全性；现有单目（依赖纹理-几何映射）与双目（依赖像素匹配）方法在不同类型错觉上均存在 complementary failure modes。
单目深度估计（如DepthAnything等基于Transformer/扩散模型）、立体匹配/双目视差估计（GRU迭代或Transformer方法）、多视图重建（如DUSt3R、Gaussian Splatting）、视觉-语言模型（VLM）常识与特征提取、平面拟合/RANSAC、仿射不变深度到度量尺度的对齐。
- 构建3D-Visual-Illusion数据集：近3000场景、约20万图像（训练）+617帧测试，覆盖5类错觉（inpainting、picture、replay、holography、mirror），含虚拟（网页视频+生成模型）与真实（立体相机+LiDAR）数据，用于训练与评估SOTA深度方法。
- 揭示SOTA单目、双目及多视图深度估计方法均会被各类3D视觉错觉欺骗，并分析其互补失败模式（单目易被纹理错觉误导，双目在透明/反射表面失败）。
- 提出VLM驱动的单目-双目融合框架：双分支网络同时预测单目深度与双目视差，VLM基于常识生成置信图（via flow matching）以自适应融合并恢复度量尺度。
- 在自建数据集与Booster数据集上实验表明方法达到SOTA性能。
输入校正后的立体图像对 → 双分支预测网络：共享上下文特征，分别经GRU等估计双目视差与单目深度 → VLM融合网络：用预训练视觉模型从左图提取特征，经LLM（条件于语言prompt，如询问透明/反射物体）映射到共享嵌入空间，通过flow matching生成置信图 → 用置信图将仿射不变单目深度对齐到度量尺度，并与双目视差融合得到最终深度图。
关键模块和设计取舍
Section titled “关键模块和设计取舍”- 双分支预测网络：同时输出单目深度与双目视差，利用互补性；2) VLM-based fusion：借助VLM对镜面/透明等错觉的强检测能力（prompt引导检测透明/反射物体并输出坐标或分割），生成置信图以指导融合与尺度对齐；取舍：依赖VLM常识弥补几何方法在错觉区的不足，但需处理单目仿射尺度与双目度量尺度的对齐，以及复杂场景下的置信估计；数据生成中用SAM2分割+RANSAC平面拟合矫正错觉区视差。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”自建3D-Visual-Illusion：近3000场景、训练超20万帧、测试617帧，分辨率最高1080×1920，含室内外、小物体到大场景；5类错觉；虚拟数据（网页爬取+Sora/Kling/HunyuanVideo生成，DepthAnything V2+平面矫正+GS渲染右图）+真实数据（ZED Mini立体相机+Realsense L515 LiDAR，标定后投影与Z-buffering生成GT）；另用Booster数据集；指标与具体设置细节待来源核验（文中仅称评估SOTA单目/双目/多视图方法及自身融合方法）。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”SOTA单目、双目与多视图深度估计方法均会被各类3D视觉错觉欺骗；单目与双目呈现互补优势；所提VLM驱动融合方法在自建数据集与Booster数据集上达到SOTA性能。具体数值指标待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”文中强调错觉导致安全风险，但具体失败场景、量化局限与适用边界（如极端光照、动态场景、特定VLM依赖、虚拟数据与真实域差距）待来源核验；数据生成依赖人工SAM2标注与假设（支撑区与错觉区共面），可能引入偏差。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”立体匹配：GRU迭代（如RAFT-Stereo类）与Transformer-based（大规模数据学习匹配），本文揭示其对错觉敏感并用VLM辅助矫正镜面；单目深度：扩散/Transformer模型（监督/自监督），依赖单目线索易被错觉误导，本文引入匹配线索互补；VLM：注入文本常识支持视觉理解（VQA、生成等），本文利用其对镜面的强检测能力预测置信以融合深度。
官方代码与复现建议
Section titled “官方代码与复现建议”官方代码与复现细节待来源核验（摘录未提及公开链接或实现细节）；建议基于双分支（单目+立体骨干）+VLM特征与flow matching置信生成复现，数据生成流程可用DepthAnything+SAM2+RANSAC+GS。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction（问题与动机）→ Section 3数据集构建（理解评估基准与生成pipeline）→ Method（双分支+VLM融合，结合Figure描述）→ Related Work（定位）→ Experiments（结果，待完整版）→ 附录/补充材料（VLM镜面检测细节）。
- Q: 3D视觉错觉的5种类型是什么？为什么会误导深度估计？ A: inpainting（墙/地板上的绘制）、picture（纸上打印/绘制图像）、replay（屏幕重放视频）、holography、mirror（镜面/透明/反射表面）。它们操纵平面以模拟立体空间关系，欺骗纹理线索（单目）或匹配过程（双目）。
- Q: 为什么单目与双目方法在错觉上具有互补性？ A: 单目依赖纹理到几何的映射，易被印刷/屏幕内容误导，但可通过先验恢复镜面几何；双目依赖像素对应，在纹理丰富错觉上成功，但在透明/反射表面因冲突信号失败。
- Q: VLM在融合框架中如何发挥作用？ A: 用预训练视觉模型提取左图特征，经LLM（条件于prompt询问透明/反射物体）映射到共享嵌入，通过flow matching生成置信图，用于评估单目/双目可靠性、对齐仿射单目深度到度量尺度并融合。
- Q: 虚拟数据生成中如何矫正错觉区域的视差？ A: 用SAM2获取错觉区与邻近支撑区掩码，假设共面，在视差空间用RANSAC拟合平面（因3D平面在(u,v,d)仍为平面），矫正错觉区视差并去噪；网页视频用DepthAnything V2初始化，生成视频用InstantSplat/DUSt3R+GS。
- Q: 真实数据如何获取对齐的GT深度？ A: ZED Mini立体相机+Realsense L515 LiDAR刚性安装并标定相对位姿；L515点云上采样后投影到ZED坐标系，用Z-buffering处理遮挡/重叠，填补小孔。
- Abstract (page 1): we collect a large dataset containing almost 3k scenes and 200k images to train and evaluate SOTA monocular and binocular depth estimation methods. We also propose a 3D visual illusion depth estimation framework that uses common sense from the vision language model to adaptively fuse depth from binocular disparity and monocular depth. Experiments show that SOTA monocular, binocular, and multi-view depth estimation approaches are all fooled by various 3D visual illusions, while our method achieves SOTA performance.
- Introduction (page 1-2): These 3D visual illusions mislead the depth perception and seriously affect the downstream applications, causing safety-critical risks in AR/VR and robotics. … The dataset includes five types of illusions: inpainting illusion … picture illusion … replay illusion … holography illusion, and mirror illusion … It comprises nearly 3,000 scenes and 200,000 images
- Section 1 (page 2): Monocular methods, which rely on the mapping from texture cues to 3D geometry, are easily misled by illusion patterns such as printed images or screen content. In contrast, stereo methods depend on pixel correspondences and fail on transparent or reflective surfaces like glass and mirrors … stereo and monocular methods exhibit complementary strengths
- Section 3 (page 3): The dataset comprises nearly 3,000 scenarios, with over 200,000 frames for training and 617 frames for testing. … covers five types of illusions: inpainting illusion … picture illusion … replay illusion … holography illusion, and mirror illusion
- Method overview (page 6 description): Our model consists of two components: a dual-branch prediction network and a VLM-based fusion network. The dual-branch network takes a rectified image pair as input and simultaneously predicts monocular depth and binocular disparity. The VLM-based fusion network … generate a confidence map via flow matching. The confidence map is used to align the affine-invariant monocular depth to metric scale, which is then fused with the binocular disparity
Discovery evidence
Section titled “Discovery evidence”- topic:
spatial-perception - sources:
arxiv - retrieved_at: 2026-07-20
- query: occupancy prediction autonomous driving
- arxiv:
2505.13061 - score_total: 48
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「3D Visual Illusion Depth Estimation」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- 3D Visual Illusion Depth Estimation Chengtang Yao1,2†, Zhidan Liu1,2†, Jiaxi Zeng1,2 , Lido…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（3D Visual Illusion Depth Estimation）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2505.13061] 3D Visual Illusion Depth Estimation — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- No content available — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: 3D Visual Illusion Depth Estimation方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.8（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Chengtang Yao, Zhidan Liu, Jiaxi Zeng, Lidong Yu, Yuwei Wu, Yunde Jia |
| arXiv | 2505.13061 |
| DOI | — |
| Topics | spatial-perception |
| Paper | https://arxiv.org/abs/2505.13061 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”spatial-perception: tier=recent rank=3 score=48 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”3D Visual Illusion Depth Estimation
Chengtang Yao1,2†, Zhidan Liu1,2†, Jiaxi Zeng1,2 , Lidong Yu3,4 , Yuwei Wu1,2∗, Yunde Jia2,1∗ 1 Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China 2 Guangdong Provincial Key Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, Shenzhen, China 3 NVIDIA, 4 NEOLIX
arXiv:2505.13061v4 [cs.CV] 22 Oct 2025 {zdliu, wuyuwei, jiayunde}@bit.edu.cn {yao.c.t.adam, yvlidong, jiaxizeng.jx}@gmail.com
Abstract 3D visual illusion is a perceptual phenomenon where a two-dimensional plane is manipulated to simulate three-dimensional spatial relationships, making a flat artwork or object look three-dimensional in the human visual system. In this paper, we reveal that the machine visual system is also seriously fooled by 3D visual illusions, including monocular and binocular depth estimation. In order to explore and analyze the impact of 3D visual illusion on depth estimation, we collect a large dataset containing almost 3k scenes and 200k images to train and evaluate SOTA monocular and binocular depth estimation methods. We also propose a 3D