FB-OCC: 3D Occupancy Prediction based on Forward-Backward View Transformation

FB-OCC: 3D Occupancy Prediction based on Forward-Backward View Transformation

学习档位 精读

类型 文献 · 更新 2026-07-20

所属 3D 与空间感知 · 场景表示与长期记忆

中文学习笔记（自动生成，需核验）

Topic: spatial-perception · Tier: recent · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2307.01492
Code: —
Generator: grok

为什么值得读

该技术报告总结了CVPR 2023 3D Occupancy Prediction Challenge的冠军方案，展示了如何将前向-后向视图变换（FB-BEV）适配到纯相机3D占用预测，并强调大规模模型、联合深度-语义预训练与后处理对提升性能的关键作用，适合学习相机-only BEV/体素感知与大规模预训练实践。

一句话结论

FB-OCC基于前向-后向视图变换，结合联合深度-语义预训练、体素-BEV联合表示、模型扩展与后处理，在nuScenes占用预测上取得54.19% mIoU并获挑战赛第一。

问题定义

仅利用相机输入在推理时预测3D体素空间中每个体素的占用状态与语义类别，为自动驾驶规划提供丰富信息；挑战允许使用开源数据与模型以探索数据驱动与大规模方法。

前置知识

熟悉BEV感知（LSS前向投影、BEVFormer后向投影）、Lift-Splat-Shoot与BEVDepth深度监督、3D占用预测任务与mIoU、多相机图像特征提取、常见损失函数（Focal、Dice、Lovasz等）及大规模预训练（如Object365、SAM）基础。

核心贡献

• 在FB-BEV基础上针对3D占用预测设计前向投影生成初始3D体素表示并压缩为BEV查询，结合深度感知后向投影优化，实现体素-BEV联合表示与融合。
• 提出联合深度-语义预训练：利用Object365上InternImage-H预训练、SAM自动标注+点云投影生成2D语义掩码，联合深度估计与2D语义分割以缓解过拟合与域差距。
• 探索模型规模扩展（至约1B参数InternImage-H）并配合额外公开数据训练，避免3D感知中大骨干过拟合问题。
• 有效后处理：测试时增强（图像与3D翻转、时序TTA用近距离静态体素替换远距离）、基于mIoU与类别IoU的加权集成（NNI搜索权重）。
• 在Occ3D-nuScenes上达到SOTA 54.19% mIoU并获挑战赛第一，代码将开源。

方法流程

多视角图像经骨干提取特征与深度网预测深度分布；前向投影（LSS风格）将图像特征按深度投影到3D体素空间生成初始体素表示；将体素压缩为BEV特征作为查询，经深度感知后向投影（BEVFormer风格）从图像特征获取稠密几何信息并优化；扩展BEV特征与体素融合得到最终3D体素表示；经体素编码器与占用预测头输出；训练用距离感知Focal、Dice、affinity、lovasz-softmax等损失+深度与2D语义监督；推理结合TTA与集成。

关键模块和设计取舍

F-VTM（前向投影直接建模3D体素而非BEV，用BEVDepth式点云深度GT监督，处理LSS稀疏性）；B-VTM（后向投影用压缩体素BEV作强语义先验查询，并利用深度分布精确投影，仅用1层因查询已有信息）；体素-BEV融合（扩展BEV后与体素结合）；联合预训练（深度+SAM/点云提示生成的2D语义，对齐最终任务）；缩放（InternImage-H 1B，Object365预训练）；后处理（8种翻转TTA均值、时序近距替换、加权集成）。取舍：后向阶段用BEV而非体素以控算力；忽略训练中相机不可见体素；大模型需额外数据防过拟合。

数据集、实验设置与指标

基于nuScenes的Occ3D-nuScenes占用数据集：每帧范围[-40m, -40m, -1m, 40m, 40m, 5.4m]，体素分辨率0.4m，18类（含free），提供相机可见掩码；主要指标mIoU（各类TP/(TP+FP+FN)平均）。训练细节（摘录）：大模型batch 32于32 A100、AdamW lr 1e-4（骨干10倍小）、约50 epoch、时序帧数视显存（Intern-H用6帧，最多16）、在线时序、图像640×1600、特征下采样16、深度80 bins（2-42m）、体素200×200×16、数据增强翻转旋转；忽略不可见体素。

主要结果（需原文证据）

摘要称在nuScenes上SOTA mIoU 54.19%并获挑战赛第一。Table 1消融显示从Version A的23.12逐步到Version H的42.06；Table 2模型规模：Version H（67.8M）42.06 → I（130.8M）48.90 → J（428.8M）50.47 → K（1200.0M）52.79。对比基线如MonoScene 6.06、BEVDet 11.73、BEVFormer 26.88、CTF-Occ 28.53均被超越。更完整最终结果与部分消融待来源核验（摘录截断）。

局限、失败场景与适用边界

大骨干在有限样本（nuScenes约40K）上易过拟合，需额外数据与预训练缓解；LSS前向易产生稀疏表示，需后向优化；占用精度随距离显著下降，需时序TTA缓解；预训练存在域差距；后向用BEV而非全3D以控计算；SAM/点云提示生成stuff掩码质量满意但仍为自动标注；适用边界主要为相机-only、nuScenes风格占用任务，远距离与动态场景挑战更大。更多失败场景待来源核验。

与前序 / 同期 / 后续方法的关系

基于作者先前FB-BEV（统一前向LSS与后向BEVFormer）；借鉴Lift-Splat-Shoot、BEVDepth深度监督、BEVFormer查询、MonoScene损失、OpenOccupancy lovasz、M2BEV距离Focal、SOLOFusion时序、InternImage-H骨干与Object365/SAM预训练；对比MonoScene、BEVDet、BEVFormer、CTF-Occ等相机占用方法；强调大规模与预训练对占用任务的影响此前知识有限。

官方代码与复现建议

官方将发布于https://github.com/NVlabs/FB-BEV （基于FB-BEV）。复现建议：使用InternImage-H或VoVNet等骨干，按摘录设置（640×1600输入、200×200×16体素、联合深度-语义预训练、时序在线、忽略不可见体素、TTA+集成）；注意大模型需大量GPU与额外数据；具体超参与最终checkpoint待代码与完整论文核验。

推荐阅读顺序

先读Abstract与Introduction把握挑战与动机；再读2.1 Model design理解前向-后向与体素-BEV；接着2.2 Scaling up and pre-training（含Figure 3联合预训练）与2.3 Post-processing；然后3.1-3.2数据集与实现；最后Tables 1-2结果与消融；对照Figure 1-2架构。

自测问题

1. Q: FB-OCC的前向投影与标准LSS有何主要不同？ A: 直接建模3D体素表示以捕获更详细3D信息，而非LSS的BEV特征；并用BEVDepth式点云生成深度GT监督。
2. Q: 为什么后向投影使用压缩的BEV表示而非完整3D体素作为查询？ A: 考虑计算负担；且压缩BEV已融入更强语义先验，只需1层即可优化。
3. Q: 联合深度-语义预训练如何生成2D语义标签？ A: thing类用nuScenes框提示SAM；stuff类将点云语义投影到图像并用随机三点提示SAM生成掩码。
4. Q: 摘要报告的最终mIoU是多少？Table 2中最大规模模型Version K的mIoU是多少？ A: 摘要54.19%；Version K（1200.0M）为52.79（最终可能含后处理，摘录未完全展示）。
5. Q: 测试时如何缓解远距离占用精度下降？ A: 使用时序TTA：用前帧靠近自车的静态体素预测替换当前帧共位远距离体素。

原文证据

• Abstract (page 1): These designs and optimization result in a state-of-the-art mIoU score of 54.19% on the nuScenes dataset, ranking the 1st place in the challenge track.
• Section 2.1 (page 1-2): In the case of FB-OCC, we use forward projection to generate the initial 3D voxel representation. We then condense the 3D voxel representations into a flattened BEV feature map. The BEV feature map is treated as queries within the BEV space and attends the image encoder features to acquire dense geometry information.
• Section 2.2 (page 2): we conduct extensive pre-training on the nuScenes dataset, primarily focusing on depth estimation. … we simultaneously aim to predict the 2D semantic segmentation labels alongside the depth prediction task, as shown in Figure 3.
• Section 3.1 (page 3): For each frame, they provide occupancy annotations within the range of [-40m, -40m, -1m, 40m, 40m, 5.4m], and the resolution of each voxel is 0.4m. The dataset contains 18 classes…
• Table 2 (page 4): Version K 1200.0M … 52.79
• Section 2.3.1 (page 2): We additionally observe that occupancy prediction accuracy significantly degrades with distance. Temporal test-time augmentation (TTA) is thus used to mitigate this issue. For static voxels, we leverage the predicted voxels that are close to the ego car in previous frames to replace the voxels co-located in the current frame.

Discovery evidence

• topic: spatial-perception
• sources: arxiv
• retrieved_at: 2026-07-20
• query: occupancy prediction autonomous driving
• arxiv: 2307.01492
• score_total: 53
• suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: FB-OCC: 3D Occupancy Prediction based on Forward-Backward View Transformation

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.2（arch）；学习用途摘录。

来源：原论文约 p.4（table）；学习用途摘录。

精读判断（人工）

这篇文献回答什么问题

如何用前后向视角变换做 3D occupancy 预测，把空间感知从框检测推进到体素占用。

我方立场

占用网络是世界模型与规划安全层的输入形态之一。主路径上读它是为建立「检测框 ≠ 可驾驶空间」的意识。

局限

计算与标注成本高于检测；开放集与动态物体时序一致性仍难。

读完应能回答

1. occupancy 相对 3D box 的信息增益是什么？
2. view transform 误差如何污染占用？
3. 与 BEV 检测共享哪些骨干假设？

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2023
Authors	Zhiqi Li, Zhiding Yu, David Austin, Mingsheng Fang, Shiyi Lan, Jan Kautz, Jose M. Alvarez
arXiv	2307.01492
DOI	—
Topics	spatial-perception, scene-representation-memory
Paper	https://arxiv.org/abs/2307.01492

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• spatial-perception: tier=recent rank=1 score=53 — auto refresh 2026-07-19 sources=arxiv
• scene-representation-memory: tier=watch rank=5 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19

Extract excerpt

FB-OCC: 3D Occupancy Prediction based on Forward-Backward
                                                                     View Transformation

                                         Zhiqi Li1,2 , Zhiding Yu1 , David Austin1 , Mingsheng Fang2 , Shiyi Lan1 , Jan Kautz1 , Jose M. Alvarez1
                                                                                    1              2
                                                                                        NVIDIA         Nanjing University




arXiv:2307.01492v1 [cs.CV] 4 Jul 2023
                                                                Abstract                                    adapted to 3D occupancy prediction with certain modifica-
                                                                                                            tions. However, there is still limited knowledge regarding
                                           This technical report summarizes the winning solution            the impact of large-scale models and pre-training on the oc-
                                        for the 3D Occupancy Prediction Challenge, which is held            cupancy prediction task. As will be reported in this work,
                                        in conjunction with the CVPR 2023 Workshop on End-                  the use of large-scale models and pre-training techniques
                                        to-End Autonomous Driving and CVPR 23 Workshop on                   stands as crucial factors contributing to our success.
                                        Vision-Centric Autonomous Driving Workshop. Our pro-
                                        posed solution FB-OCC builds upon FB-BEV, a cutting-                2. Method
                                        edge camera-based bird’s-eye view perception design using
                                        forward-backward projection. On top of FB-BEV, we fur-                 In this section, we will present our solution in details
                                        ther study novel designs and optimization tailored to the 3D        with the following aspects covered. Section 2.1 will elab-
                                        occupancy prediction task, including joint depth-semantic           orate on our model design. Section 2.2 will discuss the ef-
                                        pre-training, joint voxel-BEV representa

Local assets

反向链接

• 3D 与空间感知
• 场景表示与长期记忆

---

学习导航

标记为已读

• 所属 Topic: spatial-perception
• 学习路径: 学习路线 · 论文库
• 上一篇: DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
• 下一篇: PETR: Position Embedding Transformation for Multi-View 3D Object Detection
• 返回 Topic