3D Scene Generation: A Survey
3D Scene Generation: A Survey
Section titled “3D Scene Generation: A Survey”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: representation-generative · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~90 分钟
Paper: https://arxiv.org/abs/2505.05474
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”这篇2025年系统综述全面梳理了3D场景生成的四大范式、表示、模型、数据集、评估与应用，特别关联自动驾驶、机器人、具身智能与世界模型，能帮助快速建立领域全景、把握趋势与挑战，适合自动驾驶/具身智能方向入门与研究规划。
本文系统综述3D场景生成，将其组织为程序化、神经3D基、图像基与视频基四大范式，并覆盖表示、数据集、评估、应用、挑战与未来方向。
3D场景生成将输入x（如随机噪声、文本、图像或其他条件）通过生成模型G映射为3D场景表示S，要求场景空间连贯、隐式或显式定义3D几何，并支持多视图渲染或3D重建。相比物体/化身生成，挑战更大：尺度更大更可变、结构与语义关系复杂、高质量标注数据稀缺昂贵、精细控制（如放置/分区/风格）困难。
3D场景表示（体素网格、点云、网格、神经场如SDF/NeRF、3D Gaussians、图像序列）、生成模型基础（自回归、VAE、GAN、扩散模型、程序化生成器）、计算机视觉与图形学基本知识。
- 将现有方法系统分类为程序化生成、神经3D基生成、图像基生成与视频基生成四大范式，并分析技术基础、权衡与代表性结果
- 综述关键3D场景表示、生成模型、常用数据集、评估协议与下游应用（编辑、人-场景交互、具身AI、机器人、自动驾驶）
- 识别生成能力、3D表示、数据标注与评估等方面的关键挑战，并展望更高保真、物理感知与交互式生成、统一感知-生成模型等方向
- 维护持续更新的项目页面跟踪进展
作为综述，无单一端到端方法。总体任务为G: x → S。方法按层次分类：程序化生成（规则基、优化基、LLM基）；神经3D基生成（场景参数、场景图、语义布局、隐式布局）；图像基生成（整体生成、迭代生成）；视频基生成（两阶段、一阶段）。结合不同3D表示与生成模型（AR/VAE/GAN/扩散等），从学习真实分布到将生成 reframing 为图像/视频合成，并借助动态3D表示支持沉浸动态环境。
关键模块和设计取舍
Section titled “关键模块和设计取舍”核心是3D表示选择与生成模型匹配：显式（体素/点云/网格）利于结构化与编辑但内存/可扩展性受限；隐式神经场（SDF/NeRF）与3D Gaussians提升几何保真、渲染效率与视图一致性。生成模型取舍：早期程序化规则可扩展可控但多样性与真实感有限；GAN/扩散等深度模型学习分布提升保真与多样性；图像/视频扩散将3D问题 reframing 为2D合成，再通过时间建模或动态表示增强一致性。场景级需处理多实体关系与控制，而非单物体。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”数据集按类型分室内、自然与城市场景（具体名称与规模待来源核验）。评估协议包括基于指标的评估、基于基准的评估与人类评估。综述提及代表性结果与协议，但具体指标定义与设置细节在提供摘录中有限。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”领域近年论文数量显著上升（图1显示趋势至2025年4月）。深度生成模型与NeRF/3DGS等表示结合提升了保真度、多样性与视图一致性；视频扩散模型推动近两年研究激增，并支持动态环境。无具体数值对比实验，因本作为综述；更多定量结果待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”生成能力有限；3D表示在保真、效率与可编辑性间权衡；高质量带标注3D场景数据稀缺昂贵；评估协议不完善；早期程序化方法多样性不足、需大量人工干预；精细用户控制困难；场景尺度、结构复杂性与物体级方法差异大。适用范围侧重生成多样3D场景表示，排除纯重建、一般视频生成与一般3D物体生成。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”先前综述多聚焦窄领域（程序化、室内、自动驾驶、文本驱动）或一般3D/4D内容生成、世界模型（多侧重驾驶视频预测），覆盖碎片化，常忽略3D Gaussians、图像序列、程序化或视频基等关键表示/范式。本综述更全面系统，补充现有3D生成模型综述，聚焦场景级而非物体/化身。
官方代码与复现建议
Section titled “官方代码与复现建议”官方维护持续更新项目页：https://github.com/hzxie/Awesome-3D-Scene-Generation 用于跟踪进展。作为综述无官方训练/推理代码；复现建议聚焦分类中代表性方法的原论文实现与数据集。
推荐阅读顺序
Section titled “推荐阅读顺序”- 摘要与第1节引言（动机、挑战、结构）；2. 第2节预备知识（任务定义、表示、生成模型）；3. 第3节方法层次分类（按四大范式深入）；4. 第4节数据集与评估；5. 第5节应用与任务；6. 第6节挑战与未来方向。结合图1-2辅助理解趋势与组织。
- Q: 3D场景生成相比物体生成的主要额外挑战有哪些？ A: 尺度更大更可变、结构与语义关系复杂、高质量标注数据稀缺昂贵、精细控制（放置/分区/风格等）困难。
- Q: 本综述将方法分为哪四大范式？ A: 程序化生成、神经3D基生成、图像基生成、视频基生成。
- Q: 常用的3D场景表示包括哪些？ A: 体素网格、点云、网格、神经场（SDF/NeRF等）、3D Gaussians、图像序列。
- Q: 早期程序化方法与近期深度生成方法的主要权衡是什么？ A: 程序化可扩展可控但多样性与真实感有限、需人工；深度模型（GAN/扩散等）+先进表示学习真实分布，提升保真、多样性与一致性。
- Q: 视频基生成如何推动3D场景生成？ A: 将3D场景生成表述为视频生成，借助视频扩散模型改进质量，通过时间建模增强视图一致性，并结合动态3D表示支持沉浸动态环境。
- page 1 Abstract: 3D scene generation seeks to synthesize spatially structured, semantically meaningful, and photorealistic environments for applications such as immersive media, robotics, autonomous driving, and embodied AI. … This survey provides a systematic overview of state-of-the-art approaches, organizing them into four paradigms: procedural generation, neural 3D-based generation, image-based generation, and video-based generation.
- page 1-2 Introduction: Compared to generating 3D objects and avatars, generating 3D scenes presents significantly greater challenges across several dimensions. 1) Scale: … 2) Structural complexity: … 3) Data availability: … 4) Fine-grained control: …
- page 2 Contributions: This survey offers a structured overview of recent advances in 3D scene generation. We categorize existing methods into four types: procedural, neural 3D-based, image-based, and video-based generation, highlighting their paradigms and trade-offs. We also review key applications … Additionally, we examine commonly used scene representations, datasets, and evaluation protocols, and identify current limitations … Finally, we outline future directions including higher fidelity, physics-aware and interactive generation, and unified perception-generation models.
- page 2-3 Preliminaries 2.1: 3D scene generation maps an input x (e.g., random noise, text, images, or other conditions) to a 3D scene representation S (Sec. 2.2) using a generative model G (Sec. 2.3). G:x→S The generated scene S is spatially coherent, implicitly or explicitly defines 3D geometry, and enables multi-view rendering or 3D reconstruction.
- page 1 Project: To track ongoing developments, we maintain an up-to-date project page: https://github.com/hzxie/Awesome-3D-Scene-Generation.
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「3D Scene Generation: A Survey」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- 1 …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（3D Scene Generation: A Survey）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2505.05474] 3D Scene Generation: A Survey — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2505.05474] 3D Scene Generation: A Survey — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: 3D Scene Generation: A Survey方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.4（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Beichen Wen, Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu |
| arXiv | 2505.05474 |
| DOI | — |
| Topics | representation-generative, systems-engineering |
| Paper | https://arxiv.org/abs/2505.05474 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”representation-generative: tier=recent rank=5 score=55 — auto refresh 2026-07-19 sources=arxiv | promoted watch->recent for coverage fillsystems-engineering: tier=watch rank=2 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
Extract excerpt
Section titled “Extract excerpt”1
3D Scene Generation: A Survey Beichen Wen*, Haozhe Xie*, Zhaoxi Chen, Fangzhou Hong, and Ziwei Liu
Abstract—3D scene generation seeks to synthesize spatially structured, semantically meaningful, and photorealistic environments for applications such as immersive media, robotics, autonomous driving, and embodied AI. Early methods based on procedural rules offered scalability but limited diversity. Recent advances in deep generative models (e.g., GANs, diffusion models) and 3D representations (e.g., NeRF, 3D Gaussians) have enabled the learning of real-world scene distributions, improving fidelity, diversity, and view consistency. Recent advances like diffusion models bridge 3D scene synthesis and photorealism by reframing generation as image or video synthesis problems. This survey provides a systematic overview of state-of-the-art approaches, organizing them into four paradigms: procedural generation, neural 3D-based generation, image-based generation, and video-based generation. We analyze their technical foundations, trade-offs, and representative results, and review commonly used datasets, evaluation protocols, and downstream applications. We conclude by discussing key challenges in generation capacity, 3D representation, data and annotations, and evaluation, and outline promising directions including higher fidelity, physics-aware and interactive generation, and
arXiv:2505.05474v1 [cs.CV] 8 May 2025 unified perception-generation models. This review organizes recent advances in 3D scene generation and highlights promising directions at the intersection of generative AI, 3D vision, an