世界建模与空间智能
世界建模与空间智能
Section titled “世界建模与空间智能”对环境动力学与场景几何的建模，支撑预测、想象与规划。
类型 Topics · 更新 2026-07-20
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本 Topic 聚焦自动驾驶与具身智能中的世界建模与空间智能问题：如何从传感器观测构建可预测、可交互的环境动力学表示，以支持长期规划、占据预测与闭环决策。核心挑战在于建模三维/四维场景演化（点云预测代理4D占据、3D占据世界模型、多视角视觉预测）、从物理仿真器与真实数据中学习可适应的潜在动作世界模型，以及将生成式预测与规划统一。目标是让系统具备对自车与他车轨迹、占据栅格、视频序列的未来演化推理能力，弥合开环预测与闭环驾驶之间的鸿沟，提升在未知环境与交互场景下的鲁棒性与安全性。书目覆盖从占据预测代理、OccWorld类占用世界模型、DriveDreamer真实驾驶世界模型，到多视角预测规划与综合性 survey，为构建可查询、可控制的世界模型提供方法基础。
非目标 / 边界
Section titled “非目标 / 边界”- 不深入端到端策略网络的具体优化细节或纯感知检测跟踪
- 不覆盖通用大语言模型或非驾驶具身任务的完整仿真栈实现
- 不提供具体数据集下载与训练代码复现步骤
foundations— 需具备基础表征学习、时序预测与自动驾驶感知规划常识，才能理解世界模型从观测到动力学的映射
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| 世界模型 | 从观测学习环境状态转移与动力学的内部表示，支持预测未来与想象交互 | 易与端到端策略混淆，世界模型侧重可复用的环境模拟而非直接动作输出 |
| 动力学模型 | 描述状态如何随动作与时间演化的模型，常用于占据或轨迹预测 | 与运动学模型不同，动力学常包含交互与不确定性 |
| 占据预测 | 预测未来时空中的占用栅格或点云，作为4D场景理解代理 | 不同于语义分割，聚焦占用而非类别，可代理完整4D占用预测 |
| 视频预测 | 生成未来多帧视觉或鸟瞰序列，用于视觉世界模型 | 易与视频生成混，此处强调条件于当前观测与潜在动作的可控制预测 |
| 潜在动作 | 在潜在空间中表示的可适应动作，用于可迁移世界模型学习 | 非直接控制指令，而是压缩的交互表征，便于跨场景适应 |
| 闭环世界 | 世界模型与策略形成闭环交互，支持仿真验证与实时规划 | 开环仅预测，闭环强调反馈与长期一致性 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期依赖显式轨迹或网格规划与简单动力学；随后转向数据驱动的预测模型如点云/占据预报作为4D代理；近年以生成式世界模型（OccWorld、DriveDreamer、多视角视觉预测）统一预测与规划，引入潜在动作与仿真器融合实现可适应闭环建模。范式从开环预报演进到可交互、可查询的内部世界模拟，支撑自动驾驶与具身智能决策。
- (2019) watch — Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and\n Graph Attention Networks
- (2020) watch — Trajectory Forecasts in Unknown Environments Conditioned on Grid-Based Plans
- (2021) watch — Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset
- (2021) watch — From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting
- (2023) foundational — Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting
- (2023) foundational — OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving
- (2024) foundational — DriveDreamer: Towards Real-World-Drive World Models for Autonomous Driving
- (2024) recent — Driving Into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
- (2025) recent — The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey
- (2025) recent — AdaWorld: Learning Adaptable World Models with Latent Actions
- (2025) recent — A Survey: Learning Embodied Intelligence from Physical Simulators and World Models
- (2025) recent — DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
- (2025) watch — World-in-World: World Models in a Closed-Loop World
- OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving（精读）— foundational 3D占用世界模型，直接针对自动驾驶场景演化建模，覆盖核心占据预测与世界模型学习
- DriveDreamer: Towards Real-World-Drive World Models for Autonomous Driving（精读）— foundational 真实驾驶世界模型工作，连接生成预测与实际驾驶场景
- Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting（精读）— foundational 用点云预报代理4D占据，提供空间智能预测的简洁代理路径
推荐阅读路径
Section titled “推荐阅读路径”- 先读两篇 survey（The Role of World Models… 与 A Survey: Learning Embodied Intelligence…）建立全景
- 精读 OccWorld 与 DriveDreamer 掌握占用与真实驾驶世界模型构建
- 再读 Point Cloud Forecasting 与 Driving Into the Future 理解预测代理与多视角规划
- 补充 AdaWorld 与 World-in-World 等近期可适应与闭环工作
- 最后对照 DriveE2E 等基准理解评估闭环
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving | 历史3D占用观测 | 未来3D占用序列 | 3D占用体素/栅格 | 学习占用动力学用于自动驾驶预测 |
| DriveDreamer: Towards Real-World-Drive World Models for Autonomous Driving | 真实驾驶多模态观测 | 未来驾驶场景生成/预测 | — | 构建面向真实世界的驾驶世界模型 |
| Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting | 历史点云序列 | 未来点云预测 | 点云 | 以点云预报代理完整4D占用预报 |
| Driving Into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving | 多视角视觉 | 多视角视觉预报与规划 | 多视图视觉特征 | 用世界模型统一视觉预测与规划 |
工程实现与复现风险
Section titled “工程实现与复现风险”- 长期预测误差累积导致闭环不一致
- 仿真与真实域差距影响可适应世界模型迁移
- 高维占用/视频表示计算与存储开销大
- 交互场景下多智能体不确定性建模不足
- 潜在动作可解释性与可控性有限
- 如何有效融合物理仿真器与真实数据学习可适应潜在动作世界模型
- 闭环评估基准如何更好反映真实驾驶分布偏移
- 占用预测与轨迹预测如何统一到可查询世界模型
- 多视角视觉世界模型如何扩展到长时域与稀疏观测
Topic 自测清单
Section titled “Topic 自测清单”- 点云预测如何作为4D占用预测的代理？其优势与局限是什么？
- OccWorld 的核心表示是什么？它如何支持自动驾驶决策？
- DriveDreamer 强调“真实世界驾驶”世界模型，与纯仿真方法有何区别？
- 潜在动作在 AdaWorld 类工作中起什么作用？如何促进可适应性？
- 世界模型从开环预测到闭环世界的范式转变体现在哪些书目？请简述
本 Topic 为 thin_topic，建设中：当前基于初步书目与标题梳理框架，缺少详细实验片段与中文笔记，待后续补充完整阅读笔记、对比实验与实现指引。
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 13 篇（foundational/recent/watch 见 papers.yml）。
子 Topic
Section titled “子 Topic”论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）
Section titled “基础必读（选题 3 · 可学习 2 · 待获取 PDF 1）”- OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving (2023) · 中文笔记
- Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting (2023) · 中文笔记
- DriveDreamer: Towards Real-World-Drive World Models for Autonomous Driving (2024) · 待获取 PDF
近期重要（选题 5 · 可学习 5 · 待获取 PDF 0）
Section titled “近期重要（选题 5 · 可学习 5 · 待获取 PDF 0）”- A Survey: Learning Embodied Intelligence from Physical Simulators and World Models (2025) · 固定 · 中文笔记
- Driving Into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving (2024) · 固定 · 中文笔记
- The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey (2025) · 固定 · 中文笔记
- AdaWorld: Learning Adaptable World Models with Latent Actions (2025) · 精读
- DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation (2025) · 中文笔记
观察清单（选题 5 · 可学习 3 · 待获取 PDF 2）
Section titled “观察清单（选题 5 · 可学习 3 · 待获取 PDF 2）”- World-in-World: World Models in a Closed-Loop World (2025) · 精读
- Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset (2021) · 中文笔记
- From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting (2021) · 中文笔记
- Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and\n Graph Attention Networks (2019) · 待获取 PDF
- Trajectory Forecasts in Unknown Environments Conditioned on Grid-Based Plans (2020) · 待获取 PDF
聚合内容（子树）
Section titled “聚合内容（子树）”成熟度 seed · 内容数 31 · 论文池 13