World-in-World: World Models in a Closed-Loop World
World-in-World: World Models in a Closed-Loop World
Section titled “World-in-World: World Models in a Closed-Loop World”学习档位 精读
类型 文献 · 更新 2026-07-20
所属 世界模型
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: world-models · Tier: foundational · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2510.18135
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”首个将生成式世界模型放入真实闭环具身交互中评测的开放平台与基准，强调任务成功率而非纯视觉质量，揭示可控性、后训练数据扩展与推理时算力扩展的关键规律，对自动驾驶/具身智能中世界模型的实用评估与落地具有直接指导意义。
World-in-World提出统一闭环在线规划与动作API，在四类具身任务上以任务成功率为首要指标评测世界模型，发现视觉质量不等于成功、后训练action-observation数据扩展优于升级预训练生成器、推理时扩展能显著提升闭环性能。
现有世界模型评测多为开环协议，孤立强调视觉生成质量或视觉合理性（如VBench、WorldModelBench、WorldScore），未能检验生成世界是否真正帮助具身智能体在闭环中感知、规划、执行与重规划，从而解决任务；社区缺乏统一接口与以任务成功为核心的闭环基准。
视频/3D/4D生成与世界模型基础；具身AI中的主动感知、导航、操作与闭环控制；模型预测控制（MPC）或规划搜索；模拟器如Habitat-Sim、RLBench/CoppeliaSim；视觉-语言模型（VLM）或扩散策略作为proposal/revision策略的基础知识。
- 提出World-in-World，首个综合闭环基准，从具身交互视角评测世界模型，超越单纯生成质量关注。
- 提出统一闭环在线规划策略与统一动作API，使异构世界模型能无缝接入并在同一框架下跨四类具身任务评测。
- 发现高视觉质量不必然带来任务成功，并展示通过训练时数据扩展与推理时扩展可显著提升预训练视频生成器的具身性能；同时给出具身设置下世界模型的数据扩展规律。
闭环在线规划循环：① 提案策略π_proposal基于当前观测o_t与目标g采样M条候选动作序列Â_t；② 统一动作API C将动作转为世界模型所需控制输入I（文本prompt/相机轨迹/低层动作）；③ 世界模型g_θ做反事实rollout预测未来观测序列Ô_t；④ 修订策略π_revision对所有(Â, Ô)打分或合成，选出最优决策D★_t并在真实环境中执行，获取新观测后重复循环。可选对预训练视频生成器进行后训练（在Habitat-Sim/HM3D或RLBench数据上用action-observation对齐动作空间与域分布）。
关键模块和设计取舍
Section titled “关键模块和设计取舍”统一闭环规划（类策略引导beam search，提案-模拟-修订）；统一动作API（灵活支持文本prompt模板、相机轨迹(x,y,φ)离散化、低层动作映射）；后训练协议（在与评估场景不相交的HM3D训练场景全景action-obs数据或RLBench演示上微调，保持评估场景未见）；π_proposal与π_revision可实例化为VLM、启发式、3D扩散策略等。取舍：强调任务成功与可控性优先于极致视觉保真；后训练用适量域内数据优于盲目升级更大预训练生成器；推理时通过更多候选M或规划增加算力可换取性能。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”四任务：Active Recognition（AR，Habitat-Sim，Matterport3D val 29场景551 episodes）；Image-Goal Navigation（ImageNav，HM3D val 87场景144 episodes）；Active Embodied QA（A-EQA，OpenEQA官方split + HM3D val 54场景184 questions）；Robotic Manipulation（RLBench四任务各50 episodes）。后训练数据：HM3D训练split全景action-obs（与评估场景不相交）及RLBench演示。主要指标：任务成功率（success rate，首要）、SPL、平均轨迹长度/步数、准确率等；同时报告生成质量（aesthetic+image quality）以分析相关性。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”世界模型可增强基础提案策略性能（AR/A-EQA/ImageNav/Manipulation一致）。例如AR中，最佳专有模型Runway Gen4准确率64.79%、平均步数4.06，对比VLM基线准确率50.27%、平均步数6.24。视觉质量高不必然带来高任务成功率（Fig.2显示相关性弱，可控性更重要）。后训练action-observation数据扩展比升级预训练视频生成器更有效。增加推理时算力（在线规划更多候选）可显著提升闭环性能。具体更多表格数值与完整对比待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”当前提取主要覆盖方法与部分结果引言，具体失败案例、适用边界（如长时程、真实机器人迁移、复杂动态、特定动作空间外推）及定量局限分析在摘录中不完整，待来源核验。评估主要基于特定模拟器（Habitat-Sim、RLBench）与离散/低层动作，泛化到真实世界或其他传感器模态边界待进一步验证。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”对比开环生成质量基准VBench、视觉合理性WorldModelBench、图像+相机轨迹的WorldScore，本工作首次强调闭环具身效用与任务成功。整合/对比图像类世界模型（PathDreamer、SE3DS）与视频类（SVD、LTX-Video、Hunyuan、Wan2.1/2.2、Cosmos-Predict2、NWM等），以及任务专用模型；后训练与在线规划连接视频生成与具身控制文献。
官方代码与复现建议
Section titled “官方代码与复现建议”官方代码将发布于github.com/World-In-World，项目主页World-in-World.github.io。复现建议：使用统一动作API与规划循环接入自定义WM；在HM3D/RLBench上按附录C/D后训练；报告任务成功率为主、生成质量为辅；注意评估场景与后训练数据场景不相交。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Fig.1/2抓住核心主张与三惊喜；再读Introduction明确问题与贡献；重点精读Section 2（2.1规划策略与公式、2.2动作API、2.3四任务、2.4后训练）；然后Section 3结果与分析（含消融）；最后附录B/C/D任务细节与训练配置。快速过相关工作与结论。
- Q: World-in-World与以往世界模型基准的核心区别是什么？ A: 它将WM放入闭环具身交互中，以任务成功率（而非仅视觉质量）为首要指标，并提供统一规划策略与动作API。
- Q: 统一闭环在线规划的三个主要阶段是什么？ A: 提案（π_proposal采样候选动作计划）、模拟（世界模型做反事实rollout）、修订（π_revision打分/合成并执行最优决策）。
- Q: 论文发现的三个主要惊喜/趋势是什么？ A: ① 视觉质量 alone 不保证任务成功，可控性更重要；② 后训练action-observation数据扩展比升级预训练生成器更有效；③ 增加推理时算力可显著提升闭环性能。
- Q: 统一动作API支持哪些主要控制输入类型？ A: 文本prompt、相机轨迹/视点、低层离散或连续动作。
- Q: 后训练数据来源及为何强调场景不相交？ A: Habitat任务用HM3D训练split全景action-obs，操作任务用RLBench演示；评估场景与后训练场景不相交以测试泛化而非记忆。
- page 1 Abstract: To address this gap, we introduce World-in-World, the first open platform that benchmarks WMs in a closed-loop world that mirrors real agent-environment interactions. … prioritize task success as the primary metric, and move beyond the common focus on visual quality; we also present the first data scaling law for world models in embodied settings. Our study uncovers three surprises: (1) visual quality alone does not guarantee task success—controllability matters more; (2) scaling post-training with action-observation data is more effective than upgrading the pretrained video generators; and (3) allocating more inference-time compute allows WMs to substantially improve closed-loop performance.
- page 2 / Fig.2 caption area: Figure 2: Task success rate vs. generation quality. †: post-trained with extra data. We defend that world models live and die by their closed-loop success, not flawless generated visuals.
- page 3 Contributions: • We introduce World-in-World, the first comprehensive closed-loop benchmark that evaluates world models through the lens of embodied interaction, moving beyond the common focus on generation quality. • We propose a unified closed-loop planning strategy with a unified action API… • We discover that high visual quality does not necessarily guarantee task success, and demonstrate how the performance of pretrained video generators can be substantially improved through training-time data scaling and inference-time scaling.
- page 4-5 Section 2.1: In Figure 3, we present a unified closed-loop strategy that uses visual world models for decision-making. It cycles through proposal, simulation, and revision. … Our unified strategy can be formalized as a policy-guided beam search.
- page 7-8 Section 3.1: For example, in AR, the best proprietary model (Runway Gen4) attains an accuracy of 64.79% while reducing the mean steps per episode to 4.06, compared to the VLM base policy with an accuracy of 50.27% and mean steps 6.24.
Discovery evidence
Section titled “Discovery evidence”- topic:
world-models - sources:
arxiv - retrieved_at: 2026-07-20
- query: world models autonomous driving
- arxiv:
2510.18135 - score_total: 57
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: World-in-World: World Models in a Closed-Loop World方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.9（table）；学习用途摘录。
精读判断（人工）
Section titled “精读判断（人工）”这篇文献回答什么问题
Section titled “这篇文献回答什么问题”如何在闭环世界设定下评估与使用世界模型（World-in-World），而不只是开环视频预测分数。
世界模型主路径应优先「闭环可证伪」而非 demo 视频。这篇把评测协议推到前台——算法专家要会设计「模型错了会怎样」的实验。
基准仍可能与真实道路分布有 gap；与规划器耦合方式影响结论。
读完应能回答
Section titled “读完应能回答”- 开环预测指标为何不够？
- 闭环世界评测改了什么？
- 世界模型输出如何接到规划/控制？
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng |
| arXiv | 2510.18135 |
| DOI | — |
| Topics | world-models, world-modeling |
| Paper | https://arxiv.org/abs/2510.18135 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”world-models: tier=foundational rank=2 score=57 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fillworld-modeling: tier=watch rank=1 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
Extract excerpt
Section titled “Extract excerpt”10-22-2025
World-in-World: World Models in a Closed-Loop World Jiahan Zhang1,∗ , Muqing Jiang2,∗ , Nanru Dai1 , Taiming Lu1,3 , Arda Uzunoglu1 , Shunchi Zhang1 , Yana Wei1 , Jiahao Wang1 , Vishal M. Patel1 , Paul Pu Liang4 , Daniel Khashabi1 , Cheng Peng1 , Rama Chellappa1 , Tianmin Shu1 , Alan Yuille1 , Yilun Du5 , Jieneng Chen1,† 1 JHU 2 PKU 3 Princeton 4 MIT 5 Harvard
World-in-World.github.io
Abstract Generative world models (WMs) can now simulate worlds with striking visual realism, which naturally raises the question of whether they can endow embodied agents with predictive
arXiv:2510.18135v1 [cs.CV] 20 Oct 2025 perception for decision making. Progress on this question has been limited by fragmented evaluation: most existing benchmarks adopt open-loop protocols that emphasize visual quality in isolation, leaving the core issue of embodied utility unresolved, i.e., do WMs actually help agents succeed at embodied tasks? To address this gap, we introduce World-in-World, the first open platform that benchmarks WMs in a closed-loop world that mirrors real agent-environment interactions. World-in-World provides a unified online planning strategy and a standardized action API, enabling heterogeneous WMs for decision making. We curate four closed-loop environments that rigorously evaluate diverse WMs, prioritize task success as the primary metric, and move beyond the common focus on visual quality; we also present the first data scaling law for world models in embodied settings. Our study u