AdaWorld: Learning Adaptable World Models with Latent Actions

学习档位 精读

类型文献 · 更新 2026-07-20

所属世界模型 · 表征学习与生成建模

中文学习笔记（自动生成，需核验）

Topic: world-models · Tier: foundational · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~45 分钟
Paper: https://arxiv.org/abs/2503.18938
Code: —
Generator: grok

为什么值得读

世界模型通常依赖大量动作标注数据和昂贵训练才能适应新环境中的异构动作，限制了跨域应用。本文提出通过自监督从视频中提取潜在动作进行动作感知预训练，使世界模型能高效迁移动作并以有限交互微调适应新环境，对自动驾驶/具身智能中可扩展、可适应模拟器学习极具启发。

一句话结论

AdaWorld通过信息瓶颈自监督提取上下文不变的潜在动作，并以此条件预训练自回归世界模型，实现无需训练的动作迁移与高效适应。

问题定义

现有世界模型多依赖大量动作标注数据和高成本训练，难以通过有限交互适应具有异构动作空间的新环境，阻碍了在更广泛域中的应用。

前置知识

世界模型与视频预测基础、VAE/β-VAE与信息瓶颈、Transformer（时空注意力）、潜在扩散模型（如Stable Video Diffusion/SVD与EDM框架）、自回归滚动预测、动作条件控制与迁移学习。

核心贡献

提出AdaWorld：高度可适应的自回归世界模型，能将动作迁移到不同上下文，并以有限交互高效适应。
在大规模极多样环境视频上建立并动作感知预训练AdaWorld，展现跨域强泛化能力。
在多环境上验证其在动作迁移、世界模型适应与视觉规划上的有效性。

方法流程

1）用潜在动作自编码器（信息瓶颈+β-VAE）从无标注连续帧对中提取紧凑连续潜在动作，编码器为时空Transformer、解码器为空间Transformer预测下一帧；2）用编码器从视频提取潜在动作作为统一条件，基于SVD初始化的自回归世界模型进行动作感知预训练（下一帧扩散预测，条件包含潜在动作、历史帧短时记忆、噪声增强等）；3）推理时支持动作迁移（提取并复用潜在动作序列）、有限标注适应（平均同类潜在动作初始化控制接口并微调）及动作组合。

关键模块和设计取舍

潜在动作自编码器：时空Transformer编码器从两帧提取后验（μ,σ）并采样连续潜在动作，空间Transformer解码器重建下一帧；用β-VAE目标（可调β平衡表达力与解耦）形成信息瓶颈，迫使潜在动作编码最关键转移而非上下文。世界模型：独立于解码器的SVD-based潜在扩散模型，逐帧去噪预测，将潜在动作与时间步嵌入及CLIP图像嵌入拼接，历史帧（最多6帧随机采样）经图像编码器与噪声潜在拼接，支持短时记忆与噪声增强以继承时间建模并平滑过渡。设计取舍：连续潜在空间（非离散）以最大化表达力与支持平均组合；帧级控制而非视频片段预测以提供更细粒度交互；动作感知预训练而非纯动作无关视频预训练以提升适应性。

数据集、实验设置与指标

大规模视频语料来自数千环境、通过自动化生成，覆盖第一/第三人称、虚拟游戏与真实活动等交互场景；实验在多环境上进行，评估模拟质量与视觉规划等。具体数据集名称、规模细节、评价指标定义与数值设置待来源核验。

主要结果（需原文证据）

动作可从源视频提取潜在动作后无训练迁移到不同目标场景；潜在动作空间语义连续，支持平均实现动作组合（如右+跳→右跳）；动作感知预训练后可通过有限交互（如约50次）高效适应专用世界模型，优于动作无关基线的规划结果；整体在多环境模拟质量与视觉规划上表现优越。具体定量指标与对比数字待来源核验。

局限、失败场景与适用边界

提取依赖交互场景中动作主导帧间变化的假设；连续潜在空间与β调节需经验权衡表达力与解耦；适应连续动作空间的细节及大规模真实部署边界、失败场景（如极复杂上下文或非主导动作）在摘录中未充分展开，待来源核验。

与前序 / 同期 / 后续方法的关系

相对仅动作无关视频预训练的世界模型（如部分基于视频模型初始化的方法），引入动作信息预训练；相对关注可玩性/行为克隆的潜在动作工作，采用连续空间最大化表达与组合；与需要伪标签或昂贵重新训练以适应新动作格式的方法相比，强调统一潜在动作条件与高效迁移/微调。与人类从观察中学习可复用动作表征的灵感相关。同期/后续具体对比待来源核验。

官方代码与复现建议

项目主页 adaptable-world-model.github.io。复现建议：先训练β-VAE潜在动作自编码器（调整β、时空注意力与VAE目标），再以提取动作为条件微调/预训练SVD-based自回归世界模型（历史记忆、噪声增强、动作嵌入拼接）；适应时对同类动作潜在向量平均初始化控制接口并少量微调。官方代码与完整超参待来源核验。

自测问题

Q: AdaWorld的核心思想是什么？如何解决动作异构适应问题？ A: 在预训练中融入动作信息：用信息瓶颈从无标注视频自监督提取上下文不变的连续潜在动作，并以此条件预训练自回归世界模型，从而支持无训练动作迁移与有限交互高效适应。
Q: 潜在动作自编码器如何实现解耦？用了什么目标？ A: 编码器从连续两帧提取紧凑潜在动作，解码器仅凭该动作+前帧预测后帧；采用β-VAE目标（可调β），信息瓶颈迫使编码最关键帧间转移而非上下文纹理等。
Q: 为什么不用潜在动作解码器直接当世界模型，而另建扩散模型？ A: 解码器单次前向仅做粗糙预测，多步交互后质量显著下降；独立SVD-based扩散世界模型支持真正下一帧去噪预测与自回归滚动，继承预训练时间建模能力。
Q: 动作迁移与专用模型适应分别如何实现？ A: 迁移：从示范视频提取潜在动作序列，在新上下文初始帧上复用为条件自回归生成；适应：对同类动作的潜在动作平均后初始化控制接口，用少量交互数据微调。
Q: 潜在动作空间有何特性？举例说明。 A: 连续且语义连续，支持直接平均组合：如“右”与“跳”的潜在动作平均可得到“右跳”新动作。

原文证据

page 1 Abstract: To overcome this limitation, we propose AdaWorld, an innovative world model learning approach that enables efficient adaptation. The key idea is to incorporate action information during the pretraining of world models. This is achieved by extracting latent actions from videos in a self-supervised manner, capturing the most critical transitions between frames.
page 1-2 Introduction: As illustrated in Figure 1, the adaptability of AdaWorld primarily manifests in two aspects: (1) Given one demonstration of an action, AdaWorld can readily transfer that action to various contexts without further training. (2) It can also be efficiently adapted into specialized world models with raw action inputs via minor interactions and finetuning
page 3 Sec 2.1: we introduce an information bottleneck design to our latent action autoencoder. Specifically, the latent action encoder extracts a compact encoding from two consecutive frames. … By minimizing the prediction loss using the minimal information encoded in the latent action, our autoencoder is encouraged to disentangle the most critical action from its context.
page 3-4 Eq & β-VAE: To remedy this, we adopt the β-VAE formulation … which introduces an adjustable hyperparameter β: Lpred θ,ϕ (ft+1) = Eqϕ(ã|ft:t+1) log pθ(ft+1|ã, ft) − β DKL (qϕ(ã|ft:t+1)||p(ã)).
page 5 Sec 2.3: When presented with a demonstration video, we use the latent action encoder to extract a sequence of latent actions. … AdaWorld naturally transfers actions from source videos to various contexts. … we initialize a specialized world model using N averaged latent actions and finetune the whole model for a few steps.
page 5 Figure 5 caption: We compose two actions by averaging their latent actions in the continuous latent space, resulting in a new action that merges the functions of both. This indicates that our latent action space is semantically continuous in the meanings of actions.

Discovery evidence

topic: world-models
sources: arxiv
retrieved_at: 2026-07-20
query: world models autonomous driving
arxiv: 2503.18938
score_total: 55
suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: AdaWorld: Learning Adaptable World Models with Latent Actions

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

AdaWorld: Learning Adaptable World Models with Latent Actions arch p.1

来源：原论文约 p.1（arch）；学习用途摘录。

AdaWorld: Learning Adaptable World Models with Latent Actions table p.6

来源：原论文约 p.6（table）；学习用途摘录。

精读判断（人工）

这篇文献回答什么问题

如何学习带潜在动作的可适应世界模型（AdaWorld），以支持迁移与控制。

我方立场

「可适应 + 潜在动作」是世界模型从生成演示走向可控想象的关键分叉。对照 model-based RL 与驾驶世界模型综述读。

失败模式

潜在动作不可解释/不可执行；
适应时破坏动力学一致性。

读完应能回答

潜在动作与真实控制的接口？
适应性训练的目标是什么？
与纯视频生成世界模型的差别？

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2025
Authors	Shenyuan Gao, Siyuan Zhou, Yilun Du, Jun Zhang, Chuang Gan
arXiv	2503.18938
DOI	—
Topics	world-models, representation-generative, world-modeling
Paper	https://arxiv.org/abs/2503.18938

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

world-models: tier=foundational rank=4 score=55 — auto refresh 2026-07-19 sources=arxiv | promoted watch->foundational for coverage fill
representation-generative: tier=watch rank=3 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
world-modeling: tier=recent rank=5 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19

Extract excerpt

AdaWorld: Learning Adaptable World Models with Latent Actions


                                                             Shenyuan Gao 1 Siyuan Zhou 1 Yilun Du 2 Jun Zhang 1 Chuang Gan 3 4
                                                                               adaptable-world-model.github.io


                                                                Abstract
                                             World models aim to learn action-controlled fu-
                                             ture prediction and have proven essential for the




arXiv:2503.18938v4 [cs.AI] 2 Jun 2025
                                             development of intelligent agents. However, most
                                             existing world models rely heavily on substan-
                                             tial action-labeled data and costly training, mak-
                                             ing it challenging to adapt to novel environments
                                             with heterogeneous actions through limited inter-
                                             actions. This limitation can hinder their applica-
                                             bility across broader domains. To overcome this
                                             limitation, we propose AdaWorld, an innovative
                                             world model learning approach that enables effi-
                                             cient adaptation. The key idea is to incorporate
                                             action information during the pretraining of world
                                             models. This is achieved by extracting latent ac-
                                             tions from videos in a self-supervised manner,
                                             capturing the most critical transitions between
                                             frames. We then develop an autoregressive world
                                             model that conditions on these latent actions. This
                                             learning paradigm enables highly adaptable world
                                             models, facilitating efficient transfer and learn-
                                             ing of new actions even with limited interactions
                                             and fi

AdaWorld: Learning Adaptable World Models with Latent Actions

AdaWorld: Learning Adaptable World Models with Latent Actions

中文学习笔记（自动生成，需核验）

为什么值得读

一句话结论

问题定义

前置知识

核心贡献

方法流程

关键模块和设计取舍

数据集、实验设置与指标

主要结果（需原文证据）

局限、失败场景与适用边界

与前序 / 同期 / 后续方法的关系

官方代码与复现建议

推荐阅读顺序

自测问题

原文证据

Discovery evidence

Relevance

Snippets

关键图表

方法结构（重绘）

论文摘录图/表

精读判断（人工）

这篇文献回答什么问题

我方立场

失败模式

读完应能回答

英文自动分析（可折叠）

Paper Card

原文摘录与素材（可折叠）

Selections

Extract excerpt

Local assets

反向链接

学习导航