Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。

学习档位 中文笔记

类型 文献 · 更新 2026-07-19

所属 具身智能体

中文学习笔记（自动生成，需核验）

Topic: embodied-agents · Tier: recent · Year: 2026 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~50 分钟
Paper: https://arxiv.org/abs/2607.12894
Code: —
Generator: grok

为什么值得读

该报告提出面向物理世界具身智能体的高效基础模型 Hy-Embodied-VLM-1.0，以动作中心能力 taxonomy 统一数据构建、训练与评估，在 3B 激活参数下于 38 个基准上展现强竞争力，对理解如何从感知到长时程规划与恢复构建高效具身 VLM 具有直接参考价值。

一句话结论

Hy-Embodied-VLM-1.0 以三级动作中心能力 taxonomy 指导数据与训练，基于 Hy3-A3B + Hy-ViT2 的高效 MoE 架构，在仅激活 3B 参数下于 38 个具身基准上取得同类最优或接近更大模型的表现。

问题定义

将数字世界 agent 的多步交互与长时程推理能力扩展到物理世界时，模型不仅需要多模态感知与理解，还需围绕动作进行状态理解、交互与转移推理，并在反馈下进行序列决策、规划、反思与恢复；通用 VLM 难以系统覆盖这些动作相关能力，且需兼顾推理效率以支持延迟敏感部署。

前置知识

Vision-Language Model（VLM）范式与多模态预训练/后训练基础；Mixture-of-Experts（MoE）与稀疏激活推理；具身智能中的状态/动作/转移、空间推理、机器人中心感知与 VLN 等概念；强化学习（如 GRPO）与拒绝采样微调的基本思想。

核心贡献

• 提出动作中心能力 taxonomy：Action-Relevant State Understanding → Action–Transition Reasoning → Sequential and Adaptive Reasoning，用于统一数据构建、训练与 38 基准评估。
• 构建系统化数据流水线与 pre-training / SFT / RL / 拒绝采样后训练数据配比，覆盖从状态理解到长时程适应与恢复的 progressive 能力。
• 模型设计：Hy3-A3B 语言骨干 + Hy-ViT2 视觉编码器，高效 MoE 架构，仅激活约 3B 参数以兼顾容量与延迟敏感部署。
• 在 38 个覆盖感知、物理世界理解与具身推理的基准上，于同类规模模型中 19 个取得最佳，平均相对前代 Hy-Embodied-0.5 MoT-2B 提升 8.4%，并以约 1/10 激活参数接近前代 32B 激活模型整体表现；在 R2R-CE（RGB-only）与 MP3D 目标导航零样本等交互任务上表现强。
• 开源：Github 与 Hugging Face 模型链接。

方法流程

以三级 taxonomy 指导数据配比与任务设计 → 在 Hy3-A3B + Hy-ViT2 的 MoE 架构上做 pre-training → Mid-Training 与 Supervised Fine-tuning（SFT）→ 强化学习（GRPO 策略优化 + 任务感知具身奖励；分 Reasoning-Elicitation 与 Reward-Specialized 两阶段）→ Rejection-Sampling Fine-Tuning（通过拒绝采样合成推理数据并内化）→ 在 38 基准及 VLN 交互任务上评估。

关键模块和设计取舍

能力 taxonomy：L1 动作相关状态理解（物理/语义感知、空间推理、机器人中心理解，输出 action-relevant state）；L2 动作-转移推理（交互理解、动作决策与 grounding、物理可行性与局部效应，输出动作/目标/轨迹与转移 Δ）；L3 序列与自适应推理（长时程组合与规划、VLN、反思/修复/恢复）。模型：Hy3-A3B 语言骨干 + Hy-ViT2 视觉编码器，MoE 以强容量换高推理效率（激活 3B）。训练取舍：从 pre-train 起培养动作中心能力；RL 采用 GRPO 与任务感知奖励并分阶段；后处理用拒绝采样合成与内化推理数据。设计强调从状态→局部因果转移→长时程规划/适应/恢复的 progressive 因果层次，而非固定推理程序。

数据集、实验设置与指标

数据：按 taxonomy 系统构建的 pre-training、SFT 与 RL 数据混合物（摘录给出分类与流水线描述，具体规模/来源细节待来源核验）。评估：共 38 个基准，覆盖 Action-Relevant State Understanding、Action-Transition Reasoning、Sequential and Adaptive Reasoning 三类，以及 Vision-Language Navigation（R2R-CE 指令跟随导航；MP3D 目标导航零样本）。对比模型包括 Qwen3.6-A3B、Cosmos 3 / Cosmos3-Nano、Embodied-R1.5-8B、前代 Hy-Embodied-0.5 MoT-2B / A32B 等。指标为各基准得分与三类/全 38 基准平均表现（具体每项指标定义与数值除文中已给平均外，待来源核验）。

主要结果（需原文证据）

在 38 个基准上，同类规模模型中 19 个取得最佳、另 11 个第二；三类能力平均均最高，平均优于最强竞品 Qwen3.6-A3B 约 4.4%；相对前代 Hy-Embodied-0.5 MoT-2B 平均提升 8.4%；仅 3B 激活参数时整体表现接近前代约 32B 激活参数模型。R2R-CE 上在 RGB-only 设定中达到 SOTA 级表现；MP3D Object Goal Navigation 上展现强零样本能力。多轮交互与长时程推理的具身 agent 任务上表现强。更细粒度分基准数字与图表细节待来源核验。

局限、失败场景与适用边界

摘录未系统列出模型失败模式与边界；适用场景强调物理世界具身感知、动作相关理解、转移推理与长时程/导航/恢复，以及延迟敏感部署。真实世界不确定性、执行偏差与反馈下的鲁棒性依赖 L3 反思修复能力，具体失败案例与泛化边界待来源核验。评估以基准与部分 VLN 为主，更广泛真实机器人部署结果待来源核验。

与前序 / 同期 / 后续方法的关系

延续 Hy-Embodied 系列（相对 0.5 在数据与模型上大幅升级），将数字世界 VLM/agent 的知识与推理能力向物理世界动作中心迁移；对比近期同类规模模型 Qwen3.6-A3B、NVIDIA Cosmos 3、Embodied-R1.5 等；架构与视觉/语言骨干关联 Hy3-A3B、Hy-ViT2 及 MoE 文献；VLN 相关 R2R-CE、Matterport3D 等经典设定。与通用 VLM（偏描述/问答）区分在于动作相关状态、转移与序列自适应。后续/同期细节待来源核验。

官方代码与复现建议

官方 Github: github.com/Tencent-Hunyuan/HY-Embodied；模型: huggingface.co/tencent/Hy-Embodied-VLM-1.0。复现建议：按 taxonomy 理解数据与评测划分；使用提供的 HF 权重进行 38 基准与 VLN（R2R-CE RGB-only、MP3D 零样本）评估；关注 MoE 激活 3B 的推理效率与后训练（SFT/RL/拒绝采样）流程。完整数据与训练脚本细节待来源核验。

推荐阅读顺序

先读摘要与 Fig.1/Fig.2 建立 taxonomy 与总体结果印象 → Introduction 明确问题与三级能力 → §2 Data and Taxonomy（2.1 三级分解与输出形式，2.2 数据概览）→ §3 Model Architecture → §4 Training（pretrain → mid/SFT → RL 两阶段 → 拒绝采样）→ §5 Evaluation 按三级能力 + VLN 阅读结果 → Conclusion 与附录可视化。重点对照 taxonomy 与基准/训练阶段的对应关系。

自测问题

1. Q: Hy-Embodied-VLM-1.0 的三级动作中心能力 taxonomy 分别是什么？各自关注什么？ A: 1) Action-Relevant State Understanding：动作相关地理解当前物理场景（物理/语义感知、空间推理、机器人中心理解）；2) Action–Transition Reasoning：理解动作、交互与局部状态变化（交互理解、动作决策与 grounding、物理可行性与局部效应）；3) Sequential and Adaptive Reasoning：长时程组合与规划、VLN、反思/修复/恢复。
2. Q: 模型骨干与效率设计的核心是什么？ A: Hy3-A3B 语言骨干 + Hy-ViT2 视觉编码器，采用高效 Mixture-of-Experts 架构；仅激活约 3B 参数，以在强物理世界理解与交互能力的同时支持延迟敏感部署。
3. Q: 相对前代 Hy-Embodied-0.5 与竞品的主要量化结果是什么（摘录中给出的）？ A: 38 基准中 19 个同类最佳；平均优于 Qwen3.6-A3B 约 4.4%；相对 0.5 MoT-2B 平均 +8.4%；3B 激活接近前代约 32B 激活模型整体表现。
4. Q: 后训练中强化学习与拒绝采样分别扮演什么角色？ A: RL 使用 GRPO 与任务感知具身奖励，分 Reasoning-Elicitation 与 Reward-Specialized 两阶段；Rejection-Sampling Fine-Tuning 通过拒绝采样合成推理数据并做 Reasoning Internalization，以强化推理能力。
5. Q: VLN 相关评估结论是什么？ A: 在 R2R-CE 上于 RGB-only 设定达到 state-of-the-art 级表现；在 Matterport3D Object Goal Navigation 上展现强零样本导航能力，体现物理世界理解与 agentic 推理的迁移。

原文证据

• page 1 / Abstract: we define an action-centric capability taxonomy comprising three progressive dimensions: Action-Relevant State Understanding, Action–Transition Reasoning, and Sequential and Adaptive Reasoning.
• page 1 / Abstract: we build our model on the Hy3-A3B language backbone and the Hy-ViT2 vision encoder. Its efficient Mixture-of-Experts architecture combines strong model capacity with high inference efficiency.
• page 1 / Abstract: The model achieves the best performance among similarly sized models on 19 of the 38 benchmarks and substantially outperforms strong competitors, including Qwen3.6-A3B and Cosmos 3. Compared with the previous-generation Hy-Embodied-0.5 MoT-2B, Hy-Embodied-VLM-1.0 improves average performance by 8.4%. Despite activating only 3B parameters, it achieves performance close to that of the previous-generation model with 32B activated parameters.
• page 1: Github: github.com/Tencent-Hunyuan/HY-Embodied Model: huggingface.co/tencent/Hy-Embodied-VLM-1.0
• page 3 / Introduction: It also achieves the highest average performance across all three capability categories, outperforming the strongest competing model, Qwen3.6-A3B, by 4.4% on average.
• page 3–4: On the R2R-CE benchmark … our model achieves state-of-the-art performance among methods in the RGB-only setting. It also exhibits strong zero-shot navigation capabilities on the Matterport3D Object Goal Navigation task
• page 4 / Fig.2 caption & §2.1: We organize embodied intelligence into a three-level hierarchy that progresses from action-relevant state understanding, to action-transition reasoning, and finally to sequential and adaptive reasoning.
• Contents / §4: 4.3.1 Policy Optimization with GRPO … 4.3.3 Stage I: Reasoning-Elicitation RL … 4.3.4 Stage II: Reward-Specialized RL … 4.4 Rejection-Sampling Fine-Tuning

Discovery evidence

• topic: embodied-agents
• sources: arxiv
• retrieved_at: 2026-07-20
• query: embodied AI agents foundation models
• arxiv: 2607.12894
• score_total: 58
• suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

延伸解读与背景补充

生成：2026-07-21 · 来源条数 2 · 模型 heuristic · 需人工核验数字

问题再表述

围绕「Hy-Embodied-VLM-1.0: Efficient Physical-World Agents」的核心问题与动机（待结合全文核验）。

方法要点补强

• 见原文方法章节；以下为基于摘要/摘录的要点提示。
• Hy-Embodied-VLM-1.0: Efficient Physical-World Agents Tencent Robotics X Hy Vision Team …

与相近工作的关系

与相近工作的关系待核验；请对照 related work。

常见误读

• 勿仅凭摘要推断未给出的数值指标。

自测问题

1. 这篇工作的输入/输出表示是什么？（Hy-Embodied-VLM-1.0: Efficient Physical-World Agents）
2. 训练目标与评测协议各是什么？
3. 主要失败模式或局限是什么？

外部解读索引

• [2607.12894] Hy-Embodied-VLM-1.0: Efficient Physical-World Agents — 2026-07-21 — 官方摘要/二次页面（自动抓取）
• [2607.12894] Hy-Embodied-VLM-1.0: Efficient Physical-World Agents — 2026-07-21 — 官方摘要/二次页面（自动抓取）

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.1（arch）；学习用途摘录。

来源：原论文约 p.17（table）；学习用途摘录。

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2026
Authors	Ziyi Wang, Xumin Yu, Yongming Rao, Yonggen Ling, Yunheng Li, Oran Wang, Mingqi Gao, Yuchen Zhou, Yves Liang, Zuyan Liu, Yani Zhang, Rui Huang
arXiv	2607.12894
DOI	—
Topics	embodied-agents
Paper	https://arxiv.org/abs/2607.12894

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• embodied-agents: tier=recent rank=2 score=58 — auto refresh 2026-07-19 sources=arxiv

Extract excerpt

Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

                                         Tencent Robotics X                       Hy Vision Team                      Futian Laboratory



                                              Building capable embodied agents requires not only multimodal perception and
                                              understanding, but also agentic capabilities for reasoning about actions, adapt-
                                              ing to evolving situations, and interacting with the physical world. In this re-
                                              port, we introduce Hy-Embodied-VLM-1.0, an efficient and powerful embodied
                                              foundation model specifically designed for embodied agents operating in the
                                              physical world. To cultivate such capabilities from the pre-training stage onward,
                                              we define an action-centric capability taxonomy comprising three progressive
                                              dimensions: Action-Relevant State Understanding, Action–Transition Reasoning,
                                              and Sequential and Adaptive Reasoning. Guided by this taxonomy, we develop
                                              a systematic data pipeline and curate data mixtures spanning both pre-training
                                              and post-training. To deliver strong physical-world understanding and interaction




arXiv:2607.12894v1 [cs.CV] 14 Jul 2026
                                              capabilities while supporting latency-sensitive deployment, we build our model
                                              on the Hy3-A3B language backbone and the Hy-ViT2 vision encoder. Its efficient
                                              Mixture-of-Experts architecture combines strong model capacity with high infer-
                                              ence efficiency. We evaluate Hy-Embodied-VLM-1.0 on a comprehensive suite of
                                              38 benchmarks covering embodied perception, physical-world understanding,
                                              and embodied reasoning. The model achieves the best performance among sim-
                                              ilarly sized models on 19 of the 38 benchmarks and substantially ou

Local assets

反向链接

• 具身智能体

---

学习导航

标记为已读

• 所属 Topic: embodied-agents
• 学习路径: 学习路线 · 论文库
• 上一篇: Habitat: A Platform for Embodied AI Research
• 下一篇: Integrating Vision Foundation Models with Reinforcement Learning for Enhanced Object Interaction
• 返回 Topic