具身智能能力栈
具身智能能力栈
Section titled “具身智能能力栈”感知、世界建模、预测规划控制与具身基础模型组成的端到端能力链。
类型 Topics · 更新 2026-07-19
本 Topic 要解决什么
Section titled “本 Topic 要解决什么”本 Topic 聚焦具身智能能力栈的系统化构建：在真实或仿真物理环境中，机器人如何整合感知、规划、控制以完成导航、移动（locomotion）与操作（manipulation）等核心能力。针对社区缺乏统一能力分类、跨基准评测困难以及可扩展数据获取瓶颈，梳理从经典运动原语、Sim-to-Real 强化学习到视觉语言动作模型与综合评测平台的演进路径，明确各能力模块的输入输出、表示与目标，为后续专题（机器人操作、移动导航）提供能力地图与连接点。重点使用 CONTEXT 中给出的导航、操作、移动相关论文与评测工作，避免脱离给定书目的过度泛化。
非目标 / 边界
Section titled “非目标 / 边界”- 不深入单一硬件平台的底层驱动或实时控制律推导
- 不覆盖非具身（纯软件/对话）大模型能力
- 不提供具体未给出的实验数值、页码或性能对比表
- 不展开相邻专题的完整算法细节（仅作能力栈映射）
foundations— 需掌握基本机器人学、强化学习与感知基础，才能理解能力栈中的状态表示、策略学习与 Sim-to-Real 迁移
| 术语 | 含义 | 常见混淆 |
|---|---|---|
| 具身能力栈 | 在物理交互环境中，机器人从低层运动控制到高层目标导航与操作的分层能力集合 | 易与纯软件智能或单一技能混淆，忽视感知-动作闭环与物理约束 |
| Locomotion | 机器人（尤其四足等）的步态与敏捷移动能力，常通过强化学习实现 | 与导航（Navigation）区分：locomotion 侧重自身运动生成，导航侧重路径与目标到达 |
| Manipulation | 对物体的抓取、放置、交互等操作能力，可结合视觉语言动作模型 | 易与移动导航混为一谈；本栈强调与移动联合的统一世界动作模型 |
| Object Goal Navigation | 在未知环境中以语义目标物体为终点的导航任务 | 不同于点到点几何导航，依赖语义探索与地图构建 |
| Sim-to-Real | 在仿真中训练策略后迁移到真实机器人，缓解真实数据稀缺 | 不是简单拷贝模型，常需域随机化、残差学习等桥接物理差距 |
| Dynamical Movement Primitives | 用吸引子动力学模型学习可调制的运动原语，用于生成运动行为 | 属于经典表示学习，与端到端深度策略不同，强调可组合与泛化 |
| Embodied Arena | 统一且可演化的具身智能评测平台与排行榜，含能力分类法与数据生成 | 不是单一任务基准，而是覆盖系统能力与标准化比较的基础设施 |
方法谱系与时间线
Section titled “方法谱系与时间线”早期依赖手工运动原语与吸引子模型（如 Dynamical Movement Primitives）生成可控行为。随后强化学习与 Sim-to-Real 使四足等平台实现敏捷 locomotion。当前转向大规模视觉语言动作模型与统一世界动作模型，并配套系统能力分类与可扩展评测平台（如 Embodied Arena），从孤立技能走向综合具身推理与物理智能演化。
- (2012) foundational — Dynamical Movement Primitives: Learning Attractor Models for Motor Behaviors
- (2018) foundational — Sim-to-Real: Learning Agile Locomotion For Quadruped Robots
- (2019) foundational — Continuous control for robot based on deep reinforcement learning
- (2019) watch — Learning to Walk Via Deep Reinforcement Learning
- (2020) watch — Object Goal Navigation using Goal-Oriented Semantic Exploration
- (2021) watch — Learned Visual Navigation for Under-Canopy Agricultural Robots
- (2022) recent — Recent Advances in AI for Navigation and Control of Underwater Robots
- (2022) recent — Telerobotic neurovascular interventions with magnetic manipulation
- (2025) watch — A Survey of Robotic Navigation and Manipulation with Physics Simulators in the Era of Embodied AI
- (2025) watch — Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey
- (2025) watch — Embodied-R1: Reinforced Embodied Reasoning for General Robotic Manipulation
- (2025) recent — Embodied Arena: A Comprehensive, Unified, and Evolving Evaluation Platform for Embodied AI
- (2026) recent — Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models
- (2026) watch — Safe Local Navigation for Ackermann-Steered Robots in Unmapped Environments
- (2026) recent — ABot-M0.5: Unified Mobility-and-Manipulation World Action Model
- (2026) watch — EMO-MAN: Embodied Manipulation-Oriented Mapping and Navigation
- Sim-to-Real: Learning Agile Locomotion For Quadruped Robots（精读）— 奠定具身 locomotion 核心里程碑，展示仿真训练迁移真实敏捷移动的范式
- Embodied Arena: A Comprehensive, Unified, and Evolving Evaluation Platform for Embodied AI（中文笔记）— 首个系统解决能力认知缺失、统一评测与数据扩展瓶颈的平台，提供分类法与九大发现方向
- A Survey of Robotic Navigation and Manipulation with Physics Simulators in the Era of Embodied AI（仅书目）— 综述物理仿真器时代导航与操作能力的进展，帮助建立能力栈全景
推荐阅读路径
Section titled “推荐阅读路径”- 先读 foundational 运动原语与 Sim-to-Real locomotion 论文，建立低层能力基础
- 再读 Object Goal Navigation 与农业/安全导航相关工作，理解语义与局部导航
- 接着阅读 VLM-based VLA 与 Embodied-R1 系列，把握操作与推理强化
- 最后研读 Embodied Arena 与仿真器综述，掌握统一评测与能力地图
| Paper | 输入 | 输出 | 表示 | 训练目标 |
|---|---|---|---|---|
| Sim-to-Real: Learning Agile Locomotion For Quadruped Robots | 仿真状态/观测 | 关节力矩/动作 | 策略网络 | 敏捷移动与真实迁移 |
| Object Goal Navigation using Goal-Oriented Semantic Exploration | 视觉观测与目标语义 | 探索与导航动作 | 语义地图/探索策略 | 到达目标物体 |
| Embodied Arena: A Comprehensive, Unified, and Evolving Evaluation Platform for Embodied AI | 多基准任务与模型输出 | 统一评分与排行 | 能力分类法+评测基础设施 | 标准化比较与数据扩展 |
| Dynamical Movement Primitives: Learning Attractor Models for Motor Behaviors | 示范轨迹 | 调制后的运动原语 | 吸引子动力学 | 可泛化运动行为生成 |
| Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey | 视觉+语言指令 | 机器人动作 | VLA 模型 | 通用操作 |
工程实现与复现风险
Section titled “工程实现与复现风险”- Sim-to-Real 差距导致策略在真实环境失效或安全风险
- 缺乏统一评测导致跨工作比较不可信与研究方向模糊
- 操作与导航联合时状态空间爆炸与数据稀缺
- 元数据-only 论文需下载全文后才能核验具体设计取舍
- 物理仿真器保真度不足影响能力栈迁移
- 如何系统定义并量化具身能力栈各层之间的依赖与涌现
- 统一世界动作模型（移动+操作）的可扩展训练与安全边界如何保证
- LLM/ VLM 驱动数据生成能否持续缩小与真实物理分布的差距
- 评测平台如何演化以覆盖新出现的能力维度而不过时
- 从经典运动原语到强化具身推理的混合架构最优组合待核验
Topic 自测清单
Section titled “Topic 自测清单”- 什么是具身能力栈？它与纯软件大模型能力的主要区别是什么？
- Sim-to-Real 在 locomotion 中解决什么问题？常见挑战有哪些？
- Object Goal Navigation 与传统点到点导航的输入输出差异是什么？
- Embodied Arena 针对具身智能的哪三大瓶颈提出了解决方案？
- Dynamical Movement Primitives 的核心表示是什么？它与端到端 RL 策略有何不同？
选篇附录（registry）
Section titled “选篇附录（registry）”本 Topic registry 入选 16 篇（foundational/recent/watch 见 papers.yml）。
子 Topic
Section titled “子 Topic”论文池（FRW）
Section titled “论文池（FRW）”来自 research/papers.yml 的正式选题配额：基础必读 3 · 近期重要 5 · 观察 5。
可学习条目需本地 PDF 或已有精读/中文笔记；无正文资产的选题标为 待获取 PDF，不作为学习路径必读链接。
基础必读（选题 3 · 可学习 0 · 待获取 PDF 3）
Section titled “基础必读（选题 3 · 可学习 0 · 待获取 PDF 3）”本档尚无可学习正文（PDF/中文笔记）；下列为待获取选题。
- Sim-to-Real: Learning Agile Locomotion For Quadruped Robots (2018) · 待获取 PDF
- Dynamical Movement Primitives: Learning Attractor Models for Motor Behaviors (2012) · 待获取 PDF
- Continuous control for robot based on deep reinforcement learning (2019) · 待获取 PDF
近期重要（选题 5 · 可学习 3 · 待获取 PDF 2）
Section titled “近期重要（选题 5 · 可学习 3 · 待获取 PDF 2）”- ABot-M0.5: Unified Mobility-and-Manipulation World Action Model (2026) · 中文笔记
- Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models (2026) · 中文笔记
- Embodied Arena: A Comprehensive, Unified, and Evolving Evaluation Platform for Embodied AI (2025) · 中文笔记
- Recent Advances in AI for Navigation and Control of Underwater Robots (2022) · 待获取 PDF
- Telerobotic neurovascular interventions with magnetic manipulation (2022) · 待获取 PDF
观察清单（选题 8 · 可学习 7 · 待获取 PDF 1）
Section titled “观察清单（选题 8 · 可学习 7 · 待获取 PDF 1）”- Object Goal Navigation using Goal-Oriented Semantic Exploration (2020) · 中文笔记
- Learned Visual Navigation for Under-Canopy Agricultural Robots (2021) · 中文笔记
- Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey (2025) · 中文笔记
- Safe Local Navigation for Ackermann-Steered Robots in Unmapped Environments (2026) · 中文笔记
- A Survey of Robotic Navigation and Manipulation with Physics Simulators in the Era of Embodied AI (2025) · 中文笔记
- EMO-MAN: Embodied Manipulation-Oriented Mapping and Navigation (2026) · 中文笔记
- Embodied-R1: Reinforced Embodied Reasoning for General Robotic Manipulation (2025) · 中文笔记
- Learning to Walk Via Deep Reinforcement Learning (2019) · 待获取 PDF
聚合内容（子树）
Section titled “聚合内容（子树）”成熟度 seed · 内容数 231 · 论文池 16