Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。

学习档位 中文笔记

类型文献 · 更新 2026-07-19

所属机器人操作 · 系统工程与评测 · VLA 模型 · VLM 与视觉语言理解

中文学习笔记（自动生成，需核验）

Topic: robot-manipulation · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~60 分钟
Paper: https://arxiv.org/abs/2508.13073
Code: —
Generator: grok

为什么值得读

这是首个针对大型VLM-based Vision-Language-Action（VLA）模型在机器人操作领域的系统化、分类导向综述，明确了定义与两大架构范式（单体与层次化），整合了碎片化研究，填补了大型VLM与机器人操作交叉空白，并提供项目页持续更新进展，适合把握领域全景与未来方向。

一句话结论

本综述首次系统定义并分类大型VLM-based VLA模型为单体（单/双系统）与层次化两大范式，梳理其优势、高级整合、特征、数据集与开放挑战，以推动机器人操作的开世界泛化与智能。

问题定义

传统机器人操作依赖预定义任务规格与刚性控制策略，在非结构化、新颖场景中可扩展性与泛化能力不足；大型VLM-based VLA领域术语与建模假设不一致、跨学科研究碎片化，且现有综述多孤立聚焦VLM或机器人操作，缺乏交叉综合。

前置知识

大型视觉语言模型（VLMs）的预训练与视觉指令微调、多模态融合与推理；机器人操作基础（如感知-规划-控制）；早期语言条件机器人系统（如CLIPort、RT-1）及VLA概念；具身AI中的开世界泛化与层次规划。

核心贡献

提出大型VLM-based VLA模型的明确定义（利用大型VLM理解视觉观测与自然语言指令，并进行直接/间接服务动作生成的推理），并区分两大范式：单体模型（单系统与双系统）与层次模型（通过可解释中间表示显式解耦规划与执行）。
纵向综合VLM演化、操作学习进展及VLA范式涌现，识别关键挑战与未来方向。
跨切综合建模实践，细粒度比较单体与层次模型的结构与功能视角，并探讨与RL、训练免费优化、人类视频学习、世界模型等高级领域的整合。
合成特征（多模态融合、指令跟随、多维泛化）、支持数据集/基准，以及开放挑战（记忆机制、4D感知、高效适配、多智能体合作等）。
提供定期更新的项目页以记录进展，解决现有taxonomy不一致与研究碎片化问题。

方法流程

综述组织（Fig. 2）：Sec.2背景（VLM演化与机器人操作进展、相关综述缺口）→ Sec.3单体模型（单系统：统一架构处理感知/语言/状态并解码动作；双系统：VLM骨干+动作专家通过潜在表示交互）→ Sec.4层次模型（规划-策略框架，按中间表示如子任务/关键点/程序/affordances分类）→ Sec.5高级领域（RL优化、训练免费、人类视频、世界模型）→ Sec.6特征分析→ Sec.7数据集与基准→ Sec.8挑战与方向→ Sec.9结论。核心taxonomy强调系统集成粒度与认知分解显式性（Fig. 3）。

关键模块和设计取舍

单体模型：单系统将环境理解（视觉/语言/机器人状态）与动作生成统一于一体架构（自回归或并行解码），优势为简单与无复杂模块通信；双系统将System 2（VLM慢速泛化推理）与System 1（动作专家快速反应）分离，通过潜在表示传播信息，兼顾速度与精度。层次模型：显式解耦，规划模块生成可解释中间输出（关键点检测、affordance maps、轨迹提案、子任务、程序等），策略模块据此生成可执行动作；采用解耦训练（专用损失或API交互），区别于双系统端到端。取舍：单体简单但可能集成粒度不足；层次可解释与独立优化强，但需处理中间表示质量。

数据集、实验设置与指标

综述涵盖模拟、真实世界与人类交互数据，以及支持开发的多样数据集与基准（Sec.7）。文中提及示例：OpenVLA在约970k真实世界机器人演示上预训练；RT-2共训练互联网尺度视觉-语言任务与真实机器人轨迹（动作铸为文本token）；早期如CLIPort、RT-1使用多任务操作数据。具体数据集名称、实验设置与定量指标待来源核验。

主要结果（需原文证据）

作为综述无新实验；引用进展包括RT-2相比RT-1在新颖物体/未见指令上显著更强语义理解与泛化，并能进行基本推理；OpenVLA实现优越的通才操作性能并支持LoRA高效微调；π0在预训练VLM上采用流匹配架构，于多样灵巧数据集训练后展现强零样本泛化与微调适配。其他具体指标与对比待来源核验。

局限、失败场景与适用边界

领域内术语与建模假设不一致、研究跨学科碎片化；现有相关综述要么过广（如多应用域）要么不聚焦大型VLM在操作中的特定挑战（实时驱动、传感器噪声、长期决策等），或仅覆盖文本LLM规划而未充分处理视觉 grounding 与动作确定。适用边界：主要针对基于大型VLM的VLA机器人操作，强调开世界泛化但受数据、中间表示质量与计算效率约束；失败场景如复杂模糊指令或未见配置下传统方法的固有局限仍需VLA进一步验证。未来开放挑战包括记忆机制、4D感知、高效适配、多智能体合作等。

与前序 / 同期 / 后续方法的关系

与前序：早期模块化语言条件系统（CLIPort用CLIP+Transporter、RT-1用CNN+句子编码器）泛化有限；RT-2等开启统一VLA。与同期/其他综述：Ma et al.覆盖VLA架构但缺乏对预训练VLM作为基础组件的聚焦分析；Sapkota et al.广覆盖多应用但稀释机器人特定深度；Wang et al.侧重文本LLM规划而未充分处理VLM视觉-动作 grounding。本综述填补交叉空白，系统整合大型VLM与操作。后续方向由本综述项目页跟踪。

官方代码与复现建议

官方项目页（定期更新进展）：https://github.com/JiuTian-VL/Large VLM-based VLA for Robotic Manipulation。综述本身无代码实现；复现建议：参考文中提及的代表性模型（如OpenVLA、RT-2、π0）的开源资源与数据集，结合taxonomy进行对比实验。具体复现细节与代码链接待来源核验。

自测问题

Q: 大型VLM-based VLA模型的定义是什么？两大主要架构范式是什么？ A: 定义：模型（1）利用大型VLM理解视觉观测与自然语言指令，（2）进行直接或间接服务机器人动作生成的推理过程。两大范式：单体模型（单系统统一架构与双系统VLM+动作专家）；层次模型（通过可解释中间表示显式解耦规划与执行）。
Q: 单体模型中单系统与双系统的主要区别与优势是什么？ A: 单系统将感知、语言理解与动作生成集成于统一架构（自回归/并行解码），优势为简单、开发流畅、避免复杂模块通信；双系统用VLM骨干（System 2慢速泛化推理）+动作专家（System 1快速反应），通过潜在表示交互，兼顾反应速度与 deliberate 精度。
Q: 层次模型与双系统端到端方法的两个定义性特征是什么？ A: （1）结构化中间输出：规划模块生成可解释表示（如关键点、affordance maps、轨迹提案），再由策略模块处理为可执行动作；（2）解耦训练范式：支持通过专用损失函数或API交互独立优化层次模块。
Q: 大型VLM为机器人操作带来的四大核心优势是什么（据Fig.1）？ A: （1）开世界泛化；（2）层次任务规划；（3）知识增强推理；（4）丰富多模态融合。这些赋能机器人解释高阶指令、识别未见环境并执行复杂操作。
Q: 早期机器人操作方法（如CLIPort、RT-1）的局限及RT-2如何改进？ A: 早期用分离视觉/语言编码器+规划器，多任务数据有一定泛化但难处理未见概念与复杂模糊指令。RT-2以预训练大型VLM骨干共训练互联网V-L任务与真实轨迹，将动作铸为文本token，实现更强语义理解、新颖物体/指令泛化与基本推理。

原文证据

Abstract / page 1: This survey provides the first systematic, taxonomy-oriented review of large VLM-based VLA models for robotic manipulation. We begin by clearly defining large VLM-based VLA models and delineating two principal architectural paradigms: (1) monolithic models, encompassing single-system and dual-system designs with differing levels of integration; and (2) hierarchical models, which explicitly decouple planning from execution via interpretable intermediate representations.
Sec.1 / page 2: we propose a coherent definition of large VLM-based VLA models: the model (1) leverages a large VLM to understand visual observations and natural language instructions, and (2) performs reasoning processes that directly or indirectly serve robotic action generation. We further distinguish two principal categories of large VLM-based VLA models… Monolithic Models… Hierarchical Models…
Sec.1 / page 3 (contributions): • A Longitudinal Synthesis of large VLM-based VLA Models Development… • A Cross-Cutting Synthesis of large VLM-based VLA Modeling Practices…
Sec.2.2 / page 4: RT-2 [27] begins with a pretrained large VLM backbone… and co-trains it on both internet-scale vision-language tasks and real robot trajectories. Crucially, robot actions are cast as text tokens… Empirically, RT-2 shows a dramatically stronger semantic understanding ability. Compared to RT-1 [83], RT-2 [27] generalizes to novel objects and unseen instructions…
Abstract / page 1 & project mention: We provide a regularly updated project page to document ongoing progress: https://github.com/JiuTian-VL/Large VLM-based VLA for Robotic Manipulation.
Sec.3 / page 4: Monolithic VLA models are mainly implemented in two ways: single-system and dual-system architectures… In the single-system design… visual perception, language instructions, and robot states are jointly fed into a unified model… dual-system architectures… System 2 (VLM backbone)… System 1 (action expert)…

Discovery evidence

topic: embodied-foundation-models
sources: arxiv
retrieved_at: 2026-07-20
query: RT-2 vision language action robotic control
arxiv: 2508.13073
score_total: 55
suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

延伸解读与背景补充

生成：2026-07-21 · 来源条数 2 · 模型 heuristic · 需人工核验数字

问题再表述

围绕「Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey」的核心问题与动机（待结合全文核验）。

方法要点补强

见原文方法章节；以下为基于摘要/摘录的要点提示。
JOURNAL OF LATEX CLASS FILES, VOL. 14, NO. 8, AUGUST 2021 1 …

与相近工作的关系

与相近工作的关系待核验；请对照 related work。

常见误读

勿仅凭摘要推断未给出的数值指标。

自测问题

这篇工作的输入/输出表示是什么？（Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey）
训练目标与评测协议各是什么？
主要失败模式或局限是什么？

外部解读索引

[2508.13073] Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey — 2026-07-21 — 官方摘要/二次页面（自动抓取）
[2508.13073] Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey — 2026-07-21 — 官方摘要/二次页面（自动抓取）

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey arch p.2

来源：原论文约 p.2（arch）；学习用途摘录。

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey table p.9

来源：原论文约 p.9（table）；学习用途摘录。

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2025
Authors	Rui Shao, Wei Li, Lingsen Zhang, Renshan Zhang, Zhiyang Liu, Ran Chen, Liqiang Nie
arXiv	2508.13073
DOI	—
Topics	robot-manipulation, embodied-foundation-models, application-domains, embodied-capabilities, systems-engineering, vla-models, vlm-understanding
Paper	https://arxiv.org/abs/2508.13073

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

robot-manipulation: tier=recent rank=2 score=55 — auto refresh 2026-07-19 sources=arxiv
embodied-foundation-models: tier=recent rank=1 score=55 — auto refresh 2026-07-19 sources=arxiv | promoted watch->recent for coverage fill
application-domains: tier=watch rank=3 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19
embodied-capabilities: tier=watch rank=4 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
systems-engineering: tier=watch rank=5 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
vla-models: tier=watch rank=5 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
vlm-understanding: tier=watch rank=2 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19

Extract excerpt

JOURNAL OF LATEX CLASS FILES, VOL. 14, NO. 8, AUGUST 2021                                                                                           1




                                                 Large VLM-based Vision-Language-Action
                                                 Models for Robotic Manipulation: A Survey
                                                    Rui Shao, Wei Li, Lingsen Zhang, Renshan Zhang, Zhiyang Liu, Ran Chen, Liqiang Nie

                                             Abstract—Robotic manipulation, as a critical frontier in robotics and embodied AI, demands precise motor control and integrated
                                             understanding of visual and semantic cues in dynamic environments. Traditional approaches, grounded in predefined task
                                             specifications and rigid control policies, often struggle to scale or generalize in unstructured, novel scenarios. In recent years,
                                             Vision-Language-Action (VLA) models, built upon Large Vision-Language Models (VLMs) pretrained on vast image-text datasets, have
                                             emerged as a transformative paradigm. By leveraging large VLMs’ capabilities in open-world generalization, hierarchical task planning,
                                             knowledge-augmented reasoning, and rich multimodal fusion, these models empower robots to interpret high-level instructions,
                                             recognize unseen environments and execute complex manipulation tasks. This survey provides the first systematic, taxonomy-oriented




arXiv:2508.13073v2 [cs.RO] 1 Sep 2025
                                             review of large VLM-based VLA models for robotic manipulation. We begin by clearly defining large VLM-based VLA models and
                                             delineating two principal architectural paradigms: (1) monolithic models, encompassing single-system and dual-system designs with
                                             differing levels of integration; and (2) hierarchical models, which explicitly decouple planning from execution via interpretable
                                             intermediate representations. Building on this foundation, we present an in-depth examination of large VLM-based VLA models: (1)

Local assets

反向链接

学习导航

标记为已读

所属 Topic: robot-manipulation
学习路径: 学习路线 · 论文库
上一篇: Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge
下一篇: MoManipVLA: Transferring Vision-language-action Models for General Mobile Manipulation
返回 Topic

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

中文学习笔记（自动生成，需核验）

为什么值得读

一句话结论

问题定义

前置知识

核心贡献

方法流程

关键模块和设计取舍

数据集、实验设置与指标

主要结果（需原文证据）

局限、失败场景与适用边界

与前序 / 同期 / 后续方法的关系

官方代码与复现建议

推荐阅读顺序

自测问题

原文证据

Discovery evidence

Relevance

Snippets

延伸解读与背景补充

问题再表述

方法要点补强

与相近工作的关系

常见误读

自测问题

外部解读索引

关键图表

方法结构（重绘）

论文摘录图/表

英文自动分析（可折叠）

Paper Card

原文摘录与素材（可折叠）

Selections

Extract excerpt

Local assets

反向链接

学习导航