RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

学习档位 精读

类型 文献 · 更新 2026-07-20

所属 VLA 模型 · 模型部署与推理优化 · VLM 与视觉语言理解

中文学习笔记（自动生成，需核验）

Topic: vla-models · Tier: foundational · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~60 分钟
Paper: https://arxiv.org/abs/2307.15818
Code: —
Generator: grok

为什么值得读

展示如何将互联网规模预训练的视觉语言模型（VLM）直接 co-fine-tune 为端到端机器人策略（VLA），通过把动作表示为文本 token 实现知识迁移，显著提升新颖物体/指令泛化，并涌现语义推理与链式思维能力，是具身智能从高层规划走向低层闭环控制的重要一步。

一句话结论

RT-2 通过将机器人动作 token 化并与网络规模 VQA 等任务共同微调 VLM，直接输出低层控制动作，从而把网页知识迁移到机器人闭环控制并获得涌现能力。

问题定义

大规模预训练 VLM 擅长语义推理与视觉理解，但机器人需要接地的低层动作（如笛卡尔末端执行器指令）；如何让单个端到端模型同时利用网络预训练优势并直接映射观测到动作，而不是仅把 VLM 用作高层状态机/规划器。

前置知识

视觉语言模型（如 PaLI-X、PaLM-E）的预训练与 VQA/captioning 能力；机器人轨迹数据与动作空间（如 RT-1 的 6-DoF 位移/旋转 + 夹爪 + terminate）；token 化与符号调优（symbol tuning）；co-fine-tuning 与多模态句子表示；闭环控制与推理速度约束。

核心贡献

• 提出视觉-语言-动作（VLA）模型类别，将动作表示为文本 token，与自然语言 token 同等对待并纳入同一训练集。
• 实例化 RT-2（基于 PaLI-X 与 PaLM-E 的 co-fine-tune 版本），在机器人轨迹与网络规模 VLM 任务上共同微调，无需新增参数即可输出动作。
• 通过约 6k 次评估展示显著泛化提升（新物体、场景、指令）及涌现能力（语义位置放置、关系推理、链式思维多阶段推理）。
• 给出大规模（最高 55B）VLA 实时推理方案（多 TPU 云服务）与输出约束、数据配比等实用设计。

方法流程

1）以预训练 VLM（PaLI-X 或 PaLM-E）为骨干，输入图像 + 文本任务描述（VQA 格式如 “Q: what action should the robot take to [task]? A:”）；2）将 6-DoF 位置/旋转位移、夹爪开合及 terminate 命令离散化为 256 bins，并映射到模型现有 token 词汇（整数 token 或覆盖低频 token），输出为动作 token 字符串；3）co-fine-tune：机器人轨迹数据与原始网络 VQA/captioning 等数据混合训练（提高机器人数据采样权重）；4）推理时对机器人任务约束输出词汇仅采样有效动作 token，再 detokenize 为连续动作，通过云服务实现闭环控制。

关键模块和设计取舍

动作 token 化与字符串拼接（“terminate Δposx … gripper”）；co-fine-tuning（相对纯机器人 fine-tune 更利于保持抽象概念与泛化）；输出词汇约束（机器人任务仅有效动作 token）；大模型实时服务（多 TPU 云查询，55B 约 1-3 Hz，5B 约 5 Hz）；基于现有 VLM 骨干无新增参数，统一语言与动作输出空间。取舍：牺牲部分推理频率换取大规模预训练知识；物理技能仍受限于机器人数据分布。

数据集、实验设置与指标

网络规模数据：来自 PaLI-X/PaLM-E 原论文的 VQA、captioning 及图像-文本示例。机器人数据：RT-1（Brohan et al., 2022）轨迹，13 台机器人、17 个月办公厨房环境，自然语言指令（动词技能 + 名词物体）。评估：约 6000 条真实机器人评估轨迹，关注 seen 任务与新物体/背景/环境/指令泛化、涌现能力、参数量影响、链式思维。基线：RT-1、VC-1、R3M、MOO 等（均用相同机器人数据）。具体成功率等指标细节待来源核验。

主要结果（需原文证据）

约 6k 次评估表明 RT-2 产生有效机器人策略，相对基线显著提升对新物体、场景与指令的泛化；获得涌现能力：可解释机器人训练数据中未出现的命令（如放置到特定数字/图标旁）、执行基础推理（最小/最大物体、相对另一物体最近者）、经链式思维提示可做多阶段语义推理（如选石头当临时锤子、选能量饮料给疲劳者）。物理技能仍限于机器人数据技能分布。更细粒度成功率/对比数字待来源核验。

局限、失败场景与适用边界

物理运动技能仍受限于机器人训练数据分布，无法凭空产生新技能；大模型（55B）推理频率仅 1-3 Hz，依赖云服务；评估主要在特定办公厨房与 7DoF 移动操作臂；完整失败模式、更广泛环境迁移与安全边界在摘录中未详述，待来源核验。

与前序 / 同期 / 后续方法的关系

区别于仅用 LLM/VLM 做高层规划再调用独立低层控制器的方法（如 Ahn et al., Driess et al.）；区别于 CLIPort/MOO 等将 VLM 融入策略但引入显著结构限制（2D 动作空间、标定相机等）的工作；区别于从零设计 VLA 架构（如 Reed et al.）或仅用预训练表征初始化的方法；继承 RT-1 动作离散化协议并扩展到大 VLM 骨干，统一语言与动作输出空间，权重完全共享。

官方代码与复现建议

项目网站 robotics-transformer2.github.io 提供执行示例；官方代码仓库/完整复现脚本在摘录中未给出。建议：基于 PaLI-X/PaLM-E 公开实现 + RT-1 数据格式，按动作 256-bin token 化、co-fine-tune 数据配比与输出约束复现；大模型需云 TPU 服务支持实时控制。复现细节待来源核验。

推荐阅读顺序

先读摘要与 Fig.1 理解 VLA 核心思想；再读 Introduction 与 Related Work 定位问题；重点精读 Section 3（VLA 架构、动作 token、co-fine-tune、推理）；浏览 Section 4 实验问题与涌现示例（Fig.2）；最后查 Appendix 中模型细节与数据（若完整版可用）。

自测问题

1. Q: RT-2 如何将机器人动作与自然语言统一到同一模型输出空间？ A: 将 6-DoF 位移/旋转、夹爪与 terminate 离散化为 256 bins，映射为文本 token（或覆盖低频 token），拼接成字符串，作为与语言 token 同等对待的训练目标。
2. Q: 为什么强调 co-fine-tuning 而非只在机器人数据上 fine-tune？ A: 共同训练网络抽象视觉-语言概念与低层机器人动作，能带来更好的泛化策略；纯机器人 fine-tune 易丢失预训练知识。
3. Q: RT-2 使用了哪些预训练 VLM 骨干及大致规模？ A: RT-2-PaLI-X 基于 5B 与 55B PaLI-X；RT-2-PaLM-E 基于 12B PaLM-E。最大约 55B 参数。
4. Q: 论文报告的涌现能力举例有哪些？ A: 放置到未见过的数字/图标旁；根据关系选物体；链式思维推理（石头当锤子、能量饮料给疲劳者等）。
5. Q: 大规模模型如何实现实时闭环控制？ A: 部署到多 TPU 云服务并通过网络查询；55B 约 1-3 Hz，5B 约 5 Hz；机器人任务时约束仅采样有效动作 token。

原文证据

• page 1 (abstract): we propose to co-fine-tune state-of-the-art vision-language models on both robotic trajectory data and Internet-scale vision-language tasks, such as visual question answering. … we express the actions as text tokens and incorporate them directly into the training set of the model in the same way as natural language tokens. We refer to such category of models as vision-language-action models (VLA) and instantiate an example of such a model, which we call RT-2. Our extensive evaluation (6k evaluation trials) shows…
• page 1-2 (intro): can large pretrained vision-language models be integrated directly into low-level robotic control to boost generalization and enable emergent semantic reasoning? … we directly train vision-language models … to output low-level robot actions, along with solving other Internet-scale vision-language tasks.
• page 5 (Sec 3.2): The continuous dimensions … are discretized into 256 bins uniformly. Thus, the robot action can be represented using ordinals of the discrete bins as 8 integer numbers. … “terminate Δpos𝑥 Δpos 𝑦 Δpos𝑧 Δrot𝑥 Δrot 𝑦 Δrot𝑧 gripper_extension”.
• page 6 (co-fine-tuning & inference): a key technical detail of the training recipe that improves robot performance is co-fine-tuning robotics data with the original web data instead of naïve finetuning on robot data only. … The largest model we evaluated, the 55B parameter RT-2-PaLI-X-55B model, can run at a frequency of 1-3 Hz. The smaller version … 5B parameters, can run at a frequency of around 5 Hz.
• page 3 & 7 (emergent & data): the model is able to re-purpose pick and place skills … place objects near semantically indicated locations, such as specific numbers or icons … interpret relations between objects … chain of thought prompting … which object to pick up for use as an improvised hammer (a rock), or which type of drink is best suited for someone who is tired (an energy drink). … We combine it with the robot demonstration data from Brohan et al. (2022), which was collected with 13 robots over 17 months…

Discovery evidence

• topic: embodied-agents
• sources: asta, arxiv
• retrieved_at: 2026-07-20
• query: Find foundational and recent research papers for the topic «具身智能体» (embodied-agents). Prefer peer-reviewed or widely cited work with clear method contributions. Include open-source code when available. Exclude pure survey spam unless highly cited. Core concepts: embodied agent, foundation agent, robot agent. Search facets: embodied AI agents foundation models; vision language action agent robotics; embodied multimodal agent benchmark. Relevant venues include: CoRL, ICRA, NeurIPS, CVPR. Return pa
• corpus_id: 260293142
• arxiv: 2307.15818
• relevance_score: 0.8845823493085688
• score_total: 38
• suggested_tier: watch

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.2（arch）；学习用途摘录。

来源：原论文约 p.8（table）；学习用途摘录。

精读判断（人工）

这篇文献回答什么问题

如何把互联网规模 VLM 的语义 通过动作 token 化与 co-fine-tune 迁到机器人闭环控制（RT-2）。

关键假设

• 离散动作 token 足以表达操作；
• 网页知识与机器人数据联合训练可迁移语义。

我方立场

VLA 主路径奠基：价值是「语义→动作」范式，不是某个机械臂分数。读时应盯动作词表、协同微调数据配比与涌现推理的可复现边界。

失败模式

• 动作离散化损失精度；
• 闭环频率不够；
• 语义成功但物理不可行。

读完应能回答

1. 动作如何变成 token？
2. co-fine-tune 保留了 VLM 的什么能力？
3. 与纯 IL 策略的本质差别？

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2023
Authors	Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu
arXiv	2307.15818
DOI	10.48550/arxiv.2307.15818
Topics	vla-models, embodied-foundation-models, deployment-inference, vlm-understanding
Paper	https://arxiv.org/abs/2307.15818

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• vla-models: tier=foundational score=59 — RT-2 (2023) — vision-language-action transfer from web-scale VLM to robot control
• embodied-foundation-models: tier=foundational rank=1 score=67 — RT-2 foundational VLA; anchors embodied foundation model line
• deployment-inference: tier=watch rank=3 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
• vlm-understanding: tier=watch rank=3 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19

Extract excerpt

https://robotics-transformer2.github.io
                                                                                                                                                                       2023-8-1



                                         RT-2: Vision-Language-Action Models Transfer
                                         Web Knowledge to Robotic Control
                                         Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski,
                                         Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu,
                                         Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, Alexander Herzog,
                                         Jasmine Hsu, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang,
                                         Isabel Leal, Lisa Lee, Tsang-Wei Edward Lee, Sergey Levine, Yao Lu, Henryk Michalewski, Igor Mordatch,
                                         Karl Pertsch, Kanishka Rao, Krista Reymann, Michael Ryoo, Grecia Salazar, Pannag Sanketi,
                                         Pierre Sermanet, Jaspiar Singh, Anikait Singh, Radu Soricut, Huong Tran, Vincent Vanhoucke, Quan Vuong,
                                         Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Jialin Wu, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu,
                                         and Brianna Zitkovich
                                         Google DeepMind. Authors listed in alphabetical order, with contributions listed in Appendix A.




arXiv:2307.15818v1 [cs.RO] 28 Jul 2023
                                         We study how vision-language models trained on Internet-scale data can be incorporated directly into
                                         end-to-end robotic control to boost generalization and enable emergent semantic reasoning. Our goal is
                                         to enable a single end-to-end trained model to both learn to map robot observations to actions and enjoy
                                         the benefits of large-scale pretraining on language and vision-language data from the web. To this end,
                                         we propose to co-f

Local assets

反向链接

• VLA 模型
• VLM 与视觉语言理解
• 具身基础模型与智能体
• 模型部署与推理优化

---

学习导航

标记为已读

• 所属 Topic: vla-models
• 学习路径: 学习路线 · 论文库
• 上一篇: OpenVLA: An Open-Source Vision-Language-Action Model
• 下一篇: Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review
• 返回 Topic