Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control

Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control

⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。

学习档位 中文笔记

类型 文献 · 更新 2026-07-19

所属 VLA 模型

中文学习笔记（自动生成，需核验）

Topic: vla-models · Tier: recent · Year: 2026 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~30 分钟
Paper: https://arxiv.org/abs/2605.16056
Code: —
Generator: grok

为什么值得读

首次将显式关节健康向量注入预训练VLA（VLA-Adapter），以极轻量模块（约900K可训练参数）实现物理退化（关节增益与角度受限）下的自适应动作预测，填补了现有VLA多关注任务语义失败而忽视硬件退化的空白，对真实机器人故障容错控制有直接启发。

一句话结论

通过零初始化Health Projector将关节健康向量h∈[0,1]^J注入VLA-Adapter，使模型在LIBERO Spatial单关节退化下显著恢复关键关节成功率，同时保持健康状态性能。

问题定义

现有VLA假设机器人硬件完美，在真实关节退化、执行器故障或夹爪变弱等物理退化下无法适应，导致任务失败；缺乏将健康状态显式 conditioning 到动作预测的机制。

前置知识

VLA基础（视觉-语言-动作端到端预测）、VLA-Adapter/Qwen/DINOv2-SigLIP结构、LIBERO仿真与Spatial任务、机器人运动学/关节控制、简单MLP与L1回归微调。

核心贡献

• 将健康向量集成到预训练VLA，仅用<1M参数（约900K）的轻量Health Projector显著提升受限关节适应能力，并形式化malfunction-aware VLA问题。
• 提出数据收集框架，支持用鼠标键盘在LIBERO中遥操作并定义不同级别的关节退化。
• 提出评估指标，系统测量VLA-Adapter在不同关节-退化组合下的LIBERO Spatial表现。

方法流程

1. 问题：7-DoF机械臂，每关节hj∈[0,1]（1全健康，0完全锁定），中间值按(1-w)缩放执行器增益与可达角度（w=1-hj）。2) 基座：冻结VLA-Adapter Pro（Qwen2.5-0.5B + DINOv2-SigLIP + 24-block action head，预测C=8的7-DoF末端delta）。3) 注入Health Projector：两层MLP将7D h映射到LLM嵌入空间R^896，零初始化最后层使初始fh=0，并与本体感觉token逐元素相加后进入attention。4) 仅训练Health Projector + Action Queries（约900K参数）。5) 数据：遥操作收集128个malfunction episodes（不同关节与w=0.3/0.5/0.7/0.9）+50健康episodes。6) 微调：单L40S，AdamW lr=2e-4，15K步，L1 chunk loss，图像增强。7) 推理时输入ot,l,h，输出适应退化的动作。

关键模块和设计取舍

Health Projector：两层MLP fh=W2 GELU(W1 h +b1)+b2，零初始化以保护预训练行为；与本体感觉token相加融合，不增加token数、保持attention模式。Action Queries少量可训练。设计取舍：显式健康向量而非隐式估计，轻量加法而非大改backbone，单关节为主（支持多关节但数据有限），优先参数效率与名义性能保持。

数据集、实验设置与指标

数据集：自采LIBERO Spatial（黑碗放置任务），128个malfunction teleop episodes（多关节-级别配置，每级约2集）+50健康episodes（含预训练成功rollout）；记录双相机RGB(256×256)、7D EE delta、8D proprio、7D health。评估：仅LIBERO Spatial，基线每组合4 episode，ours 10 episode；主指标二值任务成功率；基线无健康条件 vs 健康条件模型，覆盖7关节×4弱化级别+健康。

主要结果（需原文证据）

健康状态：基线97.5%，ours 99.0%。关键关节显著恢复：J1(肩) w=0.3 45%→89%，w=0.5 15%→22%，w=0.7 0%→2%；J3(肘) w=0.5 0%→34%，w=0.7 0%→3%。部分关节维持或提升（如J2 w=0.9 72.5%→83%，J5高弱化提升）。部分任务-关节组合大增益（如T5 J1 w=0.3 0%→30%，T8 J3 w=0.5 0%→80%）；极高退化（w=0.9 J1/J3）仍0%。健康关节偶有轻微下降（J0/J4），归因数据覆盖有限。仅178 episodes实现有效恢复。

局限、失败场景与适用边界

仅单关节退化、仅LIBERO Spatial仿真；需显式健康向量输入；数据覆盖有限导致部分组合遗忘或不一致；多关节需额外遥操作数据；高退化时物理不可达无法克服；未扩展到真实机器人或多实施例；隐式健康估计与零样本适应留作未来。

与前序 / 同期 / 后续方法的关系

建立在VLA系列（RT-2、OpenVLA、π0、GR00T、VLA-Adapter）之上，后者假设健康硬件。故障感知VLA多关注语义任务失败检测/恢复或域随机化，而非物理关节退化；交叉实施例/物理失败受缩放律影响，本文用显式健康投影避免多场景重复训练。

官方代码与复现建议

代码与数据集将很快开源：https://github.com/h-arslan/health-aware-vla。复现建议：基于VLA-Adapter Pro预训练权重，仅微调Health Projector+Action Queries（约900K），按文中超参（AdamW 2e-4、15K步、batch8+accum2等）在LIBERO Spatial上训练；需自建或等待malfunction遥操作数据；注意动作归一化与RLDS约定。

推荐阅读顺序

先读Abstract与Introduction明确gap与贡献；再读III Approach（问题形式化+架构+数据+训练）；然后IV Experiments（基线脆弱性→健康条件结果→分析）；最后V Discussion与Related Work；Tables I-III重点对比。

自测问题

1. Q: 健康向量h的定义与物理含义是什么？ A: h∈[0,1]^J，J=7；hj=1全健康，hj=0完全锁定；中间值将执行器增益与可达角度按(1-w)缩放（w=1-hj）。
2. Q: Health Projector如何保证不破坏预训练性能？ A: 两层MLP，最后一层零初始化使初始fh=0，与本体感觉token相加后p+0=p，保持初始attention。
3. Q: 可训练参数量大约多少？包含哪些？ A: 约900K：Health Projector约810K + Action Queries约57K；其余（VLM、视觉编码器、Bridge等）冻结。
4. Q: 基线在哪些关节上对退化最脆弱？ A: J1（肩）和J3（肘）最脆弱：高弱化时成功率接近或变为0%，因承担主要到达/抬升运动学负载。
5. Q: 主要局限与未来方向有哪些？ A: 单关节/仅仿真/需显式h；未来：多关节数据、隐式健康估计、真实多实施例扩展。

原文证据

• Abstract (page 1): We introduce malfunction-aware (health-conditioned) VLA that takes a health vector as an input that gives information about robots’ joints’ operation angle and torque capability, and adapts its predictions to complete the tasks with the degraded joints.
• I. Introduction / contributions (page 1): We integrate a health vector into a pretrained VLA model with a small number of parameters (<1M) which result in a lightweight Health Projector improving model’s adaptation capability to restricted joints significantly
• III.B Architecture / Health Projector (page 2): The final layer (W2 , b2 ) is zero-initialized so that fh = 0 at the start of training, pretrained action head is not be affected. The health features are added element-wise to the proprioceptive token
• III.C Data Collection (page 2): In total, we collected 128 malfunction episodes on different joint-malfunction configurations, and 50 healthy episodes using pretrained VLA-Adapter Libero Spatial Pro model.
• IV.C Health-Conditioned Results / Table II描述 (page 3): Our model achieves 99.0% healthy success rate, similar to the baseline (97.5%)… J1 (Shoulder) increases from 45%→89% at w=0.3 and from 15%→22% at w=0.5
• V. Discussion and Future Work / Limitations (page 4): Our current approach is limited with only single joint degradation on only LIBERO task suite. Also it requires adding an explicit health vector.

Discovery evidence

• topic: vla-models
• sources: arxiv
• retrieved_at: 2026-07-20
• query: vision language action model robotics
• arxiv: 2605.16056
• score_total: 55
• suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

延伸解读与背景补充

生成：2026-07-21 · 来源条数 2 · 模型 heuristic · 需人工核验数字

问题再表述

围绕「Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control」的核心问题与动机（待结合全文核验）。

方法要点补强

• 见原文方法章节；以下为基于摘要/摘录的要点提示。
• Health-Conditioned Vision-Language-Action Models for Malfunction-Aware…

与相近工作的关系

与相近工作的关系待核验；请对照 related work。

常见误读

• 勿仅凭摘要推断未给出的数值指标。

自测问题

1. 这篇工作的输入/输出表示是什么？（Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control）
2. 训练目标与评测协议各是什么？
3. 主要失败模式或局限是什么？

外部解读索引

• [2605.16056] Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control — 2026-07-21 — 官方摘要/二次页面（自动抓取）
• [2605.16056] Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Control — 2026-07-21 — 官方摘要/二次页面（自动抓取）

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: Health-Conditioned Vision-Language-Action Models for Malfunction-Aware Robot Con

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.1（arch）；学习用途摘录。

来源：原论文约 p.4（table）；学习用途摘录。

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2026
Authors	Hüseyin Arslan, Özgür Erkent
arXiv	2605.16056
DOI	—
Topics	vla-models
Paper	https://arxiv.org/abs/2605.16056

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• vla-models: tier=recent rank=1 score=55 — auto refresh 2026-07-19 sources=arxiv

Extract excerpt

Health-Conditioned Vision-Language-Action Models
                                                                        for Malfunction-Aware Robot Control
                                                                                      Hüseyin ARSLAN∗ , Özgür ERKENT∗
                                                                           ∗ Computer Engineering, Hacettepe University, Ankara, Turkey

                                                                                            huseyinarslan25@hacettepe.edu.tr




                                            Abstract—Research on Vision Language Action (VLA) models            [9], but no mechanism exists to adapt to joint or any other
                                         has been increasing rapidly in recent years. Although some             physical degradation among VLAs.
                                         of them focus on detecting, preventing, and recovering from




arXiv:2605.16056v1 [cs.RO] 15 May 2026
                                                                                                                   We address this gap by presenting malfunction aware VLA,
                                         task failures, they usually don’t deal with adapting to robot’s
                                         physical failures. In real-life scenarios, most robots face physical   an approach that combines pretrained VLA with an explicit
                                         degradations in various ways such as joint degradation, actu-          health vector per joint h ∈ [0, 1]J where J is the number of
                                         ator failure, or weak gripper. We introduce malfunction-aware          joints and hj represents the health status, hj = 1.0 means
                                         (health-conditioned) VLA that takes a health vector as an input        full health and 0.0 indicates joint is fully locked. Proposed
                                         that gives information about robots’ joints’ operation angle and       Health Projector maps this health vector into the model’s latent
                                         torque capability, and adapts its predictions to complete the tasks
                                         with the degraded joints. To achieve this, we inject a Health Pro-     space in order to enable action head adapts its predictions to

Local assets

反向链接

• VLA 模型

---

学习导航

标记为已读

• 所属 Topic: vla-models
• 学习路径: 学习路线 · 论文库
• 上一篇: Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review
• 下一篇: IROSA: Interactive Robot Skill Adaptation using Natural Language
• 返回 Topic