Running VLAs at Real-time Speed
Running VLAs at Real-time Speed
Section titled “Running VLAs at Real-time Speed”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 VLA 模型
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: vla-models · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2510.26742
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”展示如何通过工程优化将π0级多视角VLA在单张消费级GPU上跑到30Hz帧率（甚至更高轨迹频率），打破大VLA无法实时动态控制的认知，并验证真实抓取下落笔任务100%成功率，同时提出全流式推理框架，对实时具身智能落地极具工程参考价值。
通过CUDA图、计算图简化与内核优化，使π0级VLA在单RTX 4090上实现多视角30Hz实时推理（最高480Hz轨迹频率），并在下落笔抓取任务达100%成功率。
大参数VLA模型单次前向通常需数百毫秒，无法满足抓取运动物体等动态任务的快速反应需求；需在单消费级GPU上将多视角π0级VLA推理压至相机帧率（约33ms）以下，实现全帧处理与低延迟端到端控制。
熟悉VLA/π0架构（VLM backbone如PaliGemma + Action Expert）、Transformer推理（GEMM、RMSNorm、RoPE、QKV等）、CUDA图与kernel优化基础、流匹配（flow matching）与动作分块（action chunking）概念、机器人分层控制频率。
- 提出一系列消除VLA推理开销的策略（CUDA图消除CPU开销、计算图变换减少MAC与kernel启动、内核内内存/张量重排提升并行），使π0级多视角VLA在单RTX 4090上达30Hz帧率与最高480Hz轨迹频率。
- 真实世界下落笔抓取实验中，优化后π0策略达100%成功率，端到端反应时间<200ms。
- 提出Full Streaming Inference全流式推理框架，将VLA结构直接映射为完整控制算法，触达实时力控阈值。
- 开源代码https://github.com/Dexmal/realtime-vla。
从朴素PyTorch实现出发：1) 用CUDA graph录制并回放kernel流，彻底消除Python/CPU启动开销；2) 计算图简化与常量折叠式变换（融合RMSNorm仿射参数到后续线性层、折叠action-time embedding、QKV投影融合、RoPE融合与预计算等）减少MAC与kernel数量；3) 深入优化单个kernel的内存布局与张量操作以更好利用并行；4) 系统层处理（相机分辨率匹配、手写resize、pinned memory、零拷贝等）。最终支持全流式推理，将VLA映射到分层控制频率。
关键模块和设计取舍
Section titled “关键模块和设计取舍”核心为π0：VLM backbone（PaliGemma 3B，含SigLIP视觉编码器+Gemma LLM）+ Action Expert（约300M，从Gemma缩小，MoE路由，流匹配生成action chunk）。设计取舍：优先CUDA graph（最简单有效消除CPU开销，因无动态分支）；图变换利用线性结合律与有限时间步（仅10个）做折叠/tabulate以省MAC与kernel；QKV融合减少kernel并提升并行；图像resize用接近224×224的相机原生分辨率+手写实现（<60μs）；强调全系统零拷贝与静态buffer以降低抖动。最终逼近roofline下界。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”真实世界下落笔抓取任务：两垂直夹爪，上方释放笔后下方需精准时机抓住；自动规则收集数百条抓取数据；π0训练控制夹爪抓取从更高扰动位置下落的笔。指标：推理延迟（ms，1/2/3视角，空prompt、63 chunk length）、成功率、端到端反应时间（目标<200ms）、是否支持30FPS全帧处理。硬件：单RTX 4090。对比naive torch与openpi/jax。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”优化后π0在单RTX 4090上1/2/3视角推理时间分别为20.0/27.3/36.8 ms（对比openpi/jax 43.8/53.7/67.6 ms，naive>100ms），可达30FPS全帧处理；下落笔抓取任务100%成功率，端到端反应时间短于200ms（与人类平均相当）；支持最高480Hz轨迹频率的全流式推理。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”当前验证主要为下落笔抓取proof-of-concept（时间约束严格但场景简单）；更挑战的实时任务、引入高层VLM（1-10Hz规划）或多感官（力/视触觉）到action expert的扩展留待未来；部分系统细节（完整端到端抖动控制）未深入展开；证据主要基于单GPU与特定π0配置。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”基于π0[2]（及hybrid训练[3]）架构；对比官方openpi/jax与naive PyTorch实现；引用PaliGemma[1]、SigLIP[22]、Gemma[19]、flow matching[12]、MoE[15]、RMSNorm[23]、RoPE[17]、SiLU[9]等组件；与分层机器人控制（中层VLA vs 高频力/力矩）对话，提出将VLA直接扩展为全流式控制。
官方代码与复现建议
Section titled “官方代码与复现建议”官方代码https://github.com/Dexmal/realtime-vla。复现建议：在RTX 4090上复现Table 1延迟（空prompt、63 chunk）；按Sec.3-4逐步加CUDA graph、图简化、kernel优化；注意相机分辨率、resize实现与memory pinning；真实任务需自动规则收集数据训练π0后测成功率。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract+Fig.1+Table1建立目标与结果；再读Sec.1 Introduction理解动机与全流式框架；Sec.2 Preliminary掌握π0结构；重点精读Sec.3（CUDA graph+图简化）与Sec.4（kernel优化）及Fig.2-4；最后看实验验证与未来扩展。
- Q: 优化后在单RTX 4090上2视角π0推理延迟是多少？与openpi/jax对比如何？ A: 27.3 ms，显著快于openpi/jax的53.7 ms（Table 1，空prompt、63 chunk）。
- Q: 主要用哪些策略消除开销并加速？ A: CUDA graph消除CPU/Python开销；计算图变换（融合RMS仿射、折叠action-time embedding、QKV融合等）减少MAC与kernel；内核内重排提升并行；系统层resize与memory优化。
- Q: 下落笔抓取任务的关键时间约束与结果是什么？ A: 观察笔后仅剩很少时间必须启动动作；优化后实现30FPS全帧处理，端到端<200ms，π0达100%成功率。
- Q: Full Streaming Inference的核心思想与最高频率？ A: 直接将VLA结构映射为完整控制算法，利用VLA内不同输入输出频率层级，最高可生成480Hz控制信号，触达实时力控阈值。
- Q: 为什么CUDA graph特别适合π0级VLA？ A: Transformer blocks无动态分支，kernel代码与buffer指针可保持常量，可录制后纯GPU/driver回放，彻底去掉Python执行开销（约加速两倍）。
- page 1, Abstract: we show how to run π0 -level multi-view VLA at 30Hz frame rate and at most 480Hz trajectory frequency using a single consumer GPU. … the π0 policy with our strategy achieves a 100% success rate in grasping a falling pen task. … full streaming inference framework … Code is available at https://github.com/Dexmal/realtime-vla.
- page 1, Table 1: ours 20.0 ms 27.3 ms 36.8 ms … on a single RTX 4090. The measurements above assume empty prompt text and 63 chunk length. We push the inference time to camera frequency.
- page 1, Figure 1 caption: We implemented 30 FPS inference of VLA model so that all frames in our camera stream can be processed, and the end-to-end reaction time can be shorter than 200 ms. This is on par with an average human in this test.
- page 1-2, Introduction: After our optimization, we achieve a latency of 27.3 ms given two input views, significantly faster than “official” inference provided by the openpi [2] project (See Tab. 1). … First, we use the CUDA graph approach to eliminate all CPU overheads. Then we make transformations on the computational graph to reduce the total MAC workload or the number of kernel launches. … After that, we rearrange the memory and tensor operations inside individual kernels…
- page 2, experiment description: the π0 model achieves a 100% success rate on the job thanks to the largely optimized inference time. … The system is capable of generating control signals at maximum 480 Hz. It touches the threshold of real-time force control.
- page 2-3, Sec. 3.1-3.2: the simplest and most effective way is to use the CUDA graph mechanism. … this speeds up inference by around two fold… The first is to fuse the affine parameters in the RMS norm layer into the subsequent linear layer. … fold the “action time encoder”… fuse QKV projections together. … these modifications reduce the inference time by 7-8 ms.
Discovery evidence
Section titled “Discovery evidence”- topic:
vla-models - sources:
arxiv - retrieved_at: 2026-07-20
- query: vision language action model robotics
- arxiv:
2510.26742 - score_total: 44
- suggested_tier:
watch
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Running VLAs at Real-time Speed」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Running VLAs at Real-time Speed Yunchao Ma1 Yizhuang Z…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Running VLAs at Real-time Speed）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2510.26742] Running VLAs at Real-time Speed — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2510.26742] Running VLAs at Real-time Speed — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Running VLAs at Real-time Speed方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.5（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Yunchao Ma, Yizhuang Zhou, Yunhuan Yang, Tiancai Wang, Haoqiang Fan |
| arXiv | 2510.26742 |
| DOI | — |
| Topics | vla-models |
| Paper | https://arxiv.org/abs/2510.26742 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”vla-models: tier=recent rank=3 score=44 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”Running VLAs at Real-time Speed
Yunchao Ma1 Yizhuang Zhou2 Yunhuan Yang1 Tiancai Wang1 Haoqiang Fan1 1 2 Dexmal StepFun {myc, yyh, wtc, fhq}@dexmal.com jupiter@stepfun.com
arXiv:2510.26742v1 [cs.RO] 30 Oct 2025 frame 1 frame 2 frame 3 frame 4 frame 5 frame 6 frame 7 camera readout inference movement 66ms < 33ms 60ms nothing happened event observed action completed
Figure 1. Grasping a falling pen. The task has a very stringent time constraint. After observing the pen coming, these is only little time before the action must be initiated. We implemented 30 FPS inference of VLA model so that all frames in our camera stream can be processed, and the end-to-end reaction time can be shorter than 200 ms. This is on par with an average human in this test.
Abstract Methods 1 view 2 views 3 views naive torch 105.0 ms 106.5 ms 113.9 ms In this paper, we show how to run π0 -level multi-view openpi/jax 43.8 ms 53.7 ms 67.6 ms VLA at 30Hz frame rate and at most 480Hz trajectory fre- our