具身 VLA：RT-2、OpenVLA、π0、GR00T

问题

能按自然语言指令做家务的机器人，自 1970 年代以来一直是研究目标。2020 年代的答案：视觉-语言-动作（VLA）模型。架构与用于 VQA 的 VLM 相同，但输出是动作（关节力矩、末端执行器位姿、离散指令）而不是文本。

VLA 特有的挑战：

1. 动作空间是连续的（关节角、力），而且维度高（7 自由度机械臂 + 3 自由度夹爪 = 30 Hz 下 10 维）。
2. 机器人专属训练数据稀缺。Open X-Embodiment 约有 100 万条轨迹；网络文本-图像数据有 50 亿+。
3. 控制频率很重要。30 Hz 控制回路意味着每个动作有 33ms 预算。
4. 安全。一个错误的动作会损坏硬件、伤人或损坏财产。

概念

动作 token 化（RT-2）

RT-2 的技巧：把每个关节目标表示为量化后的文本 token。把归一化后的 [-1, 1] 范围离散成 256 个分桶，每个桶映射到一个词表 ID。一个 10 自由度的动作在每个控制步变成 10 个 token。

在一个混合数据上联合微调 PaLM-X VLM：

• 网络图像-文本对（描述、VQA）。
• 机器人演示，动作以 token 表示。

模型看到「拿起红色方块」（语言）→ 图像（视觉）→ 10 个 token 的动作序列（离散化的关节目标）。网络预训练保住了通用知识迁移：即使「快速移动」不在训练数据里，RT-2 也能执行「朝快速移动的物体移动」。

RT-2 论文中的推理频率为 3-5 Hz，受限于 VLM 的自回归解码。

OpenVLA——开放的 7B 参考

OpenVLA（Kim 等，2024 年 6 月）是开放权重的 RT-2 等价物。7B Llama 骨干，DINOv2 + SigLIP 双视觉编码器，256 分桶的动作 token 化。

在 Open X-Embodiment 上训练（覆盖 22 种机器人的 97 万条轨迹）。附带 LoRA 微调支持，以适配新机器人。

推理：在量化后的 A100 上为 4-5 Hz。对于慢速操作够快，对于高频控制不够。

FAST 分词器——更快的动作解码

Pertsch 等（2024）指出离散分桶 token 化效率低——大多数动作聚集在桶空间的一小块区域。FAST（频域动作序列分词器）通过 DCT 压缩动作序列并对系数做量化。

一条 30 步的动作轨迹变成约 10 个 FAST token，而不是 300 个离散分桶 token。推理提速 3-5 倍且不损失质量。

π0 与流匹配动作

Physical Intelligence 的 π0（Black 等，2024 年 10 月）用流匹配动作专家取代离散动作 token：

• 一个小型动作 Transformer 读取 VLM 的隐藏状态，通过整流流输出连续的 50 步动作序列。
• 动作头用流匹配损失训练；VLM 预训练保持不变。
• 推理：约 5 个去噪步输出完整动作序列，等效于 50 Hz 控制。

π0 的主张：在大量操作任务上击败 OpenVLA 和 Octo。连续动作表述保留了离散化所破坏的平滑性。

π0.5 和 π0-FAST 是增量升级。π0-FAST 把 FAST token 化与流匹配结合起来。

GR00T N1——面向人形机器人的双系统

NVIDIA 的 GR00T N1（2025 年 3 月）为人形机器人（>30 自由度、全身）而构建：

• System 2：大型 VLM 读取场景 + 指令，以约 1 Hz 产出高层子目标。
• System 1：小型动作头 Transformer，以子目标为条件产出 50-100 Hz 的低层关节指令。

这种划分对应卡尼曼的快慢思考：System 2 规划，System 1 行动。好处：VLM 规模的慢速规划不会阻塞快速控制；System 1 保持小规模以控制延迟。

GR00T N1.7（2025 年末）改进了数据扩展。GR00T 用来自 Omniverse 的仿真到现实数据做微调。

Open X-Embodiment

训练数据。RT-X（2023 年 10 月）汇集了 22 个数据集，覆盖 22 种机器人的 100 万条轨迹。Open X-Embodiment 是所有人都在用的语料：

• ALOHA / Bridge V2 / Droid / RT-2 Kitchen / Language Table。
• 每个样本：（机器人状态、相机视角、指令、动作序列）。
• 训练卫生：统一动作空间、归一化关节范围、调整相机尺寸。

OpenVLA 和 π0 在 Open X-Embodiment 上训练。到任何特定机器人的域差距，靠 100-1000 条任务专属演示做 LoRA 微调来弥合。

联合微调 vs 仅机器人数据

联合微调把网络 VQA 数据与机器人轨迹混合。比例很重要：VQA 太多，模型会忘记动作；机器人数据太多，模型会丢失通用知识。

RT-2 的比例：约 1:1。OpenVLA：网络对机器人约 0.5:1。π0：类似。精确比例是按数据集规模调的超参数。

仅机器人训练产出的是任务专属模型，在分布外指令上失败。联合微调是「拿起红色方块（演示中）」和「拿起从左数第三大的物体（新表述）」之间的差别。

安全与动作限制

每个生产 VLA 都附带：

• 硬关节限制（不能超出规格加力矩）。
• 速度限制（软裁剪）。
• 工作空间边界（末端执行器不能离开桌面）。
• 新任务的人工审批。

这些作为控制层检查位于 VLA 之外。VLA 的输出是建议，不是命令。

使用它

code/main.py：

• 实现 256 分桶的动作 token 化与反 token 化。
• 勾勒一个基于 DCT + 量化的 FAST 分词器。
• 比较（离散分桶、FAST、连续流匹配）每个动作步的 token 数。
• 打印 RT-2 → OpenVLA → π0 → GR00T 的谱系摘要。

交付它

本课产出 outputs/skill-vla-action-format-picker.md。给定一个机器人任务（操作、导航、人形全身），在离散分桶 + RT-2、FAST + OpenVLA、流匹配 + π0、双系统 + GR00T 之间选择。

练习

1. 一个 10 自由度机械臂，30 Hz 控制频率。256 分桶的离散 token 化每秒输出多少 token？一个 7B VLM 跟得上吗？

2. FAST token 化把 30 步轨迹压缩到约 10 个 token。如果轨迹包含高频运动（例如打鼓），用户会失去什么？

3. π0 的流匹配头约 5 步去噪。把吞吐量与 OpenVLA 在 4-5 Hz 下的自回归解码做比较。

4. GR00T 的 System 1 / System 2 划分对应卡尼曼。提出一种可能有助于双足行走的不同划分（System 3？）。

5. 阅读 Open X-Embodiment 关于数据策管的第 4 节。说出防止域泄漏的三条策管规则。

关键术语

延伸阅读

• Brohan et al. — RT-2 (arXiv:2307.15818)
• Kim et al. — OpenVLA (arXiv:2406.09246)
• Black et al. — π0 (arXiv:2410.24164)
• NVIDIA — GR00T N1 (arXiv:2503.14734)
• Open X-Embodiment Collab — RT-X (arXiv:2310.08864)

示意图共 1 张