149: 具身模型哪家强？

一台机器人把杯子从桌面拿起、放进一个洞里，人看起来觉得只是一个动作。范浩强和高阳讨论的，是这类动作怎样成为可信的模型分数。机器人在真实环境中执行，杯把的形状、物体的位置、光线和机器自身状态都会参与结果。同一个模型失手时，团队首先要分辨：这次失败来自模型，还是来自现场条件。

这让具身模型的测评很难照搬视觉或语言模型的方式。图像分类可以把固定数据集发给所有人，样本足够多时，细小改动也能被统计出来。机器人必须真的伸手、接触、抓取和移动，物理世界里的噪声无法完全锁住。两位嘉宾认为，当前阶段不必执着于把每个小数点测到绝对精确；更现实的目标是辨认能力趋势，尤其是区分代际明显不同的模型。

让机器人在同一张桌子上反复做事

RoboChallenge 是原力灵机与 Hugging Face 发起的开源测评平台。它的第一套基准叫 Table30，包含 30 个桌面任务。范浩强说，团队最初只是想找一些任务试试，后来让公司员工列出希望机器人能完成的生活事项，形成很长的清单；数据采集团队再逐项筛选能否采集。最后留下的任务没有围着某一种抓取反复变化，而是保留了许多不同的难点：碎纸、插花、擦桌子、扫二维码都在其中。

这类任务的价值在于，动作背后的失败模式各不相同。碎纸时，纸会弯折，也会遮挡机器人对自己手部的观察；插花要求系统处理花柄与其他物体的接触；把杯子放入孔洞，容错可能只有几毫米。餐巾纸擦完桌子后变皱，再把它放回纸篓，也比擦拭本身更难。任务看似零碎，却能分别触到柔性物体、精细控制、物体间交互和上下文记忆。

范浩强回忆，团队早期测试 Pi 0 时，30 项任务的平均成功率只有二成多。这一结果低到让他们犹豫是否该公开，因为外界可能把模型的不成熟读成整个方向没有进展。Pi 0.5 的权重公开后，团队立即重测。除了分数改善，站在旁边观看机器人运行时也能感到它比前一代更灵活。这是他们决定把 RoboChallenge 做成社区项目的原因之一：同一套真机任务可以把这类变化留在可观察的记录里。

同是榜单，问的问题不同

节目也比较了 RoboChallenge 与 Physical Intelligence 发起的 RoboArena。两者并非简单竞争关系。RoboChallenge 关注少样本微调：给定任务、给定示例数据，参与者把基模调到任务上，再看它能否稳定完成。固定场地与任务让平台可以计算同类任务的平均成功率。

RoboArena 选择的是零样本设定。参与实验室各自在自己的机器人和场景里运行算法，不先提供任务数据；同一地点会让两个模型做同一件事，记录谁表现更好，再把大量成对比较汇总成排序。这种方式不要求世界各地的实验室拥有一模一样的杯子和光线，但它提出了更高的能力要求。今天不少模型在完全陌生的任务上成功率很低，排序有时只能说明哪一个动作看上去更接近成功。

RoboChallenge 上线后，真机测试的供给很快显得紧张。范浩强说，平台从 10 月宣布上线，到约一两个月后已经收到 1 万多次测试记录。当时约有 9 台机器人、4 种类型，包含双臂和几类单臂设备。提交者有时要等上一两天才能得到反馈。这个等待并不说明某个模型难测，它反映的是现实成本：机器人要连续执行，场地和物品要复位，设备还要保持稳定。

一次扫码，让单帧模型露出短板

扫二维码是 Table30 中一个很有代表性的任务。机器人一只手拿物体，另一只手拿扫码枪，扫描后再放下。动作的轨迹没有特别复杂，问题出在扫描前后。扫码成功不会让画面里的物体发生明显变化，只看当前图像，模型不知道刚才已经扫过，还是还该再扫一次。它可能在开始后停住，也可能重复同一个动作。

高阳把这种限制联系到当前常见的 VLA 输入方式。许多系统读入少量图像帧，随后直接给出动作；它们对眼前场景有响应，却不天然保存此前的过程。工程上可以把更多帧交给模型，或让 Agent 维护历史，但记忆通常还在模型之外。对机器人来说，知道事情是否已经做过，与知道手边有什么物体同样重要。

这也是 Table30 的作用：它不只报告一个总分，还让团队看见总分背后的具体缺口。柔性物体、极小容差和状态记忆可能在同一模型上同时出现。面对这样的任务表，基础模型的目标不应停留在某一个动作的最好成绩，而是建立一套能被不同任务重复使用的训练流程。

分数为什么还需要验证

机器人演示天然容易被过度解读。一个画面中完成叠衣服，不代表系统已经能进入家庭持续服务；它可能只在某个杯子位置、某段轨迹或某一次成功运行中表现良好。范浩强把常见风险归纳为四类：挑选成功片段、视频剪辑、遥操作和 AIGC。节目没有把这些风险等同于所有演示都不可信，它们说明观看者需要知道演示的条件和重复次数。

平台的做法是把接口压到最小。RoboChallenge 提供机器人控制 API，参与者自己选择基模、训练参数、计算架构和控制逻辑。这样做的代价是，平台不能替所有成绩背书；同一个任务可以被不同的人用不同手法微调。团队希望上榜者公开取得成绩的代码，让其他人能够重新提交测试。复跑的结果未必逐次相同，但能力的主要趋势应当复现。

规则还规定同一任务取最后一次提交，而不是允许反复尝试后拿最佳分数。远程真机环境减少了参与者直接摆弄道具的空间，但无法自动解决所有问题。对谈提到，视频可以加入 iPad 时钟或一次性随机哈希值，来减少后期剪辑和旧片段复用的可能。更接近现场的远程观看或许能提供更多信息，如何把这种观察做成通用测评机制仍是开放问题。

数据规模化：机器人要先学会看见和动手

高阳把具身模型的训练路径概括为与语言模型相近的三个阶段：先用覆盖广的数据预训练，再用高质量数据监督微调，最后用强化学习提高任务成功率。两位嘉宾对大方向的判断接近，分歧更多出现在基模选什么、数据怎样混合、怎样采得足够多。VLA 描述的是视觉、语言到动作的输入输出关系，并不规定模型必须从某一种语言模型演化而来；视频模型或加入触觉的形式也在讨论中。

最紧迫的问题是数据。节目列出的来源有仿真数据、人类视频、可穿戴设备数据和遥操作数据。它们提供的东西不同。视频覆盖的生活场景可能很多，但动作信号不直接；遥操作更接近机器人要完成的动作，采集却需要设备和操作人员；可穿戴设备让人们在真实工作中留下第一视角与动作信息。原力灵机目前以真机数据为主，千寻同时使用除仿真之外的多种真实世界数据。

仿真也没有被排除。它的优势是条件可控制、能反复生成，但每一个场景都需要专业人员搭建物体、材质和交互规则，多样性不容易快速提高。高阳提到，一些 3D 或 4D Gaussian 的展示更擅长静态场景巡游，对动态世界仍有限制。仿真轨迹与真实遥操作轨迹的差异，也让机器人论文往往需要真机结果补充说明。

范浩强谈到，Generalist 公开表示用人拿夹具的离体式方法采集数据，累计达到 27 万小时、每周可采 1 万小时；节目未独立核验这些数字。这个案例说明采集方法可以改变效率，也没有绕开根本问题。无论团队从仿真、真机还是人类行为入手，最后都要决定哪些场景、物品和操作值得覆盖，谁来把这些真实世界知识收集起来。

能力增长与商业场景不会自动重合

语言模型的编程应用有一个难得的条件：大量需求形态相近，单位价值高，开发者也能立刻试用。机器人还没有找到对应的集中场景。家庭整理、家政和维修有实际需求，但每项服务都由环境、物品和动作组合而成，传统工业机械臂又已经占据了一部分固定工序。基础模型变强会扩大可做的事情，却不会自动回答成本、可靠性和客户是否愿意部署。

范浩强把自动叠被子当作一个很直观的检验。这个目标有用，也不属于现有扫地机或家电厂商自然会接手的任务。它还同时要求模型和硬件进步：被子重，机器人要能抓起它而不失稳；被子是柔性物体，翻面和折叠会不断改变观察到的形状。节目中提到 Pi 0 已能在工厂叠纸盒，但纸盒和家庭里的被子处在不同的任务与硬件条件下。

2026 要验证的，不止一个分数

范浩强期待具身领域出现类似 DeepSeek 的技术时刻，希望中国模型在公开、可比较的评测中追赶甚至领先。高阳的关注点更集中在基础模型本身：它能否从当前类似 GPT-2 的阶段走向 GPT-3，甚至 GPT-3.5。两人的表述都保留了条件。数据、训练算法、硬件和测评都还在演变，下一次模型更新也可能改变他们的判断。

对于普通人何时会真切感到机器人能力破圈，高阳给出过约三到四年的个人估计；他同时认为，从业者会更早看到一些不那么震撼却很有意义的信号。这个时间差解释了具身领域的两极印象：有人看一段视频就觉得机器人已经无所不能，有人看到一次失败又认为全是泡沫。RoboChallenge 这类平台提供的价值，正在于把这些印象放回一连串真实执行、明确任务和可复查条件之中。