具身智能先要越过数据墙
陈亦伦把具身智能看成一项很长的工程。机器人的身体会移动、看见环境、接触物体,也会因自己的动作改变环境;要让这些环节协同工作,单靠写规则很快会遇到边界。他在晚点聊中回顾自动驾驶的端到端实验,并由此解释为什么他将数据采集放在机器人创业的第一位。
一次自动驾驶实验改变了问题的写法
陈亦伦早年学机器学习,也在机电系统公司接触过电机、伺服控制和液压。他对机器人的兴趣很早就存在,但当时的算法只能支撑较简单的行为。他后来进入自动驾驶,先后参与机器视觉和智能驾驶研发。对他而言,自动驾驶是一种范围较小、却足够复杂的物理世界任务:车必须理解空间、规划动作,还要在其他车辆和行人的反应中持续修正。
2021 年,团队面对的是一套约 200 万行代码的自动驾驶系统。系统能够完成复杂城市道路动作,但规则持续增加,工程师解决问题的速度开始落后于新问题出现的速度。团队把一部分车队转为采集人类驾驶数据,约 100 辆车参与其中;数据积累到数千小时后,他们训练的网络开始显示出不同的表现。
他们选了一个人车混行、车辆频繁争抢路权的复杂路段测试。网络直接为车辆规划轨迹,尽量少依赖后处理,最后顺畅通过。陈亦伦从这个结果得到的信心很具体:规划不必永远拆成大量手写模块,网络能从真实行为数据中学习闭环决策。这个经验让他把自动驾驶视为通用机器人的一个子问题,也促使他在离开华为后回到清华,继续等待机器人创业的时点。
三道曙光让具身智能的时点发生变化
他将时点的变化拆成三件事。第一件是运动控制。四足机器人和人形机器人过去依赖复杂的全身控制系统,动作相对僵硬;强化学习与高并发仿真的结合,使直接学习全身运动成为可行的路线。硬件团队若能缩小仿真与真实电机之间的差距,训练得到的控制策略就更容易稳定部署到实体机器上。
第二件是任务规划。自动驾驶要去某个地点时,可以调用地图和导航数据库;机器人收到一条日常指令时,通常没有这样的共享数据库。大模型擅长把意图拆成多个步骤,为机器人补上了高层规划能力。第三件是端到端学习。自动驾驶中的实验说明,感知、空间表示和规划可以更多地由同一套数据驱动的网络连接起来。
运动控制
强化学习让机器人的移动能力有了可重复的训练框架。
任务规划
语言模型可把人给出的目标拆成一系列可执行步骤。
端到端学习
从感知到动作的路径可以由数据学习,不必为每种情形补规则。
三件事放在一起,并不意味着通用机器人已经实现。陈亦伦的判断是,能力要真正出现,先得有一座连接它们的数据桥。运动控制可在相对简单的动力学条件下用仿真训练;操作布料、线缆或其他可变形物体时,机器人面对的是接触、受力和形变,训练数据的来源要困难得多。
数据墙排在算力墙之前
陈亦伦用三道墙概括复杂 AI 系统的发展顺序。第一道是数据墙:数据量不足时,复杂网络没有可靠的学习材料。第二道是算力墙:有了足够样本,训练系统才需要更大算力去吸收和压缩它们。第三道是交互墙:模型模仿已有动作之后,还要知道某个动作会如何改变世界,并依据反馈提高成功率。
这一顺序也解释了他对大语言模型和具身智能发展速度的不同看法。互联网文本已经存在,大语言模型可以较快进入算力和架构的竞争;具身智能没有现成的大量操作数据,冷启动首先卡在采集。陈亦伦以自动驾驶作参照:可用的自动驾驶系统往往拥有 10 万到 100 万小时以上的驾驶数据,而他个人估计,复杂度更高的具身智能可能至少需要 1000 万小时级别的数据支撑。这是访谈中的量级推算,并非行业当前的事实。
他对模型结构的偏好也由此而来。面对更大数据和更复杂任务,结构未必需要越来越精巧;训练任务、输入输出的定义和系统架构,往往比堆叠局部技巧更重要。他将 GPT 的关键启发归于预测下一个 token 这一训练任务:大量文本因此被组织成一条能通向更强能力的学习路径。
互联网视频、仿真和遥操作各有边界
针对操作数据,陈亦伦逐一谈了几条常见路线。互联网视频看上去规模很大,但他在自动驾驶时试过抓取行车记录片段,发现这类数据的有效体量和质量不一定足够。更重要的是,一段游客在远方开车的视频,很难对应到系统此刻过不去的某个路口。视频是静态记录,却未必能为具体长尾问题提供相应的行为样本。
操作仿真也有边界。团队曾为自动驾驶重建城市道路、模拟雨雪和积水,视觉展示很好;真正棘手的仍是车辆如何与环境交互。对于只需要模拟机器人自身动力学的运动控制,仿真很有价值。到了操作任务,若要准确模拟材料的接触、摩擦和形变,问题会陡然变难,且大量工程仍在用规则调参数。
遥操作的短板则来自现场。为了采集一项工厂工作,操作者要通过网络遥控一台机器人完成同样的动作。延迟、成功率和速度都会影响数据;机器人还会打断原本的生产流程。陈亦伦不否认遥操作能提供数据,但他把它视为难以扩展到海量真实任务的一种方式。
互联网视频
可见内容多,却未必能与具体任务和长尾问题匹配。
高保真仿真
可服务简单动力学训练,复杂操作的物理交互仍很难完整复现。
遥操作
可取得机器人状态,却受设备、延迟和现场干扰限制。
让人继续工作,设备在一旁记录
它石智航选择的路线是 Human Centric 具身数据引擎:工作者戴上轻量手套和第一视角相机,在原本的真实工作中完成任务,设备记录操作信息。陈亦伦把这个思路类比为自动驾驶的行车记录仪。自动驾驶并不需要先让人驾驶一辆实验车,核心是以尽可能低的代价记录人怎样开车;机器人同样要以尽可能低的代价记录人怎样做事。
这套设备不能只看见手。一次操作至少涉及手在空间中的位置和姿态、每根手指的姿态、施加的力和触觉反馈,以及人所见的环境。视觉会被遮挡:叠被子时,手可能伸进被窝,单靠相机无法判断它的位置。团队因此把传感器和硬件设计视为数据系统的一部分,而非模型训练完成后的附属工作。
陈亦伦倾向于用五指手套记录完整操作,再把学习结果部署到灵巧手。他认为夹爪或三指方案便于采集,却让人手的自由度在采集时就被压缩,机器人在部署端也会承受同样的限制。手套要舒适、稳定,还要能在遮挡时提供可靠信号;这也是他们没有直接购买现成设备的原因。
真实场景
数据来自工人本来就要完成的环境和任务,不是专门搭建的封闭表演区。
真实动作
行动的目标是把工作做好,动作和结果能保留在同一段记录中。
被动采集
人继续工作,设备记录过程,现场无需先被一台遥控机器人改造。
从人手数据到 AI World Engine
陈亦伦将团队的基础模型称为 AWE,即 AI World Engine。这个名称表达了他对机器人模型的取舍:模型容量应更多用于表示时间、空间、力以及交互后的状态变化,而不是只记录局部视觉纹理和物体标签。对机器人来说,知道桌上有什么只是开始;它还要知道捏一下会不会变形、线缆被拉动后会怎样、下一步的接触是否会成功。
这也构成他与把机器人视为 VLM 外接动作头的分歧。视觉语言模型大量建立在看图说话和问答数据上,适合描述内容;具身任务还需要操作数据来连接感知、行为和最底层执行器信号。访谈中,他把行为与动作分开:动作可以是关节电流或轨迹,行为则是由许多动作构成的较大单元。机器人若想完成长程任务,需要在更高层组织这些行为。
世界模型在这里不是统一的行业名词。陈亦伦用它描述一种动态能力:给定当前状态和动作,系统能推演下一状态,并在这个过程中为机器人推荐下一步。它适合处理接触式系统中的反馈循环。VLA 则更靠近开放世界中的视觉、语言和任务理解。两种说法对应的难题不同,不能仅凭名称判断路线高下。
先在工业现场检验价值
陈亦伦没有把家庭机器人当作近期的第一站。他认为消费市场的时机仍早,团队会先进入已有机器人的工业制造场景,寻找大量真实却难以自动化的操作任务。这样的任务往往仍由人完成,正好也能提供训练所需的真实数据。
线束制造是他举出的例子。汽车、冰箱、洗衣机、空调和服务器等带电产品都需要线束。把一根根线整理、装配并完成插接,涉及柔软材料、空间关系和持续接触;这与平面、规则的物料加工不同。手机生产已经拥有较多自动化工艺,柔软立体的加工环节仍是机器人较难覆盖的部分。
因此,他判断合作不能只看演示视频、投资关系或发布会。客户愿意长期部署,前提是技术和产品在现场创造了新增收益,双方能从中获得实际回报。访谈没有公布具体客户和量化成效,但陈亦伦反复把重点放在同一件事上:把一个客户真正痛的任务解决好,再通过数据、硬件和模型的迭代扩大范围。