机器人终局：英伟达 Jim Fan 的物理智能路线图

那是我第一次见到 Jensen。作为一个合格的实习生，我立刻跑去排队，把自己的名字签在上面。你们能找到我的名字吗？就在这里。还能找到另一个名字吗？Andrej 的签名也在这里。Andrej，我们要一起进计算机历史博物馆了。我感觉自己像一只恐龙。

当时我完全不知道自己究竟参与了什么。后来发生的一切，没有人比 Ilya 自己概括得更好：“如果你相信深度学习，深度学习也会相信你。”事实证明，深度学习确实非常相信我们。

三个阶跃式突破，六年时间，就把我们带到了今天。

第二个阶跃是 2022 年的 InstructGPT。监督微调把这种模拟能力对齐到了有用的工作上。

接下来是 o1 式推理：通过强化学习超越模仿学习。最后是自动研究，让整个循环加速到人类不可能独自达到的速度。

正如 Andrej 所说，各家实验室都在走向最终 Boss 战。大语言模型团队已经身处终局之中。说实话，我非常嫉妒他们。他们正在享受一生一次的盛宴，像速通游戏一样冲向 AGI，甚至骑着名字听起来就像神话生物的模型前进。

那为什么机器人不能也享受一点乐趣？所以，像任何有自尊的科学家一样，我选择抄作业，再给它起一个新名字。我把它叫作“伟大的平行路线”（The Great Parallel）。

语言模型模拟的是下一个字符串；机器人能不能模拟下一个物理世界状态？然后，我们通过动作微调，把所有可能世界状态的模拟，对齐到真实机器人真正关心的那一小片区域，再让强化学习完成最后一公里。

这就是伟大的平行路线：复制大语言模型的成功。如果打不过他们，就加入他们。

欢迎来到新一集——《机器人：终局》。抱歉，我实在忍不住用了这个梗。Nano Banana 太好用了，谢谢 Demis。

但如果认真看这些模型，它们其实更像 LVA：绝大部分参数都服务于语言。语言是第一等公民，视觉和动作排在后面。

从设计上看，这类模型擅长编码知识和名词，却不擅长物理和动词。它们把“头部重量”放在了错误的位置。

我最喜欢的例子来自早期 VLA 论文：让机器人把可乐罐移动到 Taylor Swift 的照片上。模型以前没见过这张照片，却能识别并完成泛化。这当然很好，但它并不是机器人真正需要的预训练能力。机器人需要理解的，不只是“那是什么”，而是“世界会怎样变化”和“动作会产生什么后果”。

我可以整天看监控摄像头里的猫弹班卓琴。这是互联网的巅峰。没人会认真对待这些东西——直到我们意识到，视频模型正在内部学习模拟下一个世界状态。

这里是 Veo 3 的一些生成轨迹。你可以看到，模型自己学会了重力、浮力、光照、反射和折射，这些都没有被人工写进代码。

物理规律，是在大规模预测下一团像素的过程中涌现出来的。

甚至视觉规划也会涌现。看看 Veo 怎样解迷宫：它在像素空间里向前运行模拟。我特别喜欢右下角这个例子。你眨一下眼，就可能错过它是怎样“解决”问题的。Veo 3 发现，只要你没有盯着看，几何结构就是可选项。我把这种现象叫作“物理垃圾”（physics slop）。

那么，怎样让世界模型真正有用？答案是动作微调。我们把所有可能未来状态的叠加，压缩到真实机器人关心的那一小片状态空间里。

机器人的运动动作是高维、连续的信号，看起来其实很像像素。因此，我们可以在生成视频的同时生成动作。DreamZero 联合解码下一个世界状态和下一个动作。

结果是，它可以零样本完成训练中从未见过的任务和动词。当机器人执行任务时，我们还能把它正在“梦见”的内容可视化出来，两者之间的相关性非常紧密。

如果视频预测正确，动作就正确；如果视频产生幻觉，动作也会失败。

世界动作模型让视觉和动作重新成为第一等公民。

我们在实验室里把机器人推来推去，然后在提示框里输入各种随机任务。当然，DreamZero 还不能把所有任务都做到百分之百稳定。它现在有点像 GPT-2：尚不可靠，但已经在尝试把各种运动的基本形状做对。

DreamZero 是我们走向开放式、开放词汇机器人提示的第一步。我们把这种新模型称为世界动作模型（World Action Model，WAM）。

现在，让我们为老朋友 VLA 默哀片刻。它很好地服务了我们，愿它安息。世界动作模型万岁。

过去三年是遥操作的黄金时代：VR 头显、被极度优化的串流延迟，以及看起来像中世纪刑具的复杂设备。行业投入了很多资金，也承受了很多痛苦。

但遥操作的物理上限，是每台机器人每天二十四小时。说实话，实际更像每台机器人每天三小时，而且还得机器人之神愿意开恩，因为机器人随时都可能闹脾气。

怎样做得更好？一种办法，是把机器人的手直接戴到人的手上。这就是 UMI，也就是通用操控接口（Universal Manipulation Interface）。它的想法看似简单：把机器人执行器戴在人手上，由人直接产生数据，同时让机器人的其余身体退出采集闭环。

我认为 UMI 可能是机器人数据领域最伟大的论文之一。它后来催生了两家独角兽创业公司。有人改进了夹爪式设计，让采集者可以直接把夹爪戴在手上；Sunday 则制作了三指数据手套。

去年，我们又向前走了一步，设计了 Dex-UMI 外骨骼。它与五指灵巧机械手形成一一映射。

看这个对比：左边是人直接采集数据，永远最快；右边是遥操作，即使由最熟练的博士来控制，也必须非常小心地对齐，速度很慢，成功率也低；中间则是戴上外骨骼直接采集。

我们用这些数据训练机器人策略。这里展示的是完全自主的执行，而训练中使用了零条遥操作数据。这样，我们就打破了“每台机器人每天二十四小时”的诅咒。机器人甚至不用再参与数据采集闭环。

但这是否已经解决了机器人数据扩展问题？还没有。

现场有人开 Tesla 或 Waymo 吗？当你开车时，你其实正在为世界上最大的物理数据飞轮贡献数据。最妙的是，在 FSD 使用过程中，你甚至感觉不到它，因为数据上传是一个环境式、后台式过程。

可穿戴采集设备仍然笨重、侵入性强，远不如日常开车上班自然。机器人领域需要一个相当于 FSD 的方案。数据采集必须退到幕后，融入背景，才能捕捉各行各业、各种具有经济价值的劳动中，人类灵巧性的完整面貌。

因此，我们全力投入带有手部位置追踪和密集语言标注的人类第一视角视频。

你现在看到的执行是完全自主的。我们用两万一千小时野外第一视角人类数据进行预训练，其中完全没有机器人数据。预训练阶段，模型预测人的手部关节和手腕姿态。

动作微调只用了五十小时高精度动作捕捉手套数据，以及四小时遥操作数据。四小时遥操作，在整个训练配方中占比不到 0.1%。

凭借这些数据，Ego-Exo 可以泛化到非常灵巧的任务，例如整理扑克牌、操作注射器和转移液体。也许有一天，我们会在家里拥有机器人护士，所以不妨从这些任务开始尝试。

对新的衣物折叠策略，它在测试时只需看一次示范就能学习。

论文中最令人着迷的发现，也许是我们发现了“灵巧性神经扩展定律”。预训练数据小时数与最优验证损失之间，呈现出非常干净的对数线性关系。这是一条清晰的数学关系，出现在语言模型原始神经扩展定律发布六年之后。

如果把各种数据策略放在一张图上，横轴是与机器人硬件的对齐程度，纵轴是可扩展性：遥操作最难扩展；可穿戴设备可以扩展到数十万小时；如果第一视角视频能够转动类似 FSD 的飞轮，未来一年左右就可以轻松达到一千万小时。

我做几个预测。未来一到两年，遥操作在训练配方中的比例会持续下降，直到几乎可以忽略。不同硬件和场景会出现一组专用的数据可穿戴设备。最终，机器人的主食将是第一视角视频。

所以，再为老朋友遥操作默哀片刻。你很好地服务了我们，愿你安息。传感化人类数据万岁。

不过，数据战略还有外层的一环：环境。前沿实验室已经投入大量预算，购买数以百万计的代码环境来做强化学习。机器人也一样，迫切需要把环境数量扩展起来。

当然，我们可以直接在真实机器人上做强化学习。在实验室里，我们用强化学习把一些任务推到接近百分之百成功率，使机器人可以连续运行数小时。看着机器人自己组装 GPU，甚至有一种疗愈感。

但我们无法得到一百万个真实环境，因为按照旧方法，那意味着必须拥有一百万台机器人。我们需要更好的办法。

你可以用 iPhone 拍一张照片，通过三维世界扫描管线提取其中所有物体，再把它们重建到经典物理模拟器里。扫描后的物体是可交互的，还可以在模拟中生成无穷多种变化，我们把这些变体称为“数字表亲”（digital cousins）。

这样，iPhone 就变成了一台口袋里的世界扫描仪。这是一条“真实到模拟、再回到真实”（real-to-sim-to-real）的管线，可以规模化地把物理世界搬进数字世界。

Dream Dojo 是我们对视频世界模型的推进：把它们变成完整的神经模拟器。它接收连续动作信号，实时输出下一帧 RGB 图像以及传感器状态。

你在这里看到的每一个像素都不是真实的。

Dream Dojo 可以用纯数据驱动的方法，学习不同机器人的机械运动规律。Dream Dojo 中没有物理方程，也没有图形引擎。

因此，机器人后训练的新范式，是一个大规模并行的强化学习系统：少量真实机器人工作站提供现实锚点，大量图形计算核心运行世界扫描，重型推理算力运行世界模型。

可以把它写成一个等式：算力现在等于环境，环境现在等于数据。

或者，借用一位智者的话：“买得越多，省得越多。”这条信息已经得到我老板的批准。

把这些拼起来，就是机器人将要遵循的“伟大的平行路线”。它此刻已经在发生。我们正在看到终局的开端。

你们玩过《文明》吗？它一直是我最喜欢的游戏。我喜欢把自己的研究理解为：在文明科技树上逐项解锁成就。机器人还剩三个成就，解锁之后，我们就完成了，我也可以退休了。我非常期待那一天。

第一个成就是通过物理图灵测试。在广泛的活动中，你无法分辨一项任务究竟是人完成的，还是机器人完成的。物理图灵测试关注的是：输入一单位能量，输出一单位劳动。也许这一天距离我们只有两到三年。

第二个成就是物理 API。你拥有整支机器人舰队，可以像配置软件一样，通过 API 和命令行配置它们，也许有一天由 Opus 9.0 统一编排。

有了物理 API，我们就能实现“关灯工厂”（lights-out factory）。它们本质上是原子打印机：输入 Markdown 文件里的设计，输出完整组装、全自动制造的产品。

同样的能力也会进入自动化湿实验室，让化学、生物学和医学发现实现自动化。

最后一站，是物理自动研究（physical auto-research）：机器人开始设计、改进并制造自己的下一代版本，达到远超人类能力的水平。

你可能会问，这是否太像科幻，我们有生之年真的能看到吗？

AI 社区用了十四年，从 2012 年 AlexNet 的第一次前向传播——一个连猫和狗都勉强分清的模型——走到 2026 年讨论智能体自动研究。那就再加十四年，来到 2040 年。

2026 年恰好位于 2012 年与 2040 年之间，而技术不是线性进步，而是指数式进步。

我有 95% 的把握，我们会在 2040 年之前走到这棵技术树的终点。到那时，我们仍然年轻。

如果你相信机器人，机器人也会相信你。

我想对在座所有人说：我们这一代出生得太晚，无法探索地球；又出生得太早，无法探索星辰；但我们恰好及时出生，可以解决机器人问题。

谢谢大家。