--- id: "3Y8aq_ofEVs" title: "机器人终局：英伟达 Jim Fan 的物理智能路线图" channel: "Sequoia Capital" host: [] guests: ["Jim Fan"] date: "2026-04-30" updated: "2026-07-29" duration: "20:03" duration_seconds: 1203 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=3Y8aq_ofEVs" canonical: "https://pod-exp.pages.dev/3Y8aq_ofEVs/" transcript_jsonl: "https://pod-exp.pages.dev/3Y8aq_ofEVs/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","机器人与物理 AI"] series: ["Physical AI"] --- # 机器人终局：英伟达 Jim Fan 的物理智能路线图 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 英伟达机器人研究负责人 Jim Fan 用一场二十分钟演讲，提出机器人可以复刻大语言模型的成功路线：先通过世界模型进行大规模预训练，再用动作数据对齐真实机器人，最后以强化学习完成“最后一公里”。他认为，过去三年占主流的视觉—语言—动作模型把参数重心放在了语言上；下一阶段应转向世界动作模型，并把机器人数据从昂贵的遥操作扩展到可穿戴设备、第一视角人类视频和神经模拟器。演讲最后，他给出物理图灵测试、物理 API 和物理自动研究三项里程碑，并预测机器人技术树可能在 2040 年前走到终局。 ## [0:04] 开场介绍 · YouTube **主持人：** 首先，我很高兴介绍我的朋友 Jim Fan。Jim 领导英伟达的具身自主研究团队，也就是 NVIDIA Robotics。我认为机器人是接下来最令人兴奋的事情之一。汽车本质上也是一个大型机器人，但我更期待那些会“哔哔啵啵”、能替我们搬东西的机器人。Jim 在去年的 AI Ascent 上表现非常出色，我们很高兴再次请他回来。 **Jim Fan：** 谢谢大家，谢谢。 ## [0:30] DGX-1 的起点 · YouTube **Jim Fan：** 那是 2016 年夏天，事实上就在我们现在坐着的这间办公室里。一个穿着闪亮皮夹克、手臂肌肉很壮的人，搬来了一大块金属板。他在上面写道：“献给 Elon 和 OpenAI 团队，献给计算与人类的未来，我把世界上第一台 DGX-1 交给你们。” 那是我第一次见到 Jensen。作为一个合格的实习生，我立刻跑去排队，把自己的名字签在上面。你们能找到我的名字吗？就在这里。还能找到另一个名字吗？Andrej 的签名也在这里。Andrej，我们要一起进计算机历史博物馆了。我感觉自己像一只恐龙。 当时我完全不知道自己究竟参与了什么。后来发生的一切，没有人比 Ilya 自己概括得更好：“如果你相信深度学习，深度学习也会相信你。”事实证明，深度学习确实非常相信我们。 三个阶跃式突破，六年时间，就把我们带到了今天。 ## [1:42] “伟大的平行路线” · YouTube **Jim Fan：** 第一个阶跃是 GPT-3，也就是预训练。下一个词元预测，本质上是在学习语法规则、语言的形状，以及思想、代码和一般字符串应该怎样展开。它是在模拟这些序列的演化方式。 第二个阶跃是 2022 年的 InstructGPT。监督微调把这种模拟能力对齐到了有用的工作上。 接下来是 o1 式推理：通过强化学习超越模仿学习。最后是自动研究，让整个循环加速到人类不可能独自达到的速度。 正如 Andrej 所说，各家实验室都在走向最终 Boss 战。大语言模型团队已经身处终局之中。说实话，我非常嫉妒他们。他们正在享受一生一次的盛宴，像速通游戏一样冲向 AGI，甚至骑着名字听起来就像神话生物的模型前进。 那为什么机器人不能也享受一点乐趣？所以，像任何有自尊的科学家一样，我选择抄作业，再给它起一个新名字。我把它叫作“伟大的平行路线”（The Great Parallel）。 语言模型模拟的是下一个字符串；机器人能不能模拟下一个物理世界状态？然后，我们通过动作微调，把所有可能世界状态的模拟，对齐到真实机器人真正关心的那一小片区域，再让强化学习完成最后一公里。 这就是伟大的平行路线：复制大语言模型的成功。如果打不过他们，就加入他们。 欢迎来到新一集——《机器人：终局》。抱歉，我实在忍不住用了这个梗。Nano Banana 太好用了，谢谢 Demis。 ## [3:33] 机器人终局的两项战略 · YouTube **Jim Fan：** 那么，我们应该怎样打这场终局之战？归根结底只有两件事：模型战略和数据战略。先从模型开始。 ## [3:39] 为什么 VLA 还不够 · YouTube **Jim Fan：** 过去三年，机器人领域主要由 VLA，也就是视觉—语言—动作模型主导。π0、GR00T 等模型都属于这一类。我们通常假设预训练由视觉语言模型完成，然后只需在顶部接上一个动作头。 但如果认真看这些模型，它们其实更像 LVA：绝大部分参数都服务于语言。语言是第一等公民，视觉和动作排在后面。 从设计上看，这类模型擅长编码知识和名词，却不擅长物理和动词。它们把“头部重量”放在了错误的位置。 我最喜欢的例子来自早期 VLA 论文：让机器人把可乐罐移动到 Taylor Swift 的照片上。模型以前没见过这张照片，却能识别并完成泛化。这当然很好，但它并不是机器人真正需要的预训练能力。机器人需要理解的，不只是“那是什么”，而是“世界会怎样变化”和“动作会产生什么后果”。 ## [4:32] 视频世界模型 · YouTube **Jim Fan：** 那么，第二种预训练范式是什么？我一直以为答案会非常宏大、非常壮丽。不幸的是，结果竟然是我们口中的“AI 视频垃圾”。 我可以整天看监控摄像头里的猫弹班卓琴。这是互联网的巅峰。没人会认真对待这些东西——直到我们意识到，视频模型正在内部学习模拟下一个世界状态。 这里是 Veo 3 的一些生成轨迹。你可以看到，模型自己学会了重力、浮力、光照、反射和折射，这些都没有被人工写进代码。 物理规律，是在大规模预测下一团像素的过程中涌现出来的。 甚至视觉规划也会涌现。看看 Veo 怎样解迷宫：它在像素空间里向前运行模拟。我特别喜欢右下角这个例子。你眨一下眼，就可能错过它是怎样“解决”问题的。Veo 3 发现，只要你没有盯着看，几何结构就是可选项。我把这种现象叫作“物理垃圾”（physics slop）。 那么，怎样让世界模型真正有用？答案是动作微调。我们把所有可能未来状态的叠加，压缩到真实机器人关心的那一小片状态空间里。 ## [6:09] DreamZero 与世界动作模型 · YouTube **Jim Fan：** 这就是 DreamZero。它是一种新的策略模型，会先“梦见”未来几秒钟，再据此采取行动。 机器人的运动动作是高维、连续的信号，看起来其实很像像素。因此，我们可以在生成视频的同时生成动作。DreamZero 联合解码下一个世界状态和下一个动作。 结果是，它可以零样本完成训练中从未见过的任务和动词。当机器人执行任务时，我们还能把它正在“梦见”的内容可视化出来，两者之间的相关性非常紧密。 如果视频预测正确，动作就正确；如果视频产生幻觉，动作也会失败。 世界动作模型让视觉和动作重新成为第一等公民。 我们在实验室里把机器人推来推去，然后在提示框里输入各种随机任务。当然，DreamZero 还不能把所有任务都做到百分之百稳定。它现在有点像 GPT-2：尚不可靠，但已经在尝试把各种运动的基本形状做对。 DreamZero 是我们走向开放式、开放词汇机器人提示的第一步。我们把这种新模型称为世界动作模型（World Action Model，WAM）。 现在，让我们为老朋友 VLA 默哀片刻。它很好地服务了我们，愿它安息。世界动作模型万岁。 ## [7:46] 扩展机器人数据采集 · YouTube **Jim Fan：** 接下来是数据战略。画面里是英伟达首席科学家 Bill Dally，正在实验室里做遥操作。考虑到他的薪资，这大概是我们数据集中最昂贵的一条遥操作轨迹。 过去三年是遥操作的黄金时代：VR 头显、被极度优化的串流延迟，以及看起来像中世纪刑具的复杂设备。行业投入了很多资金，也承受了很多痛苦。 但遥操作的物理上限，是每台机器人每天二十四小时。说实话，实际更像每台机器人每天三小时，而且还得机器人之神愿意开恩，因为机器人随时都可能闹脾气。 怎样做得更好？一种办法，是把机器人的手直接戴到人的手上。这就是 UMI，也就是通用操控接口（Universal Manipulation Interface）。它的想法看似简单：把机器人执行器戴在人手上，由人直接产生数据，同时让机器人的其余身体退出采集闭环。 我认为 UMI 可能是机器人数据领域最伟大的论文之一。它后来催生了两家独角兽创业公司。有人改进了夹爪式设计，让采集者可以直接把夹爪戴在手上；Sunday 则制作了三指数据手套。 去年，我们又向前走了一步，设计了 Dex-UMI 外骨骼。它与五指灵巧机械手形成一一映射。 看这个对比：左边是人直接采集数据，永远最快；右边是遥操作，即使由最熟练的博士来控制，也必须非常小心地对齐，速度很慢，成功率也低；中间则是戴上外骨骼直接采集。 我们用这些数据训练机器人策略。这里展示的是完全自主的执行，而训练中使用了零条遥操作数据。这样，我们就打破了“每台机器人每天二十四小时”的诅咒。机器人甚至不用再参与数据采集闭环。 但这是否已经解决了机器人数据扩展问题？还没有。 现场有人开 Tesla 或 Waymo 吗？当你开车时，你其实正在为世界上最大的物理数据飞轮贡献数据。最妙的是，在 FSD 使用过程中，你甚至感觉不到它，因为数据上传是一个环境式、后台式过程。 可穿戴采集设备仍然笨重、侵入性强，远不如日常开车上班自然。机器人领域需要一个相当于 FSD 的方案。数据采集必须退到幕后，融入背景，才能捕捉各行各业、各种具有经济价值的劳动中，人类灵巧性的完整面貌。 因此，我们全力投入带有手部位置追踪和密集语言标注的人类第一视角视频。 ## [11:06] EgoScale 与灵巧性扩展定律 · YouTube **Jim Fan：** 这就是 EgoScale，其中 99.9% 的训练来自人类第一视角视频。最终得到的是一个端到端策略：从摄像头像素，直接映射到拥有二十二个自由度的高灵巧机械手。 你现在看到的执行是完全自主的。我们用两万一千小时野外第一视角人类数据进行预训练，其中完全没有机器人数据。预训练阶段，模型预测人的手部关节和手腕姿态。 动作微调只用了五十小时高精度动作捕捉手套数据，以及四小时遥操作数据。四小时遥操作，在整个训练配方中占比不到 0.1%。 凭借这些数据，Ego-Exo 可以泛化到非常灵巧的任务，例如整理扑克牌、操作注射器和转移液体。也许有一天，我们会在家里拥有机器人护士，所以不妨从这些任务开始尝试。 对新的衣物折叠策略，它在测试时只需看一次示范就能学习。 论文中最令人着迷的发现，也许是我们发现了“灵巧性神经扩展定律”。预训练数据小时数与最优验证损失之间，呈现出非常干净的对数线性关系。这是一条清晰的数学关系，出现在语言模型原始神经扩展定律发布六年之后。 如果把各种数据策略放在一张图上，横轴是与机器人硬件的对齐程度，纵轴是可扩展性：遥操作最难扩展；可穿戴设备可以扩展到数十万小时；如果第一视角视频能够转动类似 FSD 的飞轮，未来一年左右就可以轻松达到一千万小时。 我做几个预测。未来一到两年，遥操作在训练配方中的比例会持续下降，直到几乎可以忽略。不同硬件和场景会出现一组专用的数据可穿戴设备。最终，机器人的主食将是第一视角视频。 所以，再为老朋友遥操作默哀片刻。你很好地服务了我们，愿你安息。传感化人类数据万岁。 不过，数据战略还有外层的一环：环境。前沿实验室已经投入大量预算，购买数以百万计的代码环境来做强化学习。机器人也一样，迫切需要把环境数量扩展起来。 当然，我们可以直接在真实机器人上做强化学习。在实验室里，我们用强化学习把一些任务推到接近百分之百成功率，使机器人可以连续运行数小时。看着机器人自己组装 GPU，甚至有一种疗愈感。 但我们无法得到一百万个真实环境，因为按照旧方法，那意味着必须拥有一百万台机器人。我们需要更好的办法。 你可以用 iPhone 拍一张照片，通过三维世界扫描管线提取其中所有物体，再把它们重建到经典物理模拟器里。扫描后的物体是可交互的，还可以在模拟中生成无穷多种变化，我们把这些变体称为“数字表亲”（digital cousins）。 ## [15:26] 从真实到模拟再回到真实 · YouTube 这样，iPhone 就变成了一台口袋里的世界扫描仪。这是一条“真实到模拟、再回到真实”（real-to-sim-to-real）的管线，可以规模化地把物理世界搬进数字世界。 ## [15:41] Dream Dojo 与机器人路线图 · YouTube **Jim Fan：** 但这套方法仍然依赖经典图形引擎。能不能再进一步？这就是 Dream Dojo。 Dream Dojo 是我们对视频世界模型的推进：把它们变成完整的神经模拟器。它接收连续动作信号，实时输出下一帧 RGB 图像以及传感器状态。 你在这里看到的每一个像素都不是真实的。 Dream Dojo 可以用纯数据驱动的方法，学习不同机器人的机械运动规律。Dream Dojo 中没有物理方程，也没有图形引擎。 因此，机器人后训练的新范式，是一个大规模并行的强化学习系统：少量真实机器人工作站提供现实锚点，大量图形计算核心运行世界扫描，重型推理算力运行世界模型。 可以把它写成一个等式：算力现在等于环境，环境现在等于数据。 或者，借用一位智者的话：“买得越多，省得越多。”这条信息已经得到我老板的批准。 把这些拼起来，就是机器人将要遵循的“伟大的平行路线”。它此刻已经在发生。我们正在看到终局的开端。 你们玩过《文明》吗？它一直是我最喜欢的游戏。我喜欢把自己的研究理解为：在文明科技树上逐项解锁成就。机器人还剩三个成就，解锁之后，我们就完成了，我也可以退休了。我非常期待那一天。 第一个成就是通过物理图灵测试。在广泛的活动中，你无法分辨一项任务究竟是人完成的，还是机器人完成的。物理图灵测试关注的是：输入一单位能量，输出一单位劳动。也许这一天距离我们只有两到三年。 第二个成就是物理 API。你拥有整支机器人舰队，可以像配置软件一样，通过 API 和命令行配置它们，也许有一天由 Opus 9.0 统一编排。 有了物理 API，我们就能实现“关灯工厂”（lights-out factory）。它们本质上是原子打印机：输入 Markdown 文件里的设计，输出完整组装、全自动制造的产品。 同样的能力也会进入自动化湿实验室，让化学、生物学和医学发现实现自动化。 最后一站，是物理自动研究（physical auto-research）：机器人开始设计、改进并制造自己的下一代版本，达到远超人类能力的水平。 你可能会问，这是否太像科幻，我们有生之年真的能看到吗？ AI 社区用了十四年，从 2012 年 AlexNet 的第一次前向传播——一个连猫和狗都勉强分清的模型——走到 2026 年讨论智能体自动研究。那就再加十四年，来到 2040 年。 2026 年恰好位于 2012 年与 2040 年之间，而技术不是线性进步，而是指数式进步。 我有 95% 的把握，我们会在 2040 年之前走到这棵技术树的终点。到那时，我们仍然年轻。 如果你相信机器人，机器人也会相信你。 我想对在座所有人说：我们这一代出生得太晚，无法探索地球；又出生得太早，无法探索星辰；但我们恰好及时出生，可以解决机器人问题。 谢谢大家。