Applied Intuition：打造物理AI操作系统，赋能自动驾驶与智能机器未来

如今的物理机器更像是Android和iOS出现之前的手机市场。Larry Google决定进入Android领域的部分原因，是他们想在大量手机上运行Google产品。他们从行业里买了各种手机，结果发现这些手机上有大约50种不同的操作系统。Google几乎不可能让他们的应用在这50种设备上都运行得同样好。于是解决方案是，假如他们自己开发一个非常优秀的操作系统，并且让所有手机制造商都愿意采用它呢？这就是Android诞生的起因和存在的理由。

Android的出现，是为了让Google的产品能够覆盖各种不同的设备。现在物理行业的现状有点类似，操作系统非常分散。要让现代AI应用在这些车辆上运行，首先必须统一操作系统。这就是我们为什么要做这件事的原因。

在进入今天的主题之前，我有个小小的信息要告诉听众。谢谢你们。如果你们不选择点击并收听我们的内容，我们就无法为你们带来你们如此渴望的AI工程、科学和娱乐内容。我们几乎每天都会有赞助商联系，但幸运的是，有足够多的你们订阅我们，让我们可以在没有广告的情况下持续运营。我们希望保持这种状态。

我只有一个请求，最强大且完全免费的事情，就是点击订阅按钮。这是我唯一会请求你们做的事，对我和我的团队意义重大。我们团队每周都努力为你们带来AI领域的内容。如果你们订阅，我保证我们永远不会停止努力让节目变得更好。

好了，开始吧。欢迎收听Latent Space播客。

我是Alessio，Kernel Labs的创始人，旁边是Latent Space的编辑Sweek。

我们非常荣幸邀请到了Applied Intuition的创始人Qasar和Peter，欢迎你们。

你们真会切换到播客模式，刚才还在开玩笑，转眼就变得专业了。

是啊，很高兴你们来了。

也许你们先自我介绍一下，让大家知道麦克风背后的声音。

好的，我是Peter Ludwig，Applied Intuition的联合创始人兼CTO。

我是Qasar Younis，CEO，也是Peter的联合创始人。

很好。你们能给大家一个Applied Intuition的高层次概览吗？我看了你们的资料，Peter，全球前20大非中国汽车制造商中有18家是你们的客户。你们还服务于农业、防务、建筑领域。大多数人知道Applied Intuition是YC孵化的公司，起初处于隐秘状态。能否先给大家介绍一下你们现在的业务，然后我们再深入探讨各个部分？

Applied Intuition的使命是打造物理AI，创造一个更安全、更繁荣的世界。我们致力于各种移动系统的物理AI，从汽车、卡车，到建筑和采矿设备，再到防务技术。我们是真正的技术公司，开发并销售技术，客户是制造机器的公司，也包括政府，任何想用技术让机器变得智能的客户。

在更广泛的AI领域，过去三年大家关注的重点理所当然是大型语言模型和所有能在屏幕上运行的东西，比如代码补全产品等。我们不同的是，我们把智能部署到很多没有屏幕的物理机器上。比如汽车或卡车的驾驶舱里可能有屏幕，但我们提供的大部分价值是把智能放到安全关键的环境中。

这两个词“安全关键”非常重要，因为学习系统会犯错。比如你可以让它告诉你即将见面的播客主持人信息，但在我们运行的无人驾驶卡车上，错误是不能接受的。我们现在在日本运行L4级无人驾驶卡车。

这一直是你们的使命吗？

我记得最初人们把你们和Scale AI放在一起看，觉得你们都在数据基础设施方面。公司是如何演变的？

从一开始，我们就想成为推动工业领域进步的技术公司。我们最初专注于自动驾驶，第一批客户是机器人出租车公司。起初我们做了很多仿真和数据基础设施工作。后来我们扩展了产品线，现在有30多个产品，涵盖物理AI的广泛技术领域。

大家把我们和Scale联系起来，是因为我们都是YC的公司，但其实很不一样。Scale本质上是服务型公司，做数据标注。我们从一开始就做很多开发者工具。现在开发者工具又流行起来了，但十年前并不受欢迎。2016、2017年做工具公司并不被看好，因为风险投资人觉得工具只是工作流，没什么吸引力。我们经历了一个完整的循环。

我们创立公司时的愿景是部署软件到物理机器上，比如汽车和卡车。那时我们不知道变换器模型会爆发，也不知道自动驾驶系统会端到端发展。端到端系统重要，因为模型可以泛化到多种形态。九、十年前，工具是构建和销售技术的好方法，很多客户想自己开发，我们提供从部分开发套件到完整解决方案的全谱产品。

我们把自己看作技术提供商，就像Nvidia或AMD，但我们不做芯片，不做硅片，纯粹是技术提供商。我们曾开玩笑说，我们不是做Instagram那种产品的人，那不是我们的领域。

我觉得我们更像是传统工程师出身的人。我们曾开玩笑说，十年前很明显，车辆软件和AI有更多可能性，这就是我们十年前进入的领域。我们一路走来很有策略，调整方向确保做的东西对市场有价值。技术变化很快，我们的技术栈大约每两年就彻底更新一次，已经经历了四次完整的技术栈演进。

我们甚至把工程节奏定在两年左右，既投入足够资源，也保持灵活，跟进研究团队的新进展。

我们招聘的工程师类型一直很稳定。说实话，是那种传统的Google Z世代工程师，但和其他公司不同。我们招的是懂硬件和软件交叉领域、熟悉底层系统的工程师，当然也有传统的机器学习研究员和把ML系统投入生产的工程师。公司83%是工程师，规模很大。

对，1000名工程师。

这是你们网站上的数字，应该已经过时了吧？

是的，确实过时了。

还有40多位创始人。

这更多是运气而非策略。我们招了很多前创始人。YC和非YC的都有。我们也招了很多Google员工，让他们发挥技术和非技术能力。我们有研究团队做基础研究并发表成果，业务上则把智能技术应用到实际机器上。对这类工作感兴趣的人比较适合我们。

你刚提到技术栈，Peter。我想让你详细说说。Applied Intuition的边界在哪里？你们不做什么？你们在所有垂直领域中做的共同点是什么？

我们做的工作有几个方面，已经做了近十年，技术很广泛。我们起步时有1000名工程师，可以做很多事情。

尤其是现在有了AI工具。

我们起步于仿真、仿真工具和基础设施。构建复杂的涉及移动机器的软件系统时，需要测试，最好的测试方式是虚拟开发和仿真结合现实测试。然后要非常仔细地对比仿真结果和现实结果，确保仿真器准确。

仿真是个很深的领域，我们有整套产品，可以讲很多小时。仿真是我们业务的一部分。强化学习作为其中一个子领域也非常关键。现在算力充足，强化学习带来了很多有趣的进展。

第二个领域是操作系统技术，是真正的操作系统，比如调度器、内存管理、中间件、消息传递、高可靠网络和数据链路。要在车辆上部署AI，需要优秀的操作系统。我们深入研究时，市场上没有让我们满意的产品。

虽然有现成的东西，我们也用过，但作为工程团队，我们觉得不够好，认为自己能做得更好，于是决定自己开发。这就是我们操作系统业务的起点，现在已经是一个真正的业务。要写好、运行好AI，需要优秀的操作系统，这就是我们进入这个领域的原因。

第三个领域是真正的基础AI技术。我们做很多模型研究，包括基础研究，也有世界模型和实际运行在物理机器上的自动驾驶模型，涵盖汽车、卡车、采矿、建筑、农业和防务，涉及陆地、空中和海上。

第三个领域的一个小分支是人与机器的交互，是多模态体验。过去操作挖土机等机器时，有实体按钮或触摸屏。现在根本变了，你直接和机器对话，和机器协作。

语音？

对，语音绝对是。机器还能感知驾驶舱里是谁，状态如何。从安全系统角度看，最简单的例子是司机疲劳。如果你开车时收到疲劳提醒，建议休息。我们把这个概念放大很多倍。人与机器协作非常重要。

你想象一下后台运行的智能代理，比如Claude，可以为你工作。这个类比可以复制到农场，农民操作多台机器。人机交互发生在关键决策或接管时。通常机器代理代表农民做决策，直到出现关键情况。这不是纯自动驾驶，而是混合模式，属于汽车行业定义的SAE L2++级别，有人类介入。我们把这个理念推广到其他垂直领域。

你还没提到硬件方面……

所有的，比如传感器，或者你知道的，显然你提到你们不做芯片。我觉得即使在自动驾驶领域，也有一个很大的话题，比如摄像头和激光雷达的选择。在你们的领域里，可能有哪些设计决策？这些决策是由整车厂（OEM）对设备安装能力的影响驱动的吗？你们在共同设计这些硬件时有多大影响力？

是的，我们不制造传感器。我们不是制造商。显然，我们在自动驾驶产品中使用了很多传感器。至于实际装在车辆上的，我们有一套首选传感器，我们可以说是完全支持的。然后我们的客户可以从这些传感器中选择。当然，如果客户非常强烈地要求支持其他传感器，我们也会把它加入平台。目前激光雷达的问题是自动驾驶领域的老生常谈。行业现状是，激光雷达无疑是一个非常有用的传感器，特别是在数据采集和自动驾驶研发阶段。

举个例子，比如特斯拉的研发车辆，直到今天它们实际上还装有激光雷达。在湾区，我们能看到装有激光雷达的Model Y或者Cybertruck在路上行驶。激光雷达之所以有用，是因为它能提供每个像素的深度信息。你可以把激光雷达和摄像头做比较，比如说“这个摄像头朝这个方向看，激光雷达朝那个方向看”，然后对摄像头的每个像素，你都能知道那个像素距离多远。

你实际上可以把这些深度信息作为模型训练的一部分，然后这个深度信息就成为摄像头数据的一个学习状态。到了量产系统阶段，你就可以去掉激光雷达，只用摄像头就能获得深度信息。我们在整个产品组合中都使用这种方法。最终目标是实现超低成本和超高可靠性。

在某些特定用例中，比如国防领域，很多时候是在夜间作业，所以你会更关注红外传感器，而不是激光雷达或雷达，因为你不想发射能量。但你仍然需要在夜间看清楚，所以我们会使用各种传感器。

很酷，这就是硬件层面的情况。那么在操作系统层面呢？它是什么样的？有什么独特之处？我开特斯拉，开别的带屏幕的车时总觉得很糟糕，屏幕就像廉价的安卓平板，卡顿各种问题。自动驾驶功能的操作系统是什么样的？

大多数人想到车辆操作系统时，想到的是HMI，也就是人机界面。那确实是重要的一部分，但其实只是最表层的一层。当我们谈论车辆中的AI操作系统时，涉及很多层面，深入到安全关键领域和嵌入式系统，比如实时控制电机、发动机和执行器。车辆的转向执行也有不同的冗余设计，这些都需要操作系统的核心支持。

当然，自动驾驶需要实时传感器数据流，延迟非常关键。你想象一下，如果用微软Windows来处理传感器数据流或控制车辆，延迟会非常高，根本不可能实现。我们做的特别之处在于系统级的思考，我们关注整个系统的每个性能特征。因为我们做了大部分软件，甚至全部软件，我们可以微调和控制所有这些细节。我们可以非常精细地调整系统各方面的延迟，内存管理，以及为不同情况设计合适的故障保护和回退机制。

你必须考虑如果发生关键故障怎么办，比如宇宙射线导致处理器中某个位翻转引发故障，你必须有故障保护机制。操作系统核心就是这部分内容。还有一个不那么令人兴奋但非常重要的话题是更新的可靠性。我有一辆特斯拉，更新频繁，大约每月一次。

大多数造车公司基本上不做更新，即使做，也通常只更新某个模块，比如HMI模块，安全关键部分的系统更新必须去经销商那里做。我们的操作系统现在可以实现车辆任何系统的高度可靠更新。这说起来容易做起来难，技术栈里有很多深奥的技术细节，确保不会意外把车辆“变砖”。你想象一下把车“变砖”是多么昂贵。

坦率说，可能我们在行业里做的最有影响力的事情之一，就是让行业真正能够做软件更新。

顺便问一下，这个操作系统的客户是谁？我猜很多硬件制造商有自己的固件，有些可能会请你们帮写，因为你们是专家，有些则自己写。谁付钱？谁邀请你们进入？是最终用户还是制造商？

让我打个比方。

首先谈谈软件碎片化。现在的物理机器更像是安卓和iOS出现之前的手机市场。我曾在谷歌做过安卓开发，很多年前。谷歌决定做安卓的部分原因是想让谷歌产品能在各种手机上运行。他们买了很多手机，结果发现这些手机有50多种不同的操作系统，谷歌几乎不可能让他们的应用在所有设备上都运行良好。

解决方案是，为什么不做一个很棒的操作系统，吸引所有手机制造商呢？这就是安卓诞生的起因，是谷歌让他们的产品能覆盖各种设备的方式。现在物理机器行业的状况有点类似。是的，这些公司有固件，但操作系统非常分散。

要让现代AI应用在这些车辆上运行，首先必须统一操作系统。这就是我们做这件事的原因。你问我们的客户是谁？一般是制造这些机器的公司。我们把技术卖给他们，简化架构，支持这些应用运行。

有多少是可复用的？你们是有一个操作系统配置不同用途，还是需要更多定制？

高度可复用。基础技术相当通用。我们考虑的事情包括芯片组支持。如果你写一个大型语言模型（LLM），假设你用CUDA跑在Nvidia芯片上，那你不需要考虑硬件，你就在CUDA Nvidia生态里。但安全关键系统的硬件多样性更大，不止一两种芯片组，我们必须支持多种芯片。

我们的操作系统不仅能运行在类似x86的架构上，还能运行在多家公司的多种芯片架构上。我们已经做了很长时间，支持所有这些芯片组。然后你想运行AI应用，我们可以在多种供应商的硬件上可靠运行。

这很受安卓启发吧？安卓有庞大的测试套件，是一个可靠的操作系统，运行在成千上万设备上。你们想在所有这些物理移动机器上做同样的事，只不过你们是在安全关键领域，安卓不是。

安卓上我不需要用Gmail，你们的机器呢？别人能把自己的自动化软件装上去吗？还是说都是一体化的？

你可以用别人的，不是必须用我们的。我们的理念是我们是技术公司，授权客户按需使用。如果客户想授权我们的自动驾驶技术和操作系统，我们就授权。如果只想授权操作系统，用别的自动驾驶技术也没问题。我们有很好的文档。

开发工具呢？

是的，开发工具也是。两者结合效果更好。

都是C++吗？有不同的编译目标吗？

我们用很多C++。Rust也是现在很火的新语言。但在底层，尤其是实时约束下，最终还是会用C++，必要时甚至用汇编。

厉害。

我很好奇你们内部对编码代理的采用情况。你刚提到一些比较小众的语言，内部采用情况怎么样？学到了什么？

我们用各种工具。Cursor曾经是公司最火的工具，现在Claude Code接替了它。我们有内部排行榜，鼓励大家使用。它们非常有用。说实话，我们也从这些工具中获得灵感，如何把这种思维方式应用到物理领域。

如果在屏幕上做应用这么简单，我们现在用很多相同的想法，应用到物理机器上。比如你想让物理机器做某件事，我们用自己的工具和平台让这变得更简单。

你们改变了操作系统架构吗？比如暴露服务的方式，更适合AI？

绝对有。早期我们的工具基础设施工作，很多工程师是某些领域的专家，但他们处理的问题往往更数学化或抽象化，GUI工具对某些事情非常有用。

举个例子，我们有个产品叫Sensor Studio，帮助设计自动驾驶车辆的传感器套件。车辆可以是汽车、无人机、矿山设备、机器人。你可以把传感器放在不同位置，有一个库，能帮你理解设计中的权衡。这是一个GUI密集型的工具，有点像CAD工具。

现在我们开放了所有底层API，利用AI代理，你可以只用文本配置传感器套件，结果可能比以前用GUI更好。我们正在把这种思路推广到整个产品组合。

关于AI的采用，这会不会至少稍微改变你们的招聘？你们怎么管理工程师？

绝对会。我们和硅谷的很多公司一样，招聘方式在演变，因为有效的技能变化太快。以前你选人主要看执行能力，现在更多是AI工程师的技能。你不仅要会写代码，敲代码不再是核心工作，关键是知道问什么问题，知道如何整合各种AI工具。

我们现在的面试比以前难多了，但允许合理使用AI工具解决问题。你会看到工程师呈现双峰分布：一部分人完全理解，投入了大量时间学习这些工具，效率极高；另一部分人没做到，生产力差距巨大。我们当然想选那些真正热衷这方面的人。

我三年前写过AI工程师的文章，当时我说不是每个人都应该是AI工程师。有人极端认为所有软件工程师都是AI工程师。我举的例子是嵌入式系统、操作系统和数据库领域的人。他们会用AI吗？

这是经典的“苦涩教训”话题。六个月前我也会这么说，但现在AI对每个领域都超级有用。六个月前或者一年前，用最新的Claude模型写GPU着色器，效果可能不理想。现在用最新模型做这类任务，你会惊讶，“哇，居然成功了，太棒了。”嵌入式领域也是如此。

不过毫无疑问，尤其是安全关键系统，人工验证是100%关键。你不会把生命托付给未经严格人工检查的AI写的软件。现在真正的挑战是找到安全关键系统中合适的人工验证水平。

你怎么看待这个问题？是的。

谈谈模拟方面吧。我觉得可验证的奖励和强化学习是目前最热门的东西。你们内部在这方面做了哪些工作？是什么让你晚上能安心睡觉？比如有人说，我只是写点代码或者想试试某个东西，你们的系统够好吗？我觉得反过来也成立，如果写任何东西都特别容易，>> 嗯。

>> 那就给可验证性方面带来了很大压力。对人们来说，这到底是什么样的？>> 是的，是的。可验证性其实是评估的一个更广泛范畴。你如何评估你得到的结果？我认为这是目前最难的问题，因为随着模型变得更好，发现系统缺陷变得越来越难。做恰当评估以发现这些缺陷的问题，随着模型的提升也越来越难，但它的重要性从未减少。你仍然会遇到未覆盖的边缘案例等等，所以这是我们重点投入的领域。

关于强化学习，关键是最新一代技术带来了全新的需求。比如端到端（end-to-end）是当前自动驾驶和物理人工智能的大趋势，你可以训练模型直接输入传感器数据，输出控制信号，效果非常好。但训练和改进这些模型的方式与之前完全不同。要对端到端模型做强化学习，你必须模拟所有传感器数据。这就是我们所谓的神经模拟（neural simulation），可以理解为高斯分裂（Gaussian splitting）和扩散方法（diffusion methods）的混合体。我们非常重视性能，性能就是一切。如果模拟不够快、不够便宜，最终你得不到有价值的结果。这也涉及我们在嵌入式系统上的工作，性能关键的工作，这种性能优化和关键性也延伸到模型训练，因为唯一让它负担得起的方式就是必须非常快。

>> 我觉得值得花几分钟谈谈我们对传统模拟器中验证和确认的演变思考。传统模拟器，比如车辆动力学，通常是把教科书里的公式写进软件里，而现在是神经模拟/世界模型的宇宙。我觉得这是个有趣的话题。>> 是的，是的。那么在

更传统的开发中，你通常会得到比较黑白分明的答案。以欧洲为例，有一个叫Euro NCAP的监管体系，即欧洲新车评估计划。车辆必须通过一系列测试，包括安全系统测试，比如自动紧急制动，针对突然跑到车前的儿童，或者说撞到突然跑出来的儿童。最终你会得到类似“这辆车是否通过了这个特定测试”的二元答案。这个测试案例集非常著名，车辆必须通过。这是行业大约十年前的运作方式。但现在的变化是，随着这些模型的出现，一切都变成了统计学问题。你不再有黑白答案，而是问系统能达到多少个“九”的可靠性，你如何证明这一点？

而且，物理人工智能行业的重大突破是这些模型变得更加可靠。它们的表现好多了，系统能达到的“九”的数量现在足够高，真正部署变得经济可行。因此，验证和确认的重大转变是，从过去严格的需求满足转变为统计验证和确认，关注的是系统的可靠性“九”的数量和平均故障间隔时间等指标。

>> 那目标受众是监管机构还是

>> 甚至是客户？我想客户已经认可了，主要是要满足监管机构。我们确实与美国政府合作，也与欧洲和日本政府合作。政府绝不是AI实验室，>> 他们只关心结果。

>> 他们关心结果，所以我们在这方面做教育，教他们我们认为验证应该怎么做，什么方法合理，如何判断无人驾驶系统何时足够安全上路。但我不会说政府是主动要求的，我们更多是在教育政府。说实话，这更多是为了我们自己的安心，我们想打造非常安全的系统。当然我们的客户也非常关心这点，但在这方面我们通常也在教育客户。

>> 是的，我们的首要核心价值是道路安全。我觉得我们自己验证和确认我们部署的系统安全，可能和监管机构或客户的认可一样重要。>> 当然，你必须自己认证。

>> 是的，全球范围内的监管往往是最低标准，但你必须远远超出监管预期，才能做出好产品。>> 我经常谈论的一点是

我觉得，拿Cruise来说，他们发生了一起事故，基本上毁了公司。我想知道人们是否对单一事件反应过度，因为事故无论如何都会发生，这是统计现象。但我不知道监管机构是否理解，不能从单一事件推断整体，但我们只能这样做。样本量必然比普通驾驶少。

>> 我认为Cruise的例子

>> 不是技术失败。真正的问题是公司如何与监管机构沟通，他们的行为如何，我觉得这才是关键。如果你看，>> 这绝对是技术失败，但被

>> 进一步恶化了。>> 是的，是的。

换句话说，Cruise本可以继续存在。>> 对，对。

>> 这只是压垮骆驼的最后一根稻草，是一连串事件中的一环。>> 对，如果ATG发生了那场可怕的事故，或者有人因此丧命，比如那个无家可归者过马路的事故。是的，我觉得我们不能低估统计验证的重要性，但这只是其中一部分。消费者和主流采用这些技术也会成为讨论的一部分。>> 我认为像Waymo这样的公司

>> 对行业贡献很大，他们设定了高标准，展示了如何负责任地处理这些问题。Waymo也发生过事故，但没有Cruise那样严重。所以我认为这种情况会持续。长期来看，关键问题是显而易见的：统计上人类司机更差。没有争议。那么问题是，我们作为情感动物，

>> 是的，我的观点是，我们必须作为社会接受那些人类永远不会发生的可怕事故，因为统计上整体更安全。就像飞机一样，它们是我们拥有的最安全的交通方式。>> 是的，开车去机场比坐飞机更危险。所以如果你担心坐飞机，就想想你得先开车去机场。>> 只要我能到机场就好了。

>> 但飞机也容易成为恐怖分子的目标，如果飞机不安全的话。>> 我觉得我们

>> 其实不必担心这些系统会发生比人类更严重的事故，因为人类会做很多糟糕的事，比如司机经常打瞌睡。>> 是的，

>> 我也曾是疲劳驾驶者。>> 还有酒驾，这只是极端例子，但AI系统有冗余和备份。要发生灾难性事故，必须有很多环节出错，因为系统有很多备份。>> 是的。

>> 你们的模拟覆盖面很广，因为用例很多。有没有什么在模拟中有效，但实际部署后完全不行的例子？>> 是的，

模拟有点被误解了。我稍微技术一点说。首先，没有模拟能完全代表现实。总有一个模拟到现实的匹配过程，你需要现实反馈来调整模拟器的参数。你得反复做验证流程，直到有信心模拟器准确反映现实。如果你完成了完整验证，认为准确，但出现了不同情况，那就更棘手了。这种情况确实会发生，但验证过程非常重要，不能跳过。你必须确保模拟与现实的差距足够小，才能信任模拟结果。这里有很多有趣的事情，比如最近一个例子是类人机器人系统中执行器过热是个大问题。

对吧？显然演示很棒。>> 对。

>> 它们是最惊人的，我喜欢看机器人做杂技，大家都喜欢。但这些系统确实会过热。如果你用模拟，可以把执行器温度作为模拟参数之一。如果你用强化学习训练某个任务，机器人可以在模拟中调整动作，考虑到它知道自己运动时执行器开始过热。但如果模拟里没有这个温度参数，强化学习策略就会忽略它。然后你把策略用到机器人上，机器人就会过热失败。>> 我想问的是，你们怎么处理所有这些参数，同时理解部署环境？比如温度就是个好例子，为什么我的机器人在冷冻库里表现更差？其实它不该担心那个。你们怎么设计这些模拟？

这正是模拟难点所在。模拟本质上是为了优化系统开发，怎么更快、更好、更便宜地构建系统？有哪些杠杆可以用？模拟是软件程序，比硬件更容易改动。用世界模型作为模拟一部分特别棒，因为模拟不只是靠新增数学方程扩展，还能用更多现实世界数据扩展，这也开启了机器人学的新领域。>> 但有个临界点，你还是得做现实测试。现实差距很大时，现实测试更好，但成本极高，没有免费的东西。你得找到那个平衡点，既能获得良好性能和反馈（无论是训练还是评估），又比现实测试便宜得多。否则就不划算。从我们自动驾驶早期开始，我们的观点就是你仍然要做现实测试，没有什么神奇的地方能完全替代它。甚至更细致地说，传统软件开发中，车辆软件95%的测试可以用传统的持续集成持续交付（CI/CD）流程完成。但如果你有卡车，4%的测试可以在带有所有电气电子部件但没有轮胎的测试台上完成，剩下1%必须在真实车辆上完成。

这和智能系统用模拟的情况类似。你在模拟器里做大量工作，利用世界模型，但最终是物理人工智能，你要部署在物理机器上，冷冻库的例子就体现了这一点。>> 世界模型对我来说一直是

最难理解的事情之一。比如我们有50个Leon在……我们一直在做一个关于另一家直觉公司——Genuine Intuition的小系列。嗯，是的，我的意思是关于NeRFs和NeRF的报道很多。

是的，感觉就像我们之前谈到的日心说系统，对吧？在一个世界模型里，如果你只输入视觉数据，模型可能会学到太阳绕地球转。这听起来合理，对吧？但其实不完全是。我想还有一些其他的事情，比如水滑现象（hydroplaning）是我考虑的一个问题。我们的世界模型能理解水滑现象吗？比如需要多少水量才会发生？对我来说，我不太理解你们是怎么做到的。我猜真正的关键是，当你同时处理日本高速公路上的汽车和矿山里的挖掘机，不管是在亚利桑那还是其他地方部署它们时，

你们有多少依赖世界模型来生成模拟，然后再试图弥合差距？还是说你们把世界模型作为工具给工程师，用来策划模拟？如果这样说有意义的话。

完全有意义。纯工程角度来说，如果你希望做真实世界的部署，而完全依赖世界模型方法，你可能在破产之前都达不到可用的效果。所以有一个非常实际的心态：世界模型非常棒，对很多用例极其有用，但你还需要做很多其他事情才能真正启动、部署并让系统工作。最根本的是，世界模型不仅是理解世界，更是理解接下来会发生什么，也就是因果关系。

举个例子，如果你有某种建筑工具，这个工具会以某种方式移动土壤，世界模型需要理解这种因果关系。比如“当我把这块材料从这里移到那里，那里就没有了，而这里多了”，这种因果关系。数据显然是个大问题。水滑现象是个很好的例子，因为它有时并不明显。比如下雨了，这条路有适当的弯度，水会流出路面，汽车在这里开得快。然后你接近一段非常平坦的路，水开始积聚成水洼，汽车不得不开慢点，因为开快了会开始失控。场景中有很多细微的视觉线索，我确实认为在道路模型的概念里，模型很可能学会当这些视觉线索出现时应该减速，这正是这类模型的美妙之处——它们学会了这些不明显的东西。

它不需要知道水滑现象的具体原理，只要知道需要减速就行了吧？

是的，没错。

我想问一下关于模型部署的问题。我猜你们大量使用这些世界模型来生成训练数据和模拟，但在生产系统中部署呢？我猜设备上有GPU，但我一直说“设备上”，这个说法准确吗？

应该说是在机器上或者嵌入式系统上。

嵌入式世界是什么样的？对不熟悉的人来说很陌生。

我们称之为车载（onboard）和非车载（offboard）软件。非车载软件的好处是你不必考虑时间，可以运行非常大的模型。你可以说，“我不介意这个模型给我结果是1秒还是10秒”，因为有时间，模型可以很大，可以在数据中心或大型GPU上运行，甚至可以分布式计算。但车载系统没有这些优势。你必须在有限的毫秒内得到模型的答案。所以更多的是关于模型蒸馏和效率，每一毫秒都很关键，模型不能太慢，否则车辆无法正常运行。

即使如此，你们还是用很多相同的技术，车载模型可以看作是离线运行的大模型的衍生版本，目标是得到一个性能依然很好的更小版本，能在嵌入式系统上运行，满足延迟和功耗要求。

是的。

我觉得一个更广泛的观点，可能不太明显但值得说的是，在物理AI领域，我们现在并不真正受限于模型的智能，而是正如Peter所说，受限于部署它们的硬件。

是的，受限于硬件。安全关键系统的现实就是这些成为限制因素，而不是像基础模型公司那样受资本或研究人员限制。对我们这些进入这个领域的人来说，这些限制反而激发了创造力。

我想没人会在2018年左右给你们部署或提供变压器（transformers）硬件，但现在有了。能透露一下这方面的演变吗？

变压器论文最初发表于2017年。

时间不长。

是的，我的意思是嵌入式机器学习系统通常参数少、计算少，但现在参数和计算量都大了好几个数量级。

我想说的是，2017年论文最后一段提到这种技术可能对图像和视频也有用。几年后这种影响才真正显现，现在变压器无处不在。

是的，变压器被广泛使用。

计算机性能也越来越好，但你必须权衡功耗、成本和性能，在嵌入式设备中找到合适的平衡，这些设备还要能承受各种恶劣环境。但我认为性能只会越来越好，我们也必须根据这些系统的进步速度来规划策略。

谷歌刚发布了Gemma 2B模型，你们觉得这个2B参数模型有用吗？还是太大了？

你完全可以在嵌入式系统上运行它。

是的。

但关键是你用它做什么。你需要对它做大量定制才能让它对某些任务有用。但确实可以运行一个20亿参数的模型。

有趣的是，多少比例是专门做某件事的定制机器学习模型，多少是通用的大语言模型（LLM），后者可能对你们的场景没那么有用。

你可以想象不同的用例。

比如语音相关的。

完全正确。对于实际的自动驾驶部分，100%是内部完成的，数据、模拟、模型全做。但对于更通用的用例，比如语音助手，这些通用模型如Gemma就很有用。

显然还有一个权衡，就是多少必须在机器上完成，多少可以远程调用。

完全是延迟问题。

是的。

实际上在很多场景，尤其是美国，你可以连接网络。

是的，但我认为我们大部分场景都必须本地嵌入式运行，因为即使在美国，很多矿区仍有覆盖盲区。回顾矿业自动驾驶的旧时代，远在变压器和神经网络出现之前，系统都是手工编码的。机器就是按照预定路径运行。

那是RTK GPS，对吧？

是的。

这种方式用了20年，为什么我们还需要变压器或更现代的端到端系统？主要原因是传统系统只能沿着路径前进或倒退，虽然有价值，但远不及机器真正智能——能感知、能行动于动态世界。

我查了RTK，是实时动态定位，精度1到2厘米。

是的。

很棒，尤其是在没有手机信号的偏远地区。

所以它被用在传统矿业和农业自动驾驶系统中。比如联合收割机在田间行驶时能精确到1或2厘米，使用RTK。但它很贵。

这算是自动驾驶，但不是我们2026年谈论的那种智能。

你在博客里提到过关于大型变压器的研究，类似现代生成式AI。它们的主要区别是什么？除了你说的“我应该控制汽车避免事故”之外。

我们内部有多元化的策略。因为我们在多个行业和地区运营，每种方法都有不同的风险。我们不会把所有鸡蛋放在一个篮子里，因为某种方法可能行不通。这是我们的一个赌注，在某些场景下有优势，也有缺点。研究团队会针对这些缺点努力，最终找到很好的解决方案。

物理自动驾驶有计划模式吗？

你们有计划步骤和执行步骤吗？

简短回答是有。就像你可以用云代码规划复杂的编码任务，得到近似的规范，类似的方法也可以应用于物理系统。想象你要完成某个任务，最容易想到的是机器人出租车，但在国防或矿业场景更有趣。你必须提前考虑很多步骤，不是单一动作，而是完成目标需要一百个步骤。计划模式的概念非常适用。

对我来说，驾驶感觉像是很好的下一个token预测，因为你在一条路径上，之前做了什么不重要，你总能掉头。

计划，是的。

而矿业就不一样了，比如你挖了一铲土，之后就不能再去那个地方了。你们有这类不同类型的分类吗？比如驾驶、挖掘、飞行，你们怎么做？

有趣的是，我认为世界上的一切其实都可以归结为下一个token预测问题。任何工作流程都可以看作是一系列步骤或轨迹，可以归结为这种形式。矿业中，比如挖那一铲土，就是一组token，模型理解状态空间变化，下一次预测会基于这个变化调整。令人惊讶的是这些技术的普适性，真是不可思议。

还有什么被低估的方面是你觉得……

大家都在做物理端的东西，对吧？我觉得，我们在录这期节目之前也聊过，很多创业公司做了很棒的演示，但我买不到他们的产品。所以显然，演示和量产之间有很大差距。你们的情况是，你们已经在真实街道上量产，有很多客户。人们通常低估了哪些方面？就像七年前Waymo的演示很棒，但真正上路用了七年时间。你能分享一下最后那1%技术上最难攻克的部分吗？

嗯，量产确实非常有挑战性，无论做什么。我可能会把答案分成研究阶段和量产阶段。先说量产阶段，当你把东西真正推向现实世界时，会遇到很多问题。比如现在类人机器人领域的经典问题是，这些系统其实相当脆弱。我不是针对某家公司，只是说整个行业的系统都比较脆弱。有趣的是，我前几天看到中国正在举办一个类人机器人马拉松比赛。

嗯。

是的，不只是中国，任何政府都有一种叫做奖赏政策（prize policy）的概念，用来引导产业朝某个方向发展。比如可以通过监管、强制措施，或者举办竞赛。美国的版本是DARPA大挑战赛，这个真的起了作用。

确实起了作用。

对，真的推动了行业发展。我觉得中国举办这个马拉松比赛，就是因为他们知道类人机器人的可靠性是个问题。有什么比让机器人跑26英里马拉松更酷的解决办法呢？

我们现在能做到吗？机器人能跑马拉松吗？

我觉得很快就能了，基本上我们已经到了那个阶段。顺便说一下，汽车行业也有类似的，比如勒芒24小时耐力赛。保时捷赢了勒芒24小时比赛，直接把产品推向量产。我其实会把过程分成研究、先进工程和量产。很多行业现在都进入了先进工程阶段，不是基础研究，不是发明新技术，而是为量产做高级工程。你要解决的子问题很多。量产后又会遇到一套新的问题，比如部署和维护机器。至少在我们领域，我们主要是在做先进工程。用汽车行业的话说。

说实话，每一步都很难。

是的，Paul，尽管你身价1500万美元，你还是会“流血”。

是的，每一步都会“流血”。

我觉得这很有趣，我真的很享受这个过程。

有趣的是，我们做了快十年，经历了很多糟糕的时刻。现在我看任何同行的演示，我都能列出他们接下来会遇到的20个问题。

我也能猜到他们会怎么尝试解决这些问题，也能猜出哪些方案会奏效。

这些问题并不是什么天才才能解决的，我们见过太多类似的情况。我们作为公司的领导，有自己的世界观，尝试过很多方法。我们现在说的是成功的案例，但失败的也很多。

是的，失败的案例非常多，很多人在做各种尝试。这些都融入了我们的世界观。

总体来说，你对机器人领域更感兴趣吗？

绝对是的。现在行业里没有什么新概念，真正新的是这些技术开始真正起作用了。人们早就想用神经网络做机器人，但现在我们有了数据集和仿真技术，东西开始真正工作了。我们肯定想成为其中一员。

你对创业公司有什么建议吗？或者说，有没有哪些创业方向你觉得不值得做？

我觉得你会达到某种“徽章”阶段，比如YC的创业者，或者类似的名字。我最大的建议是在技术商业化过程中，约束非常重要。我们谈过硬件约束，也有商业约束，比如我们只做能装进这个盒子里的东西。

我觉得这对创业者非常有益。很多时候创业者不太关注这个，因为他们有充足的资金，技术问题又非常难，创业者觉得最大的约束就是解决技术问题。风险投资圈通常不太懂技术，他们只要听你说“解决了这个问题会赚很多钱”，就满足了。

但作为创业者，我不是给你讲怎么向VC推销的，那对VC有效。你还得经营一个可持续的生意。回到你之前问的关于我们公司的问题，这真的是复利技术。我们做的很多工作都是复利的，不会被丢弃，会越来越好。操作系统越来越好，开发工具越来越好，模型越来越好。你可以看Waymo就是例子，Waymo是一家很有趣的公司，但它的估值1260亿美元，很多人不理解为什么。

人脑很难情感上理解复利效应，但这就是我们的世界。如果你是创业者，刚开始走这条漫长的路，如果你能给商业模式设定一点约束，就更有可能看到路的另一端。到那时，你会从复利技术中获得巨大回报。很多人做不到。

总结一下，思考如何使用资金，如何分配有限的资源和工程师。很多创业者错误地拿成熟公司的策略来套用到初创阶段，比如“Steve Jobs说要完全垂直整合”，但2007年的苹果和1978年、1982年的苹果完全不同。那时候的公司只是把别人的电子元件装进外壳里。所以我建议在商业策略上更细致一些，让它指导你的技术策略。

你现在感觉怎么样？你刚加入X，对吧？你一直在秘密打造这家公司，现在觉得应该开始公开谈谈了。很多创业者也有类似想法，想融资多点钱来证明自己强大，但又不花钱。

对，招人。

你觉得现在还能用很窄的策略，比如“我们在做一个复利项目”，但不急着有宏大愿景吗？

这个问题很难回答，我换个说法：能不能先做一个小的、有限的问题空间的产品，然后希望它能成长？我觉得肯定可以。这是YC老派的做法，先深耕一个小领域，而不是广而浅。广而浅的做法在硬科技公司尤其行不通，因为问题太多，你没法都做好，产品就会很平庸。

所以我还是支持先找一个小问题空间。你问的另一个问题是，是否应该秘密开发？如果你是YC的COO，那当然可以。

我们之前在谷歌一起工作，有很长的合作历史，我们的第一批400人里大多数是谷歌出来的。这和没有这种经验的创业者很不一样。你得做很多事情。我觉得不要盲目套用我或者其他创业者的经验，因为时间、空间和公司阶段都不同。

对。

如果你想从其他年轻公司找灵感，那也不好，因为大多数都会失败。

对。

所以你唯一能做的是用第一性原理思考，基于你和联合创始人、早期团队的技能，以及客户反馈，决定你该做什么产品。这样合理吗？

合理。

Sam Altman说过他对YC给出的很多建议都进行了反思。我很好奇想问问你们这些创业者的看法。

我觉得每个离开YC的人都会做相反的事。

我接受这个观点。Sam当时是YC的总裁，我们没有CEO，所以合作非常紧密。YC当时规模也没OpenAI那么大。我大体同意他的看法，但我觉得这更多是市场变化，而不是YC本身的问题。现在的AI行业，特别是AI公司，与其他YC公司和市场的关系完全不同。融资金额不同，投资人数量不同，种子基金数量也大不相同。

我们的早期投资人之一Floodgate做过分析，2000年代初期，写小于100万美元支票的基金只有个位数，且不是加速器或孵化器。Anne是Floodgate的联合创始人之一，他们三四年前做了类似分析，发现基金数量已经超过350个，数不过来了。环境完全不同。

所以2014年的YC建议不适用于2026年。Sam说这些话比我更简洁有趣。我只能给你举个例子，比如问我汽车的用途，我会说第一是方向盘，而不是“它能改变你的生活”。你拥有汽车，就拥有自由。

对。

Peter，我想问问有没有什么特别重要的技术或研究问题，如果解决了对你们意义重大？如果有人在做这方面的工作，应该联系你们吗？

我觉得总体来说，让模型更高效非常重要。因为我们必须在真实车辆上运行，实际上是把非常大的AI模型做得更小更快。我们一直在这个极限边缘，比如你有一个很棒的模型，但现在需要让它更快更小。

这不仅是我们领域的问题，也是整个行业的问题。还有就是对模型的评估，尤其是在安全关键系统中，模型评估是个非常难的问题。我们现在有一个很棒的工程团队和研究人员在做这方面的工作，但这是一个重要的投资领域。

所以，如果有人对模型性能感兴趣，包括能力和延迟，以及模型评估，欢迎联系。

太棒了。大家还有什么问题吗？

你们具体在招聘哪些工程岗位？尤其是，什么样的人能在你们公司作为工程师取得成功？我觉得这总是最重要的事情。

是的，我的意思是，你可以去 fly.co/careers 看看，我觉得那里有数百个岗位。我们在招聘的领域涵盖了我们刚才谈到的所有话题，从开发工具、物理人工智能，到操作系统、自动驾驶，以及物理机器中的人工智能。关于工程师类型，这是个很好的问题。其实比岗位本身更有趣的是我们在找什么样的人，因为我们公司已经足够大了。

我们写所有东西。

是的，我们写所有东西。

我觉得，我们是一家位于桑尼维尔的公司，结合这次对话和我们的背景，你大概能猜到这意味着什么。我们倾向于招聘非常认真的人，他们理解底层系统，而不仅仅是对技术有表面理解。就像真正的工程师一样。我们当然也招聘拥有多样技能的人。我们也招聘大量的专家，明确地说，他们都有生产环境经验，我觉得这对你如何构建技术非常重要。

是的，我觉得那些真正理解硬件和软件边界的人。

没错。

在现在的编码时代，确实有一批工程师根本不考虑硬件，而我们没有那个奢侈。我们需要那些更热衷于深入研究的人。

如果你拿我们和一个人工智能实验室做对比，那就是最大的区别，我们是在面对现实。还有什么呢？其他经典的东西，你想要的是努力工作、热爱技术的人，就像听这个播客的人一样。

如果你能听到播客的这一部分，说明你可能符合条件，对这方面感兴趣。

是的。

彼得也说他喜欢这个播客。

是的，我是粉丝。特别是关于硬件和软件边界的部分，我觉得这是我对美国教育体系的思考，也可能是普遍现象。我感觉大家都在远离传统的计算机科学或电子工程教育。

计算机工程也是。

是的。

有个阶段你得自己动手，因为你们现在是这方面的世界专家，实际上你不应该等着大学系统给你培养人才。

你是说教育和技能提升方面吗？

是的，就是直接抓住年轻人。

通用汽车已经做到了。

真的？他们有自己的大学？

是的，我本科就是在那里读的。

通用汽车学院？我没听说过，我以为是哈佛商学院。

是的，大家都知道哈佛商学院，那个品牌吸引力很大。通用汽车学院是怎样的？

它成立已经有100年了，正是为了解决你刚才说的问题——密歇根州工程师不足。那是现代企业的早期阶段。通用汽车是个很好的例子，有本书叫《阿尔弗雷德·P·斯隆与通用汽车的岁月》，强烈推荐，讲述了现代企业的形成过程。作为其中一部分，他们觉得工程师供不应求，于是创办了这所学校。实际上，谷歌直到大约十年前也在考虑内部建立大学，曾有过讨论。所以，我们确实会提升员工技能。我们做的培训量其实令人惊讶。

这是我们公司规模带来的奢侈。当你只有25个工程师时，你只能求生存。所以，还是要根据你公司的实际情况来听建议，而不是一开始就去招高中生或者你去……

我确实上过你教的课，因为听起来你能教很多东西。

是的，说实话，现在大型模型最棒的用例之一就是教育。我带过一个工程师，他有很好的航空航天工程背景，在相对短的时间内，他能非常自信地做前端和后端工作，这都得益于这些模型。不仅能用它们来实现功能，还能用它们来学习。你可以问问题，不用担心尴尬，因为模型不会指出你的错误。

我觉得你可能比工程学位更需要的是工程思维。工程学位当然很重要，我不知道有没有捷径能学会流体力学或传热学这些基础知识，至少机械方面的基础知识你得掌握。工程思维有时候不是每个人都有。有些人情感上更倾向于艺术或其他领域，这完全没问题，没有评判。但我觉得工程思维更实用的说法是想要理解更底层的东西，比如光子是怎么运动的？

极度好奇。

光是什么？无线电波是什么？这些非常基础的问题。

对，如果你对软件足够好奇，最终会接触到硬件。

这就是艾伦·凯的名言。

没错。

我试着做个比喻，你们有点像新通用汽车和特斯拉自动驾驶部门的结合体。

我们确实在做这些领域的工作。如果你跟我们的卡车客户聊，他们甚至不会觉得我们是做汽车的，他们会觉得“哦，你们做过汽车方面的事，但你们真正帮的是我们。”

汽车和卡车不是一回事？

不是，不是。那是完全不同的领域。

是的，是不同的问题。你有公路和非公路两大类。我想你说的是这个。公路和非公路，但公路里又有很多子类别的机器。特别是你看送货机器人，没有人驾驶，这就很不同，因为你不需要考虑人在自动驾驶时的感受。你可以急刹车，不用在意顿挫感，这些指标就不重要了。我个人的想法是，任何需要人类特殊培训才能操作的系统，你都可以用不同的思路来看待。比如卡车驾驶证和汽车驾驶证不同，飞机驾驶证又不同，你懂的。

太棒了，感谢你们抽时间。

谢谢邀请。

谢谢。