--- id: "uyzqxIoiobU" title: "前 NVIDIA 工程师：为什么 AI 即将便宜 1000 倍" channel: "Invest Like The Best" host: ["Patrick O'Shaughnessy"] guests: ["Neil Movva"] date: "2026-08-25" updated: "2026-08-26" duration: "1:23:36" duration_seconds: 5016 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=uyzqxIoiobU" canonical: "https://pod-exp.pages.dev/uyzqxIoiobU/" transcript_jsonl: "https://pod-exp.pages.dev/uyzqxIoiobU/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 基础设施","产业科技"] series: ["AI 基础设施"] --- # 前 NVIDIA 工程师：为什么 AI 即将便宜 1000 倍 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Neil Movva 把 Sail Research 描述成一家“token 工厂”：目标不是追逐最低延迟，而是把长时运行的后台 Agent 所需的智能做得极其便宜。他从软件内核、GPU 与内存、芯片供应、数据中心可靠性一路谈到电力，主张把通常被视作缺陷的慢芯片、闲置算力、低可用数据中心和间歇性能源变成成本优势。对他而言，未来的关键不是让每次回答更快，而是让机器在后台持续思考数小时、数天乃至数周，并最终把 token 成本再降低三到六个数量级，让“充裕的智能”成为一种基础商品。 ## [0:01] 片头：让 token 尽可能便宜 · YouTube **Neil Movva：** 我的工作，就是把 token 做到人类所能做到的最低价格。我会实现它，而且会利用整个技术栈里一切可用的层面来实现。我特别喜欢供给侧的杠杆：每一种芯片我都会用，每一种电力来源我都会用，美国境内每一块适合干这件事的土地，我也都会用。我们现在仍然把 Agent 当成一个“咨询起来很贵的人”：只有遇到困难的问题才去问它。我认为这不是理解智能的正确方式。机器竟然能够思考，这件事本身就不可思议；我们应该尽可能把这种能力交到更多人手里。 ## [0:38] 打造“Token 工厂” · YouTube **Patrick O'Shaughnessy：** 我觉得这种对话一开始，很重要的一件事就是先把话说得非常具体：你们到底在造什么？它今天具体能做什么？所以先帮我们定位一下，简单讲讲这个系统究竟是什么，以及它为什么应该存在。 **Neil Movva：** Sail Research 是一家 token 工厂。我们提供一个 API，任何人都可以把请求发给我们，用开源大语言模型完成他们想做的任何任务。我们会以市场上无可匹敌的价格给他们提供这些 token。我们也支持客户在其上构建 Agent。我们托管一种叫做 sandbox 的东西，也就是运行在云端、专门为 Agent 设计的长时虚拟机；这些 Agent 可以连续运行数小时、数天，甚至数周。 **Patrick O'Shaughnessy：** 所以可以把你们理解成其他推理服务公司的同类，只是你们服务的是一种特定类型的推理；而你们的目标，是成为这种智能使用方式里绝对最便宜的供应商和基础设施提供者。 **Neil Movva：** 完全正确。我们公司的主题就是“充裕”。我们想把“智能”这种新的商品，以几乎所有行业都能持续承担的成本，交给尽可能多的人。我们相信，只要一件东西便宜 10 倍，它就会催生一个全新的产品类别；我们希望 token 也发生同样的事。机器能够思考这件事实在太深刻了，而我们的工作，就是让世界上尽可能多的机器都投入到“思考”之中。 **Patrick O'Shaughnessy：** 如果今天整场对话的主题是 token 成本，那么“token 成本”真的是理解这件事最正确的单位吗？还是说，你会用别的方式来描述它、作为我们的起点？ **Neil Movva：** 作为起点，当然是。今天我的北极星指标，就是让每个 token 的成本成为行业最低，而且要低一大截。不过我不认为 token 会是工作或智能最终的计量单位，只是今天我们恰好用它，所以它最直接。再往后，我觉得计价单位会逐渐朝“结果”移动——虽然这还是个很模糊的方向。 **Neil Movva：** 比如，今天你通过一个 Agent 消耗 token 时，其实并不能控制这个 Agent 到底要推理多少 token。它可能思考一段时间，也可能调用一定数量的工具。越来越多的时候，我们会让 Agent 去完成某个工作单元，让它尽可能多地“射门”；为了完成任务究竟花多少 token，会变成由任务本身决定的因变量。也就是说，未来更像是 Agent 自己管理 token 预算，而不是公司规定工程师每个月最多能花多少 token。 **Patrick O'Shaughnessy：** 为什么这里会有一个你们可以抓住的机会？整个世界现在似乎都在朝“更多、更好、更快、更便宜的 token”努力，而且是在非常激进地解决这个问题。你看到的那个独特入口是什么？市场在哪个地方还没有足够有效率？ **Neil Movva：** 我觉得有两股顺风。第一股必须先讲开源的崛起。我们开始看到，越来越多客户以及更广泛的市场都在乎“拥有自己的智能”。他们希望对自己所依赖的东西拥有控制权和主权。于是，定制模型，甚至只是普通的开源模型，都形成了更健壮的市场——没人能把这些模型从你手里拿走；权重永远在你手里，你永远有权按自己喜欢的方式部署。 **Neil Movva：** 过去几年，大规模服务这些模型本身已经是一个相当成熟的市场。问题在于，无论你挑 Baseten、Fireworks AI 还是 Together AI，它们基本都聚焦低延迟推理。把它们拉向这个方向的一个非常重要的客户就是 Cursor。我认为一年前这是正确选择；但大约六个月前开始变得明显：对 Agent 来说，你需要的也许不只有低延迟，你还需要更强的持续性、更长时间跨度的任务。 **Neil Movva：** 到了今天，在我看来，Agent 推理的未来非常明显就是长时任务：你会让机器连续跑数小时甚至数天。这时它每秒吐出 100 个 token 并不重要，10 个也许完全够了，而这会带来相应的效率优势。 ## [4:22] 后台 Agent 的未来 · YouTube **Patrick O'Shaughnessy：** 你为什么对这个判断这么有信心？对我来说，我好像还是希望所有东西越快越好。 **Neil Movva：** 当你真的在等一个答案时，你当然应该得到尽可能快的回答。我的办法是：我根本不希望你在等。我希望它主动工作，待在后台。也可以这么说——最好的延迟就是“没有延迟”。你早晨醒来时，工作已经在夜里完成了，你甚至都不需要开口要求。这是理想状态，我们当然还没完全做到。 **Neil Movva：** 更重要的是，当你不断提示 Agent、等待它回复时，你自己其实成了瓶颈，限制了 Agent 能做多少工作。我们想让 Agent 按更接近人类的时间尺度工作。你不会每五分钟管理一次同事；你会交给对方一个高层目标，然后也许每天回来看看，但更可能是一周检查一次。对我来说，人类和 Agent 协作的未来就应该更接近这种“人类时间尺度”。 **Patrick O'Shaughnessy：** 多说说你看到的早期迹象吧。为什么这些迹象足以让你判断，这个变化真的正在发生，因此你应该去创办这家公司？ **Neil Movva：** 第一件也是最重要的事，是 test-time compute scaling，也就是测试时计算扩展：你给 Agent 更多时间，它就能给你更好的答案。这个想法大约两年前就被提出了，但直到我认为是去年晚些时候 Opus 4.5 出现，我们才真正能把公司押在这件事上。Opus 4.5 是第一个多少适合长时任务的 Agent；刚出来时其实挺一般，但看看更新的模型，以及我们在开源模型上取得的进展，你会发现 Agent 今天已经可以连续运行一个小时。 **Neil Movva：** 我还不会说它能稳定跑几天，但一个小时已经非常现实。只要看平均每一轮、每个任务的持续时间越来越长，其实不需要很多数据点，你就会开始把那条指数曲线往外延伸，并意识到：让 Agent 运行更久是值得的。 **Patrick O'Shaughnessy：** 那你觉得三年后，长时运行 Agent 的市场份额会是多少？大概会到什么程度？ **Neil Movva：** 我特别喜欢这个市场，因为它几乎没有上限。这里没有人在回路里，所以后台可以消耗任意多的 token。人的注意力反而有限。比如你让我在 Codex 或 Claude Code 里每天多消耗 10 倍 token，我甚至不确定自己还能不能做到——我坐在电脑前的大部分时间已经都被锁在编程循环里了。 **Neil Movva：** 真正没有上限的是后台、主动式任务可以消耗多少 token。所以长期看，我觉得今年结束时，也许后台工作负载和实时工作负载会是 50/50；但再往后，我能看到它走到 90/10，而且是后台占 90%。 **Patrick O'Shaughnessy：** 哪些事情特别适合这样做？你最喜欢的例子是什么——有哪些任务放到后台完成，明显比让一个人盯着、等着它做要好得多？ **Neil Movva：** 大多数 deep research 都属于这一类。尤其是那些你希望得到“确定性答案”的问题：不是查 100 个来源，也不是 1000 个，而是 1 万个甚至更多。比如我们的一个客户 Parallel Web Systems 想建立一个权威信息索引：覆盖整个互联网，并实时监控互联网发生的变化。这种疯狂到 exabyte 规模的任务，需要一种完全不同的智能形态，或者说完全不同的智能规模。 **Neil Movva：** Deep research 是我们最重要的类别之一，网络安全也越来越往这个方向走。你当然可以生成海量代码，但“破坏同一段代码”的方式数量是指数级更多的。有些很优秀的客户正在努力做这样的 Agent：它能攻击任何软件，再主动把漏洞补上。 **Neil Movva：** 比如 Fable 刚出来时——或者 Mythos 刚出来时——网络安全社区出现过一股冲动：把 Fable 跑遍我们写过的每一行代码，用 20 种不同的方法找 bug。既要找内存错误，也要找业务逻辑错误，还要找网络漏洞等等。实际上，这些方向最好分别写专门的 Agent。你不会只是让 Fable 看一遍源代码，而是会让它真正搭建环境，对应用做渗透测试。 **Neil Movva：** 后来有人开玩笑说，安全已经变成了“proof of work”。你想知道一款软件有多安全，本质上可以问：你花了多少钱调用 Anthropic 的 API 来试图攻破它？因为这大概就是今天世界上最好的工具，也是软件安全程度最好的一个信号。 **Neil Movva：** 而且我们越来越发现，智能的前沿是很“锯齿状”的。并不是说大模型会找到小模型能找到的所有 bug，再额外找到更多；有些 bug 小模型能找出来，大模型反而找不到。 ## [8:22] 便宜智能能解锁什么：主动式 Agent 与可验证问题 · YouTube **Neil Movva：** 比如，有些 bug 你用 Haiku 能找到，用 Fable 找不到，反过来也一样。这会鼓励一种很多样化的采样方法：构建一组能够自主攻破软件的安全 Agent，然后据此修复漏洞。 **Patrick O'Shaughnessy：** 如果稍微更大胆、更有想象力一点呢？我们已经讲了 deep research、网络安全这些很实际的例子。假设这种极其便宜、可以运行极长时间的 Agent 真正成熟了，它会解锁哪些全新的产品类别？换句话说，如果你们取得最大程度的成功，做个梦：那会让什么成为可能？ **Neil Movva：** 对个人用户来说，我最兴奋的是“主动式智能 Agent”。你可以想象一个一直在后台运行的 Siri：它理解你一天收到的所有邮件、所有短信，因此对你的生活有一种更百科全书式的认识，也更知道怎样帮你。今天我们还停留在很多点状解决方案，所以人仍然得不停 prompt；Siri 并不主动。而“充裕的推理”可以改变这件事。 **Neil Movva：** 如果你足够信任机器——既相信它可靠，也相信它在隐私意义上值得信赖——那甚至可以想象，机器能够理解你平时怎样与它互动，然后每次你打开手机时，主动把你下一步最可能需要做的事呈现出来。我们能不能建立一个很好的模型，预测你接下来会做什么？我的判断是：完全可以。 **Neil Movva：** 这件事的关键，就是极其便宜的智能。你必须愿意在完全没有回报承诺的情况下先花 token，这才是真正的解锁点。 **Neil Movva：** 把镜头拉长一点看，我们现在已经拥有一种可以处理任何“可验证问题”的智能。任何可验证问题，包括大多数软件问题、很多形式化数学证明，也可能包括科学发现；这些都相对容易验证。今天所有这些问题背后其实都隐含着一个美元成本：你究竟能调动多少 token 来把问题解决？我们已经开始让长时任务的成本进入一个可想象、可承受的范围——不再是数百万美元，而是数千美元；不久后可能是几百美元，甚至几十美元，就能对一个科学问题或研究问题得到一份非常充分的答案。 **Patrick O'Shaughnessy（广告口播）：** Ramp 是一个为了让财务团队更精干、更快、更高效而打造的平台，平均每年能为企业节省约 5% 的成本，让公司把注意力留在增长上。Ramp 客户的营收增长速度约是美国普通企业的 3.2 倍。Visa、Vercel、Cursor、Stripe、Notion、ElevenLabs、Shopify 以及另外 7 万家企业都在使用 Ramp；我的公司也一样。详情见 ramp.com/invest。 **Patrick O'Shaughnessy（广告口播）：** OpenAI、Cursor、Anthropic、Perplexity 和 Vercel 有一个共同点：它们都使用 WorkOS。企业级规模化采用需要 SSO、SCIM、RBAC、审计日志等核心能力。与其花几个月自己搭这些关键设施，不如直接用 WorkOS 的 API，在第一天就获得它们。很多顶尖 AI 团队都已经在 WorkOS 上运行。WorkOS 的价值，是让你最快达到 enterprise-ready，同时继续专注真正重要的产品。详情见 workos.com。 **Patrick O'Shaughnessy（广告口播）：** Rogo 的 Felix 是一个个人金融 Agent。你只需要给出一条 prompt，它就能利用你所在公司的模板、上下文和标准，交付可以直接给客户的成品。你可以给 Felix 发邮件说：“把这些评论替我整理成成品”，或者“结合这些邮件的上下文更新我的 tracker”。它会返回完成的 PowerPoint、Excel 模型和带来源的研究，全天候按团队原本的工作方式交付。详情见 rogo.ai/felix。 **Patrick O'Shaughnessy：** 如果我们真的沿着这个未来做梦，到最后是不是就只受限于“人类能提出什么问题”？ **Neil Movva：** 基本就是这样，限制大致会变成我们能够提出什么问题。模型已经接近这样一种状态：你甚至只给它一个高层问题，它自己就能一路追下去，把所有可能的后续问题都展开并处理掉。 **Neil Movva：** 最终问题就变成：你的 token 预算有多少。而我们会把 token 预算这个问题解决掉。 **Patrick O'Shaughnessy：** 那不可验证的任务呢？ **Neil Movva：** 我会把几乎整个“人类品味”类别都放在这里。我们还没有解决人类品味，我也不知道它从根本上是否能够被解决——我很期待未来被事实打脸。但我们今天聚焦的是非常定量的问题。至于写作的品质、艺术的美，我们还是把它们留给人。 **Patrick O'Shaughnessy：** 好。那现在来谈谈你希望搭出来的这套非常聪明的技术栈。最终目标，是拥有一个巨大的 token 工厂，成为极低成本智能的供应商。你的框架大概分成软件、硬件和电力三个层次。把你的总计划讲一遍吧：你准备怎样解决这个和其他人思路很不一样的挑战？ ## [13:09] 在 NVIDIA 的经历：Tensor Core 与“光速”文化 · YouTube **Neil Movva：** 我们永远得先从软件开始。问题是：在今天的芯片、今天的数据中心上，还有什么机会可以提高效率？我们做的第一件事，是围绕 GPU 的峰值效率重新搭整套大模型软件栈。也就是说，我们仍然用 NVIDIA GPU，但希望同一块芯片吐出的 token 比世界上任何人都多。这要从最底层的 kernel 编程开始。 **Neil Movva：** 这其实就是我的背景。我整个职业生涯都在做 GPU 和 kernel。还在大学时，我的第一份工作就在 NVIDIA；我也亲眼看到 Tensor Core 是怎样一步步证明自己“有资格”占据芯片面积的。那还是 2016 年。 **Patrick O'Shaughnessy：** 给普通听众解释一下，这句话是什么意思？ **Neil Movva：** Tensor Core 是 GPU 上一个专用单元，用来加速矩阵乘法，就这么简单。当然，Tensor Core 后来怎样一代代演化，背后有很长的历史，我们后面会谈到。 **Patrick O'Shaughnessy：** 为什么矩阵乘法这么重要？ **Neil Movva：** 这是个很好的问题。我没办法声称宇宙里存在某条神圣真理，解释为什么矩阵乘法偏偏像计算的“原子单位”。我听过一种说法：它是一种极其简洁的办法，让两块数字彼此混合、以某种有意思的方式发生相互作用。我大概只能说到这里。对我们很方便的一点是，线性代数恰好能非常紧凑地表达数据里的任意关系。 **Neil Movva：** NVIDIA 显然是一家伟大的图形公司，它在 GPU 和游戏图形领域长期占据主导份额。到了 2010 年代中期，它开始做一些类似 skunkworks 的项目，让图形处理器更适合他们正在观察的机器学习任务。我还记得在 NVIDIA 时读过一些经理的实验记录：他们会去当时还很小的 ML 会议，比如 ICML、NeurIPS，然后记下论文，说“这个 deep learning 好像开始起来了；有意思的是，这些研究生竟然在用 NVIDIA 的游戏 GPU 训练大模型，我们应该仔细看看这里发生了什么”。 **Neil Movva：** 到 2015、2016 年，至少 Jensen 已经有足够的信念加码：这种对我们芯片的用法只会继续增长，那就应该开始把越来越珍贵的硅片面积分给这项新能力，于是第一代 Tensor Core 被放进芯片。你可以想象：这原本是一块为了在屏幕上画像素而设计的游戏芯片，现在要把它改造成做矩阵乘法的机器，而且当时非常早。 **Neil Movva：** 你要更多硅片面积时，本质上是在和图形团队竞争。任何芯片公司都会有这种争夺，因为 die area 是设计师极其谨慎看守的资源。你永远不想押错技术；给了错误功能的面积，就是没有给别的功能的机会成本。所以我们几乎是拼命争，第一代芯片最后只拿到很小一块面积，也许 5% 到 10%，用来对当时计算机视觉模型的基础操作——卷积——做一些加速。 **Neil Movva：** 然后我们有一支软件团队，负责把芯片里的每一点性能都挤出来，我就在那支团队。NVIDIA 最影响我的，其实是那里围绕性能形成的一套 ethos。他们有个词叫 **speed of light（光速）**：任何硬件都要追它理论上能达到的“光速”。这个观念深深刻在每个工程师脑子里——只要机器理论上能做到，我们就会一路把它推到边界，让它达到我们认为应该达到的水平。 **Patrick O'Shaughnessy：** 所谓“光速”，就是可能性的极限。 **Neil Movva：** 对，光速就是可能性的极限。假设我们认为这块芯片能跑到某个频率、每个 cycle 能做这么多乘法，那我们就一定要到那里。所有瓶颈都要拆掉，直到达到峰值性能。直到今天，我还会告诉所有工程师：我们追的是 100% 的 speed of light。我不在乎和竞争对手比出来的相对数字，只在乎绝对数字——这块芯片究竟能做什么，我们怎样把它真正做到。 **Patrick O'Shaughnessy：** 在离开你 NVIDIA 那段经历之前，除了这种文化触点，还有什么东西真正改变了你的思考方式？或者当时公司怎么经营、文化是什么样，有什么最让你印象深刻？ **Neil Movva：** NVIDIA 的故事我太多了，可以讲几个。我最喜欢的一点，是人员任期。2015、2016 年和我一起工作的很多人，今天仍然在那里。 ## [17:10] 吞吐量与延迟的取舍：为什么不依赖 NVLink · YouTube **Neil Movva：** 那家公司留人的能力不可思议。而且坦白说，至少在硅片这一侧，他们是我整个职业生涯合作过最好的工程师。他们极度有动力、极度有热情。他们相信 parallel computing 这个概念，不管它经历什么形态变化，都一直喜欢看芯片如何演化。这是他们一辈子的事业，而且他们在这个方向上的能力极强。 **Neil Movva：** NVIDIA 也非常节俭。我猜 2008 年之后硅谷公司普遍都砍过一些福利，比如没有免费午餐。NVIDIA 还更进一步：冰箱里连免费牛奶都没有。你在 NVIDIA 喝咖啡想加牛奶，就得每个月给“milk club”交 1 美元，然后这个俱乐部的人去 Costco 买牛奶放进冰箱。我对此记得非常清楚。我们 Sail 倒没有这么干。 **Patrick O'Shaughnessy：** 但这种节俭确实渗透整家公司。所以你从那段经历里得到的，是一种通过软件把底层硬件利用得更高效的经验。 **Neil Movva：** 对，对，对。 **Patrick O'Shaughnessy：** 那把它连到今天的环境里讲讲。 **Neil Movva：** 可以。GPU 从根本上是一台 throughput machine，也就是吞吐机器。你给它大量工作，让计算单元保持最高利用率，把这些工作一批批吃掉时，它最开心。但过去几年 AI 的发展方向其实不是这样。今天 AI 最常见的使用形态，是交互式聊天机器人；在这种世界里，你非常在乎尽快把答案吐给坐在键盘前的人。就像你前面说的：别让用户等，我什么都想要最快。 **Neil Movva：** 这对 GPU 来说反而很有意思：当你的目标是尽快吐 token 时，要把 GPU 放在“所有计算单元都被充分利用”的快乐路径上其实很难。GPU 上存在一个非常基础的权衡：要么偏吞吐量，要么偏延迟优化。过去所有人几乎都选了延迟，因为用户形态是 chatbot。 **Neil Movva：** 我认为未来一年最深刻的变化，就是我们会从 chatbot 转向更主动、或者在后台运行的 Agent。在那个世界，围绕吞吐量来搭技术栈就合理得多。 **Patrick O'Shaughnessy：** 从技术上解释一下，为什么吞吐量和延迟之间的权衡这么难打破？为什么同一套硬件不能两者兼得？ **Neil Movva：** 这几乎是所有系统里都很基础的一条规律：让少量数据以最快速度穿过系统，和让系统一次装下大量工作之间，总有权衡。计算机科学里很经典的说法就是“窄而快”和“宽而慢”。 **Neil Movva：** 对 GPU 来说，最值得关注的是 batching，也就是批处理。我们希望把很多用户的工作组合成一个 batch，一次性放到 GPU 上跑；这就是 GPU 的并行处理能力，我们希望始终有大量并行工作可做。问题是，batch 越大，你实际做的总工作量也越多。你也许把所有计算单元都填满了，但这个 batch 在 GPU 每走一步，需要完成的工作更多，所以 batch 里的某一个 token、某一个用户请求，会因为和别人的流量一起被搬运而在 GPU 上待得更久。 **Neil Movva：** 也许可以拿旧金山市中心打比方。你可以坐公交，也可以坐一辆私人车。私人车可以沿着最直接的路径，从 A 点直达 B 点，只走你最想走的路。公交车得服务很多人，所以必须走一条对所有人都适用的路线，而且还要停车，等别人上下车。因此它从根本上就会更慢。公交车和私家车这个比喻，我觉得相当准确。 **Patrick O'Shaughnessy：** 这个比喻很好。所以你们要做的第一步，可以理解成：先在 NVIDIA GPU 上造出世界上最好的“公交车”。这是第一层优化。 **Neil Movva：** 完全正确。这会让我们探索不同的并行方案。举个例子，NVIDIA GPU 上做得非常出色的一项创新，是 GPU 之间的 NVLink 互连。NVLink 好到什么程度？如果你有一个很大的矩阵乘法，希望把它更快做完，你可以把这个矩阵乘法切开，分片到两块、甚至最多比如八块 NVIDIA GPU 上，让它们各自处理大矩阵的一部分。 **Neil Movva：** 最后再把各块结果拼回去，也就是 reduce 回一个完整结果。这是降低某个操作“最低可能延迟”的非常好办法。假设用了八块 GPU，每块现在只做原来 1/8 的工作，所以确实会更快；但不会快 8 倍。这是次线性扩展：硬件花了 8 倍，速度也许只得到 4 到 5 倍，而不是 8 倍。 **Neil Movva：** 原因包括通信开销，也包括 GPU 在更小工作 tile 上的效率会比大 tile 更低。如果你非要把延迟压到最小，这几乎是唯一办法；可以这么做，但它不是我会选的方案。我更愿意采用其他并行方式，比如 expert parallelism 或 pipeline parallelism。我们还可以设计一些办法，把通信延迟重叠掉、隐藏掉；低延迟服务器通常没这么多空间去做这些事情。 **Patrick O'Shaughnessy：** 那么把 NVLink 理解成一种主要提升延迟表现的技术，是不是对的？ **Neil Movva：** 对。 **Patrick O'Shaughnessy：** 而且基本就是为了延迟？ **Neil Movva：** 对——这也正好带到下一段，也就是我们这家公司会做什么不同的选择。NVLink 对低延迟推理，我会说几乎是必需的。 **Neil Movva：** NVIDIA 在低延迟推理上极其优秀，而我现在告诉你，我们其实没那么在乎低延迟。那接下来怎么办？我的判断是，短期内别指望其他公司很快复制出 NVLink。这是一项很难的技术，很难扩展，也很难产品化。 **Neil Movva：** 可是假设另一家供应商的芯片在基础计算上很好，矩阵乘法照样做得很强，只是没法很快地和周围其他芯片交换结果，那它仍然可能在我的技术栈里成为一个“每美元计算量极高”的选项。而这往往正是我真正优化的指标：这块芯片有多少 FLOPS？我拥有并运行它，每小时究竟花多少钱？ **Neil Movva：** 的确有一些芯片在 FLOPS / dollar 上比 NVIDIA 更高，只是互连能力没那么强。那我的工作就是找出一种并行方案，让这块芯片仍然适合做推理。它不会是 tensor parallelism——那个方向 NVIDIA 基本是强制选择——但其他技术可能非常适合我。 ## [23:27] SRAM、DRAM 与 Cerebras 的整片晶圆路线 · YouTube **Patrick O'Shaughnessy：** 在离开“延迟”这个主题之前，能不能谈谈 Cerebras 以及其他能做到极快运算的公司？我很好奇你怎么看这些方法、这些公司，以及未来可能发生什么。你对“极低延迟专用硬件”的未来有什么预测？ **Neil Movva：** Cerebras、Groq，以及另外几家刚从 stealth 状态出来的公司，做了一个很有意思的赌注：它们不是简单再造一块 GPU，而是在造另一类加速器，围绕完全不同的内存层级来设计。它们希望把芯片上的 SRAM 数量做到最大，把它当成存模型权重和 KV cache 的极高速内存。 **Neil Movva：** 先解释 SRAM 和 DRAM。做芯片内存有两条路线。一条是把内存直接集成在逻辑 die 上，也就是告诉 TSMC：“我想在这块芯片里放多少 MB 存储。”TSMC 有标准单元库，你可以直接铺大量 SRAM 单元。问题是 SRAM 很占硅片面积。比如 NVIDIA Blackwell 是大约 800 平方毫米的巨型 die；就算整个 die 全做成 SRAM，也大概只有个位数 GB，并不是夸张大的容量。 **Neil Movva：** 另一条路线则完全换一种工艺：不再由 TSMC 做逻辑芯片，而是交给 Micron、SK hynix、Samsung 这些公司做 DRAM。DRAM 的制造方式完全不同，更依赖电容而不是晶体管单元。标准 SRAM 通常是所谓 6T cell，也就是六晶体管单元；你往里写一个 bit，它的晶体管结构会稳定保持这个状态——当然仍然要供电，但不需要持续主动管理，所以叫 static RAM。 **Neil Movva：** DRAM 之所以叫 dynamic，是因为写数据时，本质上是给电容写入电荷，而电荷一写进去就开始泄漏。所以大概每 50 毫秒，你就必须把写过的每一个 bit 刷新一次。就像同时在空中抛着数十亿个球：内存控制器必须不断读、刷新 DRAM 里的每一个 bit。 **Neil Movva：** 好处是 DRAM 的密度高得多，而且它是一套完全不同的工艺技术。这背后有无数取舍，所以 DRAM 制造才会分化成 Micron、SK hynix、Samsung 这样的独立公司——它们就是世界上最擅长做这件事的人。你把这些公司做的 DRAM 叠很多层，再放在 NVIDIA 逻辑 die 周围，就能得到数百 GB 容量。比如 Blackwell 周围有大约 288 GB HBM，而逻辑 die 本身的 SRAM 可能只有约 500 MB。DRAM 和 SRAM 的密度可以差两到三个数量级。 **Neil Movva：** 再回到 Cerebras。SRAM 密度很难明显提高，但 SRAM 有另一个巨大的好处：它在物理上离真正做计算的逻辑门极近，算术逻辑单元就在旁边，所以做矩阵乘法的计算单元可以以惊人的速度从 SRAM 取数据。Cerebras 对其 Wafer-Scale Engine 3 报出的数字大约是每秒 21 PB。相比之下，NVIDIA Blackwell 的 HBM 带宽大致在每秒 10 TB 这个量级。又是好几个数量级的差异：DRAM 容量更大，但相应地带宽更低。 **Neil Movva：** Cerebras 的做法就是：尽可能把更多 die 连在一起，而且不再受传统大约 800 平方毫米 reticle limit 的限制。他们直接使用整片 wafer，让各个 die 跨过 scribe line 互相连接，目标就是在整片 wafer 上塞进尽可能多的 SRAM。 ## [27:28] KV cache 与异构芯片：极快路线的边界 · YouTube **Neil Movva：** 这样一片 wafer 可以做到比如 50 GB SRAM；然后再把多片 wafer 以 pipeline 或类似方式堆起来，最终可以得到接近 1 TB 的超高速内存。你做这一切，核心就是为了获得“每片 wafer 每秒约 21 PB 的 SRAM 读取能力”。于是服务语言模型时，token/s 可以高得惊人：像 Kimi 这种大模型的整个参数集合，都能在大约 1 毫秒左右被送进、送出逻辑计算核心。 **Patrick O'Shaughnessy：** 所以这就给了你一条通往每秒 1000 token 的路径。那你怎么预测这个市场分支的未来？ **Neil Movva：** 我觉得最终会出现某种混合结果。Cerebras 的芯片在自己强的地方——极快内存访问——和另一种容量更大的内存系统配合使用。你确实可以拿一个 1 万亿参数的模型，比如 Kimi，用大量 Cerebras wafer 把它装进去；但 KV cache 就没那么容易处理。 **Neil Movva：** KV cache 会随着用户使用模型而增长，而且一直是动态的。你事先根本不知道需要多少 KV cache，因为它取决于用户在做什么、你有多少用户、同时想服务多少用户。 **Patrick O'Shaughnessy：** 能不能非常基础地解释一下 KV cache？ **Neil Movva：** 可以。你每次用语言模型时，送进模型的每一个 token，在这次对话持续期间都会留在模型的上下文窗口里。比如我们聊了 10 万个 token，那么第 100001 个 token 生成时，前面那 10 万个还都在上下文里，模型会参考整个历史对话，来更好地预测下一步该说什么。 **Neil Movva：** KV cache 就是用来存这部分信息的内存。你送过模型的每个 token，都需要保存一个表示。它经常会大到超过模型权重本身。我喜欢这样理解：模型权重里是已经“结晶”的知识；KV cache 里则是这场具体对话形成的动态知识。 **Patrick O'Shaughnessy：** 对，这是不是也解释了一个现象：对话特别长以后，有时大家会感觉质量开始下降，因为某个技术问题出现了？ **Neil Movva：** 是。KV cache 在这里很有意思，因为它确实是此前一切信息的精确表示——我们把对话里见过的信息都存下来了。但训练时，模型主要并不是在超长上下文对话上训练的；它也许主要看的是 8000 token、16000 token 的对话。 **Neil Movva：** 所以你把模型推到 20 万 token，虽然训练中也有过这个长度的数据，但那不一定是模型真正的强项。Frontier Labs 一直在面对一个问题：怎么让模型在 20 万 token 时，和在 1 万 token 时一样聪明？这会是长期存在的战斗。100 万 token 上下文这个概念已经存在好几年，我印象里 Anthropic 是最早做到 100 万上下文长度的公司之一；但我自己用 Claude Code 时，远远没到 100 万 token 就会先 `/compact`。我并不觉得真的把窗口吃满效果就很好。 **Patrick O'Shaughnessy：** 所以这些极快、极低延迟路线，到最后都会受 KV cache 这个因素限制？ **Neil Movva：** 对。模型权重要怎么存，你可以想很多办法，甚至可能做到无人能敌的性能；但 KV cache 会一直是一个很大的麻烦。 **Patrick O'Shaughnessy：** 那三年、五年以后，这种芯片到底扮演什么角色？在异构芯片市场里，它们会有多大份额？ **Neil Movva：** Cerebras、Groq，再加上也许另外几家公司，我更愿意把它们看成“加速器”。它们真正擅长的，是和更传统、而且关键在于拥有 off-chip memory 的 GPU 类设备一起用。你要 off-chip memory 的容量，也要 on-chip memory 的速度，最终需要把两者混合起来。 **Neil Movva：** 把 Transformer 推到极端，比如 100 万 token 的上下文，最终会出现两个非常不同的阶段：一个是 compute-bound 的阶段，也就是 MLP 里真正做矩阵乘法的部分——模型大部分世界知识都编码在那里；另一个是 attention 层，也就是模型根据当前对话动态适应的地方。 ## [31:28] Transformer：能扩展的优势与内存瓶颈 · YouTube **Neil Movva：** 在足够长的上下文里，attention 通常是 memory-bound；而 batch 足够大时，MLP 通常是 compute-bound。我有时会说，Transformer 的“原罪”就是把一个从根本上受内存约束的层，紧挨着一个受计算约束的层放在一起。要造一块同时特别擅长计算操作和内存操作的芯片很困难。GPU 在这两者之间平衡得很好，但最终还是有取舍。 **Neil Movva：** Cerebras 在快速内存访问方面很强，所以它非常适合承载 MLP，也就是那些权重；而 GPU 有更大的内存容量，可以扩展到很长的上下文。因此一种理想组合可能是：attention 放在 GPU 上，MLP 放在 Cerebras 上。我相信 NVIDIA 和 Groq 之间正在探索的方向，本质上也有这种味道。 **Patrick O'Shaughnessy：** 你能不能花一分钟讲讲 Transformer？你解释这些底层概念一直非常清楚。对那些并不真正熟悉 2017 年这项创新的人，解释一下它究竟创新了什么、优势和弱点是什么，以及你觉得它未来会不会继续保持主导架构、或者至少是主导架构之一。 **Neil Movva：** Transformer 最重要的一点，是让我们非常有效地从无监督数据里学习。它归根结底是在拿任意序列、任意一串数据，寻找里面的模式。headline 级的核心组件 attention，允许模型在每一步动态判断：这段序列里，眼下究竟哪一部分最相关。 **Neil Movva：** 你每经过 Transformer 的一个步骤，本质上都在重新给之前看过的输入加权，判断哪部分对下一次预测最重要。所以它特别适合学习任意序列数据。而我们日常产生的最有意思的序列数据，就是语言，这也是 Transformer 最终统治语言领域的原因。 **Neil Movva：** 再把镜头拉远，我觉得 Transformer 真正厉害的是“能扩展”。它不需要太强的人类先验。它的态度几乎是：这串数据里一定有什么模式；只要模式存在，我就去找。我会不断给这个问题加更多参数，直到它有效。 **Neil Movva：** Transformer 也继承了很多计算机视觉时代的成果。计算机视觉早年有一个困难：传统线性模型，比如支持向量机之类，可能只有几千、几十万参数；后来 deep learning 把我们带到数千万参数。当时计算机视觉里大约 1.5 亿参数已经是巨型模型。今天我们却动辄讨论上万亿参数。Transformer 就是把我们从“百万级”带到“万亿级”的关键桥梁。 **Patrick O'Shaughnessy：** 如果扩展最重要的两个单位是数据和计算，是不是因此可以推断：Transformer 会继续存在，因为这恰好是我们很擅长不断增加的两样东西？当然，数据还是个开放问题，但计算似乎是。 **Neil Movva：** 对。Transformer 就像非常好的海绵。你把可用计算量增加 10 倍，总会在某处得到某种对数式的改进。到目前为止 scaling laws 确实有效，而且很漂亮。 **Neil Movva：** Transformer 另一个特别强的地方，是几乎什么数据集扔给它都能学，是非常强的通用学习器。和那些试图替代 attention 的技术相比，我尤其看重一点：Transformer 可以表达你想要的任意 pairwise relationship。序列里任何一个 token 都能 attend 到任何另一个 token。只要关系存在于这段序列里，Transformer 就有机会找到它。 **Neil Movva：** 当然，你也许并不需要真正的 all-to-all，不需要每个 token 都去看其他所有 token。但如果你需要，Transformer 给了你这个选择。在我们找到更好的办法，把这个空间可靠地剪枝、让信息建模更有选择性之前，attention 仍然是一个非常非常好的操作。 **Neil Movva：** 这也有点像我们在计算机视觉时代学到的一个技巧。Karpathy 有个老说法：拿到一个新数据集、想训练模型时，第一目标应该是先把模型过度参数化，故意把现有数据 overfit。你先证明这组数据里确实存在一种可建模、可记忆的关系，证明你的学习算法有效、知识确实能被装进模型。 **Neil Movva：** 一旦你能 overfit，再去压缩。压缩才是得到泛化能力的过程。你并不想真的把眼前数据逐条记住，而是希望泛化。所以先把数据集过拟合，然后再往回走，找出能用最小参数量表达的通用模式。 ## [36:14] 数据的下一阶段：RL 环境，以及 kernel 优化 · YouTube **Patrick O'Shaughnessy：** 你对数据的未来有什么预测？也谈谈数据在整个故事里到底有多重要。 **Neil Movva：** 我很喜欢一句话：互联网是数据上的一次性补贴。我们几乎免费得到了它，而且质量极高——大约有 30 万亿 token 的高质量文本；如果把“好文本”的标准放宽一些，大约是 300 万亿 token。但这些东西我们基本已经都看过了。今天的模型已经把整个互联网看过很多遍，所以从互联网的人类数据里再榨出更多东西，空间已经不大。 **Neil Movva：** 我认为数据的下一阶段，是模型通过 RL environment gym 自我改进。甚至随机用户与 AI 的更多互动，对我们都未必还有多大价值。以前我们很重视一种新数据：人们使用 ChatGPT 之后留下的互动数据，比如他们喜欢什么、不喜欢什么。 **Neil Movva：** 但今天有个我很认同的观点：我们服务的中位数模型，能力已经远远超过一个随机普通人给反馈时的水平。随机人类偏好——或者说未经条件筛选的人类偏好——可能已经没什么信息价值了。你现在真正需要的是**专家的人类偏好**。模型已经超过日常普通人的反馈水平。 **Patrick O'Shaughnessy：** 就是 generic 的“普通 Joe”。 **Neil Movva：** 对，普通人。于是我理解的数据未来，是给模型一个困难但可验证的任务，让它在一个隔离的“gym”里持续跑；那里只有一个问题，它可以不断尝试，并获得明确反馈：到底有没有朝目标前进。 **Neil Movva：** 编程问题属于这一类，数学问题也属于这一类。越来越多时候，我们甚至可以直接给 Agent 一台电脑，让它像一个人类员工那样工作，只告诉它有没有朝目标结果前进。于是，**环境本身就变成了数据**。这并不是一个特别独特的观点，但从我目前看到的效果，它确实非常非常有效。 **Patrick O'Shaughnessy：** 你觉得这种模式会持续非常久吗？还是说它也像互联网一样，是另一个巨大的“一次性数据块”：有自己的黄金时期，等我们把里面能拿的都拿完，又得寻找下一种东西？ **Neil Movva：** 我觉得它比那更深刻。如果你想得到 AGI，一个很直观的路径就是不断堆叠各种专门智能，直到再也没有能力缺口。要让这件事成立，唯一必须守住的条件是：任务得可验证。你必须给模型一个能自我评分的系统。 **Neil Movva：** 只要有了自我评分，你就拥有一套能在任何任务上自我改进的配方。Frontier Labs 的开支变化也印证了这一点：以前它们会把大量钱花在数据上，现在越来越多钱花在 RL environments 上。这些环境恰恰捕捉了“在一个可验证任务上递归自我改进”的关系。 **Patrick O'Shaughnessy：** 好。我们刚才开了不少支线，我很喜欢，但现在回到最初的任务：让现有硬件变得更高效。 **Neil Movva：** 对，对，对。 **Patrick O'Shaughnessy：** 通过软件，让你们对硬件层实际发生的事拥有更多控制。那就继续讲：你们已经做了什么、还想做什么；然后我们再跳到硬件，最后谈能源。 **Neil Movva：** 好。我刚才提到 kernel。很多人会惊讶地觉得 kernel 这件事是不是“已经做完了”。其实还有像 Tri Dao 这样的人写出非常优秀的 kernel，它们构成现代 deep learning 的基石——FlashAttention 就是现代 Transformer 的基础之一。 **Neil Movva：** 只要你稍微偏离 happy path，一切又会变化。比如新模型用了一种略不同的位置编码方式，像 RoPE 系统发生变化，原有 kernel 就可能不再适合，需要打补丁。我不会说我们现在还得从零发明大量新 kernel，但**快速修改现有 GPU kernel 的能力**仍然非常重要。 **Neil Movva：** 顺便解释，kernel 是一个很泛的词，基本可以指任何在 GPU 上运行的程序。传统上，kernel 会放在库里，每一个目的都非常窄：矩阵乘法一个 kernel；哪怕只是把两个 tensor 相加，也可能是另一个 kernel。 ## [40:14] Kernel 融合、白板编程与 rack 级优化 · YouTube **Neil Movva：** 现在我们越来越多地把 kernel 融合起来。比如先做矩阵乘法，再把结果和另一个矩阵乘法结果相加，也许可以把这两步变成同一个 kernel。这样就不需要先把数据写回 DRAM，再读回来只为了做一次加法，而是把操作直接 fuse 在一起。 **Patrick O'Shaughnessy：** 为什么这件事还要人来做？听起来 AI 应该特别擅长工程化出更高效的 kernel。也许我们只是还没走到那里。如果还没到，未来是不是一定会到？为什么今天还要人写？为什么 Tri Dao 这么知名，连我都知道这个名字？ **Neil Movva：** 我不想替 Tri 讲话，但他教给我的一点是：今天其实未必应该再手写 kernel。我喜欢说，我们是在**白板上写 kernel**。先去白板上描述机器应该做什么，然后用自然语言把这个策略简洁地告诉模型。模型负责执行：“这是输入和输出，这是我们希望怎样把工作调度到 GPU 上，我来实现。” **Patrick O'Shaughnessy：** 所以人做的是概念设计。 **Neil Movva：** 完全正确。我也说不清为什么模型今天还没有特别擅长这件事，但这绝不是遥不可及。我很确定六个月后，kernel engineering 模型会强得多；Frontier Labs 很可能会告诉你，它们已经有大量 kernel engineering 是全自动完成的。 **Patrick O'Shaughnessy：** 那如果把“软件优势”定义成：让底层硬件尽可能接近 speed of light 地高效运行——这种优势是不是会随着时间逐渐不再成为你们公司的独特优势？ **Neil Movva：** 对。像 Mythos、GPT-5.6 Sol 这种能力上升的“潮水”，会把所有船一起托起来，确实如此。我甚至不觉得有必要为了 kernel engineering 单独训练一个专门模型；它并不是“通用编程”里最值得单独特化的子集。也许你可以往 prompt 里注入一些特权信息，让模型更会写 kernel，但总体来说，这项能力上我们所有人都处在 frontier model 的下游。 **Patrick O'Shaughnessy：** 我一直很喜欢能源史里的一个类比：原始能源比如一块煤，里面有一定总能量；另一件事则是我们究竟能利用其中多少。能源史很大一部分，就是把利用率从 10% 推到 95% 之类的数字。 **Neil Movva：** 对，对，对。 **Patrick O'Shaughnessy：** 如果把 Blackwell 当成那块煤，我们今天大概在哪里？一块现成芯片，我们到底能把它利用到百分之多少？ **Neil Movva：** 这可以从很多角度分析。当 GPU 正在做自己最喜欢的事，也就是大尺寸矩阵乘法时，我们其实已经非常高效。那个操作可能能跑到峰值利用率的 70% 到 80%。而且这时限制它的往往不是软件，而是电力。 **Neil Movva：** NVIDIA 报 peak FLOPS 的方式有一点乐观，因为现实里会有 power throttling，你通常达不到纸面峰值。 **Patrick O'Shaughnessy：** 因为热？ **Neil Movva：** 对，准确说是 thermal。假设实际 70% 到 80%，那已经相当饱和、相当好了。但现实里，Transformer 并不会大部分时间都待在这个 happy path 上——也就是用巨大 batch 做矩阵乘法。 **Neil Movva：** 所以我们的工作，就是围绕芯片造一台“发动机”，不断把大 batch 的工作喂给 GPU，让它尽可能一直处于这个高效区域。 **Neil Movva：** 去年 GPU 世界最深刻的变化之一，是编程单位发生了改变。你不再应该一块 GPU、一块 GPU 地想；应该想整个 rack，甚至整个 cluster、整个数据中心。NVIDIA 也开始不只是卖单 GPU 或单主板，而是直接规定整个 rack 系统。他们叫它 NVL72；最新的 Grace Blackwell 300 会以 72 个单元的机架形态交付。 **Neil Movva：** 现在是一场公开竞赛：谁能最高效地给这台 rack-scale computer 编程。我的信念是，这种计算形态会同时成为效率和速度的未来。 **Neil Movva：** 事实上，至少以现在来说，如果你想要最低可能延迟，NVIDIA 这套芯片很可能就是应该选的；如果你想要最高吞吐量，眼下大概也还是应该选它。关键在于，我们刚刚进入一种非常新的编程范式。 ## [44:32] 芯片稀缺与算力套利 · YouTube **Patrick O'Shaughnessy：** 大家常说，现在最好的芯片——比如 Blackwell——那个市场简直像毒品市场一样。因为所有人都缺货，为了尽可能多拿到芯片，各种很奇特的事情都在发生。这个比喻符合你的体感吗？ **Patrick O'Shaughnessy：** 另外也想听你讲讲“不是最前沿芯片”的市场。假设我愿意接受略差、甚至中等程度更差的芯片，那个世界是什么样？带我们进去看看。 **Neil Movva：** 好。第一，NVIDIA 对自己的芯片一直有长期视角。他们看到 Blackwell 的需求极其巨大，当然也可以像历史上一些供应商那样，直接把价格疯狂往上提，直到供需曲线重新相交，理论上市场又“平衡”了。但 NVIDIA 明白，如果只让口袋最深的人拿走所有芯片，长期可能反而伤害自己——因为那个客户会积累越来越大的力量。今天 compute 就是 power，所以 NVIDIA 在怎样分配算力这件事上很有策略。 **Neil Movva：** 第二，关系非常重要。没有人愿意突然接受一家新创业公司的巨额租赁订单：“我要租 1 万块 Blackwell，租三年或者五年。”这家公司也许才成立几个月，谁知道它三年后有没有钱付款？所以今天说服别人给你算力非常困难，要么你有非常深的关系，要么有极其强大的财务支持。 **Neil Movva：** 根本原因还是太稀缺，需求完全爆表。至于其他芯片，我甚至不愿称它们“更差”。我常说：**没有坏芯片，只有糟糕的价格。只要价格合适，我能让任何芯片工作。** 这几乎是我们公司的 ethos 之一。 **Neil Movva：** 以 AMD 为例。我觉得 AMD 整体上是很好的芯片，问题是很多人不太会把它编程到最好。前面我一直讲我们 kernel 团队很强，非常认真地从硬件里挤性能。NVIDIA 对自己的芯片在这方面也做得很好。坦白说，我们在 NVIDIA 上还能榨一点 alpha；但在其他芯片上，可做的事情往往更多，因为供应商出厂时在 kernel 上替你完成的优化没有 NVIDIA 那么多。 **Neil Movva：** 对我来说这甚至更好：还有 alpha 可以挖。别人如果形成“AMD 就是不如 NVIDIA”的印象，我听着简直像音乐。我非常乐意让别人忽视这块芯片，然后我尽可能多买。 **Neil Movva：** 不过今天这话已经没以前那么成立了。AMD 在一些大买家那里其实已经相当受欢迎。公开信息里，Meta 和 OpenAI 都买了很多 AMD，所以 AMD 的供应也越来越被分配完。 **Neil Movva：** 但后面还有很长的公司尾巴，新公司不断出现，比如 Etched、SambaNova、d-Matrix 等。它们最大的挑战是规模：能不能从 TSMC 真正拿到足够多 wafer allocation，把芯片量产到市场里？只要有一块新芯片出现，我就想尽可能早知道，评估我们能不能买下它相当大的一部分供应。 **Patrick O'Shaughnessy：** 所以对你来说，这本质上是一种套利。如果你比别人更擅长从那些关注不足的芯片里榨出性能，就能把算力再卖出去赚出利润，可能成为一门很好的生意。 **Neil Movva：** 完全正确。当然，这并不是说别人只是“skill issue”，不会用芯片。我们在这件事上确实很强，我觉得我们可能是世界上最擅长同时驾驭多种 silicon architecture、并且非常激进地去不寻常的地方找性能的团队之一。 **Neil Movva：** 更关键的是速度：我们愿意多快地围绕一块新芯片改造自己的技术栈。我们没有特别沉重的 incumbent baggage，不会说“我的数据中心供应商只支持这一类芯片，所以部署新芯片会痛苦得要命”。我们有一些非常有创造力、愿意快速行动的数据中心合作伙伴，后面还可以谈到这类新的伙伴。最重要的是，我们不会因为困难就躲开。 ## [48:32] 算力会是泡沫吗：推理支出与互联网泡沫之别 · YouTube **Neil Movva：** 很大一部分事情，真的就是直接说“yes”。TPU？我们喜欢，我们会让 TPU 工作。Trainium？我们也喜欢，我们会让 Trainium 工作。如果它没法轻松工作，那就找办法把它塞进异构 serving system。每一块芯片都有 comparative advantage；我们的任务是找到那个优势，然后沿着那个方向把性能挤出来。 **Patrick O'Shaughnessy：** 在进入硬件、数据中心、能源这些我很期待的话题之前，我想插一个投资者视角的问题。看看内存股；或者我最近最喜欢的一张图，是“半导体占 S&P 500 的比例”。历史上可能是 2%、3%、4%，现在变成 19%、20%、21%。如果你学过市场史，这很容易让人想到很多资产都会先冲到一个疯狂的短期峰值，然后又塌回长期常态。 **Patrick O'Shaughnessy：** 这正是很多投资者害怕的地方。Micron、SK hynix 这些公司让很多人赚了很多钱，但大家又会想：长期看 compute 毕竟是 commodity，不可能永远占全世界总市值的四分之一或五分之一。所以所有人都有点怕。大家承认今天存在巨大短缺，但又觉得“最后总会解决”，这些公司的资本市场位置最终会回归常态。你怎么看这个叙事？ **Neil Movva：** 与其说我是历史的学生，不如说我是历史的一员。我出生于 1997 年，我妈妈在 2000 年前后的互联网泡沫繁荣和崩盘期就在 Intel 工作。我记得 Cisco 曾经是世界上市值最高的公司，Intel 紧随其后。所以我最常拿 25 年前那一段历史和今天相比。 **Neil Movva：** 我认为最大的区别是，历史上很多网络设备投资是投机性的：大家提前押注未来会出现巨大用户需求，但那个需求最后并没有真正到来。而今天 token 消耗、或者更广义的 AI 消耗，已经不是投机。人们买 token，是因为它立刻对自己有价值。你不会囤 token，你会马上把它用掉。 **Neil Movva：** 这甚至和两年前也不同。2023、2024 年 Hopper 一代芯片也经历过 supply crunch，但那时支出主要是 training，而训练天然带有投机性。现在呢？所有公司都在给员工使用 Claude Code 设花费上限。讨论 inference spend 以及预测 inference spend 上升，是完全不同的世界。 **Neil Movva：** 我确实认为 inference spend 会单调上升。推理支出这里，并不存在同样意义上的投机。 **Patrick O'Shaughnessy（广告口播）：** Vanta 为超过 1.6 万家高速成长公司自动化安全与合规，包括 Ramp、Cursor、Harvey，让企业全天候保持 audit-ready。它把自己定位为 Agentic Trust 平台，还帮助企业持续发现审计周期之间、供应商、AI 工具和整个环境里出现的新风险。团队每新增一个工具、供应商每打开一个 AI 功能，都可能带来新的问题，而传统安全体系往往不是按 AI 的增长速度设计的。 **Patrick O'Shaughnessy（广告口播）：** Vanta Agent 像一个全天候运行的 GRC 工程师，在后台发现问题、起草修复方案，并把供应商评估时间最多降低 50%。无论高速增长的创业公司还是全球企业，Vanta 都帮助你建立并证明信任。Invest Like The Best 听众可通过 vanta.com/invest 获得 1000 美元优惠。 **Patrick O'Shaughnessy（广告口播）：** Ridgeline 是面向投资管理公司的端到端 system of record，把 portfolio accounting、reconciliation、reporting、trading、compliance 和内嵌 AI 放到一个统一平台。越来越多机构从 legacy technology 迁移到 Ridgeline，其中一个原因就是它的 AI 功能领先传统投资管理软件。 **Patrick O'Shaughnessy（广告口播）：** 我听很多投资经理谈 AI，大致分成两类：一类不知道从哪里开始，另一类则觉得一个周末就能自己做出 order management system。现实是，经营投资公司永远需要治理、控制，以及数据的 single source of truth。AI 再令人兴奋，也不会改变这个要求。 **Patrick O'Shaughnessy（广告口播）：** 如果你认真考虑公司的 AI 战略，Ridgeline 应该成为讨论的一部分。可以在 ridgeline.ai 申请演示。 ## [52:44] 重塑 AI 数据中心 · YouTube **Patrick O'Shaughnessy：** 回到你对硬件的看法。我们已经聊了芯片、rack、cluster；我很想再谈谈数据中心。你说你们有一些很有意思的合作伙伴，在做很酷的事。你怎么看数据中心的现在和未来？毕竟要服务这么多 inference，数据中心显然是关键，而且这一层现在也有大量创新。 **Neil Movva：** 我们这场对话反复回到一个问题：training 和 inference 到底有什么不同？两年前以训练为中心，和今天以推理为中心，有什么区别？在整个 AI 技术栈里，我觉得最保守的玩家一定是基础设施玩家——数据中心已经很保守，更保守的是 TSMC 这种“芯片基础设施”公司。 **Neil Movva：** 历史上的 AI 数据中心基本都是为 training 建的。Training 是 inference 的超集工作负载：任何训练集群通常都能拿来做推理，但反过来不一定。最关键的区别之一就是 networking：芯片之间需要投入多少带宽？需要多大的 cluster？ **Neil Movva：** 数据中心在某些维度上其实存在**规模不经济**。把 10 万块 GPU 放进一个数据中心，比做 1 万块难得多、贵得多；1 万块又比 1000 块难。现在大家甚至直接用 MW、GW 来讨论规模。但今天在美国，1GW 数据中心基本已经没法轻松建；甚至 100MW 也越来越难，除非你属于极少数特殊客户。10MW 大概已经接近今天可行性的边界，而 **1MW，我会说是相当充裕的**。 **Neil Movva：** 市场里其实存在非常惊人的长尾：把所有零散电力加起来，总量很多，只是不集中。过去建 training 数据中心的人对这种资源没有兴趣，因为训练默认所有 GPU 最好都在一个地方；没人愿意做跨数据中心 training。 **Neil Movva：** 所以市场存在滞后。我今天仍然经常听数据中心开发商说：必须去任何能找到的地方“搜刮”100MW、10MW 的大数据中心。但越来越多新思路的人开始意识到，inference 很适合这些分散的 1MW 数据中心。我们完全认同，也非常愿意在全美国买下很多小池子的 compute，把它们组成自己的 inference fleet。 **Patrick O'Shaughnessy：** 给我们一个真正的物理尺度概念：1MW 和 10MW 大概分别有多大？ **Neil Movva：** 液冷出现以后，这个问题变得很反直觉。现在一个物理 rack 能塞进疯狂高的 power density。以前你听“一兆瓦算力”会想象一个巨大的 data hall、差不多一座仓库；但现在，1MW 大概可以塞进**八个 rack**。每个 rack 差不多冰箱那么大，你就想象八台“冰箱”排成一排——那就是一兆瓦。 **Patrick O'Shaughnessy：** 所以你想帮助构建的未来是：大量不同类型的芯片可以混合使用；你作为买家，负责从每块芯片里榨出最多东西；然后这些芯片又能被组合进很小的数据中心，只做 inference。于是“大量随机算力，其中有些便宜得不合理” + “你更会榨性能” + “用小型数据中心表达出来”，等于便宜得多的智能。 **Neil Movva：** 我当然认为是。只要你愿意在“接受什么硬件”这件事上有创造力，就存在很多获得便宜 FLOPS 的办法。我有一种描述方式：**世界上任何地方、任何芯片、任何时长，我们都愿意买。** 我觉得目前几乎没人拥有这种灵活性和流动性。 **Neil Movva：** 我们很愿意真的把钱押在这套说法上：任何容量都可以拿来，我们想办法让它进入 fleet、真正工作。这是我们今天很大的优势。长期还要继续扩大这种优势——例如投资那些别人会怀疑的数据中心。 **Neil Movva：** 想象一下，一边是一支由 1000 个小数据中心组成的“军队”，另一边是一座 1GW 的巨型数据中心。小数据中心会发生什么？第一，你经常根本没有电力冗余，也不会在现场放备用柴油发电机，因为这些东西都很贵。我们会把这些 overhead 全砍掉。 **Neil Movva：** 很多情况下，我们甚至不会做冗余网络。找一个电力条件好的地方，用单一电源，挖沟拉一条光纤进去就行；不会有三条光纤、冗余、failover、各种 SLA。它有时就是会掉线。事实上，有些站点只有 **95% uptime**，我都不会惊讶。 **Patrick O'Shaughnessy：** 这很差。 **Neil Movva：** 非常差。对别人来说简直致命、糟糕透顶。 **Patrick O'Shaughnessy：** 一个只有 95% uptime 的数据中心，正常情况下几乎不会有买家。 **Neil Movva：** 我就是第一个买家。我愿意买 95% uptime。 **Patrick O'Shaughnessy：** 原因就是前面讲的 background agent？后台跑的东西偶尔断掉没关系？ **Neil Movva：** 部分是。其实有两个原因。第一，我们有很健壮的 control plane，只要某一个数据中心的故障不和其他站点相关联，任何单点失败都能处理。工作负载搬到别处就行。故障以某个概率发生，我对一个 95%、98%、99% uptime 的数据中心，价值判断几乎是线性的——多一个百分点就是线性多一点价值，不会突然跨过某个生死线。 **Patrick O'Shaughnessy：** 嗯。 **Neil Movva：** 第二，你确实需要我前面说的 async 特性。我们服务的是长时运行 Agent。假设一个请求失败了，我得找一块新的 GPU 把这个请求重新放上去。某一轮 Agent 也许已经工作了一小时，突然 GPU 被拿走，它会多出 1、2、3 分钟，甚至 10 分钟延迟。 **Patrick O'Shaughnessy：** 但用户在睡觉。 **Neil Movva：** 对，所以没关系（笑）。偶尔某一轮稍微变长，根本不重要。我们会直接告诉客户：平均吞吐量会非常有竞争力，但我们的 P99，也就是 99 分位延迟，是不会被严格控制的，也不可能控制。作为交换，我给你的是无人能敌的 economics。我认为这和后台 Agent 完全匹配。 **Patrick O'Shaughnessy：** 那谈谈电力。你看到了哪些有意思、创新的东西？这条路最终会走向哪里？ **Neil Movva：** 好。刚才我说数据中心 95% uptime 我都要。那如果价格足够合适，**80% uptime** 我能不能也要？大概可以。 ## [59:02] 电力与“拾荒者策略” · YouTube **Neil Movva：** 这意味着什么？我是加州长大的，我很喜欢太阳能和风能。我觉得美国对 solar 和 wind 的利用远远不够。问题一直是间歇性：数据中心有持续 base load，而太阳能、风能是间歇电源，所以传统观点甚至会认为它们不适合数据中心。 **Neil Movva：** 但我觉得我们离解决这个问题并不远。我完全可以接受数据中心连续停机几天甚至几周——这对传统数据中心来说是最可怕的噩梦：风不吹、云层和雾长时间罩在山谷上，站点长期掉电。但这类事情其实高度可预测。 **Neil Movva：** 我可以做天气建模，预测这个数据中心什么时候会离线，然后提前在世界其他地方调入容量，把数据和 workload 搬过去，就结束了。关键在于：这样我能接触到别人根本不愿碰的电力，因为对传统用户来说，这种 outage 太烦了。 **Neil Movva：** 而且如果我的芯片足够便宜——它们大概不会是一整排 NVIDIA rack——那我甚至不太在乎芯片暂时闲置造成的资本成本。 **Patrick O'Shaughnessy：** 我听你把整套系统称作一种“scavenger strategy”，也就是拾荒者策略。 **Neil Movva：** 对。 **Patrick O'Shaughnessy：** 展开讲讲这个比喻。 **Neil Movva：** 首先我们“捡”芯片，然后再为这些芯片“捡”电力。两件事的共同点是：我不想和 Anthropic、OpenAI 竞价抢 compute capacity。我抢不过，也不想抢。我要更有创造力，去用那些今天对它们来说“不够清晰、不值得处理”的供给。 **Neil Movva：** 我永远拿不到高度集中的供应，只会拿到**聚合供应**。但只要时间够长，我就能把这些零散供给聚起来，最终造出一个 economics 无人能敌的 aggregate factory。 **Neil Movva：** 我们是在造工厂。可以把目标想成“世界上最好的钢铁厂”，但它不是靠一座巨型、单体钢厂实现，而是靠很多 mini mill 拼起来。 **Patrick O'Shaughnessy：** 如果想象不同程度的 vertical integration，极端版本就是你什么都自己拥有：这会是一门资本极重的生意。你拥有发电源，自己建数据中心，自己设计芯片，自己控制把芯片性能榨干的软件，然后把最终 token 直接卖给我这样的用户——整条 stack 都属于你。 **Patrick O'Shaughnessy：** 但也能想象很多别的排列组合。你可以把边界画在任何地方；甚至可以极端 asset-light，什么都不拥有，只做整个系统的协调层，成为一个“虚拟拾荒者”。你怎么决定自己究竟要成为哪一种公司？ **Neil Movva：** 我有两个自我会回答这个问题。一个是每天必须让公司运作、可持续并尽快增长的 CEO；另一个是 founder。Founder 那部分的我更有想象力，而且就是纯粹热爱这些东西。 **Neil Movva：** Founder 的我想做**全部**。这是我一辈子的兴趣。我一生都在想芯片、电力、能源；我只在乎这些东西。所以当然想尽可能有野心。我不想停，而且永远不会停，直到从头到尾造出我能做到的最高效系统。 **Patrick O'Shaughnessy：** 你基本是在现实世界里玩 Factorio。 **Neil Movva：** 非常像（笑）。这算是情感上的答案；更困难、更现实的是 CEO 那一面。 **Neil Movva：** CEO 必须务实。如果一切都自己拥有，你说得对，资本需求会疯狂得难以想象。软件杠杆最高，所以必须从软件开始。但最终，是不是自己拥有发电？还是和 utility 签到非常好的 power purchase agreement？我更倾向于让别人继续专门做他们历史上就擅长的事，然后看我们能不能先做到足够大的规模。 **Neil Movva：** 我把它理解成：先做到一个规模，**赚到“把这一层收进自己羽翼”的权利**。我绝对相信技术栈每一层都有效率可以挖。你从供应商买东西时，供应商对“客户是谁”做过很多假设；如果我能打破这些假设，也许就能得到新的优化空间。这是个很乐观的看法。 ## [1:03:02] 最浪费的环节：KV cache 与全球算力调度 · YouTube **Neil Movva：** 我认为之所以有可能，是因为我们实际上是在为计算史上最大的 compute 市场承保。未来会有数十亿、数万亿甚至万亿美元级别的投资进入 inference。正因为只聚焦 inference，为它定制很多东西才有经济意义。我的工作，就是寻找所有可以定制的地方。 **Neil Movva：** 当某种机会对我和伙伴都变得足够明显，我会让伙伴替我定制；如果他们做不了，我就自己做。 **Patrick O'Shaughnessy：** 如果把整个系统拉远看——软件、硬件、能源等等——按“今天生产有用智能 token 的低效程度”排个名，你觉得最浪费的地方在哪里？ **Neil Movva：** Compute scaling 本身其实很有效。你给我更多 FLOPS，我就能用更多 FLOPS。我觉得今天我们对 FLOPS 的使用已经相当克制。看现代模型，真正 dense 超过 10% 的已经很少——也就是所有可激活 expert 里，同时激活超过 10% 的并不多；frontier model 可能更接近 1%。所以 MOE 这一侧已经很 sparse，人们研究很久了，压榨得相当不错。 **Neil Movva：** 真正不够好的是 **attention 以及它对内存的使用**。尤其 KV cache 今天仍然非常不压缩。如果看 KV cache 的 entropy，它远远没有“挣回自己占的空间”。每个 token 我们可能存好几 KB 数据，这大概还差一个甚至两个数量级。我不知道 Frontier Labs 内部怎么做，但 DeepSeek 确实公开了很多继续压缩 KV cache 的有意思工作，而且进展很好。 **Neil Movva：** 它们大概每年都还能做出一个数量级的进步，这本身就说明空间还很大。不过这些都还是 micro scale。 **Neil Movva：** 再往大了看，我们对全世界已有 compute 的组织其实糟糕透顶。NVIDIA 今年会吐出 500 万块 Blackwell。这些芯片都去了哪里？真的每一块、每一秒都在被利用吗？我非常怀疑。 **Neil Movva：** 我们需要更好的全球 compute orchestration。困难在于，大量算力掉进了私有池子，再也不会见天日；GPU 就很悲伤地在那里 idle。我看到这种事甚至会身体不舒服——硅、能源都已经投入了，结果芯片就坐在那里不用。我很想修复这个问题：把全世界的 compute 当成 shared resource 组织起来、调度起来，塞得更紧、更高效。 **Neil Movva：** 大家经常取笑 xAI 的 cluster 在 total FLOP utilization 上遇到一些问题，但现实是，世界其他地方远远更糟。大量 GPU 躺在仓库里，或者被分配进某个客户的私有池，根本没有得到利用。 **Patrick O'Shaughnessy：** 而你们正在非常直接地攻击这个效率问题。 **Neil Movva：** 对，这件事有效得多。 **Patrick O'Shaughnessy：** 那 fab 呢？你觉得晶圆厂本身的未来是什么？大家都在问 Micron、SK hynix、TSMC、Intel 等公司要怎样扩产，能不能在美国做更多。谈谈芯片 fabrication 本身吧。如果我们打个响指，今天库存里的芯片立刻多 100 倍，token 大概会便宜很多。所以这是整个宇宙里很关键的一部分。 **Neil Movva：** 很有意思的一点是，所有东西都在彼此平衡地增长。你打个响指，把其中某个东西翻倍，也许只是修掉 TSMC 这个瓶颈，马上就撞上另一个瓶颈。多造 20% 芯片，下一处短板立刻出现。 **Neil Movva：** 但我很关注 fab 到底把什么视为“必须交付的 invariant”——它们觉得客户永远都会要求什么；而哪些东西其实可以更流动。如果 fab 愿意把更多 trade-off 暴露给我，我就能更聪明地决定自己愿意接受什么。 **Neil Movva：** 一个特别有意思的例子是，任何 fab 生产出来的芯片，从最差那颗到最好那颗，本来就存在很大的 spread。 ## [1:07:04] 从工艺差异到团队文化：看极限与好奇心 · YouTube **Neil Movva：** 芯片制造天然有很大方差。像 TSMC 这样的公司，会极其努力地收紧所谓 process corners——让最差芯片和最好芯片的特性尽量接近，为此会付出大量工艺控制成本。 **Neil Movva：** 但也许那些控制并不是我都需要。也许最差的那批芯片，我照样能找到适合它们的位置。那就不需要为了把 process control 收得那么紧而付出额外时间和成本。也许我愿意接受更多 reject。 **Neil Movva：** 对我们来说，这是一个更整体的优化：die 的成本、die 的供应、电力成本、以及哪里能把这些芯片放下。我的总目标，是极大扩张美国境内可利用的电力供给，让许多原本“不够资格进入传统数据中心”的芯片也能找到自己的家。 **Patrick O'Shaughnessy：** 能谈谈你怎样设计自己公司的系统吗？你学到了哪些经验？前面说了不少 NVIDIA 的文化经验；那把我带进 Sail 的文化里看看：当这一切是北极星时，你怎样组织团队和公司？ **Neil Movva：** 我们非常强调一种“看极限”的思考。刚开始优化某个模型时，眼下效率不好没关系；我们想的是一个月、六个月、一年以后理论上能到哪里。我们从不接受“机器今天就是这样”作为固定事实。 **Neil Movva：** 哪怕 Blackwell 这种芯片，如果我们认为有一个瓶颈妨碍自己达到理论性能，我非常在乎把它理解清楚、characterize 清楚并写下来。一方面可以告诉 NVIDIA 或朋友，另一方面更重要的是，让我们未来买芯片时把这个规律一直放在脑子里。 **Neil Movva：** 我们想学到那些对公司长期来说近似 invariant 的东西，再把它们折进未来的决策。团队也非常 collaborative。招聘时我最看重的一类人，是既是好学生、又是好老师的人。我们团队很多人在大学当过 TA，很喜欢分享知识。我们经常做 whiteboard session。我觉得那种“每个人都有东西可以教别人，也都有东西需要从别人那里学”的 collegial environment，对我们极其重要。 **Patrick O'Shaughnessy：** 那你希望招聘什么样的人？三年以后，当越来越多工作由机器处理时，哪些特质会让一个人仍然很有韧性？ **Neil Movva：** **好奇心。100% 是好奇心。** 有一件事我教不了：对性能的热爱；愿意钻进机器工作的每一个 microsecond，理解那一刻机器里究竟发生了什么。这对 performance engineer 来说是最重要的特质，也是我真正寻找的东西。 **Neil Movva：** 我不要求很多 AI 经验，甚至完全不要求 CUDA 经验。那反而是个巨大的 red herring。CUDA、GPU 这些概念过去五年变化太大了，要求“十年经验”没有意义。这些具体技术我可以教，但我教不了一个人去**热爱 performance engineering**。我寻找的就是那种热爱。 ## [1:10:10] 开源与闭源 AI · YouTube **Patrick O'Shaughnessy：** 你能不能一个个评价主要的 AI labs，同时也谈谈“闭源”这个类别和“开源”之间的关系？你觉得现在正在发生什么，未来又会怎样？ **Neil Movva：** 我会说，frontier labs 为了领先其他人 **3 到 6 个月**，付出了极其高的溢价；而且今天这大概仍然值得。OpenAI、Anthropic 这样做，我完全能理解。 **Neil Movva：** 闭源 frontier 和开源之间有一个敏感话题：distillation，也就是蒸馏。我认为它是两者关系非常核心的一部分。常见说法是，拿 frontier model 的输出做蒸馏等同于“偷窃”，因为你从它那里拿走了东西。但我想提供另一个视角。 **Neil Movva：** 即便你主观上根本没打算抓 Anthropic 的数据，互联网上由 AI 生成的 artifacts 占比也在越来越高。只看 GitHub：过去一年新建的 repo 里，有多大比例是 Claude Code 帮忙写的？这算不算 distillation？也许这已经够了。 **Neil Movva：** 我甚至不会惊讶：只用 GitHub 上那些你认为质量很高、而且公开开源的代码，就能训练出一个 Fable 级别的模型。只要我们承认用户拥有自己与 AI 互动产生的输出，并且用户可以选择把它放上 GitHub——很多人确实这么做——那这种 **latent distillation（潜在蒸馏）** 就会长期存在。 **Neil Movva：** 在我看来，阻止信息或模型能力扩散，从根本上几乎不可能。它一定会发生，区别只是多快。 **Patrick O'Shaughnessy：** 那问题就变成：scaling law 和能力改进规律会不会永远成立，或者至少成立非常久？如果会，那么领先 3 到 6 个月始终就有价值；只要这种领先持续，frontier labs 就能相对极便宜的开源 token 收取巨额溢价。这样理解对吗？ **Neil Movva：** 有可能。但我不确定“领先 3 到 6 个月”的溢价会一直那么值钱。看 enterprise deployment 就知道，企业并不会以 3 到 6 个月的速度迁移。很多企业也许还在 Opus 4.6、Opus 4.7 之类的版本上，并不会迅速采用 bleeding edge。任何变化要 rollout，都有大量问题需要处理。 **Neil Movva：** 而且我们才刚刚开始触及这个市场的表面。我不认为这场“比赛”现在能宣布赢家，甚至不认为它是一场最终可以被决定的比赛。它一直是个持续过程。 **Neil Movva：** 从根本上说，我不认为开源会消失。如果一个领导者退出，留下真空，就会有新领导者进来。激励太强，顺风也太多；训练 frontier-class model 每一天都在变得更容易。 **Patrick O'Shaughnessy：** 那你希望未来是什么样？闭源和开源之间怎样平衡？模型公司会不会因为自己掌握整套 stack 而什么都自己做？Anthropic 可以这么干；会不会又出现某种“新 Google”，甚至 Google 自己就把整套都做掉？你理想中的未来是什么？ **Neil Movva：** 我想要**充裕的 token 和多样化的 harness**。我希望所有人都能建立自己的 harness，每一家公司、每一个用户，都能真正把 Agent 变成自己的。 **Neil Movva：** 我觉得我们离这种定制能力已经没那么远了。我希望人们**拥有自己的智能**，而且智能可以为自己定制。方式可能不是 weight fine-tuning，而更多通过 in-context learning——这是个技术细节。 **Neil Movva：** 但这个“充裕未来”的底层输入，本质上就是便宜 token。我的工作就是把 token 做到人类所能做到的最低价格。我会实现它，而且会利用技术栈每一层可以利用的东西。我喜欢供给侧杠杆：每种芯片我都用，每种电力我都用，美国任何一块适合干这件事的土地我都用。 **Neil Movva：** 作为回报，人们才会有动力去探索“充裕智能”究竟是什么感觉。我们今天仍然把 Agent 当成一个咨询起来很贵的人：遇到困难问题才去问。这不是理解智能的正确方式。机器竟然能够思考，这太不可思议；我们应该尽可能把它交到更多人手里。 **Patrick O'Shaughnessy：** 你坐在一个非常独特的位置，也因为你正在做的事，对怎样让这个未来成为现实有很独特的视角。和那些同样了解、同样关心 AI 的朋友相比，你最“离经叛道”的世界观是什么？哪些想法会让你的朋友看你像长了三个脑袋？ ## [1:14:11] 每天 1 万亿 token：对芯片与 TSMC 的逆主流判断 · YouTube **Neil Movva：** 大部分都是芯片方面的想法。比如我谈 custom chip，别人会问：“究竟哪里不同？”一个核心是绕开 HBM 短缺，更激进地把数据 offload 到其他内存形态，比如 flash。 **Neil Movva：** 我对这件事非常着迷。团队每个人都知道，我一直在反复敲这面鼓：如果要让 **KV cache 更大规模地 offload 到 flash**，模型架构究竟要怎么改？我经常在白板上画这个问题。 **Neil Movva：** 在 inference 社区里，我们对“如果整个系统的服务目标只有每秒 1 到 10 个 token，会出现什么可能性”有一些很不一样的判断——因为那正是我们的北极星。 **Neil Movva：** 更大的问题是：一个人每天怎样消耗 **1 万亿 token**？我们想创造的世界，就是让人拥有这种能力。 **Patrick O'Shaughnessy：** 1 万亿 token 到底是什么量级？给我们一个直觉。 **Neil Movva：** 1 万亿 token……按 OpenAI 今天的价格，至少是 **500 万美元**量级。用美元来衡量大概最直观。 **Patrick O'Shaughnessy：** 对，就是几百万美元。那一个人每天消耗“今天价值 500 万美元”的智能，会是怎样的世界？ **Neil Movva：** 我们要求的，是每 token 成本至少改善 **3 到 6 个数量级**。先把 500 万美元变成 5000 美元，也许就已经会出现一些客户。实际上，对某些大小的模型来说，我们已经接近“1 万亿 token 只需要几万美元”。到这个价格，你已经能想象某一个单独 job 真去跑这么多 token。 **Patrick O'Shaughnessy：** 你有没有担心过另一种可能：普通人其实根本不会、也无法消耗这么多智能？他们今天甚至都不会充分使用自己的脑子。也就是说，世界对“智能”的需求也许根本没那么大。 **Neil Movva：** 我永远不会相信这一点。世界永远有对智能的需求。真正的挑战，是产品社区怎样提供通往这些智能的 on-ramp。我不是产品人，所以不能说自己有最好的产品愿景。 **Patrick O'Shaughnessy：** 你想做的是让那些人有能力去用。 **Neil Movva：** 对。我想 enable 他们。我不希望任何人被这种念头卡住：“我的 free tier 用户不能用这个”，或者“我给不起他们这么多 token”。我一直从客户那里听到这种限制，我们想把它解决。 **Patrick O'Shaughnessy：** 那问反过来的问题。不是“你最疯狂的看法是什么”，而是：有什么大家都同意的 consensus，你认为是错的？ **Neil Movva：** 我不断回到 NVIDIA 这个问题。短期我对 NVIDIA 很 bullish，而且你永远不应该轻易和 NVIDIA 对赌；他们总能重新发明自己。 **Neil Movva：** 但有一点常让人惊讶。如果你从 Hopper、Blackwell 一路看到 Rubin，做 like-for-like 比较，比如看 BF16 矩阵乘法的 performance per watt，其实并没有提高到大家想象的那么夸张。 **Neil Movva：** 再往下看 TSMC，从 5nm、4nm、3nm 到 2nm，这些芯片的 performance per watt 也不是每代都发生巨大跃迁。 **Neil Movva：** 这会导出一个很逆主流的结论。很多人谈到地缘政治时会极度紧张：如果因为任何原因失去 TSMC 会怎样？我的 contrarian take 是，**情况可能没有想象中那么糟**。供应当然会遭受冲击；但西方已有的最佳工艺，比如 Intel，并没有落后到无法想象，最坏也许只是 performance per watt 差 2 倍左右。我认为真实差距比很多芯片行业叙事描述得小得多。 **Patrick O'Shaughnessy：** AI 世界里还有什么事情最吸引你，但它不在你这条路径上？也就是说，它不是你最终会亲自做的这套系统组件之一。 **Neil Movva：** 我们完全处在 model 的下游。模型团队决定架构怎么设计；我对 OpenAI、Anthropic 基本没有输入。我只能祈祷它们往更适合我的方向走——或者更现实地说，我得尽力预测它们会往哪里走，然后相应设计自己的 serving architecture，无论软件还是硬件。 **Neil Movva：** 我觉得其中最有意思的“游戏”，还是回到“机器会思考”这件事究竟有多深刻。一个看起来任意的小选择，都可能对整个硬件世界产生巨大后果。 ## [1:18:11] 给硬件创业者的建议：先看清供应链瓶颈 · YouTube **Neil Movva：** 比如模型选择 sparse attention 还是 dense attention；或者训练从 BF16 改到 FP8、FP4 这种更低精度的数据类型。表面上只是架构或数值格式选择，但它会深刻影响我能用哪些芯片、硬件究竟应该怎样造，以及整个 compute 的未来。 **Patrick O'Shaughnessy：** 假设房间里有 100 个创业者，每个人都想做一家新的 compute startup，专门造硬件、芯片、系统、rack 之类。你会给他们什么建议？不是问某个具体 tech bet，而是公司应该怎样定位自己。 **Patrick O'Shaughnessy：** 看起来全世界会把各种可能性都试一遍，这对世界是好事，有些会成功。但如果一定要给这些创业者一条关于“怎样在未来世界经营成功”的建议，你会说什么？ **Neil Movva：** 一切都围绕**供应链瓶颈**。你首先得让我、或者任何投资者相信，你真正理解决定现代芯片供应的那三到五个瓶颈。 **Neil Movva：** 里面至少有：TSMC wafer capacity、HBM capacity、advanced packaging，也许第四个是 power——电从哪里来？这些 rack 怎么建？对这四个瓶颈，每一个你都应该有非常好的答案：你准备怎样绕开它。 **Neil Movva：** 因为归根结底，这都是套利。你之所以造一块新芯片，是因为认为 NVIDIA 做了一些很难改变的选择——这确实是真的。NVIDIA 有很多选择很难改，它们并不完美，只是整体平衡做得非常好。 **Neil Movva：** 所以新公司要做的是 **spiky**：挑一个地方，明确说“我认为 NVIDIA 低估了 HBM 会短缺到什么程度，因此我要极端押另一个方向”。顺便说，我觉得 HBM 可能正是最值得攻击的瓶颈。 **Patrick O'Shaughnessy：** 为什么？ **Neil Movva：** 因为没有简单办法突然多造出大量 memory fab。那些公司过去已经…… **Patrick O'Shaughnessy：** 所以还要很久才能把供给真正补上。 **Neil Movva：** 对。Boise 那帮人——也就是内存行业——并不喜欢为一个高度周期性的行业砸巨额 capex。 **Patrick O'Shaughnessy：** 他们已经被这种周期烧伤过很多次。 **Patrick O'Shaughnessy：** 不过也可以想象，正因为内存短缺，整个世界会通过让系统其他部分变得更高效来绕开它。 **Neil Movva：** 我反而觉得它会让其他东西都变贵。比如 iPhone 可能不得不削减内存，iPhone 价格会上升，然后我们就得接受现实。 **Patrick O'Shaughnessy：** 为什么 NVIDIA 不一路走到终点，干脆自己卖 token？ **Neil Movva：** NVIDIA 在这方面非常聪明：**它不和客户竞争。** NVIDIA 对所有事都看得很长远。你也可以问：为什么他们不自己做 NeoCloud？为什么不从“后门”直接卖 compute？ **Neil Movva：** Jensen 很擅长让朋友变成亿万富翁。CoreWeave 就是一个多十亿美元级的例子。他没必要破坏这种 goodwill。他希望创造一个多样的 NeoCloud 和 inference provider 社区，让这些公司彼此竞争、共同创造对 NVIDIA 的需求。 **Neil Movva：** 这样，即便其中一个决定 vertical integration，或者转向 AMD 或其他方案，后面还有三家饥饿的公司等着补上位置。 **Patrick O'Shaughnessy：** 让自己的买家彼此竞争，当然是件很棒的事。 **Patrick O'Shaughnessy：** 我最喜欢用来结束每场访谈的问题是：**别人为你做过最善意的一件事是什么？** **Neil Movva：** 我第一反应会想到这些年遇到的所有导师。很少有人愿意从自己的日程里拿出大量时间，把“确保你真正理解一件事”当成自己个人在乎的事；教你某个东西，或者把某种价值观真正种进你心里——他们看见你已经站在理解的门槛上，然后再推你一把，让你跨过去。 **Neil Movva：** 前面提到的 NVIDIA 那些人，给我种下了对 performance engineering 的热爱。大学里的教授也一样。我记得大二时的 adviser。我当时是个非常没耐心的学生，跑去他的 office hours 说：“我想造 AI 芯片，我已经知道自己想干什么了，为什么还要浪费时间上这些基础课？为什么要学 networking、operating systems？” **Neil Movva：** 他看着我，然后把整个 stack 基本铺开给我看，让我理解“懂拼图里的每一块”究竟有多深、多美。那时我一心只想聚焦系统里的某一个部分；他告诉我，真正能够从 gate-level silicon 一直理解到怎样构建优秀 internet-scale service 的人，其实极其罕见。 ## [1:22:11] 收尾、导师与赞助信息 · YouTube **Neil Movva：** 你应该努力成为这样的人：用一生去达到那种对完整技术栈的理解。那是一种极其罕见的能力，而追求这种层次的专业知识本身就是非常高贵的目标。这件事一直留在我心里。 **Patrick O'Shaughnessy：** Neil，太棒的一场对话。非常感谢你的时间。 **Neil Movva：** 非常感谢邀请我来。 **Patrick O'Shaughnessy（广告口播）：** 你知道小优势怎样随时间复利。投资如此，经营公司也一样。你的支出系统就是资本配置策略。Ramp 默认让它变得更聪明：更好的数据、更好的决策，以及长期更好的 economics。详情见 ramp.com/invest。 **Patrick O'Shaughnessy（广告口播）：** 随着业务增长，Vanta 会一起扩展，自动化合规，并为 security 和 risk 提供 single source of truth。详情见 vanta.com/invest。 **Patrick O'Shaughnessy（广告口播）：** 从 OpenAI、Cursor 到 Perplexity，领先的 AI 和软件公司都使用 WorkOS，让自己几乎一夜之间达到 enterprise-ready，而不是花几个月。访问 workos.com，把那些不光鲜的基础设施工作交出去，专注产品。 **Patrick O'Shaughnessy（广告口播）：** Ridgeline 正在把 asset management technology 重新定义成真正的合作伙伴，而不只是软件供应商。它帮助机构实现更快增长、更聪明的运营和竞争优势。访问 ridgeline.ai 了解更多。