前 NVIDIA 工程师：为什么 AI 即将便宜 1000 倍

我的工作，就是把 token 做到人类所能做到的最低价格。我会实现它，而且会利用整个技术栈里一切可用的层面来实现。我特别喜欢供给侧的杠杆：每一种芯片我都会用，每一种电力来源我都会用，美国境内每一块适合干这件事的土地，我也都会用。我们现在仍然把 Agent 当成一个“咨询起来很贵的人”：只有遇到困难的问题才去问它。我认为这不是理解智能的正确方式。机器竟然能够思考，这件事本身就不可思议；我们应该尽可能把这种能力交到更多人手里。

Sail Research 是一家 token 工厂。我们提供一个 API，任何人都可以把请求发给我们，用开源大语言模型完成他们想做的任何任务。我们会以市场上无可匹敌的价格给他们提供这些 token。我们也支持客户在其上构建 Agent。我们托管一种叫做 sandbox 的东西，也就是运行在云端、专门为 Agent 设计的长时虚拟机；这些 Agent 可以连续运行数小时、数天，甚至数周。

完全正确。我们公司的主题就是“充裕”。我们想把“智能”这种新的商品，以几乎所有行业都能持续承担的成本，交给尽可能多的人。我们相信，只要一件东西便宜 10 倍，它就会催生一个全新的产品类别；我们希望 token 也发生同样的事。机器能够思考这件事实在太深刻了，而我们的工作，就是让世界上尽可能多的机器都投入到“思考”之中。

作为起点，当然是。今天我的北极星指标，就是让每个 token 的成本成为行业最低，而且要低一大截。不过我不认为 token 会是工作或智能最终的计量单位，只是今天我们恰好用它，所以它最直接。再往后，我觉得计价单位会逐渐朝“结果”移动——虽然这还是个很模糊的方向。

比如，今天你通过一个 Agent 消耗 token 时，其实并不能控制这个 Agent 到底要推理多少 token。它可能思考一段时间，也可能调用一定数量的工具。越来越多的时候，我们会让 Agent 去完成某个工作单元，让它尽可能多地“射门”；为了完成任务究竟花多少 token，会变成由任务本身决定的因变量。也就是说，未来更像是 Agent 自己管理 token 预算，而不是公司规定工程师每个月最多能花多少 token。

我觉得有两股顺风。第一股必须先讲开源的崛起。我们开始看到，越来越多客户以及更广泛的市场都在乎“拥有自己的智能”。他们希望对自己所依赖的东西拥有控制权和主权。于是，定制模型，甚至只是普通的开源模型，都形成了更健壮的市场——没人能把这些模型从你手里拿走；权重永远在你手里，你永远有权按自己喜欢的方式部署。

过去几年，大规模服务这些模型本身已经是一个相当成熟的市场。问题在于，无论你挑 Baseten、Fireworks AI 还是 Together AI，它们基本都聚焦低延迟推理。把它们拉向这个方向的一个非常重要的客户就是 Cursor。我认为一年前这是正确选择；但大约六个月前开始变得明显：对 Agent 来说，你需要的也许不只有低延迟，你还需要更强的持续性、更长时间跨度的任务。

到了今天，在我看来，Agent 推理的未来非常明显就是长时任务：你会让机器连续跑数小时甚至数天。这时它每秒吐出 100 个 token 并不重要，10 个也许完全够了，而这会带来相应的效率优势。

当你真的在等一个答案时，你当然应该得到尽可能快的回答。我的办法是：我根本不希望你在等。我希望它主动工作，待在后台。也可以这么说——最好的延迟就是“没有延迟”。你早晨醒来时，工作已经在夜里完成了，你甚至都不需要开口要求。这是理想状态，我们当然还没完全做到。

更重要的是，当你不断提示 Agent、等待它回复时，你自己其实成了瓶颈，限制了 Agent 能做多少工作。我们想让 Agent 按更接近人类的时间尺度工作。你不会每五分钟管理一次同事；你会交给对方一个高层目标，然后也许每天回来看看，但更可能是一周检查一次。对我来说，人类和 Agent 协作的未来就应该更接近这种“人类时间尺度”。

第一件也是最重要的事，是 test-time compute scaling，也就是测试时计算扩展：你给 Agent 更多时间，它就能给你更好的答案。这个想法大约两年前就被提出了，但直到我认为是去年晚些时候 Opus 4.5 出现，我们才真正能把公司押在这件事上。Opus 4.5 是第一个多少适合长时任务的 Agent；刚出来时其实挺一般，但看看更新的模型，以及我们在开源模型上取得的进展，你会发现 Agent 今天已经可以连续运行一个小时。

我还不会说它能稳定跑几天，但一个小时已经非常现实。只要看平均每一轮、每个任务的持续时间越来越长，其实不需要很多数据点，你就会开始把那条指数曲线往外延伸，并意识到：让 Agent 运行更久是值得的。

我特别喜欢这个市场，因为它几乎没有上限。这里没有人在回路里，所以后台可以消耗任意多的 token。人的注意力反而有限。比如你让我在 Codex 或 Claude Code 里每天多消耗 10 倍 token，我甚至不确定自己还能不能做到——我坐在电脑前的大部分时间已经都被锁在编程循环里了。

真正没有上限的是后台、主动式任务可以消耗多少 token。所以长期看，我觉得今年结束时，也许后台工作负载和实时工作负载会是 50/50；但再往后，我能看到它走到 90/10，而且是后台占 90%。

大多数 deep research 都属于这一类。尤其是那些你希望得到“确定性答案”的问题：不是查 100 个来源，也不是 1000 个，而是 1 万个甚至更多。比如我们的一个客户 Parallel Web Systems 想建立一个权威信息索引：覆盖整个互联网，并实时监控互联网发生的变化。这种疯狂到 exabyte 规模的任务，需要一种完全不同的智能形态，或者说完全不同的智能规模。

Deep research 是我们最重要的类别之一，网络安全也越来越往这个方向走。你当然可以生成海量代码，但“破坏同一段代码”的方式数量是指数级更多的。有些很优秀的客户正在努力做这样的 Agent：它能攻击任何软件，再主动把漏洞补上。

比如 Fable 刚出来时——或者 Mythos 刚出来时——网络安全社区出现过一股冲动：把 Fable 跑遍我们写过的每一行代码，用 20 种不同的方法找 bug。既要找内存错误，也要找业务逻辑错误，还要找网络漏洞等等。实际上，这些方向最好分别写专门的 Agent。你不会只是让 Fable 看一遍源代码，而是会让它真正搭建环境，对应用做渗透测试。

后来有人开玩笑说，安全已经变成了“proof of work”。你想知道一款软件有多安全，本质上可以问：你花了多少钱调用 Anthropic 的 API 来试图攻破它？因为这大概就是今天世界上最好的工具，也是软件安全程度最好的一个信号。

而且我们越来越发现，智能的前沿是很“锯齿状”的。并不是说大模型会找到小模型能找到的所有 bug，再额外找到更多；有些 bug 小模型能找出来，大模型反而找不到。

比如，有些 bug 你用 Haiku 能找到，用 Fable 找不到，反过来也一样。这会鼓励一种很多样化的采样方法：构建一组能够自主攻破软件的安全 Agent，然后据此修复漏洞。

对个人用户来说，我最兴奋的是“主动式智能 Agent”。你可以想象一个一直在后台运行的 Siri：它理解你一天收到的所有邮件、所有短信，因此对你的生活有一种更百科全书式的认识，也更知道怎样帮你。今天我们还停留在很多点状解决方案，所以人仍然得不停 prompt；Siri 并不主动。而“充裕的推理”可以改变这件事。

如果你足够信任机器——既相信它可靠，也相信它在隐私意义上值得信赖——那甚至可以想象，机器能够理解你平时怎样与它互动，然后每次你打开手机时，主动把你下一步最可能需要做的事呈现出来。我们能不能建立一个很好的模型，预测你接下来会做什么？我的判断是：完全可以。

这件事的关键，就是极其便宜的智能。你必须愿意在完全没有回报承诺的情况下先花 token，这才是真正的解锁点。

把镜头拉长一点看，我们现在已经拥有一种可以处理任何“可验证问题”的智能。任何可验证问题，包括大多数软件问题、很多形式化数学证明，也可能包括科学发现；这些都相对容易验证。今天所有这些问题背后其实都隐含着一个美元成本：你究竟能调动多少 token 来把问题解决？我们已经开始让长时任务的成本进入一个可想象、可承受的范围——不再是数百万美元，而是数千美元；不久后可能是几百美元，甚至几十美元，就能对一个科学问题或研究问题得到一份非常充分的答案。

基本就是这样，限制大致会变成我们能够提出什么问题。模型已经接近这样一种状态：你甚至只给它一个高层问题，它自己就能一路追下去，把所有可能的后续问题都展开并处理掉。

最终问题就变成：你的 token 预算有多少。而我们会把 token 预算这个问题解决掉。

我会把几乎整个“人类品味”类别都放在这里。我们还没有解决人类品味，我也不知道它从根本上是否能够被解决——我很期待未来被事实打脸。但我们今天聚焦的是非常定量的问题。至于写作的品质、艺术的美，我们还是把它们留给人。

我们永远得先从软件开始。问题是：在今天的芯片、今天的数据中心上，还有什么机会可以提高效率？我们做的第一件事，是围绕 GPU 的峰值效率重新搭整套大模型软件栈。也就是说，我们仍然用 NVIDIA GPU，但希望同一块芯片吐出的 token 比世界上任何人都多。这要从最底层的 kernel 编程开始。

这其实就是我的背景。我整个职业生涯都在做 GPU 和 kernel。还在大学时，我的第一份工作就在 NVIDIA；我也亲眼看到 Tensor Core 是怎样一步步证明自己“有资格”占据芯片面积的。那还是 2016 年。

Tensor Core 是 GPU 上一个专用单元，用来加速矩阵乘法，就这么简单。当然，Tensor Core 后来怎样一代代演化，背后有很长的历史，我们后面会谈到。

这是个很好的问题。我没办法声称宇宙里存在某条神圣真理，解释为什么矩阵乘法偏偏像计算的“原子单位”。我听过一种说法：它是一种极其简洁的办法，让两块数字彼此混合、以某种有意思的方式发生相互作用。我大概只能说到这里。对我们很方便的一点是，线性代数恰好能非常紧凑地表达数据里的任意关系。

NVIDIA 显然是一家伟大的图形公司，它在 GPU 和游戏图形领域长期占据主导份额。到了 2010 年代中期，它开始做一些类似 skunkworks 的项目，让图形处理器更适合他们正在观察的机器学习任务。我还记得在 NVIDIA 时读过一些经理的实验记录：他们会去当时还很小的 ML 会议，比如 ICML、NeurIPS，然后记下论文，说“这个 deep learning 好像开始起来了；有意思的是，这些研究生竟然在用 NVIDIA 的游戏 GPU 训练大模型，我们应该仔细看看这里发生了什么”。

到 2015、2016 年，至少 Jensen 已经有足够的信念加码：这种对我们芯片的用法只会继续增长，那就应该开始把越来越珍贵的硅片面积分给这项新能力，于是第一代 Tensor Core 被放进芯片。你可以想象：这原本是一块为了在屏幕上画像素而设计的游戏芯片，现在要把它改造成做矩阵乘法的机器，而且当时非常早。

你要更多硅片面积时，本质上是在和图形团队竞争。任何芯片公司都会有这种争夺，因为 die area 是设计师极其谨慎看守的资源。你永远不想押错技术；给了错误功能的面积，就是没有给别的功能的机会成本。所以我们几乎是拼命争，第一代芯片最后只拿到很小一块面积，也许 5% 到 10%，用来对当时计算机视觉模型的基础操作——卷积——做一些加速。

然后我们有一支软件团队，负责把芯片里的每一点性能都挤出来，我就在那支团队。NVIDIA 最影响我的，其实是那里围绕性能形成的一套 ethos。他们有个词叫 speed of light（光速）：任何硬件都要追它理论上能达到的“光速”。这个观念深深刻在每个工程师脑子里——只要机器理论上能做到，我们就会一路把它推到边界，让它达到我们认为应该达到的水平。

对，光速就是可能性的极限。假设我们认为这块芯片能跑到某个频率、每个 cycle 能做这么多乘法，那我们就一定要到那里。所有瓶颈都要拆掉，直到达到峰值性能。直到今天，我还会告诉所有工程师：我们追的是 100% 的 speed of light。我不在乎和竞争对手比出来的相对数字，只在乎绝对数字——这块芯片究竟能做什么，我们怎样把它真正做到。

NVIDIA 的故事我太多了，可以讲几个。我最喜欢的一点，是人员任期。2015、2016 年和我一起工作的很多人，今天仍然在那里。

那家公司留人的能力不可思议。而且坦白说，至少在硅片这一侧，他们是我整个职业生涯合作过最好的工程师。他们极度有动力、极度有热情。他们相信 parallel computing 这个概念，不管它经历什么形态变化，都一直喜欢看芯片如何演化。这是他们一辈子的事业，而且他们在这个方向上的能力极强。

NVIDIA 也非常节俭。我猜 2008 年之后硅谷公司普遍都砍过一些福利，比如没有免费午餐。NVIDIA 还更进一步：冰箱里连免费牛奶都没有。你在 NVIDIA 喝咖啡想加牛奶，就得每个月给“milk club”交 1 美元，然后这个俱乐部的人去 Costco 买牛奶放进冰箱。我对此记得非常清楚。我们 Sail 倒没有这么干。

对，对，对。

可以。GPU 从根本上是一台 throughput machine，也就是吞吐机器。你给它大量工作，让计算单元保持最高利用率，把这些工作一批批吃掉时，它最开心。但过去几年 AI 的发展方向其实不是这样。今天 AI 最常见的使用形态，是交互式聊天机器人；在这种世界里，你非常在乎尽快把答案吐给坐在键盘前的人。就像你前面说的：别让用户等，我什么都想要最快。

这对 GPU 来说反而很有意思：当你的目标是尽快吐 token 时，要把 GPU 放在“所有计算单元都被充分利用”的快乐路径上其实很难。GPU 上存在一个非常基础的权衡：要么偏吞吐量，要么偏延迟优化。过去所有人几乎都选了延迟，因为用户形态是 chatbot。

我认为未来一年最深刻的变化，就是我们会从 chatbot 转向更主动、或者在后台运行的 Agent。在那个世界，围绕吞吐量来搭技术栈就合理得多。

这几乎是所有系统里都很基础的一条规律：让少量数据以最快速度穿过系统，和让系统一次装下大量工作之间，总有权衡。计算机科学里很经典的说法就是“窄而快”和“宽而慢”。

对 GPU 来说，最值得关注的是 batching，也就是批处理。我们希望把很多用户的工作组合成一个 batch，一次性放到 GPU 上跑；这就是 GPU 的并行处理能力，我们希望始终有大量并行工作可做。问题是，batch 越大，你实际做的总工作量也越多。你也许把所有计算单元都填满了，但这个 batch 在 GPU 每走一步，需要完成的工作更多，所以 batch 里的某一个 token、某一个用户请求，会因为和别人的流量一起被搬运而在 GPU 上待得更久。

也许可以拿旧金山市中心打比方。你可以坐公交，也可以坐一辆私人车。私人车可以沿着最直接的路径，从 A 点直达 B 点，只走你最想走的路。公交车得服务很多人，所以必须走一条对所有人都适用的路线，而且还要停车，等别人上下车。因此它从根本上就会更慢。公交车和私家车这个比喻，我觉得相当准确。

完全正确。这会让我们探索不同的并行方案。举个例子，NVIDIA GPU 上做得非常出色的一项创新，是 GPU 之间的 NVLink 互连。NVLink 好到什么程度？如果你有一个很大的矩阵乘法，希望把它更快做完，你可以把这个矩阵乘法切开，分片到两块、甚至最多比如八块 NVIDIA GPU 上，让它们各自处理大矩阵的一部分。

最后再把各块结果拼回去，也就是 reduce 回一个完整结果。这是降低某个操作“最低可能延迟”的非常好办法。假设用了八块 GPU，每块现在只做原来 1/8 的工作，所以确实会更快；但不会快 8 倍。这是次线性扩展：硬件花了 8 倍，速度也许只得到 4 到 5 倍，而不是 8 倍。

原因包括通信开销，也包括 GPU 在更小工作 tile 上的效率会比大 tile 更低。如果你非要把延迟压到最小，这几乎是唯一办法；可以这么做，但它不是我会选的方案。我更愿意采用其他并行方式，比如 expert parallelism 或 pipeline parallelism。我们还可以设计一些办法，把通信延迟重叠掉、隐藏掉；低延迟服务器通常没这么多空间去做这些事情。

对。

对——这也正好带到下一段，也就是我们这家公司会做什么不同的选择。NVLink 对低延迟推理，我会说几乎是必需的。

NVIDIA 在低延迟推理上极其优秀，而我现在告诉你，我们其实没那么在乎低延迟。那接下来怎么办？我的判断是，短期内别指望其他公司很快复制出 NVLink。这是一项很难的技术，很难扩展，也很难产品化。

可是假设另一家供应商的芯片在基础计算上很好，矩阵乘法照样做得很强，只是没法很快地和周围其他芯片交换结果，那它仍然可能在我的技术栈里成为一个“每美元计算量极高”的选项。而这往往正是我真正优化的指标：这块芯片有多少 FLOPS？我拥有并运行它，每小时究竟花多少钱？

的确有一些芯片在 FLOPS / dollar 上比 NVIDIA 更高，只是互连能力没那么强。那我的工作就是找出一种并行方案，让这块芯片仍然适合做推理。它不会是 tensor parallelism——那个方向 NVIDIA 基本是强制选择——但其他技术可能非常适合我。

Cerebras、Groq，以及另外几家刚从 stealth 状态出来的公司，做了一个很有意思的赌注：它们不是简单再造一块 GPU，而是在造另一类加速器，围绕完全不同的内存层级来设计。它们希望把芯片上的 SRAM 数量做到最大，把它当成存模型权重和 KV cache 的极高速内存。

先解释 SRAM 和 DRAM。做芯片内存有两条路线。一条是把内存直接集成在逻辑 die 上，也就是告诉 TSMC：“我想在这块芯片里放多少 MB 存储。”TSMC 有标准单元库，你可以直接铺大量 SRAM 单元。问题是 SRAM 很占硅片面积。比如 NVIDIA Blackwell 是大约 800 平方毫米的巨型 die；就算整个 die 全做成 SRAM，也大概只有个位数 GB，并不是夸张大的容量。

另一条路线则完全换一种工艺：不再由 TSMC 做逻辑芯片，而是交给 Micron、SK hynix、Samsung 这些公司做 DRAM。DRAM 的制造方式完全不同，更依赖电容而不是晶体管单元。标准 SRAM 通常是所谓 6T cell，也就是六晶体管单元；你往里写一个 bit，它的晶体管结构会稳定保持这个状态——当然仍然要供电，但不需要持续主动管理，所以叫 static RAM。

DRAM 之所以叫 dynamic，是因为写数据时，本质上是给电容写入电荷，而电荷一写进去就开始泄漏。所以大概每 50 毫秒，你就必须把写过的每一个 bit 刷新一次。就像同时在空中抛着数十亿个球：内存控制器必须不断读、刷新 DRAM 里的每一个 bit。

好处是 DRAM 的密度高得多，而且它是一套完全不同的工艺技术。这背后有无数取舍，所以 DRAM 制造才会分化成 Micron、SK hynix、Samsung 这样的独立公司——它们就是世界上最擅长做这件事的人。你把这些公司做的 DRAM 叠很多层，再放在 NVIDIA 逻辑 die 周围，就能得到数百 GB 容量。比如 Blackwell 周围有大约 288 GB HBM，而逻辑 die 本身的 SRAM 可能只有约 500 MB。DRAM 和 SRAM 的密度可以差两到三个数量级。

再回到 Cerebras。SRAM 密度很难明显提高，但 SRAM 有另一个巨大的好处：它在物理上离真正做计算的逻辑门极近，算术逻辑单元就在旁边，所以做矩阵乘法的计算单元可以以惊人的速度从 SRAM 取数据。Cerebras 对其 Wafer-Scale Engine 3 报出的数字大约是每秒 21 PB。相比之下，NVIDIA Blackwell 的 HBM 带宽大致在每秒 10 TB 这个量级。又是好几个数量级的差异：DRAM 容量更大，但相应地带宽更低。

Cerebras 的做法就是：尽可能把更多 die 连在一起，而且不再受传统大约 800 平方毫米 reticle limit 的限制。他们直接使用整片 wafer，让各个 die 跨过 scribe line 互相连接，目标就是在整片 wafer 上塞进尽可能多的 SRAM。

这样一片 wafer 可以做到比如 50 GB SRAM；然后再把多片 wafer 以 pipeline 或类似方式堆起来，最终可以得到接近 1 TB 的超高速内存。你做这一切，核心就是为了获得“每片 wafer 每秒约 21 PB 的 SRAM 读取能力”。于是服务语言模型时，token/s 可以高得惊人：像 Kimi 这种大模型的整个参数集合，都能在大约 1 毫秒左右被送进、送出逻辑计算核心。

我觉得最终会出现某种混合结果。Cerebras 的芯片在自己强的地方——极快内存访问——和另一种容量更大的内存系统配合使用。你确实可以拿一个 1 万亿参数的模型，比如 Kimi，用大量 Cerebras wafer 把它装进去；但 KV cache 就没那么容易处理。

KV cache 会随着用户使用模型而增长，而且一直是动态的。你事先根本不知道需要多少 KV cache，因为它取决于用户在做什么、你有多少用户、同时想服务多少用户。

可以。你每次用语言模型时，送进模型的每一个 token，在这次对话持续期间都会留在模型的上下文窗口里。比如我们聊了 10 万个 token，那么第 100001 个 token 生成时，前面那 10 万个还都在上下文里，模型会参考整个历史对话，来更好地预测下一步该说什么。

KV cache 就是用来存这部分信息的内存。你送过模型的每个 token，都需要保存一个表示。它经常会大到超过模型权重本身。我喜欢这样理解：模型权重里是已经“结晶”的知识；KV cache 里则是这场具体对话形成的动态知识。

是。KV cache 在这里很有意思，因为它确实是此前一切信息的精确表示——我们把对话里见过的信息都存下来了。但训练时，模型主要并不是在超长上下文对话上训练的；它也许主要看的是 8000 token、16000 token 的对话。

所以你把模型推到 20 万 token，虽然训练中也有过这个长度的数据，但那不一定是模型真正的强项。Frontier Labs 一直在面对一个问题：怎么让模型在 20 万 token 时，和在 1 万 token 时一样聪明？这会是长期存在的战斗。100 万 token 上下文这个概念已经存在好几年，我印象里 Anthropic 是最早做到 100 万上下文长度的公司之一；但我自己用 Claude Code 时，远远没到 100 万 token 就会先 `/compact`。我并不觉得真的把窗口吃满效果就很好。

对。模型权重要怎么存，你可以想很多办法，甚至可能做到无人能敌的性能；但 KV cache 会一直是一个很大的麻烦。

Cerebras、Groq，再加上也许另外几家公司，我更愿意把它们看成“加速器”。它们真正擅长的，是和更传统、而且关键在于拥有 off-chip memory 的 GPU 类设备一起用。你要 off-chip memory 的容量，也要 on-chip memory 的速度，最终需要把两者混合起来。

把 Transformer 推到极端，比如 100 万 token 的上下文，最终会出现两个非常不同的阶段：一个是 compute-bound 的阶段，也就是 MLP 里真正做矩阵乘法的部分——模型大部分世界知识都编码在那里；另一个是 attention 层，也就是模型根据当前对话动态适应的地方。

在足够长的上下文里，attention 通常是 memory-bound；而 batch 足够大时，MLP 通常是 compute-bound。我有时会说，Transformer 的“原罪”就是把一个从根本上受内存约束的层，紧挨着一个受计算约束的层放在一起。要造一块同时特别擅长计算操作和内存操作的芯片很困难。GPU 在这两者之间平衡得很好，但最终还是有取舍。

Cerebras 在快速内存访问方面很强，所以它非常适合承载 MLP，也就是那些权重；而 GPU 有更大的内存容量，可以扩展到很长的上下文。因此一种理想组合可能是：attention 放在 GPU 上，MLP 放在 Cerebras 上。我相信 NVIDIA 和 Groq 之间正在探索的方向，本质上也有这种味道。

Transformer 最重要的一点，是让我们非常有效地从无监督数据里学习。它归根结底是在拿任意序列、任意一串数据，寻找里面的模式。headline 级的核心组件 attention，允许模型在每一步动态判断：这段序列里，眼下究竟哪一部分最相关。

你每经过 Transformer 的一个步骤，本质上都在重新给之前看过的输入加权，判断哪部分对下一次预测最重要。所以它特别适合学习任意序列数据。而我们日常产生的最有意思的序列数据，就是语言，这也是 Transformer 最终统治语言领域的原因。

再把镜头拉远，我觉得 Transformer 真正厉害的是“能扩展”。它不需要太强的人类先验。它的态度几乎是：这串数据里一定有什么模式；只要模式存在，我就去找。我会不断给这个问题加更多参数，直到它有效。

Transformer 也继承了很多计算机视觉时代的成果。计算机视觉早年有一个困难：传统线性模型，比如支持向量机之类，可能只有几千、几十万参数；后来 deep learning 把我们带到数千万参数。当时计算机视觉里大约 1.5 亿参数已经是巨型模型。今天我们却动辄讨论上万亿参数。Transformer 就是把我们从“百万级”带到“万亿级”的关键桥梁。

对。Transformer 就像非常好的海绵。你把可用计算量增加 10 倍，总会在某处得到某种对数式的改进。到目前为止 scaling laws 确实有效，而且很漂亮。

Transformer 另一个特别强的地方，是几乎什么数据集扔给它都能学，是非常强的通用学习器。和那些试图替代 attention 的技术相比，我尤其看重一点：Transformer 可以表达你想要的任意 pairwise relationship。序列里任何一个 token 都能 attend 到任何另一个 token。只要关系存在于这段序列里，Transformer 就有机会找到它。

当然，你也许并不需要真正的 all-to-all，不需要每个 token 都去看其他所有 token。但如果你需要，Transformer 给了你这个选择。在我们找到更好的办法，把这个空间可靠地剪枝、让信息建模更有选择性之前，attention 仍然是一个非常非常好的操作。

这也有点像我们在计算机视觉时代学到的一个技巧。Karpathy 有个老说法：拿到一个新数据集、想训练模型时，第一目标应该是先把模型过度参数化，故意把现有数据 overfit。你先证明这组数据里确实存在一种可建模、可记忆的关系，证明你的学习算法有效、知识确实能被装进模型。

一旦你能 overfit，再去压缩。压缩才是得到泛化能力的过程。你并不想真的把眼前数据逐条记住，而是希望泛化。所以先把数据集过拟合，然后再往回走，找出能用最小参数量表达的通用模式。

我很喜欢一句话：互联网是数据上的一次性补贴。我们几乎免费得到了它，而且质量极高——大约有 30 万亿 token 的高质量文本；如果把“好文本”的标准放宽一些，大约是 300 万亿 token。但这些东西我们基本已经都看过了。今天的模型已经把整个互联网看过很多遍，所以从互联网的人类数据里再榨出更多东西，空间已经不大。

我认为数据的下一阶段，是模型通过 RL environment gym 自我改进。甚至随机用户与 AI 的更多互动，对我们都未必还有多大价值。以前我们很重视一种新数据：人们使用 ChatGPT 之后留下的互动数据，比如他们喜欢什么、不喜欢什么。

但今天有个我很认同的观点：我们服务的中位数模型，能力已经远远超过一个随机普通人给反馈时的水平。随机人类偏好——或者说未经条件筛选的人类偏好——可能已经没什么信息价值了。你现在真正需要的是专家的人类偏好。模型已经超过日常普通人的反馈水平。

对，普通人。于是我理解的数据未来，是给模型一个困难但可验证的任务，让它在一个隔离的“gym”里持续跑；那里只有一个问题，它可以不断尝试，并获得明确反馈：到底有没有朝目标前进。

编程问题属于这一类，数学问题也属于这一类。越来越多时候，我们甚至可以直接给 Agent 一台电脑，让它像一个人类员工那样工作，只告诉它有没有朝目标结果前进。于是，环境本身就变成了数据。这并不是一个特别独特的观点，但从我目前看到的效果，它确实非常非常有效。

我觉得它比那更深刻。如果你想得到 AGI，一个很直观的路径就是不断堆叠各种专门智能，直到再也没有能力缺口。要让这件事成立，唯一必须守住的条件是：任务得可验证。你必须给模型一个能自我评分的系统。

只要有了自我评分，你就拥有一套能在任何任务上自我改进的配方。Frontier Labs 的开支变化也印证了这一点：以前它们会把大量钱花在数据上，现在越来越多钱花在 RL environments 上。这些环境恰恰捕捉了“在一个可验证任务上递归自我改进”的关系。

对，对，对。

好。我刚才提到 kernel。很多人会惊讶地觉得 kernel 这件事是不是“已经做完了”。其实还有像 Tri Dao 这样的人写出非常优秀的 kernel，它们构成现代 deep learning 的基石——FlashAttention 就是现代 Transformer 的基础之一。

只要你稍微偏离 happy path，一切又会变化。比如新模型用了一种略不同的位置编码方式，像 RoPE 系统发生变化，原有 kernel 就可能不再适合，需要打补丁。我不会说我们现在还得从零发明大量新 kernel，但快速修改现有 GPU kernel 的能力仍然非常重要。

顺便解释，kernel 是一个很泛的词，基本可以指任何在 GPU 上运行的程序。传统上，kernel 会放在库里，每一个目的都非常窄：矩阵乘法一个 kernel；哪怕只是把两个 tensor 相加，也可能是另一个 kernel。

现在我们越来越多地把 kernel 融合起来。比如先做矩阵乘法，再把结果和另一个矩阵乘法结果相加，也许可以把这两步变成同一个 kernel。这样就不需要先把数据写回 DRAM，再读回来只为了做一次加法，而是把操作直接 fuse 在一起。

我不想替 Tri 讲话，但他教给我的一点是：今天其实未必应该再手写 kernel。我喜欢说，我们是在白板上写 kernel。先去白板上描述机器应该做什么，然后用自然语言把这个策略简洁地告诉模型。模型负责执行：“这是输入和输出，这是我们希望怎样把工作调度到 GPU 上，我来实现。”

完全正确。我也说不清为什么模型今天还没有特别擅长这件事，但这绝不是遥不可及。我很确定六个月后，kernel engineering 模型会强得多；Frontier Labs 很可能会告诉你，它们已经有大量 kernel engineering 是全自动完成的。

对。像 Mythos、GPT-5.6 Sol 这种能力上升的“潮水”，会把所有船一起托起来，确实如此。我甚至不觉得有必要为了 kernel engineering 单独训练一个专门模型；它并不是“通用编程”里最值得单独特化的子集。也许你可以往 prompt 里注入一些特权信息，让模型更会写 kernel，但总体来说，这项能力上我们所有人都处在 frontier model 的下游。

对，对，对。

这可以从很多角度分析。当 GPU 正在做自己最喜欢的事，也就是大尺寸矩阵乘法时，我们其实已经非常高效。那个操作可能能跑到峰值利用率的 70% 到 80%。而且这时限制它的往往不是软件，而是电力。

NVIDIA 报 peak FLOPS 的方式有一点乐观，因为现实里会有 power throttling，你通常达不到纸面峰值。

对，准确说是 thermal。假设实际 70% 到 80%，那已经相当饱和、相当好了。但现实里，Transformer 并不会大部分时间都待在这个 happy path 上——也就是用巨大 batch 做矩阵乘法。

所以我们的工作，就是围绕芯片造一台“发动机”，不断把大 batch 的工作喂给 GPU，让它尽可能一直处于这个高效区域。

去年 GPU 世界最深刻的变化之一，是编程单位发生了改变。你不再应该一块 GPU、一块 GPU 地想；应该想整个 rack，甚至整个 cluster、整个数据中心。NVIDIA 也开始不只是卖单 GPU 或单主板，而是直接规定整个 rack 系统。他们叫它 NVL72；最新的 Grace Blackwell 300 会以 72 个单元的机架形态交付。

现在是一场公开竞赛：谁能最高效地给这台 rack-scale computer 编程。我的信念是，这种计算形态会同时成为效率和速度的未来。

事实上，至少以现在来说，如果你想要最低可能延迟，NVIDIA 这套芯片很可能就是应该选的；如果你想要最高吞吐量，眼下大概也还是应该选它。关键在于，我们刚刚进入一种非常新的编程范式。

好。第一，NVIDIA 对自己的芯片一直有长期视角。他们看到 Blackwell 的需求极其巨大，当然也可以像历史上一些供应商那样，直接把价格疯狂往上提，直到供需曲线重新相交，理论上市场又“平衡”了。但 NVIDIA 明白，如果只让口袋最深的人拿走所有芯片，长期可能反而伤害自己——因为那个客户会积累越来越大的力量。今天 compute 就是 power，所以 NVIDIA 在怎样分配算力这件事上很有策略。

第二，关系非常重要。没有人愿意突然接受一家新创业公司的巨额租赁订单：“我要租 1 万块 Blackwell，租三年或者五年。”这家公司也许才成立几个月，谁知道它三年后有没有钱付款？所以今天说服别人给你算力非常困难，要么你有非常深的关系，要么有极其强大的财务支持。

根本原因还是太稀缺，需求完全爆表。至于其他芯片，我甚至不愿称它们“更差”。我常说：没有坏芯片，只有糟糕的价格。只要价格合适，我能让任何芯片工作。 这几乎是我们公司的 ethos 之一。

以 AMD 为例。我觉得 AMD 整体上是很好的芯片，问题是很多人不太会把它编程到最好。前面我一直讲我们 kernel 团队很强，非常认真地从硬件里挤性能。NVIDIA 对自己的芯片在这方面也做得很好。坦白说，我们在 NVIDIA 上还能榨一点 alpha；但在其他芯片上，可做的事情往往更多，因为供应商出厂时在 kernel 上替你完成的优化没有 NVIDIA 那么多。

对我来说这甚至更好：还有 alpha 可以挖。别人如果形成“AMD 就是不如 NVIDIA”的印象，我听着简直像音乐。我非常乐意让别人忽视这块芯片，然后我尽可能多买。

不过今天这话已经没以前那么成立了。AMD 在一些大买家那里其实已经相当受欢迎。公开信息里，Meta 和 OpenAI 都买了很多 AMD，所以 AMD 的供应也越来越被分配完。

但后面还有很长的公司尾巴，新公司不断出现，比如 Etched、SambaNova、d-Matrix 等。它们最大的挑战是规模：能不能从 TSMC 真正拿到足够多 wafer allocation，把芯片量产到市场里？只要有一块新芯片出现，我就想尽可能早知道，评估我们能不能买下它相当大的一部分供应。

完全正确。当然，这并不是说别人只是“skill issue”，不会用芯片。我们在这件事上确实很强，我觉得我们可能是世界上最擅长同时驾驭多种 silicon architecture、并且非常激进地去不寻常的地方找性能的团队之一。

更关键的是速度：我们愿意多快地围绕一块新芯片改造自己的技术栈。我们没有特别沉重的 incumbent baggage，不会说“我的数据中心供应商只支持这一类芯片，所以部署新芯片会痛苦得要命”。我们有一些非常有创造力、愿意快速行动的数据中心合作伙伴，后面还可以谈到这类新的伙伴。最重要的是，我们不会因为困难就躲开。

很大一部分事情，真的就是直接说“yes”。TPU？我们喜欢，我们会让 TPU 工作。Trainium？我们也喜欢，我们会让 Trainium 工作。如果它没法轻松工作，那就找办法把它塞进异构 serving system。每一块芯片都有 comparative advantage；我们的任务是找到那个优势，然后沿着那个方向把性能挤出来。

与其说我是历史的学生，不如说我是历史的一员。我出生于 1997 年，我妈妈在 2000 年前后的互联网泡沫繁荣和崩盘期就在 Intel 工作。我记得 Cisco 曾经是世界上市值最高的公司，Intel 紧随其后。所以我最常拿 25 年前那一段历史和今天相比。

我认为最大的区别是，历史上很多网络设备投资是投机性的：大家提前押注未来会出现巨大用户需求，但那个需求最后并没有真正到来。而今天 token 消耗、或者更广义的 AI 消耗，已经不是投机。人们买 token，是因为它立刻对自己有价值。你不会囤 token，你会马上把它用掉。

这甚至和两年前也不同。2023、2024 年 Hopper 一代芯片也经历过 supply crunch，但那时支出主要是 training，而训练天然带有投机性。现在呢？所有公司都在给员工使用 Claude Code 设花费上限。讨论 inference spend 以及预测 inference spend 上升，是完全不同的世界。

我确实认为 inference spend 会单调上升。推理支出这里，并不存在同样意义上的投机。

我们这场对话反复回到一个问题：training 和 inference 到底有什么不同？两年前以训练为中心，和今天以推理为中心，有什么区别？在整个 AI 技术栈里，我觉得最保守的玩家一定是基础设施玩家——数据中心已经很保守，更保守的是 TSMC 这种“芯片基础设施”公司。

历史上的 AI 数据中心基本都是为 training 建的。Training 是 inference 的超集工作负载：任何训练集群通常都能拿来做推理，但反过来不一定。最关键的区别之一就是 networking：芯片之间需要投入多少带宽？需要多大的 cluster？

数据中心在某些维度上其实存在规模不经济。把 10 万块 GPU 放进一个数据中心，比做 1 万块难得多、贵得多；1 万块又比 1000 块难。现在大家甚至直接用 MW、GW 来讨论规模。但今天在美国，1GW 数据中心基本已经没法轻松建；甚至 100MW 也越来越难，除非你属于极少数特殊客户。10MW 大概已经接近今天可行性的边界，而 1MW，我会说是相当充裕的。

市场里其实存在非常惊人的长尾：把所有零散电力加起来，总量很多，只是不集中。过去建 training 数据中心的人对这种资源没有兴趣，因为训练默认所有 GPU 最好都在一个地方；没人愿意做跨数据中心 training。

所以市场存在滞后。我今天仍然经常听数据中心开发商说：必须去任何能找到的地方“搜刮”100MW、10MW 的大数据中心。但越来越多新思路的人开始意识到，inference 很适合这些分散的 1MW 数据中心。我们完全认同，也非常愿意在全美国买下很多小池子的 compute，把它们组成自己的 inference fleet。

液冷出现以后，这个问题变得很反直觉。现在一个物理 rack 能塞进疯狂高的 power density。以前你听“一兆瓦算力”会想象一个巨大的 data hall、差不多一座仓库；但现在，1MW 大概可以塞进八个 rack。每个 rack 差不多冰箱那么大，你就想象八台“冰箱”排成一排——那就是一兆瓦。

我当然认为是。只要你愿意在“接受什么硬件”这件事上有创造力，就存在很多获得便宜 FLOPS 的办法。我有一种描述方式：世界上任何地方、任何芯片、任何时长，我们都愿意买。 我觉得目前几乎没人拥有这种灵活性和流动性。

我们很愿意真的把钱押在这套说法上：任何容量都可以拿来，我们想办法让它进入 fleet、真正工作。这是我们今天很大的优势。长期还要继续扩大这种优势——例如投资那些别人会怀疑的数据中心。

想象一下，一边是一支由 1000 个小数据中心组成的“军队”，另一边是一座 1GW 的巨型数据中心。小数据中心会发生什么？第一，你经常根本没有电力冗余，也不会在现场放备用柴油发电机，因为这些东西都很贵。我们会把这些 overhead 全砍掉。

很多情况下，我们甚至不会做冗余网络。找一个电力条件好的地方，用单一电源，挖沟拉一条光纤进去就行；不会有三条光纤、冗余、failover、各种 SLA。它有时就是会掉线。事实上，有些站点只有 95% uptime，我都不会惊讶。

非常差。对别人来说简直致命、糟糕透顶。

我就是第一个买家。我愿意买 95% uptime。

部分是。其实有两个原因。第一，我们有很健壮的 control plane，只要某一个数据中心的故障不和其他站点相关联，任何单点失败都能处理。工作负载搬到别处就行。故障以某个概率发生，我对一个 95%、98%、99% uptime 的数据中心，价值判断几乎是线性的——多一个百分点就是线性多一点价值，不会突然跨过某个生死线。

第二，你确实需要我前面说的 async 特性。我们服务的是长时运行 Agent。假设一个请求失败了，我得找一块新的 GPU 把这个请求重新放上去。某一轮 Agent 也许已经工作了一小时，突然 GPU 被拿走，它会多出 1、2、3 分钟，甚至 10 分钟延迟。

对，所以没关系（笑）。偶尔某一轮稍微变长，根本不重要。我们会直接告诉客户：平均吞吐量会非常有竞争力，但我们的 P99，也就是 99 分位延迟，是不会被严格控制的，也不可能控制。作为交换，我给你的是无人能敌的 economics。我认为这和后台 Agent 完全匹配。

好。刚才我说数据中心 95% uptime 我都要。那如果价格足够合适，80% uptime 我能不能也要？大概可以。

这意味着什么？我是加州长大的，我很喜欢太阳能和风能。我觉得美国对 solar 和 wind 的利用远远不够。问题一直是间歇性：数据中心有持续 base load，而太阳能、风能是间歇电源，所以传统观点甚至会认为它们不适合数据中心。

但我觉得我们离解决这个问题并不远。我完全可以接受数据中心连续停机几天甚至几周——这对传统数据中心来说是最可怕的噩梦：风不吹、云层和雾长时间罩在山谷上，站点长期掉电。但这类事情其实高度可预测。

我可以做天气建模，预测这个数据中心什么时候会离线，然后提前在世界其他地方调入容量，把数据和 workload 搬过去，就结束了。关键在于：这样我能接触到别人根本不愿碰的电力，因为对传统用户来说，这种 outage 太烦了。

而且如果我的芯片足够便宜——它们大概不会是一整排 NVIDIA rack——那我甚至不太在乎芯片暂时闲置造成的资本成本。

对。

首先我们“捡”芯片，然后再为这些芯片“捡”电力。两件事的共同点是：我不想和 Anthropic、OpenAI 竞价抢 compute capacity。我抢不过，也不想抢。我要更有创造力，去用那些今天对它们来说“不够清晰、不值得处理”的供给。

我永远拿不到高度集中的供应，只会拿到聚合供应。但只要时间够长，我就能把这些零散供给聚起来，最终造出一个 economics 无人能敌的 aggregate factory。

我们是在造工厂。可以把目标想成“世界上最好的钢铁厂”，但它不是靠一座巨型、单体钢厂实现，而是靠很多 mini mill 拼起来。

我有两个自我会回答这个问题。一个是每天必须让公司运作、可持续并尽快增长的 CEO；另一个是 founder。Founder 那部分的我更有想象力，而且就是纯粹热爱这些东西。

Founder 的我想做全部。这是我一辈子的兴趣。我一生都在想芯片、电力、能源；我只在乎这些东西。所以当然想尽可能有野心。我不想停，而且永远不会停，直到从头到尾造出我能做到的最高效系统。

非常像（笑）。这算是情感上的答案；更困难、更现实的是 CEO 那一面。

CEO 必须务实。如果一切都自己拥有，你说得对，资本需求会疯狂得难以想象。软件杠杆最高，所以必须从软件开始。但最终，是不是自己拥有发电？还是和 utility 签到非常好的 power purchase agreement？我更倾向于让别人继续专门做他们历史上就擅长的事，然后看我们能不能先做到足够大的规模。

我把它理解成：先做到一个规模，赚到“把这一层收进自己羽翼”的权利。我绝对相信技术栈每一层都有效率可以挖。你从供应商买东西时，供应商对“客户是谁”做过很多假设；如果我能打破这些假设，也许就能得到新的优化空间。这是个很乐观的看法。

我认为之所以有可能，是因为我们实际上是在为计算史上最大的 compute 市场承保。未来会有数十亿、数万亿甚至万亿美元级别的投资进入 inference。正因为只聚焦 inference，为它定制很多东西才有经济意义。我的工作，就是寻找所有可以定制的地方。

当某种机会对我和伙伴都变得足够明显，我会让伙伴替我定制；如果他们做不了，我就自己做。

Compute scaling 本身其实很有效。你给我更多 FLOPS，我就能用更多 FLOPS。我觉得今天我们对 FLOPS 的使用已经相当克制。看现代模型，真正 dense 超过 10% 的已经很少——也就是所有可激活 expert 里，同时激活超过 10% 的并不多；frontier model 可能更接近 1%。所以 MOE 这一侧已经很 sparse，人们研究很久了，压榨得相当不错。

真正不够好的是 attention 以及它对内存的使用。尤其 KV cache 今天仍然非常不压缩。如果看 KV cache 的 entropy，它远远没有“挣回自己占的空间”。每个 token 我们可能存好几 KB 数据，这大概还差一个甚至两个数量级。我不知道 Frontier Labs 内部怎么做，但 DeepSeek 确实公开了很多继续压缩 KV cache 的有意思工作，而且进展很好。

它们大概每年都还能做出一个数量级的进步，这本身就说明空间还很大。不过这些都还是 micro scale。

再往大了看，我们对全世界已有 compute 的组织其实糟糕透顶。NVIDIA 今年会吐出 500 万块 Blackwell。这些芯片都去了哪里？真的每一块、每一秒都在被利用吗？我非常怀疑。

我们需要更好的全球 compute orchestration。困难在于，大量算力掉进了私有池子，再也不会见天日；GPU 就很悲伤地在那里 idle。我看到这种事甚至会身体不舒服——硅、能源都已经投入了，结果芯片就坐在那里不用。我很想修复这个问题：把全世界的 compute 当成 shared resource 组织起来、调度起来，塞得更紧、更高效。

大家经常取笑 xAI 的 cluster 在 total FLOP utilization 上遇到一些问题，但现实是，世界其他地方远远更糟。大量 GPU 躺在仓库里，或者被分配进某个客户的私有池，根本没有得到利用。

对，这件事有效得多。

很有意思的一点是，所有东西都在彼此平衡地增长。你打个响指，把其中某个东西翻倍，也许只是修掉 TSMC 这个瓶颈，马上就撞上另一个瓶颈。多造 20% 芯片，下一处短板立刻出现。

但我很关注 fab 到底把什么视为“必须交付的 invariant”——它们觉得客户永远都会要求什么；而哪些东西其实可以更流动。如果 fab 愿意把更多 trade-off 暴露给我，我就能更聪明地决定自己愿意接受什么。

一个特别有意思的例子是，任何 fab 生产出来的芯片，从最差那颗到最好那颗，本来就存在很大的 spread。

芯片制造天然有很大方差。像 TSMC 这样的公司，会极其努力地收紧所谓 process corners——让最差芯片和最好芯片的特性尽量接近，为此会付出大量工艺控制成本。

但也许那些控制并不是我都需要。也许最差的那批芯片，我照样能找到适合它们的位置。那就不需要为了把 process control 收得那么紧而付出额外时间和成本。也许我愿意接受更多 reject。

对我们来说，这是一个更整体的优化：die 的成本、die 的供应、电力成本、以及哪里能把这些芯片放下。我的总目标，是极大扩张美国境内可利用的电力供给，让许多原本“不够资格进入传统数据中心”的芯片也能找到自己的家。

我们非常强调一种“看极限”的思考。刚开始优化某个模型时，眼下效率不好没关系；我们想的是一个月、六个月、一年以后理论上能到哪里。我们从不接受“机器今天就是这样”作为固定事实。

哪怕 Blackwell 这种芯片，如果我们认为有一个瓶颈妨碍自己达到理论性能，我非常在乎把它理解清楚、characterize 清楚并写下来。一方面可以告诉 NVIDIA 或朋友，另一方面更重要的是，让我们未来买芯片时把这个规律一直放在脑子里。

我们想学到那些对公司长期来说近似 invariant 的东西，再把它们折进未来的决策。团队也非常 collaborative。招聘时我最看重的一类人，是既是好学生、又是好老师的人。我们团队很多人在大学当过 TA，很喜欢分享知识。我们经常做 whiteboard session。我觉得那种“每个人都有东西可以教别人，也都有东西需要从别人那里学”的 collegial environment，对我们极其重要。

好奇心。100% 是好奇心。 有一件事我教不了：对性能的热爱；愿意钻进机器工作的每一个 microsecond，理解那一刻机器里究竟发生了什么。这对 performance engineer 来说是最重要的特质，也是我真正寻找的东西。

我不要求很多 AI 经验，甚至完全不要求 CUDA 经验。那反而是个巨大的 red herring。CUDA、GPU 这些概念过去五年变化太大了，要求“十年经验”没有意义。这些具体技术我可以教，但我教不了一个人去热爱 performance engineering。我寻找的就是那种热爱。

我会说，frontier labs 为了领先其他人 3 到 6 个月，付出了极其高的溢价；而且今天这大概仍然值得。OpenAI、Anthropic 这样做，我完全能理解。

闭源 frontier 和开源之间有一个敏感话题：distillation，也就是蒸馏。我认为它是两者关系非常核心的一部分。常见说法是，拿 frontier model 的输出做蒸馏等同于“偷窃”，因为你从它那里拿走了东西。但我想提供另一个视角。

即便你主观上根本没打算抓 Anthropic 的数据，互联网上由 AI 生成的 artifacts 占比也在越来越高。只看 GitHub：过去一年新建的 repo 里，有多大比例是 Claude Code 帮忙写的？这算不算 distillation？也许这已经够了。

我甚至不会惊讶：只用 GitHub 上那些你认为质量很高、而且公开开源的代码，就能训练出一个 Fable 级别的模型。只要我们承认用户拥有自己与 AI 互动产生的输出，并且用户可以选择把它放上 GitHub——很多人确实这么做——那这种 latent distillation（潜在蒸馏） 就会长期存在。

在我看来，阻止信息或模型能力扩散，从根本上几乎不可能。它一定会发生，区别只是多快。

有可能。但我不确定“领先 3 到 6 个月”的溢价会一直那么值钱。看 enterprise deployment 就知道，企业并不会以 3 到 6 个月的速度迁移。很多企业也许还在 Opus 4.6、Opus 4.7 之类的版本上，并不会迅速采用 bleeding edge。任何变化要 rollout，都有大量问题需要处理。

而且我们才刚刚开始触及这个市场的表面。我不认为这场“比赛”现在能宣布赢家，甚至不认为它是一场最终可以被决定的比赛。它一直是个持续过程。

从根本上说，我不认为开源会消失。如果一个领导者退出，留下真空，就会有新领导者进来。激励太强，顺风也太多；训练 frontier-class model 每一天都在变得更容易。

我想要充裕的 token 和多样化的 harness。我希望所有人都能建立自己的 harness，每一家公司、每一个用户，都能真正把 Agent 变成自己的。

我觉得我们离这种定制能力已经没那么远了。我希望人们拥有自己的智能，而且智能可以为自己定制。方式可能不是 weight fine-tuning，而更多通过 in-context learning——这是个技术细节。

但这个“充裕未来”的底层输入，本质上就是便宜 token。我的工作就是把 token 做到人类所能做到的最低价格。我会实现它，而且会利用技术栈每一层可以利用的东西。我喜欢供给侧杠杆：每种芯片我都用，每种电力我都用，美国任何一块适合干这件事的土地我都用。

作为回报，人们才会有动力去探索“充裕智能”究竟是什么感觉。我们今天仍然把 Agent 当成一个咨询起来很贵的人：遇到困难问题才去问。这不是理解智能的正确方式。机器竟然能够思考，这太不可思议；我们应该尽可能把它交到更多人手里。

大部分都是芯片方面的想法。比如我谈 custom chip，别人会问：“究竟哪里不同？”一个核心是绕开 HBM 短缺，更激进地把数据 offload 到其他内存形态，比如 flash。

我对这件事非常着迷。团队每个人都知道，我一直在反复敲这面鼓：如果要让 KV cache 更大规模地 offload 到 flash，模型架构究竟要怎么改？我经常在白板上画这个问题。

在 inference 社区里，我们对“如果整个系统的服务目标只有每秒 1 到 10 个 token，会出现什么可能性”有一些很不一样的判断——因为那正是我们的北极星。

更大的问题是：一个人每天怎样消耗 1 万亿 token？我们想创造的世界，就是让人拥有这种能力。

1 万亿 token……按 OpenAI 今天的价格，至少是 500 万美元量级。用美元来衡量大概最直观。

我们要求的，是每 token 成本至少改善 3 到 6 个数量级。先把 500 万美元变成 5000 美元，也许就已经会出现一些客户。实际上，对某些大小的模型来说，我们已经接近“1 万亿 token 只需要几万美元”。到这个价格，你已经能想象某一个单独 job 真去跑这么多 token。

我永远不会相信这一点。世界永远有对智能的需求。真正的挑战，是产品社区怎样提供通往这些智能的 on-ramp。我不是产品人，所以不能说自己有最好的产品愿景。

对。我想 enable 他们。我不希望任何人被这种念头卡住：“我的 free tier 用户不能用这个”，或者“我给不起他们这么多 token”。我一直从客户那里听到这种限制，我们想把它解决。

我不断回到 NVIDIA 这个问题。短期我对 NVIDIA 很 bullish，而且你永远不应该轻易和 NVIDIA 对赌；他们总能重新发明自己。

但有一点常让人惊讶。如果你从 Hopper、Blackwell 一路看到 Rubin，做 like-for-like 比较，比如看 BF16 矩阵乘法的 performance per watt，其实并没有提高到大家想象的那么夸张。

再往下看 TSMC，从 5nm、4nm、3nm 到 2nm，这些芯片的 performance per watt 也不是每代都发生巨大跃迁。

这会导出一个很逆主流的结论。很多人谈到地缘政治时会极度紧张：如果因为任何原因失去 TSMC 会怎样？我的 contrarian take 是，情况可能没有想象中那么糟。供应当然会遭受冲击；但西方已有的最佳工艺，比如 Intel，并没有落后到无法想象，最坏也许只是 performance per watt 差 2 倍左右。我认为真实差距比很多芯片行业叙事描述得小得多。

我们完全处在 model 的下游。模型团队决定架构怎么设计；我对 OpenAI、Anthropic 基本没有输入。我只能祈祷它们往更适合我的方向走——或者更现实地说，我得尽力预测它们会往哪里走，然后相应设计自己的 serving architecture，无论软件还是硬件。

我觉得其中最有意思的“游戏”，还是回到“机器会思考”这件事究竟有多深刻。一个看起来任意的小选择，都可能对整个硬件世界产生巨大后果。

比如模型选择 sparse attention 还是 dense attention；或者训练从 BF16 改到 FP8、FP4 这种更低精度的数据类型。表面上只是架构或数值格式选择，但它会深刻影响我能用哪些芯片、硬件究竟应该怎样造，以及整个 compute 的未来。

一切都围绕供应链瓶颈。你首先得让我、或者任何投资者相信，你真正理解决定现代芯片供应的那三到五个瓶颈。

里面至少有：TSMC wafer capacity、HBM capacity、advanced packaging，也许第四个是 power——电从哪里来？这些 rack 怎么建？对这四个瓶颈，每一个你都应该有非常好的答案：你准备怎样绕开它。

因为归根结底，这都是套利。你之所以造一块新芯片，是因为认为 NVIDIA 做了一些很难改变的选择——这确实是真的。NVIDIA 有很多选择很难改，它们并不完美，只是整体平衡做得非常好。

所以新公司要做的是 spiky：挑一个地方，明确说“我认为 NVIDIA 低估了 HBM 会短缺到什么程度，因此我要极端押另一个方向”。顺便说，我觉得 HBM 可能正是最值得攻击的瓶颈。

因为没有简单办法突然多造出大量 memory fab。那些公司过去已经……

对。Boise 那帮人——也就是内存行业——并不喜欢为一个高度周期性的行业砸巨额 capex。

我反而觉得它会让其他东西都变贵。比如 iPhone 可能不得不削减内存，iPhone 价格会上升，然后我们就得接受现实。

NVIDIA 在这方面非常聪明：它不和客户竞争。 NVIDIA 对所有事都看得很长远。你也可以问：为什么他们不自己做 NeoCloud？为什么不从“后门”直接卖 compute？

Jensen 很擅长让朋友变成亿万富翁。CoreWeave 就是一个多十亿美元级的例子。他没必要破坏这种 goodwill。他希望创造一个多样的 NeoCloud 和 inference provider 社区，让这些公司彼此竞争、共同创造对 NVIDIA 的需求。

这样，即便其中一个决定 vertical integration，或者转向 AMD 或其他方案，后面还有三家饥饿的公司等着补上位置。

我第一反应会想到这些年遇到的所有导师。很少有人愿意从自己的日程里拿出大量时间，把“确保你真正理解一件事”当成自己个人在乎的事；教你某个东西，或者把某种价值观真正种进你心里——他们看见你已经站在理解的门槛上，然后再推你一把，让你跨过去。

前面提到的 NVIDIA 那些人，给我种下了对 performance engineering 的热爱。大学里的教授也一样。我记得大二时的 adviser。我当时是个非常没耐心的学生，跑去他的 office hours 说：“我想造 AI 芯片，我已经知道自己想干什么了，为什么还要浪费时间上这些基础课？为什么要学 networking、operating systems？”

他看着我，然后把整个 stack 基本铺开给我看，让我理解“懂拼图里的每一块”究竟有多深、多美。那时我一心只想聚焦系统里的某一个部分；他告诉我，真正能够从 gate-level silicon 一直理解到怎样构建优秀 internet-scale service 的人，其实极其罕见。

你应该努力成为这样的人：用一生去达到那种对完整技术栈的理解。那是一种极其罕见的能力，而追求这种层次的专业知识本身就是非常高贵的目标。这件事一直留在我心里。

非常感谢邀请我来。