两家实验室将很快控制全球大部分算力
好,我又和 SemiAnalysis 创始人 Dylan Patel 坐在一起了。我们版本的家庭感恩节晚餐,就是每年来录一次固定播客。不过我们其实并没有亲戚关系。
别告诉大家这件事。
那会毁掉这个传说。现在世界经济往哪里走,越来越取决于实验室的经济模型往哪里走、算力市场往哪里走,等等。我想弄明白,未来几年里这个疯狂的未来究竟会落到什么地方。不过先从今天讲起:现在实验室的算力和收入是什么情况?再往后一两年大概会怎样?
回到去年,甚至到去年年底,美国 GDP 增长的大部分几乎就是 AI 基础设施。今年上线的算力里,大约三分之一是给实验室的,也就是 OpenAI 和 Anthropic。它可能是别人建好以后租给它们,但最终客户就是它们。再往未来看,算力数字正在膨胀:今年资本开支已经略高于 1 万亿美元,到 2028 年会超过 2 万亿美元,而实验室拿走的比例也越来越高。
所以最后会出现一个很有意思的局面:这些实验室从每年花几十亿美元的公司,变成每年花几千亿美元,再到按它们已经开始和合作伙伴签下的部分合同推算,甚至计划在本十年末每年花上数万亿美元。这会要求它们的经济结构发生巨大重塑。到目前为止,它们基本都是亏钱的公司。Anthropic 在第二季度开始盈利;人们认为 OpenAI 也可能在第三季度某个时候,随着 Codex、5.6 等产品的增长开始盈利。
但往前一年,它们的钱全是风险资本给亏损买单;即便今年年初仍然如此。现在它们拐过了那个点,开始真正赚钱。当然这不意味着它们不再拿新资本——新资本仍会进来,只是为了加速增长。越来越多业务可以靠自己的收入,而不是靠外部注资来支撑。过去一年半里,它们的利润率上升得非常快。
算力的基础成本通常大约是每兆瓦 1,000 万、1,300 万或 1,500 万美元。最有意思的是,以前 OpenAI 用 Nvidia Hopper GPU 提供 GPT-4 服务时,毛利率还是负的;现在 OpenAI 提供 GPT-5.6,或者 Anthropic 提供 Opus 5、Fable 5,单位算力产生的收入已经远远超过每兆瓦新增的 1,000 万—1,500 万美元成本。Anthropic 的收入甚至高到每兆瓦 5,000 万美元。
这就让它们可以说:“嘿,我在推理容量上花 10 美元,实际上能产生 50 美元收入,然后我可以把这笔利润全部再增量投入训练。”
我特别想理解的是,算力向实验室集中的过程会怎样发生,或者说,给全世界使用的算力和给实验室使用的算力,比例会怎样变化。如果你说现在边际新增算力有三分之一流向实验室,那么什么时候全球超过一半的新增算力会流向实验室?又到什么时候,实验室会基本拥有世界绝大多数算力?
今年年初,OpenAI 大约 2 吉瓦,Anthropic 不到 2 吉瓦;到今年年底,两家都会超过 5 吉瓦。所以整体上,它们的算力已经增长了 3—4 倍。
新增算力的一半何时流向 OpenAI 与 Anthropic
如果看今年新增的算力,它们大约拿走了其中 30%。再往明年走,光看已经签了、落笔了、盖章了的合同,情况会更夸张:Anthropic 和 OpenAI 明年会拿走多达 40%—50% 的新增算力。这种中心化看起来没有减速或停止,反而只是在加速。
替它们建算力的人会变化。比如明年一个大型新进入者是 SpaceX,它正在建设大量算力,而且很可能会积极把其中相当一部分租给 Anthropic 和 OpenAI,因为它们在边际上最有能力支付最高价格。与此同时,OpenAI 和 Anthropic 也开始自己建设算力:OpenAI 有自己的芯片;Anthropic 则购买 Google 的 TPU,并通过 Fluidstack 部署。
所以你问:“什么时候全球一半的新增算力只会去 OpenAI 和 Anthropic?”答案其实就是明年底左右——到那时,一半新增算力已经会流向这两家。
因为算力增长太快,新增算力很快就会近似等于“大部分现有算力”。所以非常快——按你的说法,也许一年半到两年——世界大部分算力就会由两家实验室拥有,或者至少是在满足这两家实验室的需求。
现在还有一个趋势:全球以吉瓦计的算力也许每年翻倍,但前沿实验室的算力每年却是三倍。如果把当前趋势直接往前推,今年年初从 2 吉瓦开始,到年底接近 6 吉瓦;再乘 3,2027 年底是 18 吉瓦,2028 年底是 54 吉瓦。你会不会到某个点说:“好,到这里它们不可能再三倍增长了,因为全球算力总量根本不够?”你怎么看未来几年全球算力的整体情况?
如果今年新增 30 吉瓦,明年新增 50 吉瓦,再下一年大约 70 吉瓦,会出现一个很有意思的现象:今年新部署的每一瓦,效率都显著高于两年前部署的每一瓦。今年部署了全球算力里非常大的一部分。即便部署的瓦数没有翻倍,我部署的却是 GB300、TPUv7、Trainium3,它们的能效高得多——单位瓦的性能是上一代芯片的 3—5 倍。
所以这里其实有一层巨大的性能阶梯。假设 Anthropic 和 OpenAI 明年拿走 45% 的算力,那么到 2027 年 12 月左右,它们已经拿走全球一半的新增算力;而这“一半新增算力”的性能,又高于此前所有旧算力。所以还要再乘一个倍率。到 2028 年末,如果这个趋势继续——而我现在看不到什么能阻止它——它们两家自己就会控制全球大部分真正可用的 FLOPs。
60 亿美元晶圆厂资本开支如何撬动万亿美元 AI 收入
我困惑的是:如果我们进入一个算力价值高到这种程度的世界,你为什么觉得 2028 年只会新增 80 吉瓦?
顺便说,那已经是上限了。那是“我他妈超级看多”的版本。
好,那我们做一点逐步推演。我几个月前采访你时,你说要制造 1 吉瓦——我记得是 Vera Rubin——大概需要 55,000 片 N3 晶圆、6,000 片 N5 晶圆,以及 170,000 片 DRAM 晶圆。我不知道这些数字现在有没有变。
我得调侃你一下,你当时说 wafers 的发音真的太印度了,像 “vafers”。顺便说,我们刚搬到美国时,我自己 v/w 也分得很糟,而且我还是素食者。
我记得你跟我说过这个。
我当时在北达科他州上小学,会说——
“Can I get a wedgie?”
“Can I get some wedgies?” 好了,回到正题。那是生产 1 吉瓦所需的晶圆。我让一个 LLM 跑了你的晶圆厂设备模型,算了算要让工厂基本每年生产 1 吉瓦算力,设备工具要花多少钱。它给出的数字是 30 亿—40 亿美元。如果再加上洁净室、厂房外壳和晶圆厂里的其他东西,那就是大约 60 亿美元晶圆厂资本开支,可以每年生产 1 吉瓦。
而 1 吉瓦现在能产生大约 1,000 亿美元收入。更关键的是,那 60 亿美元资本开支不是只生产一次 1 吉瓦,它是每年都生产 1 吉瓦;每个吉瓦又每年产生 1,000 亿美元。五年下来,第一年生产的那 1 吉瓦已经赚了五年,第二年生产的赚了四年,以此类推。也就是说,在晶圆厂这一层,60 亿美元资本开支最终可以对应超过 1 万亿美元的 AI 终端收入。
对,但一路上还有很多运营成本,也有很多别的资本开支,比如数据中心、电力;你还得付钱给 OpenAI 做研发。
还有安装。这里有很多不同的人都得拿钱。哪怕我们把一半都扣给这些“中间环节”,晶圆厂资本开支和最终产生的收入之间仍然有 100 倍的差距。其实还不止,但我们就极度保守地算。于是……这就是资本主义:你眼前有一个巨大错位,1 美元能变成 100 美元。
他们难道不会想办法多做一些镜片吗?
会。只是这些镜片生产起来需要时间。
可问题已经紧急到 Anthropic 和 OpenAI 会说:“我们现在本来能赚 1 万亿美元,却被 ASML 机器里的镜片卡住了。如果我在这上面砸 1,000 亿美元,怎么才能造更多镜片?”我们很快就会进入这种局面。我们真的解决不了这种供应约束吗?这很难想象。
市场里已经有人做一些很有意思的套利了:他们买燃气轮机,然后想办法转卖,因为一旦轮机成了数据中心的瓶颈,它的价值就远高于原来的价格。我觉得只要有人手上有 4 亿美元,而且能说服 ASML 卖给他一台 EUV 设备,他就应该直接买下来,放一放,然后以超过 10 亿美元的价格转手。
所以最终资本主义当然会让这些东西扩产。但它像一根鞭子:信号从手柄传到鞭梢需要很长时间。供应链不会立刻反应。你现在去问 Carl Zeiss 的人,他们会说:“对对对,我们要在本十年末做到一年 100 台 EUV 设备。”可我们今年早些时候录那一期时,他们甚至还不觉得自己需要做那么多,连一年 100 台 EUV 所需的镜片都没准备。现在他们才说:“好,我们确实得做到。”
供应链为什么不会立刻追上算力价值
但实际上,考虑到现在发生的这些经济变化,产量应该还要更高。只是让整个产业链真正“吃透”这种 AI 价值信号,需要很长时间。
假设整条产业链里的每一家公司都被私募股权接管,来了一个超级“AGI 上头”的人,说:“我们就要最大化产量。”那你觉得,真正限制我们制造更多东西的物理约束会是什么?我之所以问,是因为我们很快会进入一个实验室收入——或者更广义说 AI 现金流,因为加速器本身也产生巨额现金流——大到足以直接用自身现金流支持整条产业链极端扩张的世界。
总体上我同意。当然会有物理约束。按照供应链当前扩张的方式来看,“100”大致仍然是对的数字。
你说 2030 年?一年 100 台 ASML?
对,2030 年左右 100 台 ASML。但如果你对 Carl Zeiss 说:“给你 100 亿美元,求你他妈赶紧扩产”,那当然会改变情况。问题是,你得对供应链里的每一家公司都这么做。
但你不觉得明年就会发生?
我不觉得今年会发生,也不觉得明年会发生,后年我也不觉得。因为整个世界仍然受资本约束。
可如果顶级实验室明年合计就能产生 1 万亿美元收入,它们难道不能拿出其中 100 亿美元——
我不觉得它们会这么做,不过……
或者至少拿出几千亿美元?它们看起来已经明白世界往哪走了。我总觉得它们完全可以——
实验室明年确实会产生数千亿美元收入,但明年的资本开支大约是 2 万亿美元。这里仍有一个巨大缺口。晶圆制造设备供应链大概会有 2,000 亿美元级别;数据中心供应链更大;加速器供应链更大;能源供应链也会是一个大数字。全部加在一起,资本开支会远超 2 万亿美元。所以实验室的现金流还没有大到能自己把这些东西全买单。
当然,从某种意义上说,它们永远也不该到“现金流完全覆盖资本开支”的状态,因为你就是希望资本开支持续高于当前回报。
对,就是不断再投资。
实验室竞价会把算力价格推到哪里
我真正最想理解的问题是:如果当前趋势继续,到 2028 年底,每家实验室都会超过 50 吉瓦,两家合计就是 100 吉瓦。而且正如你说的,到 2028 年这些吉瓦能提供的吞吐或性能会比今天高很多,因为硬件变好了;不只是每瓦 FLOPs 上升,硬件本身也更适配 AI 工作负载。好,那实验室到 2028 年底 100 吉瓦。全世界总算力是多少?
这会变得有点困难,因为到 2028 年,它们也许已经拿走 70%—80% 的新增算力。我不确定那时市场会发生什么。为了真正买到 70%—80% 的算力,它们得把算力价格推高到什么程度?Google、Meta、Amazon 会愿意卖出那么多吗?
还有一个口径上的说明:我们说这些“吉瓦”时,比如 Amazon 在 Bedrock 上提供 Anthropic 模型,我们也把这算作 Anthropic 的算力,因为最终它事实上会计入 Anthropic 的收入,尽管中间有收入分成、credit 返还之类的东西。总之,如果它们到 2028 年合计达到 100 吉瓦,那一定已经对市场做了非常剧烈的事情。
因为以今天每兆瓦 1,000 万—1,500 万美元的价格,几乎任何人都能用算力赚钱。我不是开玩笑,真没那么难。拿一架 GB300 机柜,下载 Kimi 权重,下载 vLLM 或 SGLang,把它架起来;Codex 和 Fable 甚至能帮你做。很简单——不是说完全没有技术门槛,但绝对不是火箭科学。再把服务放到 OpenRouter 上,你产生的收入就会开始高于你付的算力成本。
这已经让原本每兆瓦 1,000 万—1,500 万美元的算力价格开始拐头向上。如果要在 2028 年做到 100 吉瓦,你必须相信实验室能在竞价上压过别人,因为在 1,000 万—1,500 万美元这个价位,别人也都能赚钱。那算力会不会涨到每兆瓦 2,500 万美元?4,000 万美元?
正如你说的,现在实验室每兆瓦产生的收入已经远高于其他人。如果它们保持今天这种领先幅度,我们就该预期这会继续。如果出现某种递归自我改进,让 AI 实验室得到相对更大的能力增益——或者它们内部有不对外发布的模型,帮助自己做出下一代模型——那这种差距只会更大。
而且你不是已经看到这个机制了吗?SpaceX,或者任何稍微落后一层的公司,如果自己没法像实验室那样高效变现算力,就会把算力卖给最高出价者。于是实验室自然会不断竞价,拿走越来越大的算力份额。
这基本就是我的世界观。它们会继续吞下更多算力。但按今天这个价格,它们不可能吞到那个程度,价格得明显上涨。要在 2028 年真正拿到全球 70% 的算力、做到 100 吉瓦这个非常激进的目标,它们确实得开始支付每兆瓦 2,500 万、3,000 万甚至 5,000 万美元。
另一个非常棘手的方面是,我们已经看到 AI 实验室遭遇了显著减速。它们自己主张的安全监管,实际上对实验室的拖慢可能比对中国开源语言模型的拖慢更大。OpenAI 没有发布 Astra;OpenAI 停训两周;Anthropic 没有发布其安全评估里被称作“Model 2”的东西,人们普遍认为那就是下一版 Mythos。它们显然没有把最好的模型放出来。
这样一来,每兆瓦收入会停滞,甚至重新下降,因为别的模型又变得有竞争力。这不等于它们技术上落后了,而只是它们不发布最强能力。如果监管影响阻止它们发布最好的模型,那么每兆瓦收入就不会增长得那么快,它们以更高价格抢买新增算力的能力也会下降,于是也许根本到不了 100 吉瓦。
但在一个完全不考虑安全约束的世界里,我确实认为这就是会发生的事:它们可以做到每兆瓦 1 亿美元甚至更高的收入,也就可以支付每兆瓦 5,000 万美元。其他人没有任何理性理由再把算力留在自己手里,都会说:“Dario,求你把我手上的算力全拿走吧。”不过现实里确实存在一些我们无法完全描述的力量,会让这个过程慢下来。
用“一百万白领”理解每吉瓦算力的价值
一个很好的直觉泵是:假设 AI 模型真的和一个完全自动化的软件工程师一样好。现在还没有,我觉得它们离完整自动化一个白领的整份工作还很远。但白领每年收入通常是六位数,甚至更高。如果 1 吉瓦算力能维持大约 100 万名白领级 AI 的“人口”——
那乘出来就是 1,000 亿美元。
这竟然比我直觉里低。对,100 万人,每人 10 万美元。
我也不知道精确数字。但如果到了完整 AGI,单位吉瓦对应的价值很可能是几千亿美元。另一个方面是——
AI 价值链里谁会拿走最大剩余
另一个我们一直看到的现象是:绝大部分价值并没有被模型公司拿走。这些模型创造的大多数价值,并没有交给 OpenAI 和 Anthropic。谢天谢地,到目前为止,主要还是落到了用户手里。
比如 Jane Street。它和 OpenAI 有 GPT-5.6 Ultrafast 模式的独家合同,同时也是 Anthropic 最大的客户之一。它从自己购买的 token 里产生的价值,远远、远远、远远高于 Anthropic 从这些 token 上赚到的利润,因为 Jane Street 可以直接在市场里赚钱。再比如 Meta,一度有传言说它占 Anthropic 业务的 10% 之多。Meta 用模型优化广告算法、提升参与度,让用户多停留 5%,等等,从而产生的效率和利润,也远高于 Anthropic 从卖模型本身拿到的钱。
这其实是整个体系能运转的必要条件。当然,如果你突然有 100 万名新的软件工程师,软件工程师的市场价格也会下降。
我困惑的一件事是:这个市场最后会不会达到均衡?如果会达到均衡,那你是不是应该预期,算力价格最终就等于 Anthropic 或 OpenAI 能从算力上赚到的钱,或者至少非常接近,只给它们留下一个很小的加价空间?现在的状态很奇怪:算力的成交价和 Anthropic 能从同一份算力上赚的钱之间,差了 4 倍甚至更多。
如果未来每吉瓦收入继续增长,Anthropic 对 1 吉瓦的变现能力翻两倍、三倍,但两者之间的差距反而越拉越大,那就很奇怪。它只是因为手里有一套权重,就能把一个成本 10 美元的东西变成 100 美元。
这是个一直都很好玩的题目:AI 创造了这么多价值,价值最后流到哪里?最末端是终端用户,我想我们都同意,用户获得的价值比任何一层都多,所以他们才愿意为这些模型付很多钱。再往上是应用层,到目前为止应用层真正捕获的价值很少。再往上是模型层:一年前它还是负毛利,现在却有巨大的正毛利,并且看起来正在走向每兆瓦 1 亿美元收入——也就是像你说的,把 1,000 万—1,500 万美元变成 1 亿美元。
但如果回到一年前,当时是硬件供应链拿走了全部毛利,其他所有人几乎都在亏钱。OpenAI、Anthropic 和很多创业公司都在把 VC 的钱往里烧;很多 hyperscaler 也在建设基础设施,却不知道到底有没有回报。于是模型层在某种意义上是在创造“负价值”:它卖 token 的价格低于基础设施成本。价值都被芯片、晶圆厂这些上游环节拿走了。
2023 年最早的时候,做 HBM 和 AI 内存的厂商其实也几乎赚不到钱,尽管理论上他们交付的价值巨大。现在价值捕获的位置又变了。实际上,TSMC 捕获的价值反而比内存厂商少很多。所以整个价值链里谁拿走利润,已经来回移动了很多次。对于追踪市场、或者像 Jane Street 这样直接参与市场的人来说,这当然很有意思。
这不是广告。
这不是广告。
他们是赞助商没错,但你也不用这么拼命给他们打广告。
那往后会怎样?Anthropic 和 OpenAI 的价值捕获已经开始慢慢膨胀。它们会不会一路膨胀,把所有价值都拿走?原本可以这么想,但 Elon 又证明:“不,我可以把我的算力按每兆瓦 2,500 万或 4,000 万美元卖给 Anthropic 和 Google。”哪怕只是短期,我已经按这个价格卖掉了,一年就能回收全部资本开支。
那你预测一下:相关这一档算力——比如 B300,或者 SpaceX 据说按每吉瓦 400 亿美元卖给 Google 的那类算力——到明年年底会卖多少钱?
算力市场、云厂商与实验室之间的议价
我觉得大多数算力仍然会以每吉瓦低于 200 亿美元的价格成交。
到明年年底也还是这样?
因为这一切都必须融资。如果 Meta、Microsoft、Amazon、SpaceX 可以在还没有客户的时候就自己把算力建出来,直接说“去他的,我先把算力建了再说”,等东西真的建成后,它们就掌握了局势。但现实是,大多数算力在开工很久以前就已经签了合同。
Elon 利用的恰恰就是这一点:他手上已经真的有算力,于是可以对 Anthropic 说:“嘿,我知道你每吉瓦能赚 600 多亿美元,那你为什么不花一个疯狂的价格把我的东西买走?”当然,不是说 Elon 一个人决定价格,也不是 Anthropic 一个人决定价格,而是市场自己把价格算出来了。
换成一家普通云厂商,逻辑完全不同。它会说:“好,我要建 1 吉瓦,或者 100 兆瓦算力,要先花资本开支;接下来我要找到客户。如果我要找到客户,也就要找到资本。谁会同时给我资本和客户?客户必须先签合同,然后我拿着客户的承诺去信贷市场融资。”所以这产生了一种完全不同的权力结构。
Meta 本质上是在囤算力。它和 SpaceX 是唯一有希望成为“第三极”的两个玩家,因为它们能用自己的资产负债表和建设能力,在没有一个已经能高强度变现的终端客户时就先把算力做出来。它们有真正的资产负债表,所以能直接进信贷市场。你建 1 吉瓦,可以赚到利润——不是疯狂的利润,但不错——然后你手上就有了算力资产。
这样 Meta 和 SpaceX 就有了选择权:到底是内部用这批算力更赚钱,还是把它按极高利润率卖给 Anthropic 或 OpenAI?现在我们已经进入一个新状态:SpaceX 和 Meta 可以说,“我自己先把算力建出来,而且我不是只能按 1,300 万美元卖,我可以卖 2,500 万、5,000 万,甚至更高。”
【广告】我最近一直在做视频 essay 和其他新形式,所以也在给播客找一个新的编辑。但主动找编辑非常耗时间,因为绝大多数候选人都不是我想找的类型。于是我在 Grok Bot 里做了一个 recruiter,想看看它能不能帮上忙。
我先给它塞了一个巨大的上下文,把自己所有要求几乎完整地口述了一遍。然后它又启动四个机器人,分别去搜不同来源:一个翻过去一年的邮件,找相关的主动来信;一个搜我的 X 动态和私信;一个去看我喜欢的各种纪录片片尾字幕;最后一个去找我关注的 YouTuber 都在和哪些剪辑师合作。
Grok Bot 把这些子代理找到的候选人汇总起来,再按我的标准过滤,交给我一个最终 shortlist。说实话,第一批里有几个不错、我想见的人,但大部分都不行。后来我进一步告诉 Grok Bot 它漏掉了什么,它又给我一份新名单,这次我是真的非常兴奋。
最后我把整个工作流保存成一个 routine。所以现在每周 Grok Bot 都会自动检查我的来信和 X 私信,寻找值得面试的新候选人。如果你也想试试 Grok Bot,可以去 x.ai/bot。
数据中心监管会怎样拖慢 AI
你觉得 Anthropic 或 OpenAI 到 2027 年底,每吉瓦收入会到多少?
这高度取决于谁有最好的模型,以及它们是否还被允许持续发布最好的模型。但我看不出为什么不能达到每兆瓦 5,000 万美元以上。
你说的是 2027 年底?
哦,到 2027 年底?那会更难一些,不过我觉得混合整个公司的平均值,可能到每兆瓦 7,000 万、8,000 万美元,甚至更高。
听起来还是低。那如果真是这样,算力价格会怎样?
如果我是 Anthropic,新增算力对我当然有价值。也许我会花每兆瓦 4,000 万美元买 SpaceX 的算力。如果我是 SpaceX,我会往供应链上游看:“我已经和 Jensen 做了这笔交易——他现在突然又开始用 Twitter 了。”Elon 说他们会独家使用 Nvidia,那 Jensen 为什么不涨价?接着 SK Hynix、Micron、Samsung 也会看着说:“那我们为什么不涨?”
所以在价值捕获这件事上,我觉得会有一个牛鞭效应。某一个人涨价,并不代表整条供应链会立刻重新平衡,但时间拉长后,上游一定会重新定价,东西会越来越贵。你要增加产能,实际上就必须这么做。TSMC 涨价很慢,但内存公司涨得很快,载板公司也涨得很快。
Elon 不会在每兆瓦 1,500 万美元时把算力卖出去;他之所以卖,是因为现在价格已经 2,500 万美元以上。所以显然他涨价非常快。
我反而很惊讶,你觉得明年年底的每吉瓦收入不会远远超过 1 亿美元。RSI 什么时候发生?takeoff 什么时候发生?就算没有 RSI,只是假设当前进步速度不变——看过去一年半我们已经进步了多少。那时最好的模型是什么,Claude 3.5 之类?
我的问题在于,当前世界上最好的模型是二月份训练出来的。
所以你的意思是,也许我们根本不会被允许发布实验室最强的模型?
OpenAI 都说它们停训两周了,哥们。搞什么?而且这不只是“内部能不能充分使用,足以让它们继续竞价算力”的问题;还有另一层:监管会不会让整个 AI 进步速度都变慢。
对,但——
它们甚至都不能在内部用这个新模型。Astra 在内部也没有广泛部署。
可即便如此,如果你有一个模型……去年年初发布的模型叫什么?GPT——4o?是 4o 吧?
对。
那么到 2027 年底,你谈的是再来一次 GPT-4o 到 Mythos 2 规模的跃迁。
可 Mythos 2 还没发布。
那就别说 Mythos 2,只说 Mythos。再来一次那样的跃迁。
连 Mythos 都没有被允许完整放出来。它被阉割了。我们不能拿它优化推理性能,也不能拿它优化各种别的东西。
好,也许 AI 进步本身或者 AI 的部署确实会因为某种原因减速,从而让每吉瓦收入更低。但在我看来,这是到明年年底每兆瓦收入“只有”1 亿美元的唯一解释。只要模型继续变好,它产生的价值就会继续提高。
谁能捕获这些价值当然仍然有争议,但最终每一层都会涨价,因为他们涨得动,而且这会极度通胀。尤其如果监管方式正在发生变化。到目前为止主要还是“不要发布模型”;但越来越多监管开始变成:纽约禁数据中心,Texas 搞暂停令,Ohio 则至少有人试图要求数据中心替一定半径内所有人的房产税买单。这些东西都会减少供给、增加成本,而成本最后也会向下游传导。
你会逐渐进入一个状态:至少从外部看,进步速度确实会变慢,即便实验室内部模型还在越来越好。
在 takeoff 场景里,为什么 Anthropic 不会始终比外部可用的模型提前六个月拥有自己的最强模型?安全和监管是一层原因,但竞争优势本身也是原因。如果进步速度在加速,这六个月造成的能力差就会越来越大。
对,而这正是会把每兆瓦收入增速压低到远低于今年上半年水平的东西。
监管与资本约束的过渡
这里有一件我特别感兴趣的事:随着这些公司开始上市,而且它们——
实验室会把越来越多算力转向研发
——随着这些公司上市、必须对投资者负责。假设到明年年底,它们各自接近 20 吉瓦,那么 10% 的算力就是 2 吉瓦。再假设它们原来把 60% 的算力用于训练,现在想把训练占比提高到 70%。投资者会说:“等等,如果你每吉瓦能创造 1,000 亿美元收入,那你为了增加训练算力,等于主动放弃 2,000 亿美元收入。”投资者会问:“搞什么?你们训练已经花这么多钱了,为什么还要花更多?”如果它们成为上市公司之后仍然说:“不,我们就是要不断提高训练占比,用来抵消每吉瓦算力带来的收入提升。”你觉得会发生什么?
我个人就是这么判断的:随着时间推移,实验室会把越来越少的算力分给推理。我觉得这是一个非常非共识的判断。大多数人的标准看法是:“未来大多数算力都会用于推理。”但我认为,大部分算力会用于训练所需的 forward pass,而不一定是产生收入的推理。
比如今天它们每兆瓦能创造 3,000 万—4,000 万美元收入,于是可能把 40% 的算力给推理。假如以后每兆瓦能创造 6,000 万—7,000 万美元,你还会维持 40% 推理、把巨额利润拿去分红和回购股票吗?还是拿去造 AGI?对 Anthropic 和 OpenAI 来说,我觉得答案显而易见,而且不只是高管这么想,董事会也会这么想:去造 AGI,因为那更有利润。所以最终你会看到,它们不断提高用于训练的算力比例。
即使与此同时,每一份新增算力如果拿去做推理,能产生的利润还越来越高。
对。关键就在这。假设我卖 token——OpenAI 的 Ultrafast mode 只是对外发布,还是内部也在用?答案是内部也会用。因为超高速 AI、最强模型在内部产生的价值,可能远远高于给外部客户产生的价值。所以即使我对外做推理,每兆瓦可以创造 1 亿美元收入,如果我把这份算力转去 AI 研究,它能给我带来多少新增进步?又会怎样改变我未来的盈利能力、改变未来现金流的折现值?它们当然不会真的坐在那里算一张 DCF 表,但从逻辑上说,越来越多算力留在内部更合理。
推理算力之所以一度需要这么大,一个主要理由就是:先用推理赚钱,再用这些钱扩张训练集群。
我觉得这其实是个很有意思的经济学问题,甚至可以让模型自己去推演:什么条件成立时,一家公司才会降低用于推理的算力比例?
我觉得过去三个月它们实际上已经这么做了。今年某些阶段,推理占比还在提高——但我们按月看。你会同意,Anthropic 每个月新增的算力一般都比上个月多。签一笔 SpaceX 之类的大单时会有噪音,但总体上算力曲线一直向上。可与此同时,年初它们新增收入的速度曾经暴涨,后来已经趋于平台。现在它们可不是每个月都再增加 250 亿美元 ARR。
这意味着它们得到的边际兆瓦里,越来越高的比例正在流向 R&D,而不是推理。所以从事实层面说,它们今天已经在把更多算力转向研发。我觉得只要足够仔细地看它们在做什么,这一点其实很明显。
中国新增算力占比不到 10%,但实验室也不需要同样多的算力
如果我用你刚才说的全球算力增长数字来算,有几个问题想搞清楚。把那些数字加起来,到 2028 年底全球 AI 算力应该会超过 200 吉瓦,对吧?
对,全球总量。
那 2028 年以后,全球 AI 算力还能以多快的速度继续增长?
今年新增 30 吉瓦,明年 50 吉瓦,2028 年 70 吉瓦;2029 年大概 90—100 吉瓦。
然后以后每年就再加 100 吉瓦左右?
我觉得斜率还可以继续往上。只是超过四年之后真的很难预测。谁知道那时是不是已经进入 RSI regime,或者什么时候世界经济开始每年增长 10%。如果你每年新增 100 多吉瓦,那对应的 GDP 增长会非常夸张。
如果 2028 年全球大约有 200 吉瓦,那中国到那时会有多少?在整个趋势里,中国的算力会怎样继续增长?因为如果西方在中国还没有大量算力之前就进入 RSI,那会和“中国先有了大量算力、之后 RSI 才发生”的世界非常不一样。
先把基准拉回 2022 年。当时美国大约占全球新增算力的 45%—50%,中国大约 30%—35%,剩下的由其他国家和地区吸收。2022 年以后,一方面有针对中国的大规模限制,另一方面美国的部署量急剧上升。现在大约 70% 的新增瓦数都部署在美国。
中国现在其实很小。用于数据中心 AI 算力的新增瓦数里,中国不到 10%。往前看,这个比例短期仍然很低。中国国内产量还很小,从 Nvidia 购买的量也仍然不大,而且其中不少最终还落在马来西亚等别的地方。所以国内新增 AI 算力里,中国依然不到全球的 10%。我觉得 2028 年这个比例可能开始向上拐。
但到 2028 年,中国的 AI 算力很容易判断为 30 吉瓦或更少。
你说 2028 年?
对,2028 年。
那之后它的 hockey stick 会有多陡?
我确实认为 2028 年中国可部署的算力会有一次明显跃升。2026 年,它们还主要依赖大量走私芯片、TSMC 给一些“以为不是 Huawei、最后其实是 Huawei”的公司代工出来的芯片,以及 Samsung 运过去的很多 HBM。到 2027 年,中国的晶圆厂开始真正上量;尤其是 2028 年,SMIC、CXMT 等国内产能开始明显爬坡,年产量会达到几百万颗的规模。仅仅 2028 年,国产芯片就可能额外增加 5—10 吉瓦。
当然,这些芯片肯定比 Nvidia 在 2028 年的芯片差,也会比 Google 或 OpenAI 在 2028 年使用的芯片差。
所以你是说,连“吉瓦”这个数字本身都高估了中国的实际算力。名义上可能是 30 吉瓦,但芯片差很多。
对。
可如果你认为全球下一年会新增 100 吉瓦——我知道你说不能预测得太远——那中国再下一年能增加多少?我真正想知道的是:一旦它们开始能大规模出货算力,会不会立刻 hockey stick,还是即使那样,增量仍会低于美国加盟友?
这很大程度取决于美国会不会通过 MATCH Act、设备出口管制会不会继续,以及中国把自己刚开始能国产的设备扩张得有多快。但归根结底,中国一定会 hockey stick。如果中国特别擅长什么,那就是把制造业扩张得非常、非常快。我也预计,中国会越来越有能力把外国芯片买回国内,或者至少缩小美国允许 Nvidia 对华销售产品与最先进产品之间的差距。
中国的制造扩张、出口管制与算力质量差距
你觉得中国 2029 年有可能单年新增 50 吉瓦吗?
我觉得完全合理。其中一部分也可能来自进口。总之,我认为 2029 年中国新增 50 吉瓦完全说得通。
不过如果里面大多数是国产芯片,就要做一个质量折算。名义上的 50 吉瓦,真正提供的有效算力可能只相当于美国芯片的 20 吉瓦。
明白。所以你实际上在预测一种世界:如果按芯片质量加权,那么 2028 年某一家领先实验室的算力,可能会比中国在 2029 年、甚至 2030 年全国的算力还多。
前提是没有采取任何措施放慢美国实验室。
对。
但显然政府和政治人物已经开始这么做了。反过来,中国不会去放慢 AI;它们只会想办法把 AI 加速。
说真的,我之前采访 Jensen、问出口管制的时候,我本身是个 libertarian,当时我并不确定自己怎么看这个问题。我还特意替和他相反的立场做 steelman,因为我觉得把观点真正辩清楚很重要。我当时会想:“也许存在一种世界,我们和中国直接合作反而对美国更好,尤其是它们控制着供应链中这么多东西,而机器人时代还会需要这些东西。”
但我没意识到你说的算力差距已经这么夸张。出口管制看起来确实已经产生了很大的影响。如果中国真的只能按你说的速度部署,那差别巨大。等我们进入自动 coder、开始接近自动 researcher 的阶段时,中国在算力存量上已经远远落后。如果最终真是这样,那这套政策确实奏效了。
我觉得这确实是一个值得注意的成功。不过有个 caveat:这里面一部分是出口管制,一部分其实只是金融体系差异。美国金融体系比中国金融体系更愿意 YOLO 式地把钱砸进创业公司;但一旦中国金融体系决定集中支持一个产业,它给的补贴会比美国大得多。中国半导体产业得到的补贴,显著高于世界其他地区半导体产业补贴的总和。
如果 takeoff 没有你暗示得那么快,而是拖得更久,那最终中国会在半导体端大幅追上来,而半导体到某个时点就是算力。
还有一个很值得注意的事实:至少从公众能感知到的模型表现看,中国公司今天相对于自己拥有的算力,其实并没有落后那么多。领先的中国实验室总算力最多也就 100—200 兆瓦;ByteDance Seed 是一个明显例外,算力比这个多得多。但 Kimi 并没有 1 吉瓦,离 1 吉瓦还很远。反过来,到今年年底 Anthropic 会超过 5 吉瓦。
所以问题是:这真的重要吗?我觉得目前这份算力差距还没有那么重要。把一家实验室的算力预算拆开看,到目前大致是 60% 训练、40% 推理;但训练内部还要再拆。实际上大概 50% 的总算力在“研究”,10% 在“开发”,40% 在推理。
我说的 research 和 development 是:研究员在不断产生想法、测试新架构、新数据配比、新超参数、新 attention 技术,等等等等。可当它们真正做一次训练 run,比如 Anthropic 训练 Mythos,单次 pre-train 的规模其实不到 200 兆瓦。
你说的是 pre-train,还是整个训练过程?
pre-train,不到 200 兆瓦——
为什么几吉瓦的实验室仍只用几百兆瓦做一次训练
——大概持续两个月。之后的 RL 甚至更小。
你认为 RL 用的算力比 pre-train 还少?
至少从单个站点、某一次 pre-training 集群的规模来说,是。
但总算力可能更高,对吧?
对,但它是顺序发生的。它们任何一个时点实际同时用在这次开发上的算力,最多大概就是 200 兆瓦。现实里实验室已经有数吉瓦,所以大多数算力其实在做 research,而不是直接用于开发某一个模型。
这背后有很多现实原因:协调这么多集群很难,把它们放在同一地点很难,多站点训练很难,RL 本身也很难。RL 时生成更多 rollout 并不一定就能让模型更好。所以你明明拥有 2 吉瓦,可能真正能有效放到一次训练里的只有 200 兆瓦。
但随着我们走向自动 coding、自动 researcher,我预计“research”和“training”的界线会越来越模糊,甚至更多算力会直接算作 training。continual learning 之类的技术也是一样:它们都会让越来越多算力真正用于训练模型本身。
如果世界走到每年新增 100 吉瓦,按现在的价格,仅这些算力每年就是 5 万亿美元 CapEx。然后还要叠加一件事:发电厂必须提前很久建,而且是 30 年资产;数据中心本身也是 15—20 年资产,也必须提前建。所以考虑未来几年的增长后,这个 5 万亿美元其实会变成 7 万亿、甚至 10 万亿美元 CapEx。
等等,我没理解。刚才这个数还没有包括数据中心本身缺少发电基础设施这件事?
对,正是如此。人们平常说“AI CapEx”每吉瓦 400 亿、500 亿美元时,很多时候算的主要只是 critical IT:服务器、网络、光纤、收发器、光通信这些。它并不包括数据中心建筑本身,也不包括发电厂;而这些资产都要提前建设。
假如我今年建 100 吉瓦、明年建 150 吉瓦,那么明年那 150 吉瓦需要的建筑,很多资本开支今年就要发生。如果后年要建 200 吉瓦,对应的发电厂也得更早花钱——涡轮机今年就得买。所以如果真要一年建 100 吉瓦,总资本开支实际上会远远超过 5 万亿美元。
对。到 2030 年底,每年的新增 CapEx 很可能接近 10 万亿美元,差不多是全球经济的十分之一。如果大部分都发生在美国……当然到那时美国经济也会更大,但按美国今天的经济规模算,相当于四分之一到三分之一的美国经济都只是在建设数据中心。
我把这句话说出来,反而开始觉得:“也许你是对的,我们就是不会允许它发生,这正是指数曲线断掉的原因。”因为要让这种指数继续下去,美国经济的四分之一都得拿来建数据中心。
我相信资本主义,也相信资源会被重新分配到回报最高的地方。但政治存在,信贷市场存在,资本市场也存在。
所以如果要支持 2030 年那种 100 吉瓦级别的新增规模——或者先保守一点,只看 2028 年——那一年大概就需要 3 万亿—4 万亿美元 CapEx:其中 2.5 万亿美元以上是 IT CapEx,另外 1 万亿—2 万亿美元是数据中心、能源,以及半导体等下游供应链。问题是,这 3 万亿—4 万亿美元现金到底从哪里来?今天没有任何一家业务本身已经能产生这么多现金。
当 AI 基建吞噬信贷市场,钱从哪里来
到目前为止,hyperscaler 承担了大部分增长:Google、Microsoft、Amazon、Meta。它们曾经占全球算力建设的一半以上。但现在它们自己也几乎不剩自由现金了——赚到的钱都投回 CapEx,还会额外发债再投 CapEx。Meta 已经这么做,Amazon、Google 也是,Microsoft 很快也会走到同一个位置。大家都在借债来支付资本开支。
那么新的边际资金提供者是谁?过去 Google 或 Meta 只要减少股票回购,把钱转去买计算基础设施就行,对整个市场影响还不是特别大。但走到 2028 年,hyperscaler 本身可能要借几千亿美元,整个供应链也要再借几千亿美元——谁来买这些债、谁来提供钱?
有几种来源。第一,Nvidia、Broadcom、内存公司这些半导体企业会拿自己的利润去资助部分 CapEx。第二,传统基础设施投资人会募集资金,只是过去买桥梁,现在买数据中心。第三,是整个经济里的资金重新做选择:“也许我不该买房,也不该投帮助别人买房的信贷,也不该买政府债;我应该去买 hyperscaler 的债、某座数据中心的债,或者 Anthropic 的债。”
因为 Anthropic 可能愿意为新增的 10 亿美元融资支付 20% 利率来扩容。它知道这批算力未来收入巨大,即使付 20% 也比按每吉瓦 500 亿美元去租 SpaceX 的算力划算。所以所有资金都开始互相争夺。一旦这样,整个世界经济的资金配置都会被重新改写。
【广告】Antithesis 是一个确定性软件测试平台,它可以做到完美复现,也由此解锁一些非常夸张的 debug 方法,比如“时间旅行”。在 Antithesis 里,你可以跳到一条执行轨迹里的任意时点,并从那里重新开始。
比如系统 crash 时,你可以倒回真正出错的那一刻,把整个系统冻结下来:应用、数据库,甚至环境本身都保持在同一状态。这让你能做正常情况下几乎不可能的事——在完全同一个瞬间观察分布式系统的每一部分。
时间旅行还意味着,你甚至可以在事件已经发生之后补加 telemetry 和 logging。比如 crash 发生后,倒回五秒钟,在那一刻决定“这次把所有网络流量都抓下来”。更强的是,Antithesis 会给你一个通向系统的实时终端,你可以随便扰动系统:杀掉一个 node、关掉某个 feature,然后点播放,看接下来发生什么;再倒回去,换另一种操作。
在生产环境里,这类破坏性分析往往只有一次机会。比如你重启一个死锁服务,原本想研究的那个精确 deadlock 就消失了。但在 Antithesis 里,原始时间线始终可以复现,所以你可以测试任意多个假设。如果你不想自己做这些“时间旅行”,也可以直接通过 Antithesis API 让 agent 帮你做。想了解更多,可以去 antithesis.com/dwarkesh。
AI 会不会触发主权债务危机
过去几天我们在线下一直争论:AI 最后会不会引发一场主权债务危机。逻辑是这样的。正如前面说的,现在会出现一种状态:投入很少的钱,就能变成非常多的钱,所以资本回报率会非常高——
这算什么天大的问题啊,哥们。我的天,真不敢相信。
不,对所有那些“没办法把一点钱变成很多钱”的人来说,这真的是个大问题。回报率高得离谱。哪怕只到数据中心这一层,如果你建一座数据中心,然后能按折旧成本的 10 倍租给 Anthropic 或 OpenAI,这都已经疯狂得不行。你年初投入 1 美元,年底可能变成 2 美元、10 美元之类。
这会把利率推高。而且如果整个经济都发生这种事——大家借越来越多的钱——AI 基建融资就在和政府原本要借的钱、其他公司原本要借的钱、消费者买房按揭要借的钱争同一池资本。于是所有人的借钱成本都会变贵,影响会非常大。
抱歉,我要开始 monologue 一会儿了,不过这几天我们确实一直在一起琢磨这个。最终我觉得美国会没事,因为如果数据中心建在美国,你根本上可以直接对数据中心征税。但今天美国税制的结构不是这样:企业所得税占联邦收入不到 10%,80% 以上来自 payroll tax 和个人所得税;而随着自动化越来越多,这两块税基反而会缩小。
与此同时,在支出端,现在大约 20% 的税收支出拿去 service debt,也就是付国债利息。很多债务期限又不长,大约五年就会滚动再融资。你他妈笑什么?
因为这些都是你过去一个月才学会的东西。
搞得好像你不一样似的。搞得好像你有个他妈的金融经济学学位。
我没有。互联网还以为我是养蜂的呢。几个月,几个月而已。
Dylan,这可是我们的工作。
我知道,我知道。抱歉,抱歉。
现在我都开始自我怀疑了。靠。
没事,你讲得很好。我只是觉得很好笑:一百万人在听一个这个月才刚学会“债务”是什么的人讲债务。
假设利率上升 1 个百分点。以五年为尺度,税收里用于付债务利息的比例可能从 20% 升到 25%。如果利率上升 5 个百分点,这个比例会超过 40%。但还要考虑政府每年本身又新增借 2 万亿美元,于是 40% 还会变成 60% 以上——也就是 60% 的税收只拿去付利息。
我还是觉得美国最后会没事,因为只要允许数据中心继续建在美国,税基也会跟着增长。但别的国家在我看来就真的麻烦了。我刚才还在看哪些国家债很多、税收收入又少,而且债务需要频繁再融资。像 Pakistan、Nigeria 这样的国家,在新的利率 regime 下会非常痛苦。
这种 crowding-out effect,就是为什么现实不会变成“YOLO 10 亿吉瓦”。你有大量高度依赖债务的行业和国家;刚才说的那些贫穷国家可能会直接 default。消费品公司——比如你在 Trader Joe’s 货架上看到的各种东西背后的公司——也大量用债。
五万亿美元新增信贷怎样挤出整个经济
电信公司大量用债,银行也大量用债。所以当市场利率上升时——不一定是政府设定的政策利率,而是联邦利率和所有其他借款人实际要付的利率之间那个 spread 在扩大——比如 Amazon 明年想发 1,000 亿美元债,或者随便什么数字,可能没那么多,你马上就会碰到一个很难的问题:现金到底从哪里来?
当然,有一部分建设可以靠现金流,而且现金流还在增长。但经济上最合理的做法又是:投资规模远远超过你今天的现金流,因为这样未来几年回报才最大。于是中间出现一个巨大的 gap。真正把这个 gap 往下压的,是其他所有约束:数据中心监管、消费者反感、政治人物反感、AI 监管、实验室因为安全原因不发布最新模型,以及利率上涨本身。
所以,纯粹最简单的资本主义模型会想把建设曲线推到非常高;但现实是一个复杂系统,这些力量会把曲线一层层压下来,最终建出来的吉瓦数会少于“只看简单经济学”时本来应该建的量。
不过利率本身也是资本主义的一部分,对吧?
对。我只是区分那个极简经济模型,和我们现实中拥有的复杂体系。
那你觉得明年 Amazon、Anthropic 之类如果要发债,实际会按什么利率发?假如大科技公司合计要发几千亿美元债,平均利率会是多少?
我不觉得 Amazon 一家公司会发几千亿美元。
我是说总量。big tech、hyperscaler、所有云加起来。
在我们的模型里,从 2024 到 2029 年,累计 CapEx 大约 11 万亿美元。
总额?
总额。哪怕尽可能多地用现金流去付,11 万多亿美元的 build-out 里,最终仍然需要发行超过 5 万亿美元的信贷。
所以你不认为 AI 收入还能一直每年 3 倍增长?
AI 收入当然会上升。我只是不认为它可以永远这样增长而不撞到某些约束。实验室会有自己的激励,而且很多时候并不是实验室亲自建设全部算力,尽管它们越来越想这么做。
可它们会有这么多现金流。你刚才说收入会有多少?你是觉得它们不会有那么多收入吗?
不是。我的意思是,到 2029 年之前大约会有 11 万亿美元 CapEx,其中 6 万亿美元由现金出资,5 万亿美元由债务出资。如果整个生态要新发 5 万亿美元债,利率当然会被推高。
什么会阻止这种结果?有几个因素。第一,实验室会不会继续显著提高每兆瓦收入,同时把推理占比维持在较高水平?如果会,它们其实是在吸走整个 S&P 500 的利润,因为所有公司都在付钱用 AI 降成本。当然,那些公司的利润自己也可能提高,可现金终究得从某个地方来。所以实验室收入相对于它给整个世界创造的价值,不可能无限快地增长;技术扩散也会起作用。
但总体上实验室收入仍会继续上涨,只是光靠现金流不可能把所有基础设施都付掉。最优策略其实是尽可能使用信贷,因为即使实验室现金流能覆盖很多建设,你还是希望建得比现金流允许的更多。我们的当前模型到 2029 年大致就是:5 万亿美元信贷融资,6 万亿美元现金融资的基础设施投资。
即便这样,得到的算力相对于 AI 模型需求的增长仍然不够。所以自然的结果就是每兆瓦收入继续上涨。
这我理解。那你觉得到 2029 年,仅仅因为这一轮 AI 建设,利率会提高多少?
哥们,这完全是在 vibe 一个数字。但如果一定要随便估一个——世界经济增长本身会高很多,那 Amazon 的借款利率为什么不会比今天更高?
利率冲击、资产重估与“第二次 Volcker shock”
下面真的是非常 vibe 的估计。Meta 最近融资大概付 5%—6%,我看不出为什么以后不会付到 8%。它们会很乐意付 8%,因为新算力带来的回报巨大。市场当然不希望它们把利率抬到 8%,但它们自己会愿意。
问题在于,如果它们从今天的 5%、5.5%、6% 提高到 8%,相当于大约多了 250 个基点,那么整个经济里的其他借款人也可能都要多付 250 个基点。接下来很多东西就会出问题。银行会尖叫,因为它们的 credit spread 一旦扩大,负债端重新定价会比资产端更快,最后会因为 spread 爆掉而亏掉巨量的钱。
还有另一个后果——这是你之前提过的——利率上升意味着 discount rate 上升,于是所有股票未来现金流的折现价值都会暴跌。整体股市也许还“没事”,比如 S&P 500 这个指数可能没事,但其中任何一只具体股票都可能已经大幅贬值。尤其是 Buffett、Berkshire 那种“未来 30 年稳定产生好现金流”的股票。
对。到时候你会问:“我为什么还要为 Johnson & Johnson 付这么高的价格?”人们把它看成稳定股:现金流很好,未来会持续把现金返给你。铁路公司也一样。如果你的折现率不再是 3% 或 5%,而是 8% 或 10%,我为什么还要按今天的估值投这么多钱?
对发展中国家来说,经济学家 Basil Halperin——也是我的好朋友——提过一个观点:我们可能会看到第二次 Volcker shock。1980 年代为了打通胀,美联储主席 Paul Volcker 把利率大幅提高,实际利率一度大约到 8%。那一轮冲击在那十年里导致大约 40 个国家 default,大多数在拉丁美洲。我觉得类似的事情很可能再发生一次。
好,现在开始进入 singularity 讨论了。前面我们都在讲利率上升 2—3 个百分点之类会怎样——
顺便说一句,我觉得刚才这些事情全都会发生在 singularity 之前。
对,我就是这个意思。刚才讨论的全是 singularity 之前。再往后,在某个时点,我觉得世界经济很可能会每年翻一倍。不是五年之内,但最终会发生。有个研究者 Damon Binder 在这方面做了很好的工作:看一个完全自动化经济的 input-output table,要怎样才能让整个经济中的“东西”每年都翻一倍?
对。如果经济每年只增长 3%,按 rule of 70,大概二十多年翻一倍。
对。但他的问题是:“我们今天真正的瓶颈是人,人不可能每年翻一倍。”如果劳动力本身也能每年翻一倍,经济能增长多快?我认为它可能真的每年翻倍,至少也会是每年几十个百分点的增长。
那么利率应该会和经济增长率非常接近。因为消费等因素,两者不会完全相等,但应该相当类似。所以我觉得到了 2030 年代,我们会进入利率达到几十个百分点的世界。我脑子里甚至有一部分会想:“也许是几百个百分点。”先不这么夸张,至少假设是几十个百分点。
那我看到的画面就是:所有没有参与 AI 生产的国家都 default;所有不是 AI 股的股票基本都接近零,因为它们的折现现金流几乎不值钱。如果联邦政府又找不到向 AI 征税的办法,光 service debt 的成本就会超过今天全部税收。还有一大堆我们甚至还没开始计价的后果,比如普通人根本拿不到房贷,等等。
从根本上说,这个世界到底发生了什么?我们刚才讲的都很 nerd,对吧?
资本机会成本如何把整个经济挤向 AGI
但我们退一步看。到底发生了什么?
所以直到刚才才开始 nerd speak,是吧?我们其实是在进入一个完全不同的增长 regime。整个经济像是在说:“嘿,政府借钱给人发养老金的 opportunity cost 现在高得离谱,因为同一笔钱也可以拿去建一个机器人厂,让这个机器人厂再建机器人厂,再让那个机器人厂继续建机器人厂。”资本的机会成本会大幅上升,这就是我们刚才说的所有现象最根本的原因。
利率一上去,股票市场会被暴打,连 AI 公司也一样。真正非常 AI-pilled 的人会问:“为什么 Micron、SK Hynix、Kioxia 只按 2—3 倍 earnings 交易?”答案是,如果你真的 AI-pilled,那整个经济都应该按 2—3 倍 earnings 交易。如果你不信 AI,那当然可以说这些内存公司只是在超额赚钱。
这也是为什么——虽然我认为 memory 会表现得很好——memory 股票并不应该再涨 10 倍。因为如果内存需求真的高到那个程度,就意味着 AI 已经把整个经济的增长和资本回报结构改掉了;那时所有东西都应该只值 2—3 倍 multiple,股票市场应该他妈的直接 crash。
某种意义上,Meta 现在好像只有 1.5 万亿美元市值,这就很荒谬。从逻辑上讲它应该值多得多。你看它的现金流、囤下来的基础设施,以及未来能按极高“每瓦美元价值”出售的算力:要么自己的实验室成功,把算力变成 token 卖出去;要么直接卖给 Anthropic、OpenAI。
最后问题会变成:你必须把所有资本重新分配给 AGI。实现方式就是把其他所有人都从资本市场里“定价出去”。所以 AGI 的真正限制因素,不是像我们室友 Sholto 这样的研究工程师把齿轮转得有多快,而是世界其他部分愿意让这种重新分配发生到什么程度。
因为世界会反抗。政府会监管,利率会自然上升,人们会说“不准建数据中心”“停止建 fab”。公司会发现:“靠,我的 equity value 都在暴跌了,我还怎么花钱买 AI 来提高业务效率?”
那 Anthropic 和 OpenAI 最后就只能自己开始造所有东西。
它们已经在做自己的芯片了,至少已经在设计;接下来范围还会继续扩大。未来几年它们也会自己签数据中心、自己建 infra。真正的问题是,整个经济究竟以什么路径完成这种重新分配。
即使模型能力已经足够,现实里也有很多力量在把“直接 straight takeoff”往下压。我觉得你我都相信模型可能会进入那种能力世界,但 slow takeoff 至少是我的希望,而且它确实可能因为经济和监管体系中的这些摩擦而发生。政府会说“不准发布你的模型”,很快甚至会说“你在公司内部也不许把模型用得这么狠”。它们现在已经在限制外部发布了。
我最担心的反而是 singularity,而外部部署其实是在帮助避免一种封闭的 singularity。所以现在阻止外部部署在我看来很蠢。
它真的能阻止 singularity 吗?
以今天来说,外部发布只会让实验室赚更多收入,因为模型还不会 RSI。但我担心 2030 年出现这样的世界:政府说,“你最新模型先别给公众,等六个月。”六个月,在 takeoff 里可能就是 100 倍。太好了。于是这六个月里,实验室在内部做 recursive self-improvement,公司里发生一堆疯狂的事,而我们其他人还卡在按今天速度算已经落后好几年的模型上。
我的想法是:假设全世界真的联合起来,搞一个试图放慢 AI 的“阴谋”——
我不觉得这叫阴谋。每个政治人物都公开写在政策里了。
好。假设他们真的把 AI 放慢一年。若算力本来每年增长 2—3 倍,他们就让整整一年的 AI 部署消失,使得实际进度比无监管世界落后一整年。而进入 RSI 后,一年里也许本来会发生相当于 3—6 年的 AI 进步——
监管能否真的把 takeoff 拉长
——也就是说,拖慢一年可能是非常大的差别。
但监管不只是限制算力。它们还会限制实验室把模型在内部发布和使用。我们已经见到这种事了。
如果真能连内部都限制,那反而是最理想的结果。
Anthropic 有一阵子不得不给外国员工停用 Mythos。
我不知道连内部也这样。真的?
这是它们自己声称的。
我原以为只是另一个 checkpoint,不叫 Mythos,但其实基本就是 Mythos。
这种事情以后同样不会随便被允许。政府很蠢,但希望还没蠢到那个程度。至少美国政府手里有牌,它不会愿意让 Anthropic 在内部无约束地用 Mythos 4。它们会说:“先他妈停一下,慢下来。”原因就是前面那些监管和社会约束。
所有当选的人最后都会讨厌 AI。其实现在当选的人已经有很多讨厌 AI 了,选民也会。某一天你爸妈可能会给你打电话说:“Dwarkesh beta,你干得太糟了,你在让 AI 进步得更快。”
因为我做播客,我就在加速 AI 进步?
也许啊。你教育别人。也许他们变聪明以后,就会把 AI 推得更快。总之,AI 的进步、开发和部署都会遇到真实世界约束。即使最终那个未来还是会到来,我们也可能在到达之前先把自己撕裂。
【广告】Jane Street 现在正在招两个不同方向的 ML 实习生:一个偏 ML engineering,一个偏 ML research。我和负责 research track 的 Alok 坐下来聊了聊这个项目。他说,这个领域根本上仍然研究不足。深度学习研究团队经常碰到一些没有答案的问题,比如某些市场参与者为什么有某种行为,或者某些交易动态到底怎样形成;这些问题很适合做实习项目,因为它们本来就是团队真正关心、只是还没来得及解决的问题。也就是说,即使是实习生,做的也是实际研究,不是人为设计的练习题。
Jane Street 的团队也会非常紧密地跟踪 frontier LLM research。一个很常见的实习项目,是把最近的一篇论文适配到金融市场,而金融市场本身有一堆很棘手的问题:你要建模数千条彼此连接、又不规则的时间序列;signal-to-noise ratio 极低,因为有很多竞争者也在做同样的事;所以这是一个 adversarial、non-stationary、极高维的问题。
需要说明的是,你完全不需要懂金融才能适合这个岗位。只要你有 ML research 背景,Jane Street 可以教你其余东西。2027 年的实习申请已经开放,可以去 janestreet.com/dwarkesh 申请。
两家实验室会不会拥有比全人类更大的“劳动力人口”
这些场景里有一件事让我觉得特别疯狂:未来世界的劳动力供给,会有多大比例集中在极少数公司里,而且这个“劳动力供给”每年增长得有多快。如果 frontier 的 FLOP 算力每年增长 4—5 倍,同时达到同一种能力水平所需的算力又每年下降 3 倍,那么 frontier 实验室里的有效 AI population size 基本上每年扩大 10 倍。
今天这还没有那么重要,因为 AI 还不够好,不能完整做掉一份工作,也没有人类那种持续自主工作的能力,不能独立完成复杂计划之类。但如果当前趋势继续,OpenAI 可能从今年“相当于 1,000 万个 AI 劳工”,变成明年 1 亿,再下一年 10 亿。即使后面算力 scaling 放慢,也不用再过很多年,每家公司单独拥有的劳动等价量就会超过地球上的人口。
我觉得在这个十年结束前,一家实验室内部的 AI 劳动力、也就是它的“有效人口”,超过地球总人口,是非常 plausible 的。
我们经常因为 nationalization 之类讨论权力集中,却很少认真想另一件事:按 work output 来算,世界上大多数“人”可能很快就集中在两家实验室里,而它们还在吃掉全球越来越多的算力。如果这些 AI misaligned,那从某种意义上说,世界上大多数“心智”都 misaligned;即使它们完全 aligned,仍然是极少数公司拥有巨大的影响力和控制力。
最近不是还有那场争论吗?我记得 Gavin Baker 说:“Dario 相信未来全世界只会剩一家公司。”然后 Sholto 和 Dario 都出来说:“不不不,我们没这么说。”可归根结底,如果你相信 RSI,相信实验室是最有效率的算力使用者、能从算力里产生最大的价值,那最终发生的就只能是算力越来越集中。如果你相信 AI researcher、RSI、AGI,这整套逻辑就是底座。
甚至没有 RSI,这个结论也成立。在“固定能力水平”下,frontier 的有效人口现在已经每年 10 倍增长。只要模型到达一个非常称职的 remote worker、software engineer 或 researcher 的水平,这种“称职劳动力”的人口按当前能力增长速度就会每年扩大 10 倍。
明白,而且这还是没有 RSI。那一旦有 RSI,情况会更夸张。
到时可能每年增长 100 倍、1,000 倍;也可能人口不再增加,而单个心智的 intelligence 在增长;或者两者混在一起。
那你告诉我,Dwarkesh,什么样的世界里最后不会全部集中?在我看来,每一股力量都在尖叫着把系统推向 centralization。这他妈的很可怕。我当然希望它不要彻底集中。但也许这就是所谓 “machine that loves grace” 的意义:它成为一切,而我们的生活因此变得很好。
想未来真的太难了。但我同意。根本问题之一是 AI training 有巨大的 economies of scale:你为了训练某个特定技能、某一组知识而投入的任何训练成本,都可以摊到几十亿次 session、几十亿个用户上。
这是第一股力量。第二,如果你在 AI race 里只领先一点点,而算力又短缺,你就能收取远高得多的 markup,因为你比别人更会利用这种稀缺资源。所以这两种机制都会让领先者得到越来越多。甚至还有更多机制:如果模型会从 deployment 中学习,而一个模型部署得远比另一个广,它就会得到更多真实世界数据。
AGI 之后,怎样想象一个不完全中心化的未来
你这个结论我接受。无论是用户部署和 continual learning,还是训练本身的 economies of scale,或者“最好的 AI 模型帮助你做出下一代更好的 AI 模型”这种增量进步,也就是 RSI——这些东西全部指向 centralization。
我觉得接下来一个很大的 intellectual project,是我们应该认真花时间思考——至少我会去想——怎样构造一种“AGI 之后仍然去中心化、而且广泛赋能个体”的未来愿景,同时又不假装这些 economies of scale 不存在。另一个简单愿景当然是政府控制它。也许你会觉得政府不是私人公司,所以更值得信任。
我不信政府,也不信 Dario,也不信 Sam。
这就是问题,对吧?当然,我们很容易把未来想错。可能漏掉某个关键效应,然后一切都变了。但 ex ante 看,真的很难想象我们怎样避免“必须在某一种 centralization source 里做选择”的场景。
资本主义过去之所以有效,不就是因为它把决策和权力去中心化了吗?某种程度上,这也是为什么极度中心化的资本主义经济体,反而比高度分散的资本主义经济体增长更慢。当然你需要 rule of law 等等。但 AI 把这套逻辑整个翻了过来。最后你甚至会得到一个很怪的结论:“也许 private ownership 并不是最有效率的经济形态,因此它会比高度中心化的 AI economy 增长得更慢。”
但它仍然可以是 private ownership。真正的问题是,到底有多少家公司参与了经济中这一大块?今天 AI 也许只是经济的 2% 左右——1 万亿美元除以 30 万亿美元之类——可 Nvidia 占很大一块,Anthropic、OpenAI 和几个 hyperscaler 又占很大一块。不是说没有其他公司,但很大比例的 AI 活动确实只发生在极少数企业里。所以产权依然可以是私有的,但参与的公司数量可能极少。
对,这就是市场结构本身正在做的事。那什么能阻止它?我不知道。除非 AI 进步放慢,或者政府把它监管到他妈的动不了,否则这就是自然结果。
于是我们可能走向两个极端之一:要么资源超级集中,然后所有人祈祷“那一家拿走一切的公司”什么都做对;要么政府和公众把一切都往慢里压,希望进步速度真的降下来,权力因此还能保留一些平衡。可即使我们一步步走向 AGI、ASI、RSI,沿途每一个阶段仍然会让某个参与者捕获更多资源。所以真的很难找出一套框架,让 AI 最终不导向 super concentration。
这里唯一稍微积极的地方,是今天 Anthropic 还没有捕获大多数价值。我们可以一直说它每兆瓦收入从 2,000 万美元涨到 1 亿美元,但它买很多算力仍然只付每兆瓦 1,300 万美元。而它之所以能赚到每兆瓦 1 亿,是因为 Jane Street 可能在它之上捕获了每兆瓦 3 亿、5 亿美元的价值;或者 Dwarkesh 为播客做研究、刚学会 credit 这些东西,又从同一兆瓦里创造了多少价值。到底能用多少?很难说。
所以我唯一的 saving grace 是:也许经济其他部分从 Anthropic 那里赚到的,反而比 Anthropic 自己多得多——
不,可你之前那整套“把推理算力重新分配给 AI R&D”的逻辑,恰恰说明实验室内部劳动力的回报远高于把 token 送到外部之后的回报。
对。这就是我的 cope。我同意。想象 8 万个可能世界,也许只有其中一个世界 Anthropic 不会拥有整个世界。权力又集中回去了,因为我不想把 token 发到外面;token 留在内部价值更高。
如果内部 R&D 的回报永远更高,价值为什么还要流出去
所以还是同一件事:我为什么要让 Jane Street 靠那些 degenerate options trader 赚走这么多钱?
嘿,他们可是赞助商。收敛一点。Jesus Christ。
不,我觉得挺好的。让市场变得有效率,本身就是给世界创造价值。Jane Street 因为 worldview 判断得对、或者因为从 degenerate options trader 身上赚到钱,不管具体是什么——为什么 Anthropic 要把算力分给这件事?
如果 Jane Street 最终每兆瓦能变现 2 亿美元,于是愿意付 Anthropic 每兆瓦 1 亿美元,那又怎样?如果 Anthropic 把同一兆瓦留在内部,自己就能创造几亿美元价值,它为什么还要卖出去?这就是正在发生的事。
好吧,就以这个略显沉重的结论收尾。等 RSI 正式启动之后,我们再见。
你不是两个月后又要叫我上播客吗?好吧,cool。谢了,哥们。