Latent Space 2026.09.02

推理前沿:从每秒 100 个 token 到 10,000 个 token——Cerebras CTO Sean LieLatent Space

Cerebras 联合创始人兼 CTO Sean Lie 认为,AI 推理的“快”正在发生数量级变化:100–200 tokens/s 很快会像过去的批处理速度,而 CS4 已演示超过……

01

100–200 tokens/s 正在变成新的“批处理”

Sean Lie

过去大家会把每秒 100、200 个 token 视为很快,但它正在迅速变成新的“批处理模式”。当然这种速度仍然有位置:做 prompt processing 很合适,做高度并行的 workload 也很好。

主持人

但如果我的 eval 要跑 20 个小时,而我能按一下按钮把它缩到 2 个小时,那就完全不一样了。

Sean Lie

对,完全是这样(笑)。但很快大家会发现,只把 prompt processing 做快还不够。那当然是很大一部分市场,却不是全部。

主持人

在进入正片前先对听众说一句。感谢大家一直选择点进来收听。没有你们,我们没办法持续做 AI 工程、科学和娱乐内容。几乎每天都有赞助商来找我们,但目前有足够多的人订阅,让节目可以在没有广告的情况下持续,我们也想继续这样做。

所以只拜托大家一件完全免费的事:点一下订阅。这是我唯一会向你们请求的事情。对我和每周努力把 Latent Space 做出来的团队来说,这真的意义重大。如果你订阅,我保证我们会一直努力把节目做得更好。好,现在进入正题。

02

Hot Chips 与硬件黄金时代

主持人

我们来到 Cerebras 总部,和 CTO Sean Lie 面对面。欢迎。今天正好是 Hot Chips 之后一天,很多新东西都在发布,甚至 Apple 都发了 M6 相关东西(笑)。你们之前在 Supernova 谈了 CS4,我们今天也会聊 CS5;OpenAI 又讲了 Jalapeño。作为在这个行业里做了很多年的人,你怎么看今年这些“Hot Chips 里的热东西”?

Sean Lie

首先谢谢邀请。现在确实是一个特别令人兴奋的时刻。Hot Chips 是整个社区聚在一起的好机会。我还记得十几二十年前去 Hot Chips,基本就是一群计算机体系结构的极客聚在一起,对着 speeds and feeds 兴奋。现在却已经变成行业级硬件真正公开亮相的地方,变化非常大。

我昨天离开会场时最大的感受之一,就是芯片设计和硬件产业正处于非常特殊的黄金时代。我做这个行业已经很久了,但从没见过半导体历史上有这么多层同时快速创新:芯片本身、互连、系统设计、软件、光学、方法论、工具链,所有层都在往前推。

对一个本质上仍然是计算机体系结构极客的人来说,这非常好玩。Hot Chips 会场里能明显感觉到那种 buzz;我和每个人聊天,都能感觉整个社区知道我们正处在一个很不一样的阶段。

03

CS4:4,400 tokens/s 与新系统平台

主持人

那就先从你们自己的芯片聊起。CS4 的数字很夸张,你们说相对 GPU 快到大约 30 倍。新一代 CS4 到底新在哪里?

Sean Lie

我们设计新一代 CS4 架构和全新的系统平台时,目标就是把 wafer scale 真正主流化、做到 hyperscale,并解决今天高密度数据中心里每天都会碰到的问题。我们做了一个模块化平台,相比上一代,可以给晶圆提供两倍的功率、两倍的互连带宽,同时把延迟减半。这些提升不是只来自芯片,而是在系统架构层实现的。

当你能给晶圆提供显著更多的功率,并在机架里塞进更高密度,就能继续把性能往上推。我们常说 Cerebras 现有产品已经是 ultra-fast inference 的领先者,而 CS4 会把这个前沿再向前推进大约 2 倍。

Hot Chips 的 demo 就是一个很直观的例子:我们让 GPT-OSS 跑到了超过 4,400 TPS。那个画面快到近乎让人觉得是假的。真正令人兴奋的并不是数字本身,而是它改变了应用能做什么。

以前只能 batch、offline 做的事情,会开始变成 real-time。现在 agentic flow 和各种 agent framework 越来越多,你坐在那里等 agent 一轮又一轮循环。如果模型跑到每秒 4,000 多 token,那么同样时间里可以做更多 agent loop、更多 reasoning,最后得到更强、更聪明的 agent。

所以我们兴奋的不只是能展示很大的数字——大数字当然也很酷——而是你开始能做过去根本做不了的事情,出现全新的能力。

主持人

这对你们应该也很有成就感。你们很早就押注“大芯片”、wafer scale,过去很多人并不真正认真对待,直到现在他们不得不认真对待了。

04

从“不可能的晶圆级芯片”到 OpenAI

主持人

你是联合创始人、CTO,也是这套架构的核心设计者。AI boom 之后,你们开发新一代产品的方法和 CS1、CS2、CS3 时相比发生了什么变化?早期可能更“平静”,现在 OpenAI 直接和你们上线 ultra-fast mode,甚至已经有点像模型和芯片一起设计了。

Sean Lie

最大变化是:第一代产品首先是一场 technology demonstration。我们得先向世界、也向自己证明“这种东西真的造得出来”。当时我们告诉很多人 wafer scale 是未来,对方的反应基本是“你们疯了,这不可能”。所以早期最核心的问题是把那些基础技术解出来,让它从物理上成为可能。

现在我们已经证明它不仅能造,而且这种架构确实能提供这样的性能,于是问题变成了:它还能开启什么?你刚才提到和 OpenAI 的 ultra-fast 发布就是很好的例子。我们正在让前沿级、最强的一类模型以大约其常规 GPU 速度的 14 倍运行。把最聪明的模型和硬件带来的速度结合起来,体验会发生根本变化。

公司也在经历从“技术演示”到“解决真实问题、开启真实能力”的转换。我们现在把很多注意力放在 scale 上:能不能把所需产能真正拉起来,能不能运行用户真正关心的模型。同时还要继续这个 flywheel,持续推出更快的硬件,把前沿继续向前推。

某种程度上,它展开的方式甚至比我们最初想象的还好:硬件能力终于被证明,模型和应用又正好发展到能吃掉这些能力。现在我们的目标就是尽可能快地把这件事规模化。

05

CS5:通往 10,000 tokens/s

主持人

那就说说你们昨天预告的 CS5。能不能给刚开始了解 Cerebras 的人重新梳理一下?

Sean Lie

CS4 基于我们全新的、强调 RAS 和模块化的 Nexus 平台。前面是模块化电源,后面有我们叫做 backpack 的模块化 server 部分。这个平台让 CS4 获得刚才看到的大约 2 倍性能,但它从一开始就不是只为一代产品设计的,而是要支撑多代产品。

我们在设计平台时,就同时考虑了明年会来的下一代 wafer chip。CS4 今年带来约 2 倍提升,下一代还会再推约 2 倍。

这意味着像 GPT-OSS、Gemma 这样的中型模型,速度有望达到每秒 10,000 token;而像 Kimi、DeepSeek,以及字幕里被转成“GPT56 Soul”的一个前沿模型名称,目标大约可以到每秒 5,000 token。这个变化会非常大。

所有这些都建立在这个为多代产品准备的新平台上。现在世界已经看到了 ultra-fast inference 的价值,而我们的判断是:即使 10,000 TPS,也只是开始。

06

Cerebras 产能售罄,OpenAI 正在使用

主持人

rollout 会怎么走?你们和 OpenAI 有未来几年的合作。所有人现在都想要 ultra-fast,那么普通人什么时候能用?现在有 GPT-OSS、Gemma,那更大的 Kimi、DeepSeek 什么时候能上?

Sean Lie

现实是我们现在基本上把正在建设的产能都卖完了。每一个 megawatt 要部署到哪里,我们都非常战略性地决定。其中相当大一部分正在去 OpenAI,这一点我们是公开讲过的。他们是我们最大的合作伙伴,不只是商业安排,更重要的是双方有很强的 co-design 精神。

这种合作的目标,不只是让模型更快,而是利用速度让模型变得更聪明,然后形成新的 flywheel。现在 OpenAI 自己已经在内部使用相当多的 Cerebras capacity。

主持人

所以他们现在已经真的在用了?

Sean Lie

对。他们会把它放在速度特别关键的 use case 上。例如 incident response:服务一旦 outage,每一秒、每一分钟都很重要,这时候 ultra-fast 推理的价值非常直接。他们也用于一些关键研究任务,因为更快意味着在同样时间里能做更多 reasoning,有机会得到更高质量、更智能的响应。

目前确实有不少产能先给 OpenAI 内部,但按照我们和 OpenAI 的发布计划,也开始向企业客户开放,让它进入那些最 demanding、价值最高的应用。长期来说,OpenAI 和 Cerebras 都承诺把 capacity 做到足够大,让 ultra-fast inference 能覆盖更广的人群。

CS4 和 CS5 的公告就是这项承诺的一部分:继续提供更多、更快的 token,增加总 throughput,才能满足市场上真正存在的各种需求。

07

OpenAI 为什么把超高速推理开放给企业

主持人

你这么一讲,我突然意识到一件事:OpenAI 其实完全可以不把它开放给企业客户,他们自己把所有容量吃掉就行。外界甚至未必知道。这其实是一个挺有意思的 business decision。你能从商业分析角度说说吗?

Sean Lie

我当然不能替他们明确解释内部思考,最终怎么用是 OpenAI 自己的决定。但从外面看,这个选择其实很合理。他们的使命一直包括继续推动“什么是可能的”,内部用 ultra-fast 能帮助他们做到这一点。

但与此同时,他们现在也确实是一家公司。外界甚至会讨论 IPO,所以他们显然也要平衡技术使命和商业化。我们在 ultra-fast 这件事上看到的,也正是这种平衡。

主持人

好,这就自然带到他们在 Hot Chips 上另一个特别热的话题了,我们必须聊 Jalapeño。

08

Jalapeño、AI 设计芯片与下一代推理栈

主持人

如果把它粗略拆成 prefill 用 Jalapeño、decode 用 Cerebras,你怎么看这种组合?

Sean Lie

我觉得这是一个很合理的推论。Hot Chips 所有发布里,Jalapeño 可能是最让我兴奋的一个,但原因不一定和大家一样。

主持人

你是真正做芯片的人。普通人只看到 tokens per second,你作为芯片专家看到的最有意思的是什么?

Sean Lie

他们强调性能,也强调相对 NVIDIA GPU 有显著提升。从结果看,我觉得他们首先做出了一颗“明显更好的 GPU”,光这一点就是很大的成就。NVIDIA 知道自己在做什么,他们能拥有这个市场绝不是偶然。一个团队第一次走出来就能造出明显更好的 GPU,并不容易。

但 Jalapeño 真正让我兴奋的不是那些 performance ratio,而是背后的 design methodology。他们很明显用了和传统芯片设计非常不同的方法:AI-first 的方法让他们更快完成设计,并取得很有竞争力的结果。我认为这百分之百是这个行业未来的方向。OpenAI 在这里走在前面也不奇怪,因为这本来就是他们擅长的东西。

从架构上看,Jalapeño 同时在 throughput 和 latency 上推边界。即使暂时把我的 Cerebras 帽子摘掉,我也觉得这对整个行业是好事,会抬高所有人的水位。它把 latency 推到了传统 GPU 很难进入的区间,而我们一直相信速度本身具有很大价值。

对我们更重要的是,OpenAI 是我们最大的客户。等明年 Jalapeño 可用、CS5 也可用时,二者合在一起可以形成一整套 fast inference portfolio,比今天的 baseline GPU 明显不同;而今天已有的方案其实已经和 baseline GPU 很不一样了。

之后还可以继续做更深的组合,比如 prefill / decode disaggregation,或者别的划分方式。

主持人

不过他们并没有把 Jalapeño 直接特化成 prefill,对吧?

Sean Lie

对,没有专门做成 prefill 芯片,但它明显针对 throughput 做了优化,所以 throughput 非常大。站在计算机体系结构设计者角度,这一下就多出很多可以重新组合的东西。另一边,CS5 的 latency 又非常极端——前面说到可到 10,000 TPS——所以你可以开始想象双方一起能做出什么以前根本做不到的产品。

09

AI 工具也开始反过来设计芯片

Sean Lie

这也是我为什么很兴奋把 OpenAI 当合作伙伴。除了推理硬件,我们也在 AI tooling 层面密切合作。现在大家都说自己在用 AI,我们当然也一样,但这里不是一句口号:我们确实在用 OpenAI 的工具继续推动芯片设计、软件等工作的边界。

所以对我来说,一边是更快的推理基础设施,一边是 AI 工具反过来帮助我们设计下一代硬件,这两件事合在一起是一个非常强的组合。

10

性能、功耗与 Groq 争论

主持人

我想开始找一点“有分歧的 hot take”。前面你主要讲 tokens per second,还没怎么讲 power。行业是不是越来越应该看 performance per watt,而不是只看 TPS?Hot Chips 台下大家真正争论的是什么?

Sean Lie

有几个话题。会场里我听到很多讨论都围绕 Groq 的新发布。它们推出新芯片本身并不意外。总体上我其实很高兴看到 SRAM 架构变得更 mainstream——我们已经讲 SRAM 很多年,现在行业开始真正拥抱它。

主持人

你们一直都在这里(笑)。那 Groq 被收购之后,作为竞争者,你感觉它变了吗?

Sean Lie

第一阶来看,没有太大变化。更重要的是 SRAM 架构现在更普及了。甚至 NVIDIA 这种最大的玩家也在拥抱 SRAM 设计,这等于承认传统 GPU 很难进入 ultra-fast 的 latency 区间。

但会场外真正被反复问的,是 Groq 新产品到底能把这条路线扩到多大的模型,以及它和此前大家讨论的 attention / FFN disaggregation 怎么对应。

11

31B 基准与 SRAM 架构的规模限制

Sean Lie

一个很自然的问题是:为什么他们发布时选的是大约 30B/31B 参数模型?Jensen 在 GTC 花了很多时间讲 attention 和 FFN 解耦,但这次发布里几乎没有提这一点。我觉得这是一个很有信息量的信号。

主持人

但 NVIDIA 不是还有另外一条 Rubin 路线吗?

Sean Lie

有 Rubin,但问题是此前讲的 Rubin 和相关 LPU/LPU-like 组件本来应该一起构成那套 disaggregation 故事。如果你还记得,Jensen 在 GTC 用很长时间解释“attention 在这里、MoE/FFN 在那里”之类的架构划分。

所以我不一定把这叫 hot take,但一个已经进入 full production 的新产品,公开性能却只展示在一个没有做这种解耦的 31B 模型上,确实会让人怀疑它扩到更大模型时会发生什么。

我认为问题来自非 wafer-scale 的 SRAM 设计:每颗芯片上的内存太少。要运行几万亿参数的前沿模型,仅仅为了把 weights 放进去,就可能需要成千上万颗 Groq LPU。到了这种规模,问题会非常现实。

主持人

所以你的意思是,他们接下来会逐渐把这些芯片拼成更大的系统?

Sean Lie

我反而觉得可能是另一种结果:他们会更聚焦显著更小的模型。架构有这种约束时,这是很自然的方向。

Cerebras 的情况不同。我们一直在跑非常大的模型,原因某种意义上很简单:单颗我们的芯片就大约有对方单颗芯片两个数量级、约 100 倍的内存规模。光“能把东西放得下”这一点,就天然多出两个数量级的尺度。

所以大家在会场里觉得奇怪的是:为什么一个全新的产品只拿这么小的模型展示性能?往下剥一层,它就比较说得通了。我在这个领域做了很久,也正因为这个原因,我们当年才认为需要 wafer-scale integration,把足够多的 SRAM 聚合在一起,才能真正服务大模型。

12

异构、解耦的推理生态

主持人

市场本身很大,你们和 Groq 也未必抢完全相同的市场。你们已经算这条路线里持续时间很长的 incumbent 了。

Sean Lie

是的,市场足够大,不同硬件完全可以扮演不同角色。Cerebras 非常相信未来会是 heterogeneous、disaggregated 的生态,而且绝不只是 prefill / decode disaggregation。

推理已经不再是一种单一 workload。模型和部署规模越大,内部就会出现越来越多 sub-workload。你应该针对问题使用正确的工具、正确的硬件,而不是期待一类芯片把所有事情都做到最好。

所以各种架构都会有位置。我们选择瞄准的是 frontier、ultra-fast 这一块。

主持人

对,frontier ultra-fast。

Sean Lie

正是。

主持人

我本来想直接去聊别的公司,但这里值得再追问。你怎么划分推理 workload 的“桶”?Ultra-fast frontier inference 明显是增长最快的部分之一,需求甚至多到有钱都不一定买得到。既然你们很相信异构推理,你从客户那里看到的 workload 分类到底是什么?

13

把推理继续拆成专用硬件

Sean Lie

我会从两个视角回答,一个是 product view,一个是 technical/computer-architect view。产品视角其实很简单:速度越高,就会开启越多应用、use case 和能力,模型和 agent 也可以变得更智能。甚至今天我们还想象不到,当“比现在所谓 ultra-fast 还要快”时会出现什么产品,所以我们才一直把速度继续往前推。

另一边是 capacity。你当然想要最快,但必须有足够容量真正服务自己的 use case。因此最后是寻找正确架构和正确的架构组合,同时满足“够快”和“够多”。

从计算机体系结构角度,反而更直观。我在 Hot Chips 和一个人聊过,他问:如果做 disaggregation,难道不是必须把数据中心切成很多区,一部分部署这种硬件、另一部分部署另一种硬件?这样不会很受限制吗?

我说,我们每天设计芯片本来就在做同样的 trade-off:一块 silicon real estate 到底拿去做 memory、compute 还是 I/O?所谓模块化,本质上就是把这种资源配置从单颗芯片扩展到更大的系统。

再看推理内部,最简单可以先分 prefill 和 decode;再往下一层,里面还有加载 KV cache、真正执行 attention、把 experts 分散到不同硬件并做负载均衡等工作。这些部分都可能用更 tailored 的硬件架构来解决。

在小规模上,为一个问题拼很多不同硬件未必划算。但我们现在谈的是数百 megawatt、gigawatt 甚至 multi-gigawatt 的规模,这时候专用化非常容易回本。

到那个尺度,你几乎会把整个 data center 当成“一台计算机”、甚至像“一颗巨大芯片”来设计:我要多少能力让 attention 跑得更快?要多少能力让 prefill 最有效率?然后把这些能力拼成一个整体。对计算机体系结构设计者来说,这简直像终于拥有了完整工具箱。

14

模型—硬件协同设计的巨大空间

主持人

那这些又会怎样反过来影响模型设计、模型架构?和 OpenAI 合作意味着你们有机会看到新模型的方向。现在不只是 reasoning,还有 voice、diffusion,甚至更互动式的模型。

Sean Lie

完全会。Ultra-fast 让更多交互式 use case 变得现实。比如你在做交互式平面设计,image generation、video generation 或 diffusion 可能直接嵌进创作流程,而不是一个离线步骤。类似的新场景会越来越多。

但我觉得当下最大、还没有真正被利用的机会,不只是 Cerebras,而是整个 non-NVIDIA 社区:我们大家现在跑的模型,几乎都是为 NVIDIA GPU 设计的,而且往往还不是泛泛为“GPU”设计,而是针对某一代具体产品,例如 B200、GB200、NVL72 这一类系统。

可是在 Cerebras 上,即使模型原本是为完全不同架构设计的,我们已经能把某些模型跑到约 14 倍速度。那如果允许模型架构哪怕只做一点点调整,就可能得到巨大的额外收益;如果真正开始做更深入的 co-design,空间几乎没有上限。

这也是我为什么非常期待和 OpenAI 这类客户、合作伙伴更紧密合作。模型不再应该默认“先按 NVIDIA 的约束设计好,再让其他硬件去兼容”。硬件和模型一起设计,才可能把另一大块性能释放出来。

主持人

我们时间不够,得往下走,不过我还是想说,很多人严重低估 AI codegen 用来生成 kernel 这件事。这其实对你们很有利(笑)。

Sean Lie

对,我非常相信这个方向。

15

NVIDIA、AMD、TPU、Trainium

主持人

在进入 Etched 这种更“辣”的芯片前,先说说 AMD、NVIDIA。它们现在做得怎么样?有没有应该完全换一种做法的地方?

Sean Lie

NVIDIA 基本上正在做我们预期它会做的事情。他们不是傻瓜,非常清楚自己在做什么,而且继续把传统路线往前推。很多方面这完全是正确的,因为市场就是需要更多 token,也需要更便宜的 token。

但是,一个重要变化是:以前大家觉得 100、200 tokens/s 已经很快,现在它正在迅速变成新的 batch mode,甚至像过去说“overnight job”那样的东西。

这种架构当然仍然有价值。做 prompt processing 很好,做高度并行 workload 很好。

主持人

但如果我的 eval 本来要 20 小时,现在按一下按钮就能 2 小时跑完,我当然想要更快。

Sean Lie

对(笑)。而且很快只把 prompt processing 做快也不够。那是市场的重要部分,但不是全部。

所以传统架构都在一条“继续提高 throughput、降低成本”的 treadmill 上——我这里不是贬义,这是合理且有价值的路线。AMD、Trainium、某种意义上的 TPU,我看它们都像是在造一个“更好的 Rubin”。这个方向有巨大价值,但同时也应该有人沿别的向量推边界,这也是 Cerebras 想做的事。

16

Sean 如何看 Etched

主持人

好,来点 spicy chips。Etched 这家公司目前一个明显问题是:网站上没有多少数字,也没有多少 benchmark。你怎么看?

Sean Lie

他们公开讲得确实很少,而且已经说出来的东西,相比最早的说法也变化了很多。当然他们自己也承认这一点,而且市场环境变化很快,所以 startup pivot、寻找自己的空间很正常。

但当我看他们放出来的图时,我会觉得 graphic design 很漂亮,却还看不出真正跳脱传统 GPU 的东西。他们谈过一种“distributed storage,因为 distributed 所以更快”之类的设计,但我并不完全理解它为什么会成立。如果能把这种关键技术解释得更清楚,会很有帮助。

现在很难看出他们真正想把差异化推到哪里。我听说他们在 Hot Chips 有一个 rack,所以显然是在造东西,只是目前感觉距离充分证明还有一段路。

主持人

但另一方面,字幕里这里说到“20 billion dollars”,无论它具体对应估值还是别的数字,都意味着不能简单忽略它。那我们换一种 steelman 的问法:假设 Etched 成功,你最希望它沿什么真正有意思的方向走?

17

下一次突破发生在芯片之外

Sean Lie

最理想的情况,我希望他们或者任何其他团队,把创新边界推到“芯片之外”。我非常相信,AI compute 的下一次大台阶,会来自更好的 system integration,而不是单纯把一颗 chip 再改一点。

主持人

比如 rack、node?

Sean Lie

Rack、node、package、interconnect,甚至整个 factory。Etched 也许在做其中某些事,只是现在很难判断。但这不是只针对 Etched 的观点,而是整个行业都应该认真看。

即使把 Cerebras 的立场放一边,最让我兴奋的也是 single-chip 之外的创意。今天的应用、问题和模型已经大到不可能只靠一颗芯片完成,所以最终问题都是 integration:怎样把更多 compute、更多 memory、更多 interconnect 组合起来?

主持人

还有 scheduling、pipelining 和算法。

Sean Lie

对,全部都在里面。昨天几个发布中,有一个我觉得很有意思的是 d-Matrix。它不算全新消息,但他们明显在大力投入 DRAM 和 3D DRAM packaging。我觉得行业需要更多这种方向。

主持人

你们 CS4 的 backpack 让我想到 memory 厂商在做的东西,这个类比成立吗?

Sean Lie

有一部分很像。我们用 backpack 做 power delivery,本质上就是一个非常紧凑的 3D package,把电力直接送到 wafer/chip 的正面。3D DRAM stacking 做的是类似的空间整合,只不过对象从 power 换成 memory。

我们昨天也讲到,其实两年前就启动了 DRAM stacking program,原因完全相同。我认为找到更好的 integration 方法,是解锁下一次大跨越的关键。

我刚才差点又说成 Groq——更正一下,我并不知道 Etched 的底层到底在做什么。但如果问我行业里最令人兴奋的技术是什么,我会选更有创造力的 integration、更有创造力的 packaging,以及更多“跳出单颗芯片”的思考。

18

内存带宽与 3D 集成

主持人

除了 d-Matrix,再给大家留几个名字。还有什么公司或方向让你印象深?

Sean Lie

Samsung 有一些关于 ZHBM 的讨论。

主持人

又是 memory 公司(笑)。

Sean Lie

最后确实绕不开。造 AI 芯片大体有三个核心东西:compute、interconnect 和 memory。特别在 low-latency 场景,memory 越来越成为关键,memory bandwidth 就是关键。

主持人

那 power 和 cooling 呢?还没有变成同样大的瓶颈吗?

Sean Lie

当然也是。你们刚才其实正好提到了我们整个系统为什么要大改。

主持人

对,这些东西本身就在给整套系统“供能”。我只是想问更底层的 physical limit。

19

晶圆级真正困难的是供电、散热和量产

Sean Lie

这是一个非常好的问题。我们最早做 wafer scale 时,大多数人以为最大难题会是:怎么把所有 die 连起来?这么大的东西怎么做 yield?这些当然都是必须解决的基础问题。

但后来真正决定它能否工作、能否规模化的,反而是:怎么给它供电?怎么冷却?怎么可靠地大规模制造?这些东西最后成了最大的 enabler。

3D DRAM 技术也会经历同样的现实考验。PowerPoint 上画一层 DRAM、一层 logic 很容易,真正把它做出来,让它长期可靠工作,并解决怎么供电、怎么散热,是完全不同的一件事。

所以我们现在也在把过去多年积累的 wafer-scale 工程经验放进 DRAM stacking 路线。比如我们已经解决了大尺度 yield,也已经解决了如何做真正三维的 packaging。这些同样是 Samsung、d-Matrix 以及所有进入 3D memory 的团队接下来都必须面对的问题。

主持人

谢谢。我们得走了,最后聊一个话题:美国供应链、半导体供应链,以及中国正在形成越来越独立的 AI 软硬件生态。

20

中国开放模型与半导体竞争

主持人

中国这边从模型到硬件都越来越独立。像 GLM 这些模型表现很好,Huawei 等硬件体系也在起来。有些模型甚至在 OpenRouter 上很受欢迎,而底层根本不是美国芯片。行业里大家会认真讨论这件事吗?

Sean Lie

当然会。这是一个很困难、也很现实的局面。现在开放模型市场里非常大的一部分来自中国。

主持人

不能说 100% 吧。

Sean Lie

对,不是 100%。我刚才说得太满了——那就说大约 95% 吧(笑)。我的意思是,大量最重要、质量很高的开放模型正在来自中国实验室。

从一个角度看这是好事:它们愿意分享,全世界的开发者都受益。但从战略角度,它也意味着外部对这些模型形成了相当高的依赖,这并不是一个轻松的位置。

同时,支撑这些中国模型的基础设施和硬件体系也在独立生长。无论从全球竞争还是美国国家利益来看,我认为美国都必须继续推动技术边界,保持竞争力和领先。

这并不容易,对方非常清楚自己在做什么。而且我不认为一家公司、一个 fab 就能解决问题,它需要政府层面、国家利益层面的长期 initiative。

主持人

我都能想象 Hot Chips 后面有一个“秘密房间”,你们这些行业领导者聚在里面讨论该怎么办。

Sean Lie

我们确实一直在推动、也非常支持任何能够继续增强美国在这个领域竞争优势的 initiative。这一点是百分之百的。

21

IPO 与收尾

主持人

好,你得走了,但今天已经非常慷慨地给了很多时间。也恭喜你们最近取得的成绩——你们 IPO 了(笑)。

Sean Lie

对(笑)。有时候我还得掐自己一下,提醒自己我们真的已经 IPO 了,而且按当时的说法,它成了历史上规模最大的半导体 IPO 之一/字幕称“largest semiconductor IPO in history”。这种感觉还是很不真实。

主持人

但还早。

Sean Lie

对,还早。成绩不坏,但真的还早。

主持人

再次恭喜,希望以后还能继续聊。当然我们最后还是得催:给我们 ultra-fast,给我们更大的模型,给我们更多 capacity(笑)。

另一位主持人

不只是给我们,给所有人都上 ultra-fast。

Sean Lie

我们也许可以帮你们在 OpenAI 那边排个队(笑)。

主持人

希望你刚才没有把 OpenAI 说服得太狠,让他们把所有 capacity 都留在内部。大家都需要它,我们需要更好的模型。

Sean Lie

怎么用是 OpenAI 的决定。我们提供的是 infrastructure。

主持人

那至少先给我们 GLM、DeepSeek 这类模型吧。或者干脆给我们一整台 rack,我们自己跑(笑)。好,再次谢谢你来,真的非常感谢。