--- id: "3uSI8q_RN-o" title: "推理前沿：从每秒 100 个 token 到 10,000 个 token——Cerebras CTO Sean Lie" channel: "Latent Space" host: ["swyx","Vibhu"] guests: ["Sean Lie"] date: "2026-09-02" updated: "2026-09-03" duration: "44:02" duration_seconds: 2642 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=3uSI8q_RN-o" canonical: "https://pod-exp.pages.dev/3uSI8q_RN-o/" transcript_jsonl: "https://pod-exp.pages.dev/3uSI8q_RN-o/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 基础设施"] series: ["AI 基础设施","Cerebras"] --- # 推理前沿：从每秒 100 个 token 到 10,000 个 token——Cerebras CTO Sean Lie > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Cerebras 联合创始人兼 CTO Sean Lie 认为，AI 推理的“快”正在发生数量级变化：100–200 tokens/s 很快会像过去的批处理速度，而 CS4 已演示超过 4,400 tokens/s，CS5 的目标则是让中型模型逼近 10,000 tokens/s、前沿模型达到约 5,000 tokens/s。访谈从晶圆级计算、OpenAI 的超高速推理合作和 Jalapeño 芯片一路谈到 Groq/SRAM 的规模限制、prefill/decode 与 attention/FFN 解耦、模型—硬件协同设计、3D DRAM、供电散热以及中美 AI 软硬件竞争。Sean 的核心判断是：下一阶段的突破不会只来自“更好的单颗芯片”，而是来自数据中心级异构系统、封装、互连、内存和模型架构共同设计。 ## [0:03] 100–200 tokens/s 正在变成新的“批处理” · YouTube **Sean Lie：** 过去大家会把每秒 100、200 个 token 视为很快，但它正在迅速变成新的“批处理模式”。当然这种速度仍然有位置：做 prompt processing 很合适，做高度并行的 workload 也很好。 **主持人：** 但如果我的 eval 要跑 20 个小时，而我能按一下按钮把它缩到 2 个小时，那就完全不一样了。 **Sean Lie：** 对，完全是这样（笑）。但很快大家会发现，只把 prompt processing 做快还不够。那当然是很大一部分市场，却不是全部。 **主持人：** 在进入正片前先对听众说一句。感谢大家一直选择点进来收听。没有你们，我们没办法持续做 AI 工程、科学和娱乐内容。几乎每天都有赞助商来找我们，但目前有足够多的人订阅，让节目可以在没有广告的情况下持续，我们也想继续这样做。 **主持人：** 所以只拜托大家一件完全免费的事：点一下订阅。这是我唯一会向你们请求的事情。对我和每周努力把 Latent Space 做出来的团队来说，这真的意义重大。如果你订阅，我保证我们会一直努力把节目做得更好。好，现在进入正题。 ## [1:25] Hot Chips 与硬件黄金时代 · YouTube **主持人：** 我们来到 Cerebras 总部，和 CTO Sean Lie 面对面。欢迎。今天正好是 Hot Chips 之后一天，很多新东西都在发布，甚至 Apple 都发了 M6 相关东西（笑）。你们之前在 Supernova 谈了 CS4，我们今天也会聊 CS5；OpenAI 又讲了 Jalapeño。作为在这个行业里做了很多年的人，你怎么看今年这些“Hot Chips 里的热东西”？ **Sean Lie：** 首先谢谢邀请。现在确实是一个特别令人兴奋的时刻。Hot Chips 是整个社区聚在一起的好机会。我还记得十几二十年前去 Hot Chips，基本就是一群计算机体系结构的极客聚在一起，对着 speeds and feeds 兴奋。现在却已经变成行业级硬件真正公开亮相的地方，变化非常大。 **Sean Lie：** 我昨天离开会场时最大的感受之一，就是芯片设计和硬件产业正处于非常特殊的黄金时代。我做这个行业已经很久了，但从没见过半导体历史上有这么多层同时快速创新：芯片本身、互连、系统设计、软件、光学、方法论、工具链，所有层都在往前推。 **Sean Lie：** 对一个本质上仍然是计算机体系结构极客的人来说，这非常好玩。Hot Chips 会场里能明显感觉到那种 buzz；我和每个人聊天，都能感觉整个社区知道我们正处在一个很不一样的阶段。 ## [3:40] CS4：4,400 tokens/s 与新系统平台 · YouTube **主持人：** 那就先从你们自己的芯片聊起。CS4 的数字很夸张，你们说相对 GPU 快到大约 30 倍。新一代 CS4 到底新在哪里？ **Sean Lie：** 我们设计新一代 CS4 架构和全新的系统平台时，目标就是把 wafer scale 真正主流化、做到 hyperscale，并解决今天高密度数据中心里每天都会碰到的问题。我们做了一个模块化平台，相比上一代，可以给晶圆提供两倍的功率、两倍的互连带宽，同时把延迟减半。这些提升不是只来自芯片，而是在系统架构层实现的。 **Sean Lie：** 当你能给晶圆提供显著更多的功率，并在机架里塞进更高密度，就能继续把性能往上推。我们常说 Cerebras 现有产品已经是 ultra-fast inference 的领先者，而 CS4 会把这个前沿再向前推进大约 2 倍。 **Sean Lie：** Hot Chips 的 demo 就是一个很直观的例子：我们让 GPT-OSS 跑到了超过 4,400 TPS。那个画面快到近乎让人觉得是假的。真正令人兴奋的并不是数字本身，而是它改变了应用能做什么。 **Sean Lie：** 以前只能 batch、offline 做的事情，会开始变成 real-time。现在 agentic flow 和各种 agent framework 越来越多，你坐在那里等 agent 一轮又一轮循环。如果模型跑到每秒 4,000 多 token，那么同样时间里可以做更多 agent loop、更多 reasoning，最后得到更强、更聪明的 agent。 **Sean Lie：** 所以我们兴奋的不只是能展示很大的数字——大数字当然也很酷——而是你开始能做过去根本做不了的事情，出现全新的能力。 **主持人：** 这对你们应该也很有成就感。你们很早就押注“大芯片”、wafer scale，过去很多人并不真正认真对待，直到现在他们不得不认真对待了。 ## [7:07] 从“不可能的晶圆级芯片”到 OpenAI · YouTube **主持人：** 你是联合创始人、CTO，也是这套架构的核心设计者。AI boom 之后，你们开发新一代产品的方法和 CS1、CS2、CS3 时相比发生了什么变化？早期可能更“平静”，现在 OpenAI 直接和你们上线 ultra-fast mode，甚至已经有点像模型和芯片一起设计了。 **Sean Lie：** 最大变化是：第一代产品首先是一场 technology demonstration。我们得先向世界、也向自己证明“这种东西真的造得出来”。当时我们告诉很多人 wafer scale 是未来，对方的反应基本是“你们疯了，这不可能”。所以早期最核心的问题是把那些基础技术解出来，让它从物理上成为可能。 **Sean Lie：** 现在我们已经证明它不仅能造，而且这种架构确实能提供这样的性能，于是问题变成了：它还能开启什么？你刚才提到和 OpenAI 的 ultra-fast 发布就是很好的例子。我们正在让前沿级、最强的一类模型以大约其常规 GPU 速度的 14 倍运行。把最聪明的模型和硬件带来的速度结合起来，体验会发生根本变化。 **Sean Lie：** 公司也在经历从“技术演示”到“解决真实问题、开启真实能力”的转换。我们现在把很多注意力放在 scale 上：能不能把所需产能真正拉起来，能不能运行用户真正关心的模型。同时还要继续这个 flywheel，持续推出更快的硬件，把前沿继续向前推。 **Sean Lie：** 某种程度上，它展开的方式甚至比我们最初想象的还好：硬件能力终于被证明，模型和应用又正好发展到能吃掉这些能力。现在我们的目标就是尽可能快地把这件事规模化。 ## [10:13] CS5：通往 10,000 tokens/s · YouTube **主持人：** 那就说说你们昨天预告的 CS5。能不能给刚开始了解 Cerebras 的人重新梳理一下？ **Sean Lie：** CS4 基于我们全新的、强调 RAS 和模块化的 Nexus 平台。前面是模块化电源，后面有我们叫做 backpack 的模块化 server 部分。这个平台让 CS4 获得刚才看到的大约 2 倍性能，但它从一开始就不是只为一代产品设计的，而是要支撑多代产品。 **Sean Lie：** 我们在设计平台时，就同时考虑了明年会来的下一代 wafer chip。CS4 今年带来约 2 倍提升，下一代还会再推约 2 倍。 **Sean Lie：** 这意味着像 GPT-OSS、Gemma 这样的中型模型，速度有望达到每秒 10,000 token；而像 Kimi、DeepSeek，以及字幕里被转成“GPT56 Soul”的一个前沿模型名称，目标大约可以到每秒 5,000 token。这个变化会非常大。 **Sean Lie：** 所有这些都建立在这个为多代产品准备的新平台上。现在世界已经看到了 ultra-fast inference 的价值，而我们的判断是：即使 10,000 TPS，也只是开始。 ## [12:05] Cerebras 产能售罄，OpenAI 正在使用 · YouTube **主持人：** rollout 会怎么走？你们和 OpenAI 有未来几年的合作。所有人现在都想要 ultra-fast，那么普通人什么时候能用？现在有 GPT-OSS、Gemma，那更大的 Kimi、DeepSeek 什么时候能上？ **Sean Lie：** 现实是我们现在基本上把正在建设的产能都卖完了。每一个 megawatt 要部署到哪里，我们都非常战略性地决定。其中相当大一部分正在去 OpenAI，这一点我们是公开讲过的。他们是我们最大的合作伙伴，不只是商业安排，更重要的是双方有很强的 co-design 精神。 **Sean Lie：** 这种合作的目标，不只是让模型更快，而是利用速度让模型变得更聪明，然后形成新的 flywheel。现在 OpenAI 自己已经在内部使用相当多的 Cerebras capacity。 **主持人：** 所以他们现在已经真的在用了？ **Sean Lie：** 对。他们会把它放在速度特别关键的 use case 上。例如 incident response：服务一旦 outage，每一秒、每一分钟都很重要，这时候 ultra-fast 推理的价值非常直接。他们也用于一些关键研究任务，因为更快意味着在同样时间里能做更多 reasoning，有机会得到更高质量、更智能的响应。 **Sean Lie：** 目前确实有不少产能先给 OpenAI 内部，但按照我们和 OpenAI 的发布计划，也开始向企业客户开放，让它进入那些最 demanding、价值最高的应用。长期来说，OpenAI 和 Cerebras 都承诺把 capacity 做到足够大，让 ultra-fast inference 能覆盖更广的人群。 **Sean Lie：** CS4 和 CS5 的公告就是这项承诺的一部分：继续提供更多、更快的 token，增加总 throughput，才能满足市场上真正存在的各种需求。 ## [14:53] OpenAI 为什么把超高速推理开放给企业 · YouTube **主持人：** 你这么一讲，我突然意识到一件事：OpenAI 其实完全可以不把它开放给企业客户，他们自己把所有容量吃掉就行。外界甚至未必知道。这其实是一个挺有意思的 business decision。你能从商业分析角度说说吗？ **Sean Lie：** 我当然不能替他们明确解释内部思考，最终怎么用是 OpenAI 自己的决定。但从外面看，这个选择其实很合理。他们的使命一直包括继续推动“什么是可能的”，内部用 ultra-fast 能帮助他们做到这一点。 **Sean Lie：** 但与此同时，他们现在也确实是一家公司。外界甚至会讨论 IPO，所以他们显然也要平衡技术使命和商业化。我们在 ultra-fast 这件事上看到的，也正是这种平衡。 **主持人：** 好，这就自然带到他们在 Hot Chips 上另一个特别热的话题了，我们必须聊 Jalapeño。 ## [15:53] Jalapeño、AI 设计芯片与下一代推理栈 · YouTube **主持人：** 如果把它粗略拆成 prefill 用 Jalapeño、decode 用 Cerebras，你怎么看这种组合？ **Sean Lie：** 我觉得这是一个很合理的推论。Hot Chips 所有发布里，Jalapeño 可能是最让我兴奋的一个，但原因不一定和大家一样。 **主持人：** 你是真正做芯片的人。普通人只看到 tokens per second，你作为芯片专家看到的最有意思的是什么？ **Sean Lie：** 他们强调性能，也强调相对 NVIDIA GPU 有显著提升。从结果看，我觉得他们首先做出了一颗“明显更好的 GPU”，光这一点就是很大的成就。NVIDIA 知道自己在做什么，他们能拥有这个市场绝不是偶然。一个团队第一次走出来就能造出明显更好的 GPU，并不容易。 **Sean Lie：** 但 Jalapeño 真正让我兴奋的不是那些 performance ratio，而是背后的 design methodology。他们很明显用了和传统芯片设计非常不同的方法：AI-first 的方法让他们更快完成设计，并取得很有竞争力的结果。我认为这百分之百是这个行业未来的方向。OpenAI 在这里走在前面也不奇怪，因为这本来就是他们擅长的东西。 **Sean Lie：** 从架构上看，Jalapeño 同时在 throughput 和 latency 上推边界。即使暂时把我的 Cerebras 帽子摘掉，我也觉得这对整个行业是好事，会抬高所有人的水位。它把 latency 推到了传统 GPU 很难进入的区间，而我们一直相信速度本身具有很大价值。 **Sean Lie：** 对我们更重要的是，OpenAI 是我们最大的客户。等明年 Jalapeño 可用、CS5 也可用时，二者合在一起可以形成一整套 fast inference portfolio，比今天的 baseline GPU 明显不同；而今天已有的方案其实已经和 baseline GPU 很不一样了。 **Sean Lie：** 之后还可以继续做更深的组合，比如 prefill / decode disaggregation，或者别的划分方式。 **主持人：** 不过他们并没有把 Jalapeño 直接特化成 prefill，对吧？ **Sean Lie：** 对，没有专门做成 prefill 芯片，但它明显针对 throughput 做了优化，所以 throughput 非常大。站在计算机体系结构设计者角度，这一下就多出很多可以重新组合的东西。另一边，CS5 的 latency 又非常极端——前面说到可到 10,000 TPS——所以你可以开始想象双方一起能做出什么以前根本做不到的产品。 ## [19:54] AI 工具也开始反过来设计芯片 · YouTube **Sean Lie：** 这也是我为什么很兴奋把 OpenAI 当合作伙伴。除了推理硬件，我们也在 AI tooling 层面密切合作。现在大家都说自己在用 AI，我们当然也一样，但这里不是一句口号：我们确实在用 OpenAI 的工具继续推动芯片设计、软件等工作的边界。 **Sean Lie：** 所以对我来说，一边是更快的推理基础设施，一边是 AI 工具反过来帮助我们设计下一代硬件，这两件事合在一起是一个非常强的组合。 ## [20:11] 性能、功耗与 Groq 争论 · YouTube **主持人：** 我想开始找一点“有分歧的 hot take”。前面你主要讲 tokens per second，还没怎么讲 power。行业是不是越来越应该看 performance per watt，而不是只看 TPS？Hot Chips 台下大家真正争论的是什么？ **Sean Lie：** 有几个话题。会场里我听到很多讨论都围绕 Groq 的新发布。它们推出新芯片本身并不意外。总体上我其实很高兴看到 SRAM 架构变得更 mainstream——我们已经讲 SRAM 很多年，现在行业开始真正拥抱它。 **主持人：** 你们一直都在这里（笑）。那 Groq 被收购之后，作为竞争者，你感觉它变了吗？ **Sean Lie：** 第一阶来看，没有太大变化。更重要的是 SRAM 架构现在更普及了。甚至 NVIDIA 这种最大的玩家也在拥抱 SRAM 设计，这等于承认传统 GPU 很难进入 ultra-fast 的 latency 区间。 **Sean Lie：** 但会场外真正被反复问的，是 Groq 新产品到底能把这条路线扩到多大的模型，以及它和此前大家讨论的 attention / FFN disaggregation 怎么对应。 ## [21:44] 31B 基准与 SRAM 架构的规模限制 · YouTube **Sean Lie：** 一个很自然的问题是：为什么他们发布时选的是大约 30B/31B 参数模型？Jensen 在 GTC 花了很多时间讲 attention 和 FFN 解耦，但这次发布里几乎没有提这一点。我觉得这是一个很有信息量的信号。 **主持人：** 但 NVIDIA 不是还有另外一条 Rubin 路线吗？ **Sean Lie：** 有 Rubin，但问题是此前讲的 Rubin 和相关 LPU/LPU-like 组件本来应该一起构成那套 disaggregation 故事。如果你还记得，Jensen 在 GTC 用很长时间解释“attention 在这里、MoE/FFN 在那里”之类的架构划分。 **Sean Lie：** 所以我不一定把这叫 hot take，但一个已经进入 full production 的新产品，公开性能却只展示在一个没有做这种解耦的 31B 模型上，确实会让人怀疑它扩到更大模型时会发生什么。 **Sean Lie：** 我认为问题来自非 wafer-scale 的 SRAM 设计：每颗芯片上的内存太少。要运行几万亿参数的前沿模型，仅仅为了把 weights 放进去，就可能需要成千上万颗 Groq LPU。到了这种规模，问题会非常现实。 **主持人：** 所以你的意思是，他们接下来会逐渐把这些芯片拼成更大的系统？ **Sean Lie：** 我反而觉得可能是另一种结果：他们会更聚焦显著更小的模型。架构有这种约束时，这是很自然的方向。 **Sean Lie：** Cerebras 的情况不同。我们一直在跑非常大的模型，原因某种意义上很简单：单颗我们的芯片就大约有对方单颗芯片两个数量级、约 100 倍的内存规模。光“能把东西放得下”这一点，就天然多出两个数量级的尺度。 **Sean Lie：** 所以大家在会场里觉得奇怪的是：为什么一个全新的产品只拿这么小的模型展示性能？往下剥一层，它就比较说得通了。我在这个领域做了很久，也正因为这个原因，我们当年才认为需要 wafer-scale integration，把足够多的 SRAM 聚合在一起，才能真正服务大模型。 ## [24:44] 异构、解耦的推理生态 · YouTube **主持人：** 市场本身很大，你们和 Groq 也未必抢完全相同的市场。你们已经算这条路线里持续时间很长的 incumbent 了。 **Sean Lie：** 是的，市场足够大，不同硬件完全可以扮演不同角色。Cerebras 非常相信未来会是 heterogeneous、disaggregated 的生态，而且绝不只是 prefill / decode disaggregation。 **Sean Lie：** 推理已经不再是一种单一 workload。模型和部署规模越大，内部就会出现越来越多 sub-workload。你应该针对问题使用正确的工具、正确的硬件，而不是期待一类芯片把所有事情都做到最好。 **Sean Lie：** 所以各种架构都会有位置。我们选择瞄准的是 frontier、ultra-fast 这一块。 **主持人：** 对，frontier ultra-fast。 **Sean Lie：** 正是。 **主持人：** 我本来想直接去聊别的公司，但这里值得再追问。你怎么划分推理 workload 的“桶”？Ultra-fast frontier inference 明显是增长最快的部分之一，需求甚至多到有钱都不一定买得到。既然你们很相信异构推理，你从客户那里看到的 workload 分类到底是什么？ ## [26:35] 把推理继续拆成专用硬件 · YouTube **Sean Lie：** 我会从两个视角回答，一个是 product view，一个是 technical/computer-architect view。产品视角其实很简单：速度越高，就会开启越多应用、use case 和能力，模型和 agent 也可以变得更智能。甚至今天我们还想象不到，当“比现在所谓 ultra-fast 还要快”时会出现什么产品，所以我们才一直把速度继续往前推。 **Sean Lie：** 另一边是 capacity。你当然想要最快，但必须有足够容量真正服务自己的 use case。因此最后是寻找正确架构和正确的架构组合，同时满足“够快”和“够多”。 **Sean Lie：** 从计算机体系结构角度，反而更直观。我在 Hot Chips 和一个人聊过，他问：如果做 disaggregation，难道不是必须把数据中心切成很多区，一部分部署这种硬件、另一部分部署另一种硬件？这样不会很受限制吗？ **Sean Lie：** 我说，我们每天设计芯片本来就在做同样的 trade-off：一块 silicon real estate 到底拿去做 memory、compute 还是 I/O？所谓模块化，本质上就是把这种资源配置从单颗芯片扩展到更大的系统。 **Sean Lie：** 再看推理内部，最简单可以先分 prefill 和 decode；再往下一层，里面还有加载 KV cache、真正执行 attention、把 experts 分散到不同硬件并做负载均衡等工作。这些部分都可能用更 tailored 的硬件架构来解决。 **Sean Lie：** 在小规模上，为一个问题拼很多不同硬件未必划算。但我们现在谈的是数百 megawatt、gigawatt 甚至 multi-gigawatt 的规模，这时候专用化非常容易回本。 **Sean Lie：** 到那个尺度，你几乎会把整个 data center 当成“一台计算机”、甚至像“一颗巨大芯片”来设计：我要多少能力让 attention 跑得更快？要多少能力让 prefill 最有效率？然后把这些能力拼成一个整体。对计算机体系结构设计者来说，这简直像终于拥有了完整工具箱。 ## [29:41] 模型—硬件协同设计的巨大空间 · YouTube **主持人：** 那这些又会怎样反过来影响模型设计、模型架构？和 OpenAI 合作意味着你们有机会看到新模型的方向。现在不只是 reasoning，还有 voice、diffusion，甚至更互动式的模型。 **Sean Lie：** 完全会。Ultra-fast 让更多交互式 use case 变得现实。比如你在做交互式平面设计，image generation、video generation 或 diffusion 可能直接嵌进创作流程，而不是一个离线步骤。类似的新场景会越来越多。 **Sean Lie：** 但我觉得当下最大、还没有真正被利用的机会，不只是 Cerebras，而是整个 non-NVIDIA 社区：我们大家现在跑的模型，几乎都是为 NVIDIA GPU 设计的，而且往往还不是泛泛为“GPU”设计，而是针对某一代具体产品，例如 B200、GB200、NVL72 这一类系统。 **Sean Lie：** 可是在 Cerebras 上，即使模型原本是为完全不同架构设计的，我们已经能把某些模型跑到约 14 倍速度。那如果允许模型架构哪怕只做一点点调整，就可能得到巨大的额外收益；如果真正开始做更深入的 co-design，空间几乎没有上限。 **Sean Lie：** 这也是我为什么非常期待和 OpenAI 这类客户、合作伙伴更紧密合作。模型不再应该默认“先按 NVIDIA 的约束设计好，再让其他硬件去兼容”。硬件和模型一起设计，才可能把另一大块性能释放出来。 **主持人：** 我们时间不够，得往下走，不过我还是想说，很多人严重低估 AI codegen 用来生成 kernel 这件事。这其实对你们很有利（笑）。 **Sean Lie：** 对，我非常相信这个方向。 ## [32:00] NVIDIA、AMD、TPU、Trainium · YouTube **主持人：** 在进入 Etched 这种更“辣”的芯片前，先说说 AMD、NVIDIA。它们现在做得怎么样？有没有应该完全换一种做法的地方？ **Sean Lie：** NVIDIA 基本上正在做我们预期它会做的事情。他们不是傻瓜，非常清楚自己在做什么，而且继续把传统路线往前推。很多方面这完全是正确的，因为市场就是需要更多 token，也需要更便宜的 token。 **Sean Lie：** 但是，一个重要变化是：以前大家觉得 100、200 tokens/s 已经很快，现在它正在迅速变成新的 batch mode，甚至像过去说“overnight job”那样的东西。 **Sean Lie：** 这种架构当然仍然有价值。做 prompt processing 很好，做高度并行 workload 很好。 **主持人：** 但如果我的 eval 本来要 20 小时，现在按一下按钮就能 2 小时跑完，我当然想要更快。 **Sean Lie：** 对（笑）。而且很快只把 prompt processing 做快也不够。那是市场的重要部分，但不是全部。 **Sean Lie：** 所以传统架构都在一条“继续提高 throughput、降低成本”的 treadmill 上——我这里不是贬义，这是合理且有价值的路线。AMD、Trainium、某种意义上的 TPU，我看它们都像是在造一个“更好的 Rubin”。这个方向有巨大价值，但同时也应该有人沿别的向量推边界，这也是 Cerebras 想做的事。 ## [33:44] Sean 如何看 Etched · YouTube **主持人：** 好，来点 spicy chips。Etched 这家公司目前一个明显问题是：网站上没有多少数字，也没有多少 benchmark。你怎么看？ **Sean Lie：** 他们公开讲得确实很少，而且已经说出来的东西，相比最早的说法也变化了很多。当然他们自己也承认这一点，而且市场环境变化很快，所以 startup pivot、寻找自己的空间很正常。 **Sean Lie：** 但当我看他们放出来的图时，我会觉得 graphic design 很漂亮，却还看不出真正跳脱传统 GPU 的东西。他们谈过一种“distributed storage，因为 distributed 所以更快”之类的设计，但我并不完全理解它为什么会成立。如果能把这种关键技术解释得更清楚，会很有帮助。 **Sean Lie：** 现在很难看出他们真正想把差异化推到哪里。我听说他们在 Hot Chips 有一个 rack，所以显然是在造东西，只是目前感觉距离充分证明还有一段路。 **主持人：** 但另一方面，字幕里这里说到“20 billion dollars”，无论它具体对应估值还是别的数字，都意味着不能简单忽略它。那我们换一种 steelman 的问法：假设 Etched 成功，你最希望它沿什么真正有意思的方向走？ ## [35:30] 下一次突破发生在芯片之外 · YouTube **Sean Lie：** 最理想的情况，我希望他们或者任何其他团队，把创新边界推到“芯片之外”。我非常相信，AI compute 的下一次大台阶，会来自更好的 system integration，而不是单纯把一颗 chip 再改一点。 **主持人：** 比如 rack、node？ **Sean Lie：** Rack、node、package、interconnect，甚至整个 factory。Etched 也许在做其中某些事，只是现在很难判断。但这不是只针对 Etched 的观点，而是整个行业都应该认真看。 **Sean Lie：** 即使把 Cerebras 的立场放一边，最让我兴奋的也是 single-chip 之外的创意。今天的应用、问题和模型已经大到不可能只靠一颗芯片完成，所以最终问题都是 integration：怎样把更多 compute、更多 memory、更多 interconnect 组合起来？ **主持人：** 还有 scheduling、pipelining 和算法。 **Sean Lie：** 对，全部都在里面。昨天几个发布中，有一个我觉得很有意思的是 d-Matrix。它不算全新消息，但他们明显在大力投入 DRAM 和 3D DRAM packaging。我觉得行业需要更多这种方向。 **主持人：** 你们 CS4 的 backpack 让我想到 memory 厂商在做的东西，这个类比成立吗？ **Sean Lie：** 有一部分很像。我们用 backpack 做 power delivery，本质上就是一个非常紧凑的 3D package，把电力直接送到 wafer/chip 的正面。3D DRAM stacking 做的是类似的空间整合，只不过对象从 power 换成 memory。 **Sean Lie：** 我们昨天也讲到，其实两年前就启动了 DRAM stacking program，原因完全相同。我认为找到更好的 integration 方法，是解锁下一次大跨越的关键。 **Sean Lie：** 我刚才差点又说成 Groq——更正一下，我并不知道 Etched 的底层到底在做什么。但如果问我行业里最令人兴奋的技术是什么，我会选更有创造力的 integration、更有创造力的 packaging，以及更多“跳出单颗芯片”的思考。 ## [38:31] 内存带宽与 3D 集成 · YouTube **主持人：** 除了 d-Matrix，再给大家留几个名字。还有什么公司或方向让你印象深？ **Sean Lie：** Samsung 有一些关于 ZHBM 的讨论。 **主持人：** 又是 memory 公司（笑）。 **Sean Lie：** 最后确实绕不开。造 AI 芯片大体有三个核心东西：compute、interconnect 和 memory。特别在 low-latency 场景，memory 越来越成为关键，memory bandwidth 就是关键。 **主持人：** 那 power 和 cooling 呢？还没有变成同样大的瓶颈吗？ **Sean Lie：** 当然也是。你们刚才其实正好提到了我们整个系统为什么要大改。 **主持人：** 对，这些东西本身就在给整套系统“供能”。我只是想问更底层的 physical limit。 ## [39:19] 晶圆级真正困难的是供电、散热和量产 · YouTube **Sean Lie：** 这是一个非常好的问题。我们最早做 wafer scale 时，大多数人以为最大难题会是：怎么把所有 die 连起来？这么大的东西怎么做 yield？这些当然都是必须解决的基础问题。 **Sean Lie：** 但后来真正决定它能否工作、能否规模化的，反而是：怎么给它供电？怎么冷却？怎么可靠地大规模制造？这些东西最后成了最大的 enabler。 **Sean Lie：** 3D DRAM 技术也会经历同样的现实考验。PowerPoint 上画一层 DRAM、一层 logic 很容易，真正把它做出来，让它长期可靠工作，并解决怎么供电、怎么散热，是完全不同的一件事。 **Sean Lie：** 所以我们现在也在把过去多年积累的 wafer-scale 工程经验放进 DRAM stacking 路线。比如我们已经解决了大尺度 yield，也已经解决了如何做真正三维的 packaging。这些同样是 Samsung、d-Matrix 以及所有进入 3D memory 的团队接下来都必须面对的问题。 **主持人：** 谢谢。我们得走了，最后聊一个话题：美国供应链、半导体供应链，以及中国正在形成越来越独立的 AI 软硬件生态。 ## [40:42] 中国开放模型与半导体竞争 · YouTube **主持人：** 中国这边从模型到硬件都越来越独立。像 GLM 这些模型表现很好，Huawei 等硬件体系也在起来。有些模型甚至在 OpenRouter 上很受欢迎，而底层根本不是美国芯片。行业里大家会认真讨论这件事吗？ **Sean Lie：** 当然会。这是一个很困难、也很现实的局面。现在开放模型市场里非常大的一部分来自中国。 **主持人：** 不能说 100% 吧。 **Sean Lie：** 对，不是 100%。我刚才说得太满了——那就说大约 95% 吧（笑）。我的意思是，大量最重要、质量很高的开放模型正在来自中国实验室。 **Sean Lie：** 从一个角度看这是好事：它们愿意分享，全世界的开发者都受益。但从战略角度，它也意味着外部对这些模型形成了相当高的依赖，这并不是一个轻松的位置。 **Sean Lie：** 同时，支撑这些中国模型的基础设施和硬件体系也在独立生长。无论从全球竞争还是美国国家利益来看，我认为美国都必须继续推动技术边界，保持竞争力和领先。 **Sean Lie：** 这并不容易，对方非常清楚自己在做什么。而且我不认为一家公司、一个 fab 就能解决问题，它需要政府层面、国家利益层面的长期 initiative。 **主持人：** 我都能想象 Hot Chips 后面有一个“秘密房间”，你们这些行业领导者聚在里面讨论该怎么办。 **Sean Lie：** 我们确实一直在推动、也非常支持任何能够继续增强美国在这个领域竞争优势的 initiative。这一点是百分之百的。 ## [43:04] IPO 与收尾 · YouTube **主持人：** 好，你得走了，但今天已经非常慷慨地给了很多时间。也恭喜你们最近取得的成绩——你们 IPO 了（笑）。 **Sean Lie：** 对（笑）。有时候我还得掐自己一下，提醒自己我们真的已经 IPO 了，而且按当时的说法，它成了历史上规模最大的半导体 IPO 之一/字幕称“largest semiconductor IPO in history”。这种感觉还是很不真实。 **主持人：** 但还早。 **Sean Lie：** 对，还早。成绩不坏，但真的还早。 **主持人：** 再次恭喜，希望以后还能继续聊。当然我们最后还是得催：给我们 ultra-fast，给我们更大的模型，给我们更多 capacity（笑）。 **另一位主持人：** 不只是给我们，给所有人都上 ultra-fast。 **Sean Lie：** 我们也许可以帮你们在 OpenAI 那边排个队（笑）。 **主持人：** 希望你刚才没有把 OpenAI 说服得太狠，让他们把所有 capacity 都留在内部。大家都需要它，我们需要更好的模型。 **Sean Lie：** 怎么用是 OpenAI 的决定。我们提供的是 infrastructure。 **主持人：** 那至少先给我们 GLM、DeepSeek 这类模型吧。或者干脆给我们一整台 rack，我们自己跑（笑）。好，再次谢谢你来，真的非常感谢。