--- id: "xlSaoP0b90A" title: "Tri Dao：英伟达主导地位的终结、推理成本为何下降，以及下一个十倍提速" channel: "Unsupervised Learning: With Jacob Effron" host: ["Jacob Effron"] guests: ["Tri Dao"] date: "2025-09-10" updated: "2026-08-09" duration: "59:06" duration_seconds: 3546 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=xlSaoP0b90A" canonical: "https://pod-exp.pages.dev/xlSaoP0b90A/" transcript_jsonl: "https://pod-exp.pages.dev/xlSaoP0b90A/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: [] series: [] --- # Tri Dao：英伟达主导地位的终结、推理成本为何下降，以及下一个十倍提速 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Tri Dao 判断，NVIDIA 的优势来自芯片、软件、网络和生态的共同作用，但推理负载正在分化，未来会出现更多专用芯片与多芯片并存。过去几年推理成本约下降一百倍，核心驱动力包括量化、稀疏 MoE、KV cache 压缩、FlashAttention 式软硬件协同设计，以及更成熟的 kernel。下一阶段仍可能再提升十倍。与此同时，真正重要的未解问题不是让模型继续擅长互联网数据充足的任务，而是如何让 AI 掌握专业工具和稀缺知识，达到专家水平。 ## [0:00] 开场与 NVIDIA 竞争格局 · YouTube **主持人：** 我刚开始做这档播客时，你就在我的梦想嘉宾名单上。究竟是什么推动了成本和延迟如此大幅度的下降？ **Tri Dao：** 一部分原因是架构变得更好了。模型如今模仿人类的能力好得有些惊人，而且相关技术正在爆发式增长。 **主持人：** 我们会看到竞争者进入 NVIDIA 生态系统的不同环节吗？ **Tri Dao：** 当然。许多竞争者都在尝试进入这个领域。 **主持人：** 在尚未解决的问题里，你最想知道哪一个答案？哪一个最可能影响你的研究方向？ **主持人：** 过去几年，Tri Dao 推动了 AI 领域许多最重要的突破。他是 FlashAttention 的主要作者之一，这项工作是模型推理成本大幅下降的重要原因；他也通过 Mamba 深入参与状态空间模型研究，探索 Transformer 之外的架构。 **主持人：** 他是 Together AI 的首席科学家。他的影响力之大，甚至 SemiAnalysis 曾指出，NVIDIA 护城河的重要组成部分，就是 Tri 在 NVIDIA 生态中完成的这些优化工作。我们会问他：两三年后还有多少工作负载运行在 NVIDIA 芯片上？AI 硬件机会在哪里？为什么 AI 编程产品能让他的效率提高约 50%？ **主持人：** 我们还讨论了 Transformer 替代架构的未来，以及哪些方向可能真正奏效。能与这个领域如此杰出的人交流，是一次难得的机会。下面进入正式访谈。 **主持人：** Tri，非常感谢你来参加这期播客。 **Tri Dao：** 当然。我也非常期待这次对话。 **主持人：** 两年半到三年前，我刚开始做这档播客时，你就在我的梦想嘉宾名单上。那时 FlashAttention 刚开始广泛传播，大家都在惊叹你给这个领域带来的影响。我当时想，只要慢慢把节目做起来，也许有一天真能请到你。 **Tri Dao：** 能来这里我很荣幸，这次对话应该会很有意思。 **主持人：** 先问一个典型的风险投资问题。过去几年 NVIDIA 的崛起令人难以置信，你也为这个生态作出了巨大贡献，让人们能更有效地使用这些硬件。未来会不会有竞争者进入 NVIDIA 生态的不同环节，比如芯片本身，或者封装 GPU 的系统？Google 和 Amazon 都有自研芯片，但对行业里的绝大多数公司来说，这一定是你经常思考的问题。 **Tri Dao：** 我确实花了不少时间思考芯片。很多竞争者都在尝试进入，AMD 也已经在这个领域多年。NVIDIA 之所以占据主导地位，有几个原因：它设计了很好的芯片，也构建了很好的软件，由此形成了一个让其他人持续在其上开发的生态系统。 **Tri Dao：** 但竞争者肯定会越来越多。随着工作负载逐渐集中到 Transformer、专家混合模型（MoE）等架构上，为这些负载设计芯片会相对容易一些。如果只关注推理，AMD 有一些优势，例如更大的内存，我们已经开始看到更多人采用它。训练则更困难。 **Tri Dao：** 训练的主要瓶颈之一是网络，而 NVIDIA 在这方面明显领先。不过，大家已经理解制造优秀训练芯片和推理芯片分别有哪些难点，最终拼的是执行。我接触过许多正在设计训练或推理芯片的团队。未来两年，一些工作负载可能会变成多芯片并存，不再像今天这样大约 90% 都跑在 NVIDIA 上。 ## [4:03] 架构稳定性与芯片押注 · YouTube **主持人：** 架构已经稳定到足以做芯片押注了吗？芯片设计的迷人之处在于，你实际上是在押注两三年后的训练和推理工作负载。确定性越高，优化就越容易。现在是否已经足够稳定？还是几十家创业公司各自下注，最终只有一两家会成功？ **Tri Dao：** 从非常高的层面看，架构似乎已经围绕 Transformer 稳定下来。但仔细看，仍有大量变化。近两年最显著的变化是专家混合模型：模型变得更大、参数更多，却更加稀疏，这会带来新的权衡。 **Tri Dao：** 你需要更多内存，但实际计算量可能更小。对那些原本为稠密模型、均匀计算而设计芯片的厂商来说，这就很棘手，稀疏计算更难处理。注意力机制已经存在十多年，可一些看似细小的变化仍会制造硬件难题。 **Tri Dao：** 例如 DeepSeek 的多头潜在注意力（MLA）与标准注意力不同，它可能使用很大的 head dimension。如果芯片的脉动阵列或矩阵乘法引擎尺寸固定，运算就可能装不进去。只有掀开盖子看底层时，才会遇到这些奇怪但真实的细节。 **Tri Dao：** 工作负载本身也在变化。我们有‘传统聊天机器人’——在 AI 世界里，所谓传统也不过是过去两三年。 **主持人：** 我就知道你会说：它已经存在三年，所以在 AI 领域就算传统了。 **Tri Dao：** 新的工作负载包括 Cursor 之类的编程工具，以及智能体工作负载。智能体不只是运行模型，它还要调用工具、运行 Python 解释器、搜索网页等，这会改变芯片设计。如果芯片只为尽可能快地跑模型而优化，你可能会忽略它如何连接主机去执行网络搜索。 **Tri Dao：** 所以即使远看架构已经稳定，底层仍在发生很多事，工作负载也持续演变。这是一场持续的竞赛：谁能执行得更快、适应得更快。 **主持人：** 如果今天大约 90% 的工作负载运行在 NVIDIA 芯片上，两三年后会是什么格局？ **Tri Dao：** 推理市场会多元化。Cerebras、Groq、SambaNova 等公司正在形成真正的挑战，它们主打极低延迟推理，对某些场景非常有吸引力。 **Tri Dao：** 有些客户极度在意最低延迟，并愿意为此支付更高价格；另一些客户则在意超大批量和高吞吐，用于海量数据处理、合成数据生成，或者强化学习训练——他们需要尽可能多地 rollout 轨迹。 **Tri Dao：** 市场之所以会多元化，是因为工作负载会多元化：低延迟、高吞吐，以及可能出现的视频生成——它对计算和内存的需求组合又完全不同。 ## [8:16] 工作负载分化与硬件抽象 · YouTube **主持人：** 创业公司今天可以选定优化目标、设计芯片、等待流片和量产，但要过几年才知道押注是否正确。未来关键的优化方向已经足够清晰了吗？还是两三年后最重要的五项优化，可能都是今天完全没谈到的东西？ **Tri Dao：** 创业公司必须下一个足够大的赌注。你可以押注聊天机器人会退潮，而视频生成、世界模型或机器人会占据一半工作负载，然后专门为它设计。你只能希望判断正确。这就是创业公司的角色，也可能是产生重大影响的唯一方式。 **Tri Dao：** 如果你拒绝下注，只想为通用负载做优化，既有巨头只会在执行上把你远远甩开。 **主持人：** SemiAnalysis 最近评价你的工作时问：既然你为 NVIDIA 生态创造了如此巨大的价值，为什么 AMD、Google 或其他芯片厂商不高价请你去做同样的优化？这让人想到前沿模型领域里，少数顶级研究者获得的巨额薪酬。你怎么看？ **Tri Dao：** 我与 NVIDIA、AMD、Google、Amazon 等公司的很多人都有合作。我大部分时间花在 NVIDIA 上，是因为它是今天最普及的硬件。NVIDIA 的芯片和软件都很好，这让我能做出有趣的东西。 **Tri Dao：** 我们也与 AMD 合作过。他们有一个 FlashAttention 版本，我们协助把它整合进公共代码库。现在我越来越关心的，是不只适用于 NVIDIA，而是适用于 GPU 和各种加速器的抽象。 **Tri Dao：** 我过去花了大量时间在最底层榨取极致性能。但随着 Together 扩大，我们还要考虑怎样让新加入的人快速产生生产力。答案的一部分，是构建既能在 NVIDIA 上工作、也可能适配其他芯片的抽象；另一部分，则是让 AI 也能承担其中一些工作。 **Tri Dao：** 作为技术负责人，我们需要正确的抽象，让新人能迅速上手，也让工作可以跨芯片、跨负载迁移。 **主持人：** 今天已经有能跨不同芯片工作的抽象了吗？ **Tri Dao：** 已经有一些。Triton 很不错，它通过统一前端和不同后端支持 NVIDIA、AMD、Intel GPU，很多公司都在押注它。Meta 的 PyTorch 和 torch.compile 可以生成 Triton 代码，再由 Triton 面向 NVIDIA 或 AMD 生成目标代码。 **Tri Dao：** 典型的权衡是性能与生产力。如果牺牲 5% 性能，却能把生产力提高三倍，当然值得；如果损失太大，人们就会选择更底层的方案。 ## [12:28] 可移植性神话与新一代 GPU 语言 · YouTube **主持人：** 尤其是在竞争激烈的推理市场。 **Tri Dao：** 硬件可移植性在很大程度上是个神话。即使只看 NVIDIA，不同代芯片之间也变化很大。性能提升正是靠更专用的组件、更低精度，以及不同的同步机制实现的。它不像 CPU，旧代码通常还能跑，每年只是快 5% 到 10%。 **Tri Dao：** NVIDIA 自己基本上也每两年重写大量软件。即使是同一家厂商的不同代硬件，可移植性也并不天然存在。 **主持人：** 也就是说，即使只是跨越同一厂商的不同代芯片，抽象也很有价值。 **Tri Dao：** 是的。Triton 的抽象很有吸引力，也有一些更底层的方案，以牺牲通用性为代价暴露更多硬件能力。Modular 则在开发 Mojo。 **主持人：** 你怎么看 Mojo？ **Tri Dao：** 它很酷，也抓住了一些正确的抽象。问题在于执行。用户最终会问：它在 NVIDIA 上到底有多快？这个问题也许不公平，但大家就是在意。团队既要设计抽象，又要为 NVIDIA、AMD 做定制，最后仍然回到定制程度与性能之间的权衡。 **主持人：** 因为市场首先要求在 NVIDIA 上做到最强推理性能。 **Tri Dao：** 没错。现在出现了许多领域专用语言和库，例如 Stanford 的 ThunderKittens、T-Lang、Google 的 Mosaic GPU 等。大家都意识到，我们仍缺少真正合适的抽象，而培养工程师写出高性能 GPU kernel 非常痛苦。 **Tri Dao：** 我们正快速迭代。随着 AI 模型变强，我也在思考：怎样为语言模型而不是人类设计语言和抽象？模型的工作方式与人不同。未来一两年答案应该会清晰得多，现在大家仍在尝试各种方向。 **主持人：** 这些抽象最可能从哪里产生？ ## [16:45] 从负载与硬件两端设计抽象 · YouTube **Tri Dao：** 有两个方向。机器学习一侧会问：我们有哪些工作负载，需要哪些原语来表达？推理通常受限于内存，所以问题是怎样最快移动数据，以及怎样高效表达矩阵乘法。 **Tri Dao：** 硬件一侧则会问：怎样把芯片里的专用组件暴露出来？NVIDIA 很擅长把芯片做得越来越异步。矩阵乘法已经快得夸张，其他环节反而显得很慢，因此必须通过流水线和同步原语，让矩阵乘法与数据移动、其他工作重叠执行。 **Tri Dao：** 真正有用的抽象，要么来自工作负载的需求，要么来自硬件能力。未来一两年，这幅图景应该会清楚很多。 **主持人：** 我们已经几次谈到为 LLM 设计抽象，以及在这个过程里直接使用 AI。你现在用 AI 到什么程度？未来会怎样变化？ **Tri Dao：** 模型其实直到最近才开始真正对这类工作有用，这让我很惊讶。终极梦想是完全自动编写 GPU kernel：你描述问题，LLM 就生成 kernel，就像它现在已经能处理简单 Python、数据分析或网页前端一样。 **主持人：** 直接‘凭感觉编程’写几个 kernel。 **Tri Dao：** 如果目标是完全自动生成 kernel，我们还非常早期。模型可以较好地写简单逐元素运算、归约、求和或归一化，但操作一复杂，就经常无法生成正确代码。 **Tri Dao：** 主要问题是训练数据。从互联网上抓 GPU kernel 代码，得到的往往是课程项目，或者为三代以前 GPU 写的文档——很多恰恰是今天不该采用的做法。 **Tri Dao：** 解决办法可能是从少量专家级数据开始，生成合成数据，并把模型接到编译器和性能分析器上，让它获得反馈。我认为一两年内可能会解决，但确实很难。 **主持人：** 谁拥有这些数据？ **Tri Dao：** 我不认为关键数据主要是私有的。确实有少数地方拥有专家级代码，但真正的挑战在工作流：怎样从少量专家数据出发，生成大规模合成数据。 **Tri Dao：** 例如 GPU-PROMPT 社区有人利用 PyTorch 编译器，生成了大约 1.5 万对 PyTorch 程序与更底层 Triton 程序。互联网上没有足够数据，所以必须有创造性。 ## [20:54] AI 编写 GPU Kernel 的数据瓶颈 · YouTube **Tri Dao：** 这是全自动生成的路线，还很早。另一条路线是让模型与人协作。在这方面我很惊喜：它们已经很有用了。 **主持人：** 有没有一个具体时刻，让你意识到模型已经真的能帮到你？ **Tri Dao：** 有两个近期里程碑。第一是 O3 的推理能力变得很强。我可以和它讨论怎样优化一个函数、应该注意什么，它给出的高层建议出乎意料地好。第二是 Claude Code，它写 Triton kernel 已经相当不错。 **Tri Dao：** 我喜欢写 kernel，但更应该把时间花在设计上：选择怎样的架构才能利用硬件。设计很有趣，实现却很重。Claude Code 能帮我处理实现工作，让我的生产力大约提高到 1.5 倍。 **主持人：** 这个提升幅度相当可观。 **Tri Dao：** 我是 Claude Code 的重度用户。让模型与人并肩工作，可能比让它独立自动生成 kernel 更有价值。 **主持人：** 接下来什么里程碑能让你从 1.5 倍生产力提升到 2 倍？ **Tri Dao：** Claude Code 是一次跃迁，因为它具有智能体能力，并经过后训练，能很好地使用工具。其他实验室也会达到类似水平。所谓智能体能力，就是模型知道何时、怎样使用工具：没有正确 API 时去查，程序无法编译时排错，运行太慢时读取 profiler 信息。 **Tri Dao：** 评价新模型时，我最想知道的是：它是否知道自己不知道什么？何时会主动寻找新信息？这类智能体能力的基准测试刚刚出现，我们仍处于早期。 **主持人：** 自 ChatGPT 发布以来，你参与了许多关键推理优化。能否回顾过去三年：成本和延迟为什么下降这么多？也请谈谈 FlashAttention。 **Tri Dao：** 过去两三年，推理成本大概下降了 100 倍。 **主持人：** 至少如此。 ## [25:14] 推理成本为何下降约一百倍 · YouTube **Tri Dao：** 从 ChatGPT 发布至今，这种下降也反映在 API 价格上。模型侧，人们用相同参数量训练出了更好的模型，靠的是更多数据、更优架构、MoE，以及各种高效注意力机制。 **Tri Dao：** 系统侧则出现了推理优化技术的爆发。早期我们并不真正理解瓶颈，后来大家意识到，推理往往关键在数据移动：移动模型权重，以及移动用于保存历史、帮助预测下一个 token 的 KV cache。 **Tri Dao：** 很多优化都围绕减少数据移动。量化就是一个例子。两三年前，每个参数 16 bit 很常见；现在 8 bit 已经普及，新模型使用 4 bit，研究甚至探索 1 或 2 bit。只要技术足够成熟，质量往往几乎不损失。 **Tri Dao：** OpenAI 最近的开放模型在大部分层使用了 4 bit 权重。一个约 1200 亿参数的模型因此可以装进大约 60GB 内存，并获得很强的推理性能。 **Tri Dao：** 另一类进步来自模型架构与硬件的协同设计。FlashAttention 正是把深刻理解硬件的人，与深刻理解算法和模型的人结合起来。 **Tri Dao：** 我们识别出内存访问才是瓶颈，于是重新组织注意力算法来减少访问。如今，类似的思路已广泛用于推理优化。 **Tri Dao：** DeepSeek 的多头潜在注意力是另一个例子。它把 KV cache 投影到更小的潜在空间进行压缩，使服务效率显著提高。 **Tri Dao：** 专家混合模型则引入稀疏性：每个 token 只使用模型的一部分。趋势是越来越稀疏。早期 Mistral MoE 每层激活 8 个专家中的 2 个，也就是 25%；更新的 DeepSeek 和 OpenAI 模型可能只激活一百多个专家中的少数几个，稀疏程度达到约 32 倍。 **Tri Dao：** 当你同时服务大量用户时，这尤其有效。过去几年最大的提升，来自对工作负载的深入理解，以及模型架构与推理栈的协同设计。 ## [29:21] 下一个十倍性能提升 · YouTube **主持人：** 下一阶段的提升会从哪里来？ **Tri Dao：** 我认为前面还有大约 10 倍提升空间。 **主持人：** 到目前为止确实一直是这个趋势。 **Tri Dao：** 没错，这是外推。 **主持人：** 容易摘的低垂果实是不是已经摘完了？ **Tri Dao：** 容易的部分确实已经拿下很多，但仍有大量空间。硬件侧，架构现在稳定到足以让芯片厂商专门为推理优化：原生支持低精度、改进网络，以及更好地支持需要跨多芯片存储的大型稀疏 MoE 模型。 **Tri Dao：** 仅硬件一年内就可能带来两到三倍提升。软件和模型侧，架构仍很重要。例如 Mamba 不再把全部历史存进 KV cache，而是压缩进状态向量。它有权衡，但结果很有前景。 **Tri Dao：** 这对大批量推理和推理型工作负载尤其重要。Gemini Deep Think 等系统会同时探索多条推理路径，意味着数百条序列并行运行，KV cache 的内存问题会被放大。像 Mamba 一样压缩历史状态，价值就会凸显。 **Tri Dao：** 模型架构可能再带来两到三倍，更好的 kernel 也可能再贡献约两倍。叠加起来，即使只看一年，再提升 10 倍也并非不可能。 **主持人：** 使用场景和模型架构都在分化，每一种终端用途有不同瓶颈。这对 Together AI 这样的推理服务商意味着什么？未来仍会有一家供应商什么都擅长，还是会出现专业分工，例如一家擅长深度研究，另一家擅长聊天机器人？ **Tri Dao：** 大概会形成三类主要工作负载，所有推理服务商都会学会分别优化。规模仍然有优势。第一类是传统聊天机器人：需要互动性，但不必瞬间回复。 ## [33:24] 推理市场的三类工作负载 · YouTube **主持人：** 有时回复来得太快反而有点诡异，体验上你希望想象另一端有人稍微思考了一下。 **Tri Dao：** 第二类要求极低延迟。以 Claude Code 为例，如果它能快 3 倍或 5 倍，我很愿意多付钱。如果推理快两三倍，使用模型的人也可能接近提升两倍生产力。 **主持人：** 这就是能否保持心流的区别。 **Tri Dao：** 有人通过并行运行四个 Claude Code 会话来绕过延迟。我偏好深度工作，通常只用一个，我的搭档常批评我，说应该同时开四个。这类低延迟智能体负载，用户愿意支付溢价。 **Tri Dao：** 第三类是超大批量、追求最大吞吐的推理，延迟几乎不重要。它对合成数据生成很关键。比如航空公司只有少量用于处理客户投诉的专家数据，却可以据此生成海量合成交互。 **Tri Dao：** 模型模仿人类的能力好得惊人。你可以让它扮演一位航班在拉瓜迪亚机场延误、怒气冲冲的纽约人，它能演得很像。 **主持人：** 想到我们把‘在机场发火的纽约人’也教给了模型，确实有点吓人，这可不是人性最光辉的一面。 **Tri Dao：** 互联网上这类数据可不少，所以模型学到了某种内部世界模型，能够生成海量不完美但有用的数据。这种场景里，最重要的只有吞吐。 **Tri Dao：** 大批量推理对强化学习也至关重要。要改进智能体策略，就必须通过采样大量 completion 或 rollout 来评估它。比如训练一个 AI 工程师，需要生成许多次尝试，才能衡量当前策略到底有多强。 ## [37:33] 集群级优化与不断抬高的开源基线 · YouTube **主持人：** 你们如何在这三类负载之间分配资源？ **Tri Dao：** 规模化带来的一个优势是集群级优化。如果你在数千块 GPU 上运行推理，就能动态调整集群分配。当交互式请求不繁忙时，可以用批量 API 请求填满闲置算力。 **Tri Dao：** 因此我们可以像 OpenAI 一样，为批量 API 提供大约 50% 的折扣。规模化运营确实有帮助。 **主持人：** 随着推理市场发展，是否总有无穷无尽的优化，让服务商保持领先？还是低垂果实终会摘完，竞争转向围绕推理构建的更广平台？ **Tri Dao：** 早期只要 kernel 写得合理、推理引擎做得像样，就能大幅超过基线。现在 vLLM、SGLang 等开源工具已经达到生产级质量，基线高了很多。 **Tri Dao：** 但新场景不断出现。客户可能极度在意前缀缓存或低延迟，也可能根本不做文本，而是生成视频，吞吐权衡完全不同。工作负载演变太快，总有新的优化要做。 **Tri Dao：** 模型已经好到让创业公司不断发现新的价值提取方式，因此工作负载会持续快速变化。 **主持人：** 一两年后，今天的三类负载会不会变成二十七类？ **Tri Dao：** 我认为最终仍会收敛。智能体负载可能成为杀手级场景。ChatGPT 的跃迁在于用户第一次能与语言模型对话、调试代码、综合信息；下一步则是让模型自己采取行动、收集信息。 ## [41:42] 智能体、实时视频与专家级 AI · YouTube **Tri Dao：** 这不只是把 GPU 上的模型跑快。智能体必须连接人类使用的工具。网页搜索只是最简单的例子；飞机工程师需要模型访问设计软件，金融分析师需要模型访问专业数据库。我预计未来一年，这会成为最主要的工作负载之一。 **主持人：** 这会在智能体周围产生全新的系统层：外部工具和数据库。它不只是推理优化，却是推理服务商产品的自然延伸。 **Tri Dao：** 是的，这会主导专业和企业场景。消费端，我押注实时视频生成。它可能像 TikTok 一样改变消费互联网，不论好坏，因为它极具吸引力。 **Tri Dao：** 我们合作的 Pika、Hedra 等公司都在押注实时视频生成。视频极度消耗算力，因此它可能进一步推动芯片需求和推理优化。 **主持人：** 如果你能穿越到三年后，得到一个 AI 基础设施问题的答案，并据此决定今天的研究方向，你最想知道什么？ **Tri Dao：** 怎样让 AI 达到专家水平？今天模型在某些任务上大约处于人类中位水平，例如前端编程和数据分析——这些领域互联网上有大量数据。它们做前端当然比我强得多。 **Tri Dao：** 只要互联网上有大量数据，模型就会碾压这类任务，达到人类平均甚至略高于平均的水平。 **Tri Dao：** 但真正高经济价值的工作仍在专家领域：设计飞机、设计硬件、医疗、法律。专家之所以成为专家，是因为长期使用专业工具、掌握专业知识，而不是因为拥有互联网规模的公开语料。 **主持人：** 互联网上并不存在足以解释他们为何成为专家的海量数据。 **Tri Dao：** 没错。模型怎样达到那个层级，并与同层级的人类专家协作？大量经济价值会从这里产生。 ## [45:43] AGI 成本与推理优先的架构设计 · YouTube **主持人：** 你研究过状态空间模型和 Transformer 替代架构。你的合作者 Albert Gu 曾说，Transformer 本身不会是最终答案。要达到专家级 AI，我们是否需要架构创新？ **Tri Dao：** 我很喜欢 Albert，但我们可能在这一点上略有分歧。当前架构也许足以实现 AGI 或 ASI，真正的问题是成本。更好的架构可能让我们提前一两年到达，或者只花十分之一的成本，而这会决定高级智能最终能否普及。 **Tri Dao：** 全世界每年在 AI 基础设施上的投入可能已经达到数千亿美元量级——别把这个数字当作精确统计。再增加十倍似乎不现实，更好的架构也许能让我们用今天的投入，甚至更少的钱达到目标。 **Tri Dao：** 当前架构似乎已经具备必要要素，继续扩展也许能走到终点，但成本可能高得惊人。 **主持人：** 你在关注哪些替代架构？ **Tri Dao：** 我很看好把专家混合模型做得越来越稀疏。我们正在测试稀疏性究竟能推进到什么程度。DeepSeek 已证明极端稀疏模型可以奏效，这也延续了 DeepMind 更早的一些方向。 **Tri Dao：** 归根结底，我们要优化的是每美元能得到多少推理能力。它可以拆成两部分：每个 FLOP 能产生多少智能，取决于架构、数据和算法；每美元能买到多少 FLOP，取决于硬件和 kernel 优化。 **Tri Dao：** 架构侧，我们希望用同样的计算获得更多智能。MoE 是一条路线，与 Albert 合作的状态空间模型是另一条。我们也与 NVIDIA 团队合作训练 Transformer-Mamba 混合模型，在更低成本下获得高质量，或显著提高推理性能。 **Tri Dao：** 所以我现在强调‘推理优先的架构设计’。绝大多数计算最终会花在推理上，因此架构一开始就应该以极致推理效率为目标。 **主持人：** 你用 FlashAttention 和 Mamba 推动了推理与状态空间模型。现在什么研究方向最吸引你？下一篇重要论文可能是什么？ **Tri Dao：** 我仍在继续这些方向，也在探索潜在影响巨大的应用。机器人就是一个。能在家庭工作的优秀人形机器人离我们还有多远——五年，十年？这种不确定性意味着许多令人兴奋的研究问题。 ## [49:55] 机器人与多时间尺度计算 · YouTube **主持人：** 机器人研究中，最吸引你的问题是什么？ **Tri Dao：** 我们可以用现有基础模型初始化机器人控制系统。语言模型能做规划：如果让机器人拿咖啡杯，它可以规划走到桌前并抓取杯子。缺失的是在物理世界中互动和行动的能力，因为我们没有足够数据。 **主持人：** 有的团队在扩展仿真数据，有的使用遥操作，但真实动作控制显然首先是数据问题。 **Tri Dao：** 机器人还需要多分辨率、多时间尺度的信息处理。关节控制必须极快响应，而路线规划可以慢得多。 **主持人：** 这意味着不同环节可能需要不同架构，很像你做过的状态空间模型研究。 **Tri Dao：** 正是如此。我们需要显式考虑时间尺度：用轻量计算控制关节，用更重的推理规划路线。最终系统可能会组合语言、视觉、音频和世界模型，最大问题是怎样把它们缝合起来。 **主持人：** 要让这些系统在本地足够快地运行，也有很多硬件问题。你几乎可以选择任何工作，却同时担任 Together AI 首席科学家和普林斯顿助理教授。你如何判断哪些问题适合学术界，哪些适合工业界？ **Tri Dao：** 这个答案很个人化。我既喜欢创业公司，也喜欢当教授，因为两者会形成完全不同的思考和执行模式。 **Tri Dao：** 在创业公司，我们行动很快。想做一件事，几天、几周，最多几个月就能完成。优秀团队可以快速执行，取得很大成果。我为 Together 团队的工作感到骄傲。 ## [54:15] 学术界探索与工业界执行 · YouTube **Tri Dao：** 学术界的时间尺度更长，问题也更具探索性。我们不会因为下个月必须交付而解决一个问题，而是思考世界两三年后会走向哪里，并选择需要一两年研究的问题。与学生一起探索本身就很有趣的问题，非常有成就感。 **Tri Dao：** 代价是学术界算力少得多，评价方式也不同：人们看的是想法是否有趣，而不只是生产环境里是否跑得最快。学术界给了我深入思考长期问题的自由，而我恰好喜欢两种模式。 **Tri Dao：** 从宏观上看，学术界负责探索，工业界负责利用。政府资助学术界去探索大量想法，其中也许只有 5% 或 10% 最终变得重要。风险投资在某种程度上也类似。 **Tri Dao：** 注意力机制因 Google 论文而闻名，但更早的工作来自 Mila 的学术研究，包括 Dzmitry Bahdanau、Yoshua Bengio 等人。Adam 优化器、LayerNorm 也来自学术界，包括 Jimmy Ba 在多伦多的研究。 **Tri Dao：** 今天架构里的许多组件都源于学术界，因为学术界负责探索大量可能性。大公司和创业公司再挑出有前景的想法，继续创新、快速执行、理解市场需求，并用更强的资金实力把它们变成产品。 **主持人：** 今天的融资环境可能正在模糊这种分工。只要想法足够有吸引力，即使十年内不商业化，风险资本也愿意资助研究实验室，例如为机器人研究新架构和新硬件。 **Tri Dao：** 如今的融资规模确实惊人。Ilya Sutskever 的 SSI 明确表示不会先做产品，投资者仍愿意给钱，因为他是 Ilya。机器人公司也有类似情况。AI 领域的一些大赌注已经得到回报，所以投资者更愿意承担这种风险。 **主持人：** 过去一年，你对 AI 的哪件事改变了看法？ **Tri Dao：** 模型即使对我这种高级、专家级的日常工作也出乎意料地有用。它们在数学和编程方面的表现比我预期得好。 **主持人：** 1.5 倍生产力远高于我的预期。一年后，开源模型与闭源模型的差距会缩小还是扩大？ **Tri Dao：** 会缩小。扩展重点正在转向强化学习，而强化学习更依赖工具链，不只是原始算力。开源在这方面会做得很好。 **主持人：** AI 领域有什么进展没有得到足够关注？ **Tri Dao：** 数据。数据总是被低估。合成数据，以及用模型重述、转换数据，已经产生了巨大影响，却没有得到足够关注。 ## [58:19] 快问快答：开源、数据与视频生成 · YouTube **主持人：** 你最喜欢哪个基于 Together AI 构建的应用？ **Tri Dao：** 我们与 Pika、Hedra 等视频生成公司合作。它们在 Together AI 上训练和推理，做出在 TikTok 爆红的视频，效果非常惊人。 **主持人：** 大家可以去哪里了解你的工作？ **Tri Dao：** 我们会在 together.ai 发布文章。我在 X 上的账号是 @tri_dao，偶尔也会在个人网站 tridao.me 写文章。 **主持人：** 谢谢你，Tri。这次对话非常精彩。 **Tri Dao：** 我也聊得很开心，谢谢。