--- id: "HJDekXH-h5c" title: "Modal CEO 谈 Agent Maxxing、推理的未来与剖析 GPU 市场乱象" channel: "Unsupervised Learning: With Jacob Effron" host: ["Jacob Effron","Patrick Chase"] guests: ["Erik Bernhardsson"] date: "2026-10-28" updated: "2026-10-29" duration: "59:27" duration_seconds: 3567 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=HJDekXH-h5c" canonical: "https://pod-exp.pages.dev/HJDekXH-h5c/" transcript_jsonl: "https://pod-exp.pages.dev/HJDekXH-h5c/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["AI 基础设施","AI 智能体","云基础设施","AI 编程"] series: ["AI 基础设施"] --- # Modal CEO 谈 Agent Maxxing、推理的未来与剖析 GPU 市场乱象 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Modal 联合创始人兼 CEO Erik Bernhardsson 回顾公司如何从无服务器计算、Stable Diffusion 托管和底层基础设施，扩展到沙箱、推理与训练产品。他认为算力市场仍分散且供给异质，可靠性与跨云调度十分关键；推理优化仍像经验科学，GPU 选择常受显存约束。面对 Agent，他强调开发者体验、自动化基础设施和多产品组合，同时看好低延迟、多模态、机器人训练和强化学习。访谈也讨论新兴云厂商的债务与资本成本、定制模型服务的产品化，以及公司招聘、增长和长期经营。 ## [0:01] 开场：算力市场 · YouTube **Jacob Effron：** 如今的算力市场有多少已经成为有组织的市场，又有多少还像蛮荒西部？ **Erik Bernhardsson：** 去年我去了 GTC，那感觉就像一个露天毒品市场，只不过交易的是 GPU。人们四处走动、互相攀谈，想办法弄到 GPU；大家在酒店大堂碰面、交换电话号码。这离高效市场还差得很远。当然也有人在努力改善这种状况。算力有很多不同形态，我觉得从结构上说，这个市场在很长一段时间里都会有些笨重。它不是那种可以放到交易所里买卖的东西，因为算力并不是可互换的标准化合约。 **Patrick Chase：** 欢迎收听《Unsupervised Learning》。听我的声音大概就知道，我不是 Jacob，我是 Redpoint 的普通合伙人 Patrick Chase。很高兴 Eric 第二次做客这个节目。他是 Modal 的创始人兼 CEO。过去三年和他共事，我学到了很多。他是我最喜欢一起讨论 AI 想法的人之一，能在两个层次之间自如切换：一边是开发者如何把代码交付上线，另一边是市场将走向何方、还缺少什么。我们会聊 Modal 过去三年的历程、他们打造的那些让一切运转起来的硬核技术、推理、沙箱以及接下来会发生什么。希望大家喜欢这一期。接下来想问你们：如今 AI 算力需求显然非常大，很多人都在设法预订 GPU 和 CPU。你们现在在市场上寻找算力是什么情况？ ## [1:27] 当下的算力市场 · YouTube **Erik Bernhardsson：** 情况确实挺艰难。不过不是说我们完全找不到算力。我觉得有个误解，以为我们各方面都缺算力，但实际上还是能找到容量的，只是得多找一些，接受更高价格、更长的合约期限等等。我们经常这么做，现在每周大概会谈成两笔算力交易，甚至三笔。我们持续把更多算力积累起来。我觉得 Modal 的优势就在于，我们可以汇总所有需求，更高效地统筹容量。Modal 一直以来的价值主张就是：客户不用操心容量，我们来处理那些烦人的琐事，包括日常争取容量、协调资源这些硬仗。目前我们和 25 家不同的云服务商合作，而且还在不断增加。 **Jacob Effron：** 如今的算力市场有多少已经是有组织的市场，又有多少仍像蛮荒西部——零零散散的人手里不知怎么就有了容量，大家深夜发短信、在 WhatsApp 群里联系？整体还是很混乱吧。我记得去年，或者说今年早些时候，我去了 Nvidia 在圣何塞办的大型 GTC，那里简直像 GPU 版露天毒品市场：大家四处找人、想弄到 GPU，在酒店大堂见面交换号码。有一次，我们的销售副总裁的表亲和某人打高尔夫，结果就把我们和一个有 GPU 的人牵上线了。这样的事很多，离高效市场还很远。有人正在改善，我想长期看会更有效率一些，但算力的差异很大，形态也多种多样，因此很长时间内结构上仍会比较笨重。算力不像标准化合约，没法简单地放到交易所买卖。 云集群的供电能力或规模、芯片本身都有差异。你刚才说到，有不少人试图把算力当作一种可互换的单一资产，围绕它建市场。你观察到的关键差异有哪些？ **Erik Bernhardsson：** 我觉得核心其实是可靠性。当然，磁盘、网络、CPU、内存这些都不一样，地区和位置也很重要。我们的 GPU 不只遍布美国，也在印度尼西亚、欧洲各地。位置是一个重要因素，可靠性也是。我们擅长把这些容量汇总起来；新兴云厂商出问题、发生故障时——这种情况并不少见，因为其中有些是以前的加密货币矿工，未必想过如何维持全天候运营——我们可以把它们的资源暂时移出调度。如果 GPU 掉线，很多时候我们会自动提交工单，再由人去检查。 **Jacob Effron：** 那些提供 GPU 价格数据的服务商，或者提供相关信息的公司，对你们有帮助吗？ **Erik Bernhardsson：** 有一定帮助。我觉得他们最有用的是能帮忙对接很多供应商，而不是报价本身；我现在并不完全信任那些价格数据。不过有些服务商确实很了解各种新兴云厂商，我们有时会通过他们联系云服务商。价格信息以后应该会更准确。我们内部的定价和实际采购容量时看到的公开价格并不吻合，但希望未来外部的价格信息能更有效、更准确，那会很有帮助。 ## [5:16] Modal 进军大语言模型推理 · YouTube **Jacob Effron：** 过去几年你们的发展像坐上了火箭，我们有很多业务方面的问题想聊。先从 Modal 的发展历程说起：你之前一度公开表示，当时并没有特别关注大语言模型推理，尤其是那种通过简单 API 调用模型的服务。最近你们推出了相关产品。能不能讲讲这段历程、最初为什么比较谨慎，以及是什么让你觉得现在该真正加码了？ **Erik Bernhardsson：** 我们大约在 2021 年底开始做这件事。最初的产品是无服务器函数，我们认为它对数据、AI、机器学习等广泛场景都会很有用。我们看过很多不同的用例。后来，聊天式 AI 在 2022 年底出现，Stable Diffusion 也差不多在那个时候兴起。结果我们发现，自己非常适合托管许多 Stable Diffusion 应用。公司增长的第一年几乎全靠 Stable Diffusion，之后我们又扩展到音频、视频等相邻场景。早期团队希望部署生成式 AI 推理、快速推进项目，又不想处理底层基础设施；我们开始在许多不同的云上整合各种 GPU。 从那时起，我们就知道自己希望做多产品公司，但先从通用的无服务器计算原语入手。我们重点服务愿意写代码的机器学习工程师和研究人员，深入技术栈底层。很早时我们还构建了存储层和文件系统，尤其用来存放容器镜像。2023 年我们推出沙箱产品。当时我们看到人们开始用大语言模型生成代码，意识到我们在基础设施方面打造的很多东西很适合运行这些代码，而且它们需要一个隔离环境。沙箱并非一夜爆红，但到了 2025 年，随着模型写代码的能力大幅提升，它开始迅速增长。大约一年前，我们由此迈入多产品供应商阶段。沙箱业务曾经增长了差不多一千倍，如今约占收入的三分之一，单独算已是年化收入 3 亿美元的业务。 多产品发展令人振奋。我们最近也推出了训练产品，正在搭建一整套组件，思考 AI 应用新时代需要什么工具箱。新应用会需要许多新的基础原语，我们希望把它们都提供出来。 我们有一段时间没有积极投入大语言模型推理，直到 DeepSeek 时刻——大约一年半前，也就是 2025 年初。DeepSeek 是第一个真正出色的中国开源模型。那时我想：“管他的，我们得进场。”于是我们组建团队，专门做大量推理优化。Modal 一直很擅长大语言模型推理，但之前未必把它做成产品；直到最近才推出正式的推理产品。此前我们其实很会托管推理，包括大语言模型推理，只是通常按定制项目来做。一两年前，想运行大语言模型推理的团队往往得自己部署，或者由我们协助。过去 18 个月里，DeepSeek 出现后，需求和增长都明显增加；大语言模型推理如今也约占我们收入的三分之一。几个月前我们推出了一系列针对大语言模型的功能，因为我们认为…… ## [9:18] 推理产品与向上扩展 · YouTube **Erik Bernhardsson：** 我们已经打好了基础层，包括存储、计算、无服务器函数和文件系统。我认为往技术栈上层发展的机会很多，所以我们现在开始向上扩展，推出专门的推理产品。你可以用单击或一条 CLI 命令，在 Modal 上部署单租户模型，包括所有最先进的中国模型以及许多美国模型。我们也提供许多共享端点，可以直接调用现成模型，不必自己完整部署，并按 token 计费。我认为这只是许多更上层产品中的第一批。我们拥有扎实的计算和存储基础，因此上层还有很大机会。 ## [10:02] 打造硬核基础设施 · YouTube **Jacob Effron：** 你们是从技术栈底层开始，再逐步往上走的。回顾早期，你们投入了不少硬核技术，比如自己构建文件系统、容器运行时之类的东西。这些投入如今怎样体现在产品上？开发者实际能获得怎样的体验？ **Erik Bernhardsson：** 在这个市场里，巨大的优势之一就是不怕做难事。我们很早就意识到，要实现自己想要的开发者体验，就得自己构建文件系统，让容器镜像加载得非常快，于是从公司早期就开始做。这些年来，它一直是我们非常重要的竞争优势。当然，这条路更漫长。我们自己做文件系统、容器运行时和调度器，不使用 Kubernetes 和 Docker，采用的现成软件很少。我们使用 Google 很出色的隔离产品 gVisor，最近也在某些任务中使用 KVM；但很早就决定，很多东西必须自己打造。 最明显的成果之一是函数冷启动非常快。我们最初想要的是：在云端启动任务时，开发者能迅速得到反馈。后来发现，这对需要快速扩缩容的应用同样很有帮助。我们能很快加载容器，也推出了 CPU 和 GPU 快照功能，可以把数据从磁盘或网络直接快速加载到 GPU，甚至几秒内就能启动大型模型。过去六个月里，我们又构建了一套极其复杂的系统，通过节点间的点对点 RDMA 快速复制数据。我觉得这些投入正在不断叠加并开始兑现回报。我们打造了一些很复杂的技术，如今正收获多年投资的成果。虽然走了更漫长的路，但现在我们拥有一些独特、很难复制的技术。 ## [12:32] 推理领域尚未解决的问题 · YouTube **Jacob Effron：** 转向推理这一层，你们也投入了很多、做了不少优化。你认为推理领域或推理技术栈还有哪些问题没有解决？ **Erik Bernhardsson：** 推理还处于相当早期的阶段。我觉得这很像一门经验科学：大家不断尝试不同方法，看哪些有效。许多问题逐渐有了解法，比如解耦式预填充，这个想法并不直观：先在一组节点上做预填充，再通过 RDMA 把数据传过去进行解码，像接力一样切换。KV 缓存也有很多复杂问题，还有高效内核等工作。我们现在有二三十人的团队，专门优化大语言模型性能。这需要投入大量精力，跟踪研究、阅读论文、关注不断推出的软件，然后尝试判断哪些行得通。现在仍然像一门经验科学，时间久了会逐渐形成规律。 模型本身也会迅速变化。现在有混合专家模型和更复杂的结构，未来说不定 Transformer 会被别的架构取代；那样一来，KV 缓存的工作方式也可能改变。如果有人找到完全不同的范式，很多东西可能一夜之间就变了，也可能不会，我也不知道。此外还有量化等诸多问题。总之，这个领域变化很快，我们正在尝试这些方向。 **Jacob Effron：** 很多人都在研究如何改进推理。过去两三年很有意思的一点是，许多优化和进步都是开源的，也通过研究与更广泛的社区共享。作为 CEO，你怎样决定团队要解决什么问题，又有哪些问题可以交给整个社区共同推进？ **Ann Maris：** 大家好，我是《Unsupervised Learning》的制作人 Ann Maris。感谢收听。如果你喜欢这次对话，请订阅。订阅能帮助节目成长，让我们继续邀请到优秀的嘉宾。非常感谢大家收听，我们下期再见。 **Jacob Effron：** 作为 CEO，你如何看待团队应该解决的问题，以及我们可以从整个社区推动这个领域进步中受益这一点？ **Erik Bernhardsson：** 我们很喜欢开源，因为我们的很多竞争优势在专有基础设施层，比如自动扩缩容等酷炫技术。与其他推理服务商不同，我们非常积极地拥抱开源。我们与 vLLM 团队和 SGLang 团队紧密合作，积极为两个代码库贡献，也和他们一起做很多优化。我觉得这可能是和其他推理服务商略有不同的做法。当然，有些东西我们会留在内部，但我们几乎把所有成果都推向开源。既然我们在基础设施上已经有这么多优势，不妨与优秀的开源引擎合作。几年前它们可能还不是最先进的，现在已经是了，这是很棒的事，我们也很愿意借助它们。 ## [16:07] 芯片与模型规模 · YouTube **Jacob Effron：** 你刚谈到算力来源多样、推理技术栈也在变化。对你们来说，芯片的长尾有多重要？比如 Nvidia 以外的芯片，会怎样影响你们对供应和未来服务架构的规划？ **Erik Bernhardsson：** Nvidia 仍然是王者，芯片最好，需求也远高于其他厂商。我们也在试用 AMD、Trainium、TPU 等芯片，它们开始变得相当不错，我们一直关注。还有很多旧芯片。挑战在于，大语言模型一直在推动参数规模增长，所以最新、最强的模型通常需要一整台节点，未来或许还要多台。比如一个模型可能需要 8 张 B300，因为一台节点最多就装这么多。但除此之外还有很多旧模型、小模型，它们针对性能做过优化，参数更少。语言模型以外还有语音、音频转录、语音合成、制药和生物领域，这些工作不一定需要最新 GPU；用 Hopper、Ampere，甚至 L40S、RTX Pro 6000 等芯片运行，成本效益可能更好。 我们正在大幅增加 Blackwell，主要是 GB200，但旧芯片也有很多需求，这很令人振奋。大家容易忘记 Hopper，可它现在仍是 Modal 最常见的芯片类型，H100 上也跑着一些规模很大的生产负载。 **Jacob Effron：** 目前行业把模型匹配到芯片的效率如何？大家是否大多选到了最合适、性价比最高的芯片，还是仍有很大改进空间？ **Erik Bernhardsson：** 还有一些优化空间。我们希望以后能自动替用户做芯片选择。实际上这问题可能没看起来那么严重，因为很多时候瓶颈是显存。通常只要知道模型需要多少内存，选择能装下模型的最便宜 GPU 就行，这个经验法则大多适用。比如模型占 80GB，可以放进 Hopper 或 80GB 的老款 A100；这时还要看浮点算力，但很多情况下就是选能装下模型的最小 GPU。 我们也在考虑这样的方案：用户只需部署模型，由我们管理不同芯片，甚至自动分配 GPU 数量。能在更多不同芯片上运行，就能更好地汇总容量、提高利用率；当某类 GPU 闲置时，我们可以切换到其他类型。未来六个月左右，我们很想让用户部署时选择这种模式，由系统在底层自动切换芯片，同时保证每次请求、每个 token 等成本符合预期。这方面有很多很酷的可能性。 **Jacob Effron：** 你还得预测未来应当配置怎样的算力集群。你看得到今天的工作负载，也知道哪些模型适合哪些芯片，但还要推测一两年后会有哪些工作负载…… ## [20:07] 模型规模趋势 · YouTube **Jacob Effron：** 关于未来有不少争论：大多数 token 会不会由超大型模型处理，还是说大部分任务已经达到饱和，模型会变得越来越小？你觉得未来一两年算力集群中的工作负载会如何变化？哪些类型会变多、哪些会变少？ **Erik Bernhardsson：** 过去三四年总体趋势是模型越来越大，我认为这还会继续。如果 P300 有更多内存，Kimi K3 肯定会更大（笑）。人们训练模型时会考虑怎样让它们装进现有芯片。至少对大语言模型来说，它们某种程度上像粗糙的世界模型：我们试图把尽可能多的信息编码进去。可以把它想象成包含事实的大型查找表，这自然会推高内存需求。也许某个时候这种趋势会放缓，但目前人们会用尽能获得的每一份显存；显存越多，他们肯定会训练参数更多的模型。 ## [21:21] 推理市场的胜出关键 · YouTube **Jacob Effron：** 你身处一个规模巨大、竞争激烈的市场中心。你认为最终什么会让参与者脱颖而出、胜出？大家都相信推理市场会很大，但最后究竟什么能赢？ **Erik Bernhardsson：** 推理市场中有相当一部分会非常艰难。单纯提供 token 服务的中间环节，已经能看到 OpenRouter 这类平台把底层供应商商品化。我认为真正的竞争力会有一部分来自更高效的服务，但这多少是场逐底竞争；要保持领先，需要不断投入很多精力。更持久的差异化在于提供完整平台。我们已经有沙箱、强化学习、普通微调、模型部署和批处理等产品。客户不想买只有单一功能的工具，他们想要一套多产品工具，让工程师能快速迭代、交付价值。 在日常运营上，我们仍要在性能上和对手较量、采用最新内核和更高效的 KV 缓存，这种竞争会持续很久，因为其中有很多钱。但这类技巧会逐渐传播，别人也会学会复制，所以它们并不是最持久的优势。更长久的优势，是围绕推理提供一整套产品组合，而非只做推理本身，包括模型、强化学习和其他相关工具。 **Jacob Effron：** Modal 最大的客户往往会使用多个产品。能不能举几个有意思的例子？ **Erik Bernhardsson：** Cognition 大规模使用我们的推理和沙箱，基于模型做大量强化学习，并用沙箱进行所有 rollout。Ramp 用我们的后台 Agent 支持内部编程 Agent；他们今天刚把这个 Agent 作为独立产品推出并对外销售。Suno 和 Runway 用我们生成视频与音频。Decagon 用于客服，涉及语音和文本。DoorDash 用于许多内部应用，主要是大语言模型，也有各种其他用途。 我们还有很多计算生物技术客户，用于药物发现，包括分子模拟、序列比对等。机器人公司也不少，比如 1X 等客户用我们训练机器人模型，也会进行视频批处理。还有很多客户做数据生成、构建环境并对模型运行基准测试，通常会使用沙箱。 ## [24:56] 如何安排多产品路线图 · YouTube **Jacob Effron：** 你提到产品组合，这似乎是你们业务最有意思、也最难的部分之一：如何决定优先级？面向开发者的新工具很多，沙箱可用于编程 Agent 和强化学习；也有竞争者优先做微调即服务。你们如何在产品组合中分配优先级？ **Erik Bernhardsson：** 对大多数初创公司来说这都很难，尤其是多产品公司：什么时候拓展到多个产品、押注什么方向。我们现在大约有 150 名工程师，我每天都在为优先级发愁，总会想“要是还能做那个就好了”。就算有一千甚至一万名工程师，这种想法也不会消失——就像总希望能造枚火箭飞去月球。所以必须非常果断地排序，想清楚什么项目投资回报最高、该在哪里划线。有时也得明确地说：“我知道你们已经开始这个项目，也很兴奋，但现在出现了另一件更重要的事，所以这个先暂停，以后再回来。”我们不得不这么做过很多次，虽然很难受。 资源分配大概是 CEO 最需要果断处理的事情。把工作交给合适的资源，可以创造巨大的价值。每次董事会会议上，Modal 的路线图都很庞大、让人望而生畏。我一直很佩服团队能交付这么多硬核软件，同时还要维持系统运转。 **Jacob Effron：** 你们是在 ChatGPT 出现之前创办公司的。ChatGPT 兴起之后，产品方向以及软件交付速度发生了多大变化？ **Erik Bernhardsson：** AI 爆发时，我们恰好处在有利的位置，受益很大。现在我们支撑着许多种 AI 应用，而其中不少是四五年前、我们刚创办 Modal 时完全想象不到的，这很不可思议。软件开发方式本身也变了。我觉得现在 Modal 合并的代码里，大约 95% 在某种程度上是 Agent 写的。 基础设施仍然需要大量人类监督。过去几个月我自己也在用 Agent 写非常多代码，能做出的东西确实惊人，但人还是得相当仔细地监督它们。基础设施存在可靠性、扩展性等长尾风险。至少目前，软件工程师的工作相当稳妥；我们依然需要非常优秀的工程师来监督 Agent，未来几年大概仍是如此。 另一个有意思的现象是，采用模式和我预想的相反。我原以为初级员工会最积极使用 Agent，但实际似乎是资深员工用得更多。对他们来说，就像一下子多了 10 个实习生。他们很久以来都受打字速度限制，脑子里却有很多想法；现在借助 Agent，可以快得多地把想法实现出来。他们也很擅长构建测试套件…… ## [28:56] Agent Maxxing 与软件交付流程 · YouTube **Erik Bernhardsson：** 你可以把一套很完整的文件系统测试套件交给 Agent，告诉它：“实现 POSIX 文件系统标准，现在去写一个新文件系统。”它就会直接开始写，可能花三天时间。我们看到一些非常资深的工程师已经把 Agent 用到极致，速度快得惊人。总的来说，未来几年软件工程师似乎仍然有保障，之后再看吧。 **Jacob Effron：** 软件交付速度变快以后，代码审查、CI/CD 或部署流程需要怎样改变？你们的开发生命周期里这些环节有变化吗？ **Erik Bernhardsson：** 有一些。我们开始碰到某些瓶颈，必须在 CI/CD 上投入更多时间。早在 Agent 出现之前，我当了多年 CTO 时就一直很重视 CI/CD，认为它至关重要。所以我的看法并没有根本变化：自动化部署、自动化测试仍然很重要。顺便说，Agent 现在也挺会写测试了，一年前还不行。我不确定我们是否已经触及根本限制，但 Anthropic 几天前宣布要迁离 Git，或者至少迁离 GitHub。当每天的提交量增长十倍时，我们或许也会遇到这些限制。 ## [30:20] Agent 成为 Modal 的用户 · YouTube **Jacob Effron：** 强大的编程 Agent 让世界大不一样了。你们的联合创始人谈到，Modal 的消费者也在变化：从开发者转向 Agent 本身。越来越多人通过 Agent，甚至完全由 Agent 端到端地使用 Modal。这对公司和产品决策意味着什么？ **Erik Bernhardsson：** 实际变化没有我想象中那么大。我们最初打造 Modal，是为了让工程师拥有更好的开发体验、工作更快。结果 Agent 想要的也一样：快速反馈、清晰的错误信息和完善的文档。大多数事情都很相似。 有些问题确实更棘手，比如弃用功能。Agent 往往在大量旧代码上训练，所以移除功能比以前麻烦。我们不能只从文档里删掉，等三个月就算了，因为旧功能仍在训练数据里；人们会让大语言模型生成 Modal 代码，模型可能还在调用已经弃用的功能。因此我们大幅调整了弃用窗口。 我们也搭建了很多自动化流水线，让大语言模型持续编写 Modal 代码，再验证代码能否构建、运行，从而发现 Agent 容易出错的地方。另一个投入方向有点像搜索引擎优化，可以理解成 Agent 优化：你可以问 Claude Code“我想部署这个模型、做推理”，完全不提 Modal，看看它推荐什么工具。我们当然希望它尽可能推荐 Modal，因此会在内部跟踪这一点。 我觉得这可能会改变软件工程，甚至带来一些负面影响。因为训练数据和训练流程的存在，软件如今可能有更强的既有优势和黏性。只要某个框架进入训练数据，让模型开始推荐它，它的地位就可能更稳固。我听人说：“我什么都用 React，因为 Agent 很熟悉它，我不会去试那些新潮的前端框架。”很多框架都可能出现类似情况，如今这种黏性很有价值。我们当然希望 Agent 尽可能推荐 Modal，这也会形成一点飞轮效应。 ## [33:19] 沙箱之后的下一笔大赌注 · YouTube **Jacob Effron：** 你们在 2023 年对沙箱做了一笔很有先见之明的押注。当时你们似乎判断编程 Agent 会需要它；过了几年，它才真正起飞，成为基础原语。你们现在还在做什么早期项目，让你同样兴奋？整个产品组合里，早期押注占多少，眼下迫切需要解决的问题又占多少？ **Erik Bernhardsson：** Jacob，你是在套话，想知道我们接下来该投资什么吗？ **Jacob Effron：** 完全是。我一向不怕厚着脸皮问。 **Erik Bernhardsson：** 沙箱确实给我们设了一个挺高的门槛，大家总在问：“下一个是什么？你们有什么秘诀、实验室里在做什么？”我希望自己能有个简单答案，百分之百确定某个方向会成功。 **Jacob Effron：** 如果在 2023 年问你，你会说是沙箱吗？还是那只是你们当时许多项目之一？ **Erik Bernhardsson：** 当时沙箱代表的是一种不对称押注。它并不是很难做，做出原型只花了几天，后来我花了一些时间完善 SDK，其他人也开始开发，我们逐渐有了客户。接着我们重写了系统。2025 年业务开始爆发后，为了应对规模、提升速度和可靠性，我们又把系统重写了五次。所以最初投入其实很基础，属于下行风险低、上行空间大的押注。 我不确定现在有没有完全相同的机会，不过有几件事我很看好，它们需要更大投入、风险也更高。首先是低延迟。我认为语音到语音、实时视频会大量出现，这需要我们重新思考怎样在全球管理算力、减少网络跳数、在不同地区快速扩缩容，几乎像是为推理构建一个 CDN。其次，训练其实有些被低估了。中型模型训练和强化学习都有很大机会。过去几年我们一直在这方面押注，包括把 RDMA、InfiniBand 这一类技术跑通。 虚拟机也很有意思。支持完整操作系统——Mac、Windows、Android，甚至 iPhone——可能会很酷，潜在空间很大。我脑子里有很多这类想法，我们也在做不少事情。但我不知道有没有哪个方向具备和沙箱一样的爆发潜力。也许三年后我们再上这个节目时，就能回头看看了。 **Jacob Effron：** 我们都快把这档节目做成固定重访了，期待到时再聊。沙箱已经成为编程 Agent 的基础原语；这也让你们进入一个新领域。我想你看着现有编程 Agent，会觉得还有很多工具能让它们更有效。你们会继续深入这个领域吗？哪些方向让你感兴趣？ ## [37:20] 为 Agent 构建长期基础 · YouTube **Erik Bernhardsson：** 我们会考虑 Agent 整个学习、迭代的生命周期，但具体架构是什么还不太清楚。我认为未来会更以云为中心，可能更多依赖 durable objects 和工作流引擎驱动。我们有一些想法，也在考虑相关产品，但很难明确预测五年后的 Agent 开发会是什么样。 部分原因是我觉得所有软件最终都会变得具有 Agent 属性。我其实不太喜欢“Agentic”这个词：它不就是让软件用 AI 做决策吗？那所有软件不都应该这样吗？从五年后的视角看，我觉得所有软件都会变成 Agentic，到那时软件会是什么样，我也不知道。但我希望我们能打造各种基础组件，支持软件以各种方式使用 AI。 **Jacob Effron：** 对公司来说，最难的事情之一就是判断哪些模式会长期存在。现在很多公司都在做 AI，哪些东西会留下来？两年前的 RAG 之类的模式又会怎样？ **Erik Bernhardsson：** RAG 就是很好的例子。完全正确。如果我们两年前押注 RAG，可能就是个糟糕决定。所以这确实很难。不过，做基础设施有个好处：你可以看得更长远，不必被所有噪音牵着走。你需要听到这些声音，但也要忽略其中很多，再试着弄清楚哪些模式…… ## [38:58] 机器人与多模态推理 · YouTube **Erik Bernhardsson：** ……我们要试着弄清楚哪些规律会长期存在。 **Jacob Effron：** 你刚才提到低延迟工作负载，比如语音到语音、实时视频。现在大家也常谈多模态推理、机器人推理。我想听听你的看法：这些问题与过去推理市场面对的问题有多相似？又有哪些全新之处？ **Erik Bernhardsson：** 总体上相似，但每个领域又像雪花一样各不相同。机器人有很大一部分会在设备本地运行，这是一项重要差别。我不认为我们会支持机器人领域的大部分运行工作，因为很多都发生在设备上；但我们可以支持机器人测试、开发和训练，以及大量仿真环境。这些方向让我很兴奋。 多模态方面包括音频、音乐、图像等，虽然讨论没有那么多，但增长也非常快。过去几年大语言模型占据了聚光灯，不过各种应用都让我非常兴奋。为什么 2026 年的语音助手还这么差？我不明白，简直糟透了。我有个 Google Home，问什么它都搞砸。我最后只能去问 ChatGPT。我不理解为什么不能把所有环节端到端连接起来，训练一个能进行语音到语音交互的系统。我觉得这个领域会出现很多很酷的应用。 回头看三四年前，你能预料到 Instinct、Suno、Cognition 这些产品或公司吗？它们当时都很难预测。 **Jacob Effron：** 我也觉得，往后三年看，大多数人都不知道世界会变成什么样。看看过去三年就知道，肯定会出现一些特别酷的应用，只是现在还不知道具体是什么；但它们一定会很酷。希望它们会用 Modal。 ## [41:04] 从 200 万美元增长到 10 亿美元 · YouTube **Jacob Effron：** 我翻到你当时发给我的邮件，里面附了 Modal 的 A 轮融资路演稿。邮件里你说：“我们签完投资意向书之后，你们没看过 Modal 的路演稿，不过这里有我们之前做的一版，我刚更新了最新数据，有空可以看看。”当时你们的年化收入约 200 万美元，如今三年后已经超过 10 亿美元，简直惊人。短短几年里，要支撑这样的规模，最大的变化是什么？ **Erik Bernhardsson：** 首先，我前几天在另一个播客上说自己从没做过路演稿，后来才想起来：A 轮之后可能确实做过一份，因为有几位天使投资人问我要。我就说：“好吧，那我弄一份。”所以我发现自己确实说错了，做过路演稿，只不过没给你们看，所以不知道算不算。 **Jacob Effron：** 我不确定这算不算。我从没给机构投资人发过，实际上发给过几位天使。 **Erik Bernhardsson：** 这大概是我唯一做过的一次路演。至于规模，我们过去三年收入大概增长了 500 倍，增长非常快。也许是因为我主要在高速扩张的创业公司工作过，我在 Spotify 待了七年，也去过其他公司，所以这种高速增长几乎就是我熟悉的一切。你每六个月就得重写所有系统、重新思考所有事情、调整流程，总觉得自己落后了。我不知道，我其实挺喜欢这种混乱。 **Jacob Effron：** 我们想请你…… ## [42:52] 新兴云厂商与新兴实验室 · YouTube **Jacob Effron：** 既然你来了节目，我们想把视角拉远一点，聊聊更广泛的基础设施市场和近期新闻。过去几周，大家一直在讨论新兴云厂商，关注它们的债务价格先跌后略有反弹。你觉得这个市场未来会怎样？ **Erik Bernhardsson：** 新兴云厂商的商业模式还不错，但人们有时把两件事混为一谈：看到需求巨大、收入增长很快，就用风险投资的收入倍数思维来评估。然而对它们来说，增长成本很高，因为需要筹集大量债务。它们本质上是融资工具，通过租赁硬件资产来运营，资本效率不高，也更难扩张。市场已经为新兴云投入了大量资金，现在可能会说先等等，我们能贷出的资金也没那么多了，于是利率开始上升。 这些公司的杠杆很高，所以波动性肯定更大。GPU 价格变化会让它们的剩余股权价值在股市里大幅起落。不过商业模式本身还可以：它们先锁定客户合同，再以合同融资，然后偿还债务。很多情况下，GPU 的剩余价值比人们预期的高，使用寿命也比预想更长；还清贷款后再转售，价格可能也比预期高，几年后会赚到不少钱。因此我觉得新兴云厂商总体能做得不错，但彼此差异不大，长期可能会开始…… **Jacob Effron：** 你们和很多新兴云厂商合作，看到它们之间有什么差异吗？ **Erik Bernhardsson：** 有一点，但整个领域本质上差异化不强。Elon 最近发帖说新兴云厂商都会倒闭。我觉得他暗示 SpaceX 的资本成本低，这一点确实说得有道理。成功的三家超大规模云厂商——AWS、Azure 和 GCP——都依托现金流充沛的上市公司，资本成本很低。对于资本密集型业务，低资本成本能让事情容易很多。新兴云厂商资本成本高，因此很难快速扩张，这是它们面临的挑战。市场走向还要观察，但它们是不错的商业模式；或许有逢低买入的机会。 **Jacob Effron：** 你之前发过一条有意思的推文，说不少 NeoLab 如果实验室模式不成功，可能会变成 NeoCloud，因为它们已经锁定了 GPU 合约。我能想象这种情况：只要算力很值钱、需求持续强劲，硬件就可能继续升值。 **Erik Bernhardsson：** 对，有家公司大概就这么做了，结果看起来还不错。很多人做大额采购时会这样说服自己：“如果用不上 GPU，我们可以转卖。”这几乎就是一种保险。现在有很多 NeoLab，每家都融了 10 亿美元——不知为什么他们融资金额总是正好 10 亿，可能就喜欢这个数字——然后去买 GPU。 **Jacob Effron：** 看来他们做了非常精确的财务建模，算出最合适的采购量。 **Erik Bernhardsson：** 是啊，其中一些可能运作得非常好，但我猜总体来说也会有一些…… ## [46:52] GPU 承诺、隐性杠杆与转售市场 · YouTube **Erik Bernhardsson：** 有些 NeoLab 最终可能拿着一大堆 GPU，把它们转卖出去，尤其是当风险投资资金退潮时。某些承诺令人担忧的一点是，现在签 GPU 采购合约通常只需预付约 30%，有时多一点，有时少一点。也就是说，融资 10 亿美元，就可能签下 30 亿美元的 GPU 采购单，先付 10 亿美元——数字不一定完全准确。但一年后你还得再付几亿美元，之后每个月都要付款。 我觉得这给很多公司造成了某种隐性杠杆，也让它们依赖后续融资。只要还能融到风险投资的钱来付 GPU 账单，这个模式就能运转；但可能有一天行不通。到时二级市场可能会更活跃：一些 NeoLab 会转向新兴云业务，经营一批 GPU，或者直接把 GPU 转卖回云服务商。 我整体非常看好 AI，但也会留意结构性风险。我相信会出现惊人的应用，需求也会很强；但所有 NeoLab 都能成功、都成为万亿美元公司吗？大概不会。 ## [48:15] 强化学习即服务 · YouTube **Jacob Effron：** 在 AI 模型领域，强化学习即服务（RL as a Service）最近很受关注。有不少公司会派人深入客户团队，帮他们打造自己的模型。Satya Nadella 曾说每家公司都会有自己的模型。你认同吗？怎么看这个市场？ **Erik Bernhardsson：** 有些公司会有自己的模型。如果按收入加权，我觉得大多数模型都会经过后训练；但按公司数量看，大多数公司并不需要自己做后训练。大型公司则不同，比如 Cognition 在训练自己的代码模型，Cursor 也做过，类似公司处理的 token 量很大。 强化学习和后训练中的某些部分很有吸引力：你能与公司合作，帮助它们得到更好的模型，同时降低成本、提高吞吐量。但其中有些看起来只是服务业务。未来几年后训练领域的关键在于，能不能把它做成可以直接销售的产品，而不是变成一家服务公司。我们一直在思考怎样创造出色的产品，直接卖给客户。 **Jacob Effron：** 最后一个问题，然后进入快问快答。AI 世界里，多少工具会归在一个基础设施供应商之下，多少会成为独立类别？你总想构建很多基础组件。你认为有哪些独立于你们所做的 AI 基础设施类别，仍会成为规模很大的独立机会？ **Erik Bernhardsson：** 我们不会进入模型训练。我觉得会有很多定制模型，比如针对特定用途的模型；其他垂直领域、音频、视频、音乐等模态肯定也会有机会，应用层也会诞生很多了不起的公司。也会有很多公司专注于软件开发等领域。通常市场版图上最终会出现比预想更多的类别。 但我也认为，最终成功的公司多少都会发展成多产品公司。这两点之间是否矛盾，我不知道。我们想找到一组彼此相邻的业务，把它们做好，最大化收入和股东价值；但我们不会试图扩张到所有领域。人们常有一种错误假设：为什么 Anthropic 或 OpenAI 不继续向应用层扩张，自己开律所，或者做其他业务？它们擅长的是大规模提供模型服务，这正是它们实现规模化的方式。不是每家公司都该做所有事情。Modal 也一样：我们会把一大组相邻业务做好，但不会包揽一切。市场仍有空间诞生许多规模巨大的机会，甚至达到千亿美元或万亿美元级别。 ## [51:40] 快问快答 · YouTube **Jacob Effron：** 最后进入快问快答。问题可能和三年前问你的一样，但会稍有变化。先说一件你过去一年对 AI 改变看法的事？ **Erik Bernhardsson：** 沙箱的市场机会显然比我想象的大得多。我没想到它会有这么大的规模。 **Jacob Effron：** 我以为你 2023 年就知道了，所以才押了那么大一注。 **Erik Bernhardsson：** 是啊，这确实令人惊讶。 **Jacob Effron：** 编程 Agent 已经改变了工程师工作的含义。这对你们的招聘有影响吗？ **Erik Bernhardsson：** 影响不大。我觉得很长时间里我们仍需要人。工程师生产力越高，对工程师的需求可能反而越大。过去三四十年、甚至五十年的软件工程史都出现过这种情况：编译器、高级编程语言、CI/CD，每次让工程师效率提高，需求就会上升。所以我认为我们会需要更多工程师。短期内，新毕业生可能会更难找工作，除非是能力特别出众的人；但长期而言，我仍然非常看好计算机科学。很讽刺，我自己没学过计算机科学，但如果我的孩子想学，我肯定会鼓励他们。 **Jacob Effron：** 你创业以来犯过的最大错误是什么？ **Erik Bernhardsson：** 有时人会想按顺序做事：“先做这个，它是当前瓶颈；另一个项目依赖它，以后再做。”但在一切都快速变化的世界里，我学到有时得同时推进两件事。既然已经在做一件事来解除阻碍，不妨同时把另一件事也做起来，以便加快速度。我天生并不是特别激进的人，这挺讽刺的，因为过去 12 个月我们增长了 15 倍。我不得不重新训练自己，更积极地看待机会：这是个巨大的市场，我们应该更大规模地招聘、投入资金，并尽可能把各项事情都扩大。 **Jacob Effron：** 瑞典涌现出很多有意思的初创公司。你觉得为什么会这样？“瑞典浩室黑帮”是不是已经被“瑞典科技黑帮”取代了？ **Erik Bernhardsson：** 你知道 Swedish House Mafia 有一位成员是我的同学吗？挺有意思的冷知识。 **Jacob Effron：** 真的吗？我不知道。 **Erik Bernhardsson：** 是啊。90 年代初我在瑞典长大，八岁时他曾说我的自行车很丑，我当时非常生气。瑞典有很多科技公司，比如 Spotify、CLA，还有不少游戏工作室；近来还有 Lovable、Legora 之类的公司。我觉得成功会带来更多成功。人们进入科技行业，常常是因为听说某个表亲的朋友在科技行业赚了很多钱，这会形成一点飞轮效应。 作为欧洲国家，瑞典一直很有创业精神，也很商业化。也许能追溯到维京人那种“去征服世界”的心态。过去瑞典通过音乐、家具等走向世界，现在越来越多地靠科技。斯德哥尔摩挺有意思，那里的人觉得自己的城市是全球大都会、是世界的一部分；其实可能未必，但这种全球视野反而挺好。他们仿佛认为全世界都在关注斯德哥尔摩，所以从第一天起就相信自己能打造出色的初创公司、征服世界。我喜欢这种宏大的野心。 **Jacob Effron：** 我想象着你们小学同学会的场面，那一定很精彩。想必你当年的班级规模也不算特别大…… ## [55:42] 快问快答（续） · YouTube **Jacob Effron：** 你们小学同学会一定会很精彩，我想象班级规模应该不大。 **Erik Bernhardsson：** 是啊，这算是个挺随机的冷知识。 **Jacob Effron：** 我再厚着脸皮问一个：12 个月后 GPU 租赁价格会更高还是更低？ **Erik Bernhardsson：** 我觉得会更高。有意思的是，我在过去 48 小时里改变了看法。我读了 Anthropic 的 S-1 文件，还让 Agent 帮我总结。Anthropic 的盈利能力强得让我意外。两天前我的想法是：Anthropic 应用业务的毛利率很高，但他们在训练上花了太多钱；等上市之后，可能不得不放慢训练和后训练的增长，推理业务或许还能继续增长，但其他部分会放缓。后来我意识到，他们基本上已经是一家盈利公司，因此几乎没有理由放慢获取算力的速度。我猜 OpenAI 也有类似情况。OpenAI 和 Anthropic 显然是市场上最大的两家算力买家；既然它们财务表现很好，我不认为它们会减少采购。所以需求会继续增加，我觉得未来 12 个月价格大概会上涨。 **Jacob Effron：** 我听你说过，你一直把 Modal 当成一个要做 20 年的项目。现在已经做了五年，第 10 年到第 20 年会是什么样？ **Erik Bernhardsson：** 希望我能招到很多人，替我承担不少工作。现在我什么事都陷得太深，但我真的很喜欢这些工作，也想继续做下去。第 10 到第 15 年，我们可能会更像一家综合性企业，拥有很多不同产品，也许还会押注一些疯狂的事情，比如去月球、火星之类。不过我希望自己仍深度参与高层资源分配和下注方向的决定，少管一些日常事务，比如和某个 GPU 供应商谈合同。高层资源分配是我觉得最有意思的工作，希望还能参与 20 年，甚至更久。 **Jacob Effron：** 按照目前的节奏，未来 20 年至少还能再做五期《Unsupervised Learning》吧？ **Erik Bernhardsson：** 没错。 **Jacob Effron：** Eric，非常感谢你来做客。最后请你给听众一个行动建议：他们可以去哪里了解 Modal，或者你有什么推荐？ **Erik Bernhardsson：** 当然可以去 modal.com。也可以在终端运行 `pip install modal`，自己试一试。很多听众可能正在创业或考虑创业，我很想看到大家会做出什么酷东西。希望 Modal 能帮到你们的初创公司，欢迎联系我；我一直很喜欢和客户交流。也欢迎大家亲自试用 Modal，我很期待看到大家会构建什么。 **Jacob Effron：** 我是 Jacob Effron，这里是《Unsupervised Learning》。在这档节目里，我有机会与 AI 领域最聪明的人交谈，向他们提出许多关于模型发展及其对企业和世界意味着什么的问题。希望大家能听出来，我做这档节目非常开心。这是我在 Redpoint 投资人本职工作之外、利用晚上和周末做的项目。我们能邀请到这么优秀的嘉宾，真的离不开大家订阅节目、分享给朋友。正是这些支持让一切成为可能。请考虑订阅，也非常感谢大家的支持与收听。我们下期再见。