--- id: "XAbKflCncDo" title: "Baseten CEO Tuhin Srivastava on Custom Models, and Building the Inference Cloud" channel: "No Priors: AI, Machine Learning, Tech, & Startups" host: ["Sarah Guo","Elad Gil"] guests: ["Tuhin Srivastava"] date: "2026-05-01" updated: "2026-08-09" duration: "42:57" duration_seconds: 2577 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=XAbKflCncDo" canonical: "https://pod-exp.pages.dev/XAbKflCncDo/" transcript_jsonl: "https://pod-exp.pages.dev/XAbKflCncDo/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: [] series: [] --- # Baseten CEO Tuhin Srivastava on Custom Models, and Building the Inference Cloud > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Baseten 联合创始人兼 CEO Tuhin Srivastava 讨论了 AI 推理需求的高速增长、Baseten 一年增长 30 倍背后的驱动力，以及为什么推理正在成为极具战略价值的“最后一个市场”。对话涵盖应用层为何仍能建立壁垒、企业采用定制模型的路径、开源与中国模型的使用、推理和后训练的耦合、GPU 供应与长期合同、跨 18 家云和 90 个集群的运行架构、多芯片未来、规模化运营，以及高强度值班文化。 ## [0:00] 开场 · YouTube **主持人：** 各位听众好。今天 Elad 和我请到了 Tuhin Srivastava——AI 推理云平台 Baseten 的创始人兼 CEO。我们会聊 AI 算力的容量限制、为什么推理是“最后一个市场”、工作负载如何变化、开源乃至多芯片的未来，以及一年增长 30 倍究竟是什么样子。Tuhin，欢迎再次来到节目。 **图欣·斯里瓦斯塔瓦：** 大家好。 **主持人：** 很高兴见到你。 **图欣·斯里瓦斯塔瓦：** 谢谢邀请。 ## [0:31] Baseten 的增长 · YouTube **主持人：** 好，你身处一个最疯狂的市场之一——AI 推理。它非常重要，而且正在发生很多事情。你们过去一年增长了 30 倍；我想现在也可以说，你们预计今年收入会超过 10 亿美元。到底发生了什么？请谈谈这种规模增长。 **图欣·斯里瓦斯塔瓦：** 是的，确实非常疯狂。过去大约 24 个月发生的事情——而且规模还在不断扩大——是所有人都逐渐意识到，AI 可以被放进任何地方。现在既有闭源模型，也有开源模型，选择都很好。开源模型的基础能力已经跨过了某个临界点；同时，用强化学习技术和后训练来打造专用模型，也已经成熟到足以进入主流，并且已有足够多成功案例。 客户越来越意识到，他们可以更多地掌控自己的推理。对我们而言，这意味着长尾模型越来越多，客户把更多智能能力收回内部；与此同时，应用层持续扩张和增长。我们在某种程度上就是这个趋势的指数型映射，而且我们进入市场足够早，因此能够承接这些需求。 ## [1:55] 为什么应用层会胜出 · YouTube **主持人：** 这里有一个大家一直在问的生存性问题：相对于模型实验室，独立的应用层到底还能不能存在？你显然必须相信它能存在。你为什么相信？ **图欣·斯里瓦斯塔瓦：** 如果它不存在，整体而言会是一件令人难过的事。我个人当然会觉得—— **主持人：** 一直都很难过。 **图欣·斯里瓦斯塔瓦：** 对，难过归难过，但这并不是我认为应用层会存在的理由。我认为它会存在有几个原因。 第一，对一家公司真正有价值的，是只有它自己能够收集到的用户信号。如果这些价值主要被编码进某个模型里，公司很大一部分业务就会面临风险；但如果它们被编码在工作流里，公司便能在其中建立护城河。 以 Abridge 为例：临床医生如何修改病历笔记，以及他们之后如何处理这些笔记——比如在电子病历系统（EMR）中再往后三步发生的操作——会共同构成一种只有这家公司才能掌握的工作流…… **主持人：** 能解释一下 Abridge 是做什么的吗？ **图欣·斯里瓦斯塔瓦：** 抱歉。Abridge 是一种环境式医疗记录助手，供医生使用，几乎进入了美国所有大型医院。Greg Shive 很出色，这是一家很棒的公司，有很棒的团队和产品。他们已经深入整合进医院和临床医生的工作流。 我的观点是，前沿模型公司很难把这部分业务吃掉，因为它们拿不到这样的用户信号。随着时间推移，掌握这些用户信号的公司可以把它当作奖励信号，对模型做后训练，并让长时程的智能体模型运行起来。只要这种信号具有差异性、独特性，而且相对稀缺，应用层就会存在。 客户支持公司也是一个例子。支持任务通常不是一次调用就结束。比如在一家公司里，一张工单进来后，可能需要执行 1 个、2 个、10 个甚至 20 个动作。正是在这样的连续工作流中，公司能够开发专用模型。 **主持人：** 那么这里几乎有两类市场。一类是 Abridge、Decagon 等新公司，它们用 AI 构建新型应用并销售给客户；另一类是企业在内部构建应用或自己的模型。今天的市场中，新应用公司与普通企业采用 AI 各占多大比例？几年后又会是什么样？ **图欣·斯里瓦斯塔瓦：** 这个问题很有意思。我记得两年前你也问过我同样的问题。 **主持人：** 我不喜欢重复提问。 **图欣·斯里瓦斯塔瓦：** 疯狂的是，答案到现在似乎仍然一样。如果按推理调用量计算，我认为 99% 仍来自前一类，也就是 AI 原生应用公司。 **主持人：** 对。 **图欣·斯里瓦斯塔瓦：** 这也体现了机会的规模：市场中的绝大多数企业还没有真正上线，还没有把 AI 加入自己的业务。 **主持人：** 企业采用的大部分进程仍在前方。我觉得这是 AI 最令人兴奋的地方之一。后面还有太多事情会发生，而人们低估了这一点。 **图欣·斯里瓦斯塔瓦：** 完全同意。更酷的是，我们已经看到这种转变开始发生。两年前的问题还是：“企业到底有没有在用 AI 工具？”当时答案并不明显；现在很明显，它们正在使用。接下来是：“它们有没有在使用闭源模型 API？”我认为它们正在走到这一步。一旦开始使用，并看到实际可能性，下一步就会是全面采用定制模型。今天，这整个阶段都还在我们前方。 ## [5:57] 服务前沿客户 · YouTube **主持人：** 如果你今天的大多数客户正如你描述的那样，是应用公司、AI 原生公司，而且增长很快，其中一些已经达到相当大的规模，比如 Abridge、Cursor—— **另一位主持人：** OpenEvidence。 **主持人：** 对，像 OpenEvidence 这样的公司。它们教会了你们什么？它们迫使公司去做什么？你如何权衡服务这类客户与逐步面向大型企业？ **图欣·斯里瓦斯塔瓦：** 首先，与规模最大、在做最有趣事情的公司一起构建产品，会让你学到很多。我们从两个角度看这个问题。 最直观的一点是，为最高规模、在技术上最能推动你的客户去构建，其他能力会自然跟上。Stripe 的演进就证明了这一点：今天 Stripe 服务很多大型企业，但 12 年前并非如此。它只是一直为最前沿的客户构建，并与它们共同成长。 第二种思路，是为那些本身就在服务大型企业的公司构建。没错，我们不直接服务传统企业，但我们的客户会服务它们。Abridge、OpenEvidence、Decagon、Writer、Gamma 等公司都在大规模服务企业。于是，它们会把企业需求“翻译”给我们，例如：“我们需要这种数据保留策略；模型必须以这种方式部署；我们可以接受这些 GPU 类型或延迟水平；从透明度角度，我们对模型有这些要求。” 所以更细致的答案是：只要认真倾听这些客户的需要，我们实际上就能得到一份相当完整的企业需求映射。通过服务 Abridge 和 OpenEvidence 这样的公司，我们大概已经很适合服务医疗系统，因为它们本身就在向医疗机构销售产品；服务 Latent Health 等客户也是类似道理。 ## [7:55] 开源模型组合的变化 · YouTube **主持人：** 你看到客户使用的开源模型类型发生了多大变化？两三年前主要是 Mistral 和少数其他模型，后来 Meta 推出 Llama，格局明显改变。 **图欣·斯里瓦斯塔瓦：** 对。 **主持人：** 现在，性能最好的模型有不少来自中国。你是否也在客户的实际使用组合中看到这种变化？ **图欣·斯里瓦斯塔瓦：** 是的。至少我们服务的客户——它们是全球增长最快、思维非常前沿的一批 AI 公司——都想使用最好的模型，也会持续优化。今天确实有一小部分任务会从成本出发做选择，但我认为占比还不大。 大家首先追求的是能力，因为能力才是释放经济增长、交付价值的地方，之后才会优化成本。基于这一点，无论是 GPT-OSS 一类模型，还是 Moonshot、DeepSeek，以及 Canopy 的 Orpheus 这类很出色的文本转语音模型，客户通常都希望使用最前沿的选项。不同之处在于：我们现在更清楚这些模型该如何运行、怎样才能运行得很好；其次，它们现在确实已经足够优秀。 ## [9:21] 中国模型与地缘政治 · YouTube **主持人：** 围绕使用中国模型，人们提出了不少担忧，尤其是安全问题：模型里是否嵌入了什么东西，是否存在“特洛伊木马”等。第一，你认为这是真实风险吗？第二，人们常说美国应该推出相应的制衡力量。从地缘政治角度看，这种担忧合理吗？我们该如何看待模型的来源与实际用途？ **图欣·斯里瓦斯塔瓦：** 首先，这些模型非常棒，真的令人惊叹。我们与这些团队合作过，他们确实很优秀。 就安全问题而言，我可能会判断错误，但如果我把这些模型限制在网络边界内，它们不会凭空穿越网络边界。数据就是数据。除了一些非常早期、而且很快就被人发现问题的模型之外，我从未看到真实证据表明这些模型内置了某种议程或偏见。 不过，从另一个角度说，美国开发自己的模型确实非常重要。如果中国有五家公司、五个不同实验室在构建开源模型，而我们连一个像样的项目都难以建立，那会是巨大的损失。因此，这既有必要，我也认为它不可避免。 一年前 DeepSeek 时刻出现时，有人对我说过一句很到位的话。世界后来变化了很多，但当时他说：“先忘掉这是一个中国模型，就把它当成 Meta 发布的模型，然后据此去构建。” **主持人：** 嗯。 **图欣·斯里瓦斯塔瓦：** 否则就有点只见树木、不见森林。实际上只有两种情形：要么美国永远做不出优秀的开源模型，那说明存在某种根本问题；要么我们终究会做到，那就需要为那个世界提前做好准备。 **主持人：** 这很有道理。我也认为，美国在这里保持强大的开源影响力非常重要。至少目前看来，中国政府实际上在补贴其中相当一部分模型，而这种补贴或剩余价值又直接传递给了采用这些模型的美国企业。换言之，中国政府在以一种间接方式补贴美国企业。我觉得这一点目前没有得到足够关注。当然，它也需要与其他人提出的风险担忧放在一起权衡。谢谢你的看法。 **图欣·斯里瓦斯塔瓦：** 对。另一个担忧是：如果我们拿不到这些模型，会发生什么？从经济性看，DeepSeek 按大多数标准都是一个很好的模型。你当然可以争论它是否处于绝对前沿，但我们只要把时间倒回三个月，当时大家还在用它完成很多事情。 在生产环境中运行 DeepSeek，成本可能只有 Anthropic 模型的 20%，延迟相当甚至更好，可靠性也可能更高。如果我们不能以这种形式获得这种智能，那会是巨大损失。作为一个国家，我们的创新速度也会因此下降。我们已经看到：智能的成本下降、控制权增加，会让更多智能被使用，并嵌入更多地方。 **主持人：** 这里还有一个我们没有明确说明的重要前提：目前最先进、在能力前沿领先最远的模型，仍然是 Anthropic、OpenAI、Google 等公司的闭源模型。 **图欣·斯里瓦斯塔瓦：** 对。 ## [13:07] 定制推理占据主导 · YouTube **主持人：** 能不能描述一下 Baseten 上的工作负载？你们服务的 token 中，有多少来自某种定制模型，又有多少来自原版开源模型？ **图欣·斯里瓦斯塔瓦：** 基本全是定制模型。 **主持人：** 明白。 **图欣·斯里瓦斯塔瓦：** 95% 以上。我坦白说觉得这非常酷。我们有两项业务——不，现在是三项业务。 **主持人：** 已经有三项了吗？要不要帮你数一下？ **图欣·斯里瓦斯塔瓦：** 不用，不用。第一是专用推理，本质上就是定制模型推理，每个客户有自己的服务等级协议（SLA）；第二是共享推理，即共享端点和共享 SLA；第三是训练业务。 今天大约 95% 的 token 来自第一项业务，而且几乎所有客户都会使用自己的数据对模型做某种修改，让它适配特定用例。更重要的是，它们还可能采用不同的编译方式。没有人只是在运行未经修改的开源权重。你可能为了质量做定制，也一定会为了性能做定制。 ## [14:22] 收购后训练团队 · YouTube **主持人：** 几个月前，你们收购了一个研究团队。你也提到后训练和定制。收购的理由是什么？这个团队今天在做什么？ **图欣·斯里瓦斯塔瓦：** 收购的理由是，我们原本是基础设施和产品人员。我们一直很擅长产品，现在也成了很强的基础设施团队，但内部并没有太多研究能力。 我们看到市场明显转向后训练，也看到自己可以通过后训练相关的产品和资源加速整个市场。Parsed 原本就是 Baseten 的客户：他们在做模型后训练，并把模型运行在 Baseten 上。他们意识到，自己最终需要成为一家推理公司；我们则意识到，非常需要他们的专业能力，因为这能让我们更早接近客户，并给予客户更多支持。把两个团队结合起来非常合理。 正如我开场时说的，随着越来越多后训练模型出现，我们看到市场对于后训练软件闭环和后训练专业人才的需求都非常高，因此正在大力投入。团队里还有不少澳大利亚人；我喜欢认为，我们在这方面提前看到了别人没看到的信号。 合作效果非常好，他们正在与各种客户一起工作。另一个很有意思的变化是：过去我们的研究更多集中在性能，而较少涉及后训练。随着后训练研究增加，我们越来越清楚地看到，推理与后训练紧密相连。 即使只看量化，也会遇到这些问题：应该在什么时候量化？模型采用何种训练方式，会怎样影响推理时的量化策略？这两个问题其实高度耦合。 **主持人：** 嗯。 **图欣·斯里瓦斯塔瓦：** 现在越来越明显，后训练与推理是同一个问题的两面。理想情况下，推理会产生更多后训练：推理过程生成数据；你做评测；再根据评测发现的奖励函数进行后训练。希望最终整个闭环能够完整运转起来。 ## [17:10] 何时投资定制模型 · YouTube **主持人：** Anthropic、OpenAI，以及 Sam、Greg 等人在近几个月都说过：推理极具战略意义，推理人才是战略资源，容量也是战略资源。再加上后训练，这些都是非常难以积累的能力。 我想很多客户会向你们咨询，应该如何逐步转向定制模型。你会怎样解释这条生命周期路径，以及什么时候值得投入？ **图欣·斯里瓦斯塔瓦：** 首先，用当前最好的模型证明自己确实创造了值得优化的价值。 两年前有一个梗，大意是：“产品市场契合（PMF）之前不要谈 GPU。”现在同样可以说：“产品市场契合之前不要做后训练。” **主持人：** 对，对。 **另一位主持人：** 不过你们合作的一些公司，确实一开始就已经处在很大规模。 **图欣·斯里瓦斯塔瓦：** 是的。它们已经拥有知道该如何优化的用户信号，也证明了自己能够向客户交付价值，而且在这种价值周围有独特优势。 一旦有了价值，接下来的问题就是：“怎样把它做得更好、更快、更便宜？”例如，如果你的核心任务是把客户支持做到极致，模型可能不需要同时很擅长写代码。一个专用模型或许更适合这项任务，并且能做得更好、更快、更便宜。 ## [18:35] 供应紧张与数据中心 · YouTube **主持人：** 容量方面呢？你们最初是把不同云、新兴云的容量统一起来。现在大家持续讨论供应短缺，而且可能是多年的短缺，你如何看待这个问题？ **图欣·斯里瓦斯塔瓦：** 关于供应短缺已经有很多讨论，但无论大家听过多少，我认为多数人仍没有意识到情况究竟有多严重。市场上几乎没有闲置算力。 我们自己运行相当大的集群，而且利用率高得让人不舒服——多数时候处在 90% 中段。现在我们分布在 18 家不同的云上，在全球 18 家云中运行 90 个集群。 最初，我们构建这项技术，是为了创建一个横跨所有云的统一运行时网络，并向客户屏蔽底层差异，从而处理可靠性、延迟、故障转移等对关键任务非常重要的问题。后来，同一套技术——也就是尽一切可能从任何地方获得算力的能力——对保障供应也非常有帮助。 举例来说，即使有人把我们介绍给另一个国家的一家新供应商，我们也能在半天、甚至更短时间内，把完整的 Baseten 推理栈部署起来，并接入统一网络。这给了我们巨大的灵活性。 即便如此，我们自己要增长也很困难。公司每天有一个下午 4 点的固定会议，专门讨论：“面对眼下的需求，我们该怎样管理容量？” 人们不太理解的第二点是，目前还有很多供应商带着很强的投机色彩。它们以前没有运营过数据中心，也不理解服务等级协议，尤其不理解推理业务所需的 SLA。即使市场上看起来有容量，真正可靠的选择仍不多。大概有十来家云可以称得上不错，而我可能只会把其中三四家列入“黄金级”。 因此，我们不只是算力供应受限，也受到供应商能力和运营能力的限制——真正能够把数据中心运营好的人同样稀缺。 **主持人：** 现在最多能提前多久购买容量？如果提前两年或五年预订，市场会不会有一些余量？ **图欣·斯里瓦斯塔瓦：** 你问的是合同期限，还是说：“我想在 2028 年 1 月拿到这些容量”？ **主持人：** 两者都算。更准确地说，是我希望在 2028 年 1 月拿到容量，或者至少能够看清未来的供应。 **图欣·斯里瓦斯塔瓦：** 可以买到，但也要记住市场变化得非常快。另一方面，H100 又确实是一款非常优秀的芯片。 **主持人：** 对。 **图欣·斯里瓦斯塔瓦：** 很疯狂的是，它已经问世四年到四年半，价格却仍在上涨。 **主持人：** 对，也许它的有效寿命能达到九年。 **图欣·斯里瓦斯塔瓦：** 是的。这当然是好事。你确实可以提前锁定容量，但与此同时，你也在做出很多长期押注。 ## [22:25] 更长期的 GPU 合同 · YouTube **图欣·斯里瓦斯塔瓦：** 对，这也是其中一部分。我认为过去六个月最大的变化，是供应商要求的合同期限明显变长了。 假设你现在想从一家优质云供应商那里获得 1,024 块 B200，合同期限基本不会短于三到五年，而且可能需要预付总合同价值（TCV）的 20%。 因此，获取容量时真正重要的是两点：你需要有足够需求来消化这批供应，同时还需要较低的资本成本。这正在显著改变行业动态。 **主持人：** 这会不会影响你对公司上市时间的看法？因为从某种意义上说—— **图欣·斯里瓦斯塔瓦：** 会，我认为会更早上市。 **主持人：** 对，正是如此。 **图欣·斯里瓦斯塔瓦：** 我认为确实会出现这种需要。我们最近才意识到一件事：我们是软件行业的人，通常不会总用这种方式思考，但这项业务有很特别的营运资金需求，因此也会产生很特别的融资需求。至少目前，我们甚至还没有深入走到—— **主持人：** 也可以使用债务或其他融资结构。 **图欣·斯里瓦斯塔瓦：** 对。我最近确实学了很多有关债务融资的东西。 ## [24:09] 什么造就赢家 · YouTube **主持人：** 在供应紧张的背景下，推理又是你们正在争夺的头部市场之一，自然会有很多人理解这个问题，也就会有竞争。你认为哪些因素会造就市场中的主导者或赢家？是你刚才说的资本成本、获取供应的能力、软件，还是需求？ **另一位主持人：** 所有事情都做到卓越。 **图欣·斯里瓦斯塔瓦：** 是的。推理市场很有意思的一点是—— **主持人：** 运营能力是不是也很特殊？ **图欣·斯里瓦斯塔瓦：** 是，我认为是。单纯的 GPU 即服务并没有黏性，客户通常把它看成商品；但加入软件层后的推理服务极具黏性。 我们前 30 大客户中，没有一家流失。业务的年度净收入留存率（NDR）大约是 400%。所以它非常黏，软件层也极其重要。乐观的一面是，软件里蕴含着巨大价值，而我们会构建世界上最好的推理软件层。 与此同时，现在也越来越清楚，获得推理算力本身就是一种战略优势。甚至模型实验室采取的也是这种策略：“如果所有算力都在我们手里，那祝你在别处运行推理好运。” **主持人：** 对。在算力受限的世界里，最值得拥有的东西就是算力。 **图欣·斯里瓦斯塔瓦：** 没错。单是拥有它，本身就是资产。我认为人们低估了这一点。 **主持人：** 没有牛奶就做不出好喝的热巧克力。 **图欣·斯里瓦斯塔瓦：** 除非你是纯素主义者。不过没人想要“纯素推理”。 **主持人：** 但大家也可能想要植物奶，对吧？H100 是很棒的芯片，人们也想要 B200、GB200，当然还想要大量 Nvidia 芯片。当你要对几年后的未来下注时，你相信会出现多芯片并存的世界吗？从计算和芯片角度看，会发生什么？ ## [26:07] 多芯片未来 · YouTube **图欣·斯里瓦斯塔瓦：** 我认为各方面的多样化都是好事。就像我希望世界上存在许多不同模型一样，我们也希望大多数事物都有多种选择。 **主持人：** 如果没有发生，会令人难过。 **图欣·斯里瓦斯塔瓦：** 是，我想大家都会难过。我认为未来会出现专门面向推理的芯片，也会有专门为解码阶段设计的芯片。我们已经看到有人沿着这个方向尝试，例如围绕 LPU 等架构的讨论。这条路线很直观，也有道理。 但人们严重低估了 Nvidia 在供应链上的能力、CUDA 的成熟程度，以及围绕它形成的开发者生态。 对今天的基础设施公司来说，最重要的能力之一是行动速度，而目前使用 Nvidia 能让你行动得最快。这就是现实。考虑到它的运营规模，我很难看到未来一两年内有谁能真正与之竞争。我不是说竞争永远不会发生，而是短期内非常困难。 要参与竞争，必须有一个生态系统在你周围形成。如果某家芯片供应商把几乎全部供应都绑定给单一买家——其他一些芯片供应商已经这样做了——生态系统反而很难形成。 假设你是一家大型模型实验室，与一种芯片达成专有协议，拿走其 90% 的供应，那么你的最佳利益其实是进一步拿到 95%，让所有东西只为你构建，其他人永远无法使用。这样一来，围绕该芯片形成开放生态就更难了。 ## [28:19] 运行时路线图 · YouTube **主持人：** 当你考虑如何响应市场时，实际工作负载正在发生什么变化？哪些方向需要你们投入？代码智能体和长时程智能体逐渐变得很重要；大家更多谈论 CPU 算力；视频推理也不同；编码智能体还需要沙箱。现在你们最重要的投资方向是什么？ **图欣·斯里瓦斯塔瓦：** 对我们来说，所有运行时相关能力显然都非常重要：在哪些芯片上运行、怎样运行、支持何种工作负载。我们是否需要非常擅长扩散 Transformer？答案是肯定的。编码智能体需要沙箱，我们也必须支持。还有各种新的推测解码技术可以加速推理，我们也要做好。 即使是 KV 缓存感知路由——它现在已经不算新了——我们仍要持续做到非常优秀。我们还在一定程度上拆分预填充（prefill）和解码（decode），开始把它们视为两个独立问题。这是我们重点投入的方向，而且已经看到巨大收益。这些属于运行时层面。 除此以外，我们思考的所有事情，几乎都围绕如何加强推理与后训练之间的闭环，因为这个闭环会产生更多推理需求。 我们不会把所有东西都自己做；很多地方会选择合作。例如，我们会与世界上最好的评测公司合作，确保 Braintrust 等产品与 Baseten 深度整合；在沙箱方面，也会与最优秀的伙伴合作，打造最好的沙箱体验；同时，我们会构建最好的训练 API，让持续学习逐渐成为一个已解决的问题，而不是一次次割裂的离散任务。 Baseten 的核心产品命题就是：怎样建立这个闭环？围绕它的其他工作，是尽一切可能让闭环扩展到最大。这包括获得算力、建设自有基础设施、确保能从任何地方拿到算力，也确保我们掌握一部分自己的算力。 之后还有一系列基础能力，它们能同时提高我们和客户的利润率，例如沙箱、异步批量推理，以及通过一流的批处理体验提升利用率。 在我看来，这就是“推理云”的样子：首先极其擅长推理，然后扩展到所有与推理相邻、或能够回流进推理闭环的事情；需要合作时合作，需要自建时自建。但核心仍从推理开始：向下深入以释放供应、创造利润，向上扩展技术栈以释放价值。 ## [31:08] 只有规模化后才会出现的边缘问题 · YouTube **主持人：** 哪些问题只有达到一定规模后才会出现，并且会让人感到意外？举个例子：我很惊讶你们会撞上某些超大规模云产品的根本限制，因为我通常会把 AWS、GCP 这类平台想象成可以支持无限规模。 **图欣·斯里瓦斯塔瓦：** 我想，任何以巨大规模运行服务的大公司，大概都会遇到类似问题。 所有边缘情况最终都会真实发生。举几个例子：就在昨天，我们第一次遇到内核崩溃。原因是某个 Fluent Bit 工作进程产生了过多日志；规模太大，日志都涌到同一个节点，而且两个不同工作进程同时触发了这一情况。 所以你会看到各种系统层和内核层问题。更疯狂的是，在大语言模型领域，很多运行时仍然相当不成熟。甚至今天使用 KV 缓存的方式，也没有多数人想象的那么先进。 我们正在看到现有基础能力的限制，也逐渐看清下一代基础能力需要从规模、安全和性能角度解决什么问题。总体而言，问题主要出现在运行时层和系统层，而且这些边缘情况更多是系统问题，而不是大语言模型特有的问题。 **主持人：** 什么事情会让你夜里睡不着？ **图欣·斯里瓦斯塔瓦：** 容量。 **主持人：** 回答很快。 **图欣·斯里瓦斯塔瓦：** 对，就是容量。这个市场太大了，也意味着现在是应该尽可能激进的时刻。过去 12 个月、尤其最近几个月，我们已经增长了很多，但答案永远是：做得更大、跑得更快。 这非常有趣，也有点让人筋疲力尽。对于究竟能跑多快、做多大、事情会发展到什么程度，我们都处在某种未知领域。为了在未来五到十年从大语言模型中获得我们想要的价值—— **主持人：** 我们还必须发明很多新东西。 **图欣·斯里瓦斯塔瓦：** 对，正是如此。 ## [33:48] 招聘与领导团队 · YouTube **主持人：** 再谈谈你在规模化过程中的学习吧。一家公司经历 30 倍增长是非常激进的。你们引入了很多优秀人才，比如 Danny、Sameer、Stephen Day，技术和市场团队都有。你认为招聘与扩张方面哪些做法有效？你的理念是什么？ **图欣·斯里瓦斯塔瓦：** 大约 8 到 18 个月前，我们的组织仍然非常扁平。我记得自己曾和 Elad 散步讨论这件事。结论很大一部分是：你就是需要领导者。 这与工程师的天然直觉完全相反。工程师往往会想：“管理全是开销。” **主持人：** 一切都是开销。 **另一位主持人：** 你以前好像还对我说过：“Sarah，要不我们只招工程师，不招销售？” **图欣·斯里瓦斯塔瓦：** 对。那是个糟糕的想法。 **主持人：** 每个人最后都会学到这一课。 **图欣·斯里瓦斯塔瓦：** 是。Elad 当时把这件事说得很清楚，而我们后来真正体会到：拥有一支你可以信任的领导团队极其重要。 我有两三点体会。第一，要找到可以把一个完整问题交给他的人。如果你觉得自己一直在微观管理，觉得所有事情都必须亲自参与，作为创始人，这在某种程度上是在找借口。你可能会说：“我就是得参与一切。”但真实情况更可能是：你还没有找对人。 第二，要非常清楚自己究竟在优化什么。如果标准只是“我们要最聪明、最努力的人”，这个标准几乎无法指导任何行动。 我们真正重视的是：不一定要求候选人以前做过同样的事，而是要能从第一性原理思考；工作必须是他们生活中的高优先级，但他们也必须善良、友好，重视协作环境。我们没有英雄文化，整体自我意识很低。如果一个人需要经理持续告诉他该做什么，这里大概就不是最合适的地方。 一旦有了清晰的评估标准，哪些人适合会变得很明显，哪些人不适合也同样明显。我们确实招到了你提到的那些优秀人才，但更有意思的是，团队没有出现很多不必要的流失。大家愿意留下，是因为我们非常清楚自己想要什么。当然，我们也花了很长时间才走到这一步。 ## [36:44] 运营与值班文化 · YouTube **主持人：** 运营文化呢？我们之前和 Alyssa Henry 聊过。她说，云业务真正困难的地方其实就是运营；她有十年把寻呼机放在枕头下面睡觉。我好像也从没见过你真正离开 Slack 频道。 **图欣·斯里瓦斯塔瓦：** 我的手机现在就在震。我已经开始焦虑了。 **主持人：** 你以前也担心过，员工是否真正理解这种工作。它有什么特别之处？ **图欣·斯里瓦斯塔瓦：** 如果你在基础设施公司工作过，就会理解。我们有一次和一群 AWS 高管开会，都是非常资深的人。在 45 分钟会议里，他们每个人的告警都响了好几次。这确实是一种文化。 基础设施不能宕机，你会逐渐习惯这种生活。我和联合创始人在一起时，他的告警响了，他七岁的孩子会问：“这是 P0 事故吗？” **主持人：** “这是 P0 吗？” **图欣·斯里瓦斯塔瓦：** 对。你只能习惯它，这就是你生活在其中的文化。它会改变整个团队的速度，也会很快排斥那些不适应的人。 **主持人：** 比如逃避值班告警的工程师。 **图欣·斯里瓦斯塔瓦：** 是。发生严重事故时，所有人都会加入处理电话。办公室里一直有个玩笑：还不如直接装一台警报器；一旦警报响起，大家就都知道该上线了。 ## [38:19] 效率提升反而扩大需求 · YouTube **主持人：** AI 社区已经反复讨论杰文斯悖论。它本质上与价格弹性和可获得性有关：当一种商品——例如智能——的成本下降时，人们实际上会消费更多。由于个人或企业获得的投资回报提高，需求会上升，而不是下降。 你是否看到了这一点？你们努力让模型更高效，会不会反而让用户使用得更多？ **图欣·斯里瓦斯塔瓦：** 要分别从消费者和开发者的角度看。 消费者只想得到最好的答案和最好的体验，而这在一定程度上由更多智能驱动。对开发者来说，如果智能变便宜，他们会把更多智能嵌入产品。即使价格不下降，他们也会增加；如果价格进一步下降，他们会加入多得多的智能。 智能体就是明显例子。现在智能体运行的时间越来越长。随着推理成本下降，开发者会说：“好，我们可以让它运行更久、多做一点工作，从而完成更大的目标。”推理侧的计算量也会随之扩展。 我们几乎在所有客户身上都看到了这种情况。客户可能先确定：“我需要达到这样的答案质量，因此需要投入这么多推理计算”；或者先确定一个能够达到目标的基础模型。成本越低，它们越会意识到：更多智能意味着更好的用户体验。 **主持人：** 我只想要更好的答案。 **图欣·斯里瓦斯塔瓦：** 更好的答案、更好的体验、更多收入。所以推理成本下降只会催生更多推理。 我确实认为，我们已经进入一个“最后市场”。即使出现通用人工智能（AGI），最终剩下需要持续发生的仍然是推理。 **主持人：** 所以你没有在客户那里看到“这个答案已经够好，这个动作已经够用”的状态？ **图欣·斯里瓦斯塔瓦：** 没有。 **主持人：** 我也认为这会持续很长时间。你怎样看它未来的演变？这似乎会成为有史以来最大的市场之一。我们正在经历一次巨大转变：从按软件席位收费和数字化，转向真正销售智能、销售认知单位—— ## [40:41] 万事皆可“专属管家” · YouTube **图欣·斯里瓦斯塔瓦：** 对。 **主持人：** ——以及销售智能体工作流。几年后会是什么样？你想象中的未来世界是什么？ **图欣·斯里瓦斯塔瓦：** 对消费者来说，这可能是最好的结果。一切都会变得更智能。医生拥有更好的工具，所以你能得到更好的医疗照护。 有人总在谈软件工程师会减少，但我认为我们只会构建更多软件，而且是多得多的软件。我们没有放慢招聘软件工程师，只是在构建更多东西。对消费者而言，这意味着更好的工具、更多软件，以及由此带来的各种好处。 **主持人：** 就像每个人在每件事上都有自己的团队：有一个智能体协助你和医生沟通，有一个帮助你学习，还有一个帮你安排生活。 **图欣·斯里瓦斯塔瓦：** 就是“专属管家”。万事皆有专属管家。 **主持人：** 每个人、每件事都有专属管家。 **图欣·斯里瓦斯塔瓦：** 对，这非常棒。教育也是一样：你会拥有专属的个性化教育，获得针对自己的资源和支持。 再退一步看它对开发者和公司的影响：如果不拥抱这种变化，对很多参与者来说，这会成为一个淘汰时刻。所有产品都需要重新思考。这里并不是说每家公司都必须从零成为模型实验室；真正有意思的是，所有工作流和软件公司都必须找出：自己的智能版本是什么？怎样把智能嵌入现有产品，从而为刚才谈到的终端用户创造更大价值？ **主持人：** 非常令人兴奋。谢谢你今天来参加节目。 ## [42:34] 结语 · YouTube **图欣·斯里瓦斯塔瓦：** 谢谢各位。 **节目旁白：** 欢迎在 Twitter 上关注 @NoPriorsPod。想看到我们的真人画面，请订阅 YouTube 频道；也可以在 Apple Podcasts、Spotify 或你常用的平台关注节目，每周接收新一期内容。你还可以订阅邮件，或前往 no-priors.com 阅读每一期的文字稿。