--- id: "etod19D9IEg" title: "推理 101：SambaNova CEO Rodrigo Liang 谈低功耗推理、异构数据中心与 AI 主权" channel: "Sourcery with Molly O'Shea" host: ["Molly O’Shea"] guests: ["Rodrigo Liang","SambaNova 联合创始人兼 CEO"] date: "2026-07-17" updated: "2026-07-29" duration: "59:57" duration_seconds: 3597 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=etod19D9IEg" canonical: "https://pod-exp.pages.dev/etod19D9IEg/" transcript_jsonl: "https://pod-exp.pages.dev/etod19D9IEg/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 基础设施","半导体"] series: ["AI 基础设施"] --- # 推理 101：SambaNova CEO Rodrigo Liang 谈低功耗推理、异构数据中心与 AI 主权 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** SambaNova 联合创始人兼 CEO Rodrigo Liang 在巴黎 RAISE 峰会期间接受 Molly O’Shea 访谈，解释 AI 基础设施为何正从“训练模型”转向“让数以百万计的人持续使用模型”。他认为，推理最终需要的芯片数量会比训练高出若干数量级，而真正限制部署规模的，不只是芯片性能，还包括电力、机房空间、网络延迟、资本效率、数据隐私与主权。访谈从 SambaNova 新一轮融资、SN10 至 SN50 的产品演进、单机架运行万亿参数模型谈起，延伸到边缘数据中心、异构云、每机架收入、国家模型、企业本地部署，以及企业不应把 token 消耗量本身当作 AI 成果。最后，Rodrigo 总结了自己从业 32 年最重要的经验：伟大公司不会沿直线成长，能控制的是信念、韧性与持续执行。 ## [0:02] 开场剪辑：融资、低功耗机架与规模化 · YouTube **Rodrigo Liang：** 我们刚刚完成了 10 亿美元融资的首轮交割，公司估值为 110 亿美元。 **Rodrigo Liang：** 我在这个行业已经工作 32 年，一直在做高性能芯片。我从未见过半导体受到如此高的关注。 **Rodrigo Liang：** 现在，Anthropic、OpenAI、Gemini 等服务每天都有数以百万计的人使用，推理正在真正走向大规模。 **Rodrigo Liang：** 我们几年前发布 SN40。与功耗约 130 至 140 千瓦的 NVIDIA GPU 机架相比，我们用约 10 千瓦的 SN40 机架，在我们的测试中取得了更高的推理表现。 **Rodrigo Liang：** 一个万亿参数级模型可以在我们的单个机架中运行，而其他设备可能需要几十个机架才能运行同一个模型。 **Rodrigo Liang：** SambaNova 成立以来累计融资约 25 亿美元。真正的问题始终是规模：谁能更快达到规模。 ## [1:01] 巴黎访谈与 110 亿美元估值融资 · YouTube **Molly O’Shea：** Rodrigo，欢迎来到 Sourcery。 **Rodrigo Liang：** 谢谢邀请。 **Molly O’Shea：** 交代一下背景：我们现在在巴黎参加 RAISE 峰会，就坐在会场前面、卢浮宫附近的一座公园里。我其实不知道这座公园叫什么。 **Molly O’Shea：** 你来过巴黎很多次，你知道这里的名字吗？ **Rodrigo Liang：** 我来过这里，但也不确定这片地方的准确名称。总之，我们就在卢浮宫前面。 **Molly O’Shea：** 你们刚刚有一条大新闻。这期节目大概会在消息公布一周后上线，不过我们肯定还会把这段剪出来。新闻是什么？ **Rodrigo Liang：** 我们非常兴奋。公司刚刚完成目标规模 10 亿美元融资的首轮交割，对应 110 亿美元估值。 **Rodrigo Liang：** 这体现了公司的发展势头，也体现了投资者的支持。本轮由 General Atlantic 领投，T. Rowe Price、Capital Group 等重要美国投资机构参与。 **Rodrigo Liang：** 这笔资本会帮助我们进一步扩大规模。投资者看到公司正在形成势头，也看到我们必须加快交付和部署。 **Molly O’Shea：** 现在几乎所有能量都流向半导体。这轮融资应该非常受关注，可能也比一些传统融资推进得更快。你经历的过程是怎样的？ **Rodrigo Liang：** 我做高性能芯片已经 32 年，从未见过市场对半导体有这么强烈的兴趣。 **Rodrigo Liang：** 大家开始认识到，芯片处在这场转型的中心。AI 与数据中心的扩张不可能离开芯片，而且芯片必须高效运行。 **Rodrigo Liang：** SambaNova 提供的技术，是把 AI 推到真正可规模化的推理阶段。单靠传统 GPU，要在功耗、空间和成本上实现同样规模，越来越不现实。 **Rodrigo Liang：** 世界看到了这一点，所以一些全球最重要的投资者愿意支持我们。 ## [3:01] 为什么推理成为更大的问题 · YouTube **Molly O’Shea：** 今天的核心已经变成推理。它接过了舞台，成为 AI 计算下一阶段的重点。对不了解 SambaNova 的人，你能从产品和推理路线讲起吗？ **Rodrigo Liang：** AI 一直有两个部分：训练和推理。训练模型的目的就是使用它；如果你永远不做推理、不让人使用，就没有必要训练模型。 **Rodrigo Liang：** 我常用搜索作类比：如果你永远不执行搜索，就不会花时间发明搜索算法。模型也是一样，训练最终必须落到使用。 **Rodrigo Liang：** 我们 2017 年创办公司时，重点是降低训练成本。那时整个行业还在研究怎样把模型训练得更好。 **Rodrigo Liang：** 当时训练的任务包括图像识别，例如区分狗和猫，也包括识别声音、合成声音等研究工作。 **Rodrigo Liang：** 那时推理还没有成为真正的瓶颈，因为实际使用模型的人非常少，很多人只是测试自己刚训练出来的模型。 **Rodrigo Liang：** 今天完全不同。Anthropic、OpenAI、Gemini 等服务已经有数以百万计的人每天使用，模型进入了大规模消费与企业流程。 **Rodrigo Liang：** 现在出现的正是我们最初关心的效率问题：怎样让整个地球都能使用 AI，同时不把地球的电力烧光，不耗尽数据中心空间，也不让基础设施成本失控。 **Rodrigo Liang：** 当使用规模真正展开，推理所部署的芯片数量最终会比训练所需的芯片高出若干数量级。 ## [4:52] 从训练芯片转向推理芯片 · YouTube **Molly O’Shea：** 请你具体讲讲 SambaNova 的芯片演进。 **Rodrigo Liang：** 过去七年里，我们已经完成六款芯片的流片，计划明年完成第七款。我们也很期待今年晚些时候出货的第五代产品。 **Rodrigo Liang：** 最初的 SN10 和 SN20 主要面向训练。那时我们的目标，是用更少的芯片、更快地训练模型。 **Rodrigo Liang：** 大型 AI 实验室可能为了训练一个模型部署数千块芯片，并连续训练几个月。早期的产品就是为降低这种训练成本而设计。 **Rodrigo Liang：** 随着市场发展，我们很快看到更大的挑战是推理：已经训练好的模型，怎样在不同国家、不同城市、不同数据中心被大量用户使用。 **Rodrigo Liang：** 你当然可以在西得克萨斯建一座吉瓦级数据中心，但这不能回答怎样服务全球各地用户的问题。 **Rodrigo Liang：** 推理必须同时考虑电力、机房、部署位置和延迟。基础设施不可能只集中在少数超大型园区。 **Rodrigo Liang：** 我们几年前发布 SN40，它之所以受欢迎，是因为传统 NVIDIA GPU 机架可能需要 130 至 140 千瓦，而我们的机架约为 10 千瓦。 **Rodrigo Liang：** 10 千瓦意味着可以风冷，可以放进普通数据中心，不必专门改造成高功率液冷机房。 **Rodrigo Liang：** 更重要的是，我们能压缩部署占地。万亿参数级模型可以在一个机架里运行，其他方案可能需要几十个机架。 **Rodrigo Liang：** SambaNova 由此聚焦“高级推理”：运行最大的模型，同时保持较低成本、较低功耗和非常高的性能，让这些模型真正能够规模化部署。 ## [7:19] 一个机架运行万亿参数模型 · YouTube **Molly O’Shea：** 机架的组成和部署方式发生了什么变化？ **Rodrigo Liang：** 训练的难点，是必须把大量机架聚合起来，让数千块 GPU 同步工作。每一轮训练都需要协调。 **Rodrigo Liang：** 如果其中一个关键节点失败，整个集群都可能受影响，所以必须不断制作检查点，把已经完成的进度保存下来，以防下一轮失败。 **Rodrigo Liang：** 训练集群还需要非常高性能、非常昂贵的网络，需要大量内存和复杂的软件协调。 **Rodrigo Liang：** 推理的优势是可以横向扩展。用户增加时，再增加机架；不必一开始就把庞大集群绑在一起。 **Rodrigo Liang：** SambaNova 把最小部署单元降到一个机架。以约 1.5 万亿参数的 DeepSeek 模型为例，其他提供商的最低部署规模可能是 10 至 20 个机架。 **Rodrigo Liang：** 对新的推理服务商来说，如果一开始就必须购买 20 个机架，初始成本、用电和空间门槛都会很高。我们可以从一个机架开始，随用户增长再扩展。 **Rodrigo Liang：** 这种方式也更适合没有吉瓦级供电的环境。巴黎市中心的现有数据中心，可以先部署 5 个或 10 个机架，把超低延迟服务放到用户附近。 **Rodrigo Liang：** 我们采用标准 19 英寸机架、标准风冷、标准 Kubernetes、Red Hat Linux，以及机架顶部的标准以太网。 **Rodrigo Liang：** 不需要为了把所有设备捆绑起来而使用非常昂贵的特殊网络，也不需要做复杂液冷改造。 **Rodrigo Liang：** 客户可以走进现有数据中心，把旧设备移出，把新机架推入，然后很快上线新的服务。 **Rodrigo Liang：** 相比之下，新建吉瓦级数据中心、引入液冷和新增电力，可能需要 9 个月、1 年，甚至 18 个月。 **Rodrigo Liang：** 有时还要讨论新电源、新能源，甚至核电站。那些项目需要大量时间和资本，而使用现有机房就不必先完成这些工程。 **Molly O’Shea：** 这确实很有吸引力。推理市场要求的就是快速上线，而不是等几个月。 **Rodrigo Liang：** 对。模型已经训练好了。无论是 OpenAI 的开放权重模型、法国的 Mistral、DeepSeek、MiniMax，还是前沿商业模型、闭源模型，客户都希望马上部署。 **Rodrigo Liang：** 设备上线后，可以立即装载最新模型，之后继续升级，而不必每次换模型都重建数据中心。 ## [11:01] 千亿美元数据中心会成为唯一形态吗 · YouTube **Molly O’Shea：** 你相信那些“新数据中心应该耗资 500 亿或 1000 亿美元”的标题吗？ **Rodrigo Liang：** 我相信会有一些这样的数据中心。大型部署和大规模容量需求确实存在。 **Rodrigo Liang：** 但世界会是异构的。除了超大型数据中心，还会出现新一波分布式、中型数据中心。 **Rodrigo Liang：** 进入代理时代后，这一点更重要。代理任务不再只是一个用户向一个模型发出一个提示。 **Rodrigo Liang：** 比如你在法国多出一天，问 ChatGPT 应该做什么。传统模式是你与一个模型交互，它直接生成行程。 **Rodrigo Liang：** 在代理系统里，可能有 10 个、20 个代理在后台相互编排，各自完成安全校验、查询、计划或执行。 **Rodrigo Liang：** 对一个人和一个模型而言，两秒响应不算太长，因为用户读输出本身可能就需要两秒。 **Rodrigo Liang：** 但如果一个任务背后串联 20 个代理，每个代理都等两秒，最终就是 40 秒。 **Rodrigo Liang：** 例如用户说：“请把钱从我的美国银行账户转到 PayPal，再给我一份过去六个月所有支出的报告。”后台必须完成身份、安全、余额、转账和汇总等多个步骤。 **Rodrigo Liang：** 如果这些步骤累计需要 40 秒，用户早就放弃了。用户期望完整结果在一到两秒内出现。 **Rodrigo Liang：** 把一到两秒分给 20 个代理，每个步骤可能只有约 0.1 秒。因此，延迟会成为核心基础设施问题。 **Rodrigo Liang：** 这也是为什么硬件必须部署在用户所在的大都市附近，因为大部分商业活动就发生在那里。 **Rodrigo Liang：** 可是曼哈顿、巴黎这样的城市没有空间建设吉瓦级数据中心，更不可能随便塞进一座耗资 500 亿至 1000 亿美元的园区。 **Rodrigo Liang：** 要为银行、医疗和其他实时业务提供超低延迟，就必须使用更小的部署单元，在城市中找到较小空间。 ## [14:15] “高级推理”的两个维度 · YouTube **Molly O’Shea：** 说到推理，什么是“高级推理”（premium inference）？ **Rodrigo Liang：** 我们定义的“高级”，指最高价值的使用场景，主要有两个维度。 **Rodrigo Liang：** 第一个维度是模型规模，因为规模通常与准确率相关。几年前我们经常讨论模型幻觉；现在幻觉少了一些，但准确率仍然极其重要。 **Molly O’Shea：** 回头看，“到处都是幻觉”的阶段好像还挺有时代感。 **Rodrigo Liang：** 是的，但用户并不会因此降低要求。模型之所以越来越大，不是因为人们喜欢花几亿美元训练，而是因为大家在争夺那一点点更高的准确率。 **Rodrigo Liang：** 以 Anthropic 的 Claude 为例，它成为非常受欢迎的代码生成模型，是因为软件开发者输入需求后，它往往能生成质量很高的代码。 **Rodrigo Liang：** 一些开放模型，例如自动字幕识别为 MiniMax 的模型，也因为代码生成准确而受欢迎。 **Rodrigo Liang：** 如果你信任模型输出，就不必投入同样多的人力逐项复核；如果每次都必须检查，节省的时间就会消失。 **Rodrigo Liang：** 因此，“高级”的第一层含义，是模型输出有多准确。今天，准确率在很大程度上仍与模型规模正相关。 **Rodrigo Liang：** 过去 70B 还是大模型，现在已经显得很小。8B 更小。前沿模型被认为正在走向数万亿参数，开放模型也已经进入一到两万亿参数范围。 **Rodrigo Liang：** 人们希望模型能处理非常广泛的任务，而且处理正确，所以我们专注于把最大的模型运行好。 **Rodrigo Liang：** 第二个维度是“跑得快”。代理任务不允许每一步都长时间等待，我们生活在一个没有耐心的世界。 **Molly O’Shea：** 对，手机上几秒没有反应，人就会开始反复点击。 **Rodrigo Liang：** 如果服务背后是代理系统，就必须非常快。通常，大模型跑不快；而某些追求极高速度的服务只能运行小模型。 **Rodrigo Liang：** 我们要解决的是：怎样让世界上最大的模型也运行得非常快。 **Rodrigo Liang：** 我们以原始精度、全精度运行模型，不依靠把大量权重砍掉的激进量化来获得速度。我们的主张是，在保持模型本身的情况下仍然比其他方案更快。 **Molly O’Shea（广告口播）：** 本期节目由 Brex 赞助。我不愿把时间花在本不该存在的工作上，例如费用报销、追收票据和手工关账。 **Molly O’Shea（广告口播）：** Vercel、OpenAI、Anthropic、Granola、Deepgram 等建设下一代产品的公司都选择 Brex。Brex 把企业卡、费用管理和银行服务放进一个平台，并加入代理式财务能力。 **Molly O’Shea（广告口播）：** AI 代理可以自动处理费用，在支出发生前执行政策，并把关账时间缩短到几分钟。Sourcery 也使用 Brex，让我把时间花在建设业务上，而不是忙于琐事。详情可访问 brex.com/sourcery。 ## [18:28] 速度如何形成价格分层 · YouTube **Molly O’Shea：** 速度什么时候会让市场分化出更明确的价格层级？大家现在很关注 token 成本，但普通消费者是否真的需要企业级速度？ **Rodrigo Liang：** 人们会为速度付费，这在互联网时代已经得到证明。早期用户愿意为更快的宽带套餐支付溢价，也有人留在基础套餐。 **Rodrigo Liang：** 移动网络也是如此。5G 出现以后，没有人主动要求回到 2G；手机传输很慢时，人会非常沮丧。 **Rodrigo Liang：** 今天，高速推理首先会成为有明确需求者的溢价服务，例如代码生成、实时银行、实时医疗等场景，因为速度直接关系到业务。 **Rodrigo Liang：** 这些客户会愿意支付更高价格，这也是我们当前提供的高级服务。 **Rodrigo Liang：** 但随着高速推理广泛可用，谁还会主动选择慢服务？互联网和移动数据都没有证明人们长期偏爱低速。 **Rodrigo Liang：** 随着交付高速服务的成本下降，大多数人最终都会转向更快的服务。 **Rodrigo Liang：** 稳态下，大家真正想要的是大模型带来的准确率，以及足够快的响应。问题只是今天能否把成本降到每个人都负担得起。 **Rodrigo Liang：** 在此之前，有强烈速度和准确率需求的企业会率先迁移，而我认为企业市场中有很大一部分属于这种情况。 ## [20:43] Starlink、模块化机房与边缘推理 · YouTube **Molly O’Shea：** 还有几股宏观趋势会让全球数据量和使用量爆发，其中之一是 Starlink。飞机接入 Starlink 后，即使在偏远地区也能继续工作。 **Molly O’Shea：** 另一股趋势是边缘计算。你们也会部署到偏远地区或边缘场景吗？ **Rodrigo Liang：** 这又回到“500 亿美元数据中心是否会无处不在”的问题。很多经济体根本无法承担这种数据中心。 **Rodrigo Liang：** 如果 AI 会像互联网一样普遍——我相信会——那么地球上的每个人都应该能够获得移动服务、互联网和 AI。 **Rodrigo Liang：** 但部署不会完全相同。有些国家没有条件建设耗资 1000 亿美元、功率达到吉瓦级的数据中心，再让数千万或数亿人远程使用。 **Rodrigo Liang：** 因为我们的机架最低约 10 千瓦，所以可以把它们放进集装箱式模块化设施。 **Rodrigo Liang：** 可以在一个集装箱中部署 10 个或 20 个机架，形成边缘数据中心集群，比液冷、吉瓦级、甚至需要自建核电站的园区更节省成本和电力。 **Rodrigo Liang：** 再给它接入 Starlink，在旁边配置太阳能或其他当地能源，就能为不同地区、行业或社区提供先进模型。 **Molly O’Shea：** 我想到 Armada。他们在边缘部署模块化数据中心，不只服务偏远社区，还服务石油天然气、采矿、海上油气平台、军事和国防等缺少实时数据的关键行业。 **Rodrigo Liang：** Armada 是我们的合作伙伴，已经合作几年了。Dan 也是我的好朋友，他们部署了我们的机架。 **Rodrigo Liang：** 如果不必塞进一套约 100 千瓦的 NVIDIA 机架，而是放入约 10 千瓦的机架，并在更小空间和更少电力下产生更多 token，价值就很明显。 **Rodrigo Liang：** 这种设备可以进入没有传统数据中心的地区，在偏远现场让 AI 管理运营，例如油气设施等。 **Rodrigo Liang：** AI 基础设施会以许多不同载体、不同形态部署，不会只存在于耗资 1000 亿美元的超大型数据中心。 ## [24:29] 与 NVIDIA、AMD 等平台竞合 · YouTube **Molly O’Shea：** 回到数据中心和机架：你们现在会以过去没有的方式与其他芯片公司合作。这个变化是怎样发生的？会持续吗？ **Rodrigo Liang：** 这是“竞合”的世界。公司会在一些领域竞争，在另一些领域合作。 **Rodrigo Liang：** 核心技术产业其实很小。真正能够设计并部署芯片、系统、机架和数据中心的公司并没有那么多。 **Rodrigo Liang：** 我们会合作，但最终大家都在服务客户。客户告诉我们：他们已经有 NVIDIA 机架、Xeon 机架、AMD 机架和其他芯片，怎样让整体业务更高效？ **Rodrigo Liang：** 推理到来后，答案变得清晰。假设一家推理云服务商有 1000 个 NVIDIA 机架，它们同时承担训练、推理、高性能计算、生物、物理、游戏等工作。 **Rodrigo Liang：** 服务商购买这些机架后，必须尽可能把它们变现。SambaNova 专注推理，并主张能用更低成本、更高性能运行这些模型。 **Rodrigo Liang：** 如果数据中心中 70% 至 80% 的机架都在做推理，而推理可以在我们的机架上以更低成本完成，就可以把这部分流量路由给 SambaNova。 **Rodrigo Liang：** 这样会释放原有 GPU 机架，让它们重新出售给训练、HPC 或其他真正需要通用 GPU 的工作负载。 **Rodrigo Liang：** 不增加硬件，服务商就能产生更多收入。最热门模型在更高效的机架上运行，资本开支和运营开支都更低。 **Rodrigo Liang：** 更快的 token 还可以形成溢价服务，提高收入和利润率，而不只是降低同一套基础设施的成本。 **Rodrigo Liang：** 今天许多推理服务商收入增长很快，但利润率不足。要长期持续投资，它们必须真正盈利。 **Rodrigo Liang：** 投资者也在问同一个问题：这个体系怎样持续？答案是让每个服务商赚到更多钱，而我们通过更低成本、更好的推理服务帮助它们提高利润率。 ## [27:49] 路由机制与每机架经济性 · YouTube **Molly O’Shea：** 客户怎样衡量这种差异，又怎样衡量路由的表现？ **Rodrigo Liang：** 路由今天已经存在。大型数据中心同时运行开放模型、闭源模型和 HPC，请求进来后，本来就会被发送到特定机架。 **Rodrigo Liang：** 某些机架运行 Anthropic，某些运行 MiniMax 或 DeepSeek。用户通过提示路由器请求某个模型，请求就会被送到对应服务。 **Molly O’Shea：** 这是自动完成的吗？中间有什么软件？ **Rodrigo Liang：** 上层软件会处理这些工作。OpenAI、Anthropic 等公司推动了开放、标准化的接口，这是生态系统的重要基础。 **Rodrigo Liang：** API 调用会指向特定模型、特定服务和特定 IP 地址。有了标准接口，在 neocloud 或超大规模云部署新机架时，就能复用开放生态里的路由工具。 **Rodrigo Liang：** GPU 自己也需要路由。A100、H100、B200 等不同代际都在同一环境中，购买最新芯片服务的客户不会希望请求被发到旧芯片。 **Rodrigo Liang：** 同理，数据中心可以把 AMD、SambaNova 和其他芯片并排部署，让它们都进入同一个路由体系。 **Rodrigo Liang：** 但服务商最终关注的 KPI 很直接：他们按机架购买、按机架运营，所以希望按机架产生收入。 **Rodrigo Liang：** 收入来自 token。一个机架在特定模型上每秒生成多少 token，乘以该模型的每 token 价格，再乘以每天 24 小时和每月 30 天，就能估算月收入。 **Rodrigo Liang：** 然后再与机架的购买成本、用电和运营成本比较。真正的指标是每个机架能创造多少经济价值。 **Rodrigo Liang：** 不同模型的 token 单价不同，客户也会切换模型，但目标不变：机架每月必须产生足够多的 token，并留下利润。 **Molly O’Shea：** 我之前和很多人聊过，AI 领域似乎没有统一定义：什么叫代理、什么叫越狱，概念都很模糊。硬件的计算反而清楚得多。 **Molly O’Shea：** 我还采访过 General Catalyst Institute 的 Teresa Carlson。她曾负责 AWS 公共部门业务，并帮助 AWS 获得 CIA 合同。她说，云真正进入政府采购，关键是形成标准定义；一旦定义建立，采用速度就迅速提升。 **Rodrigo Liang：** 是的。硬件经济性最终会回到可计算的输入和输出，这给客户一个共同语言。 ## [32:07] 全球推理基础设施的圈地战 · YouTube **Molly O’Shea：** 从芯片、数据中心、电力、边缘，到 token 和成本，你看到的最大瓶颈与最大挑战是什么？ **Rodrigo Liang：** 现在是一场圈地战。超大规模云、前沿实验室、neocloud、主权云都在争夺推理市场。 **Rodrigo Liang：** 以法国为例，超大规模云厂商会进入，模型公司会竞争，法国和欧洲的区域云也会竞争。 **Rodrigo Liang：** 所有人都在争取规模，因为历史上能够率先建立全球或区域规模的公司，往往能形成长期影响。 **Rodrigo Liang：** 大家在积极投资，以获得用户和企业客户。一旦客户进入 Microsoft、Google Gemini 等生态，通常会在那个生态中停留很久。 **Rodrigo Liang：** 我们希望给客户一种优势：不必投入传统规模的资本，也能更快获得用户。 **Rodrigo Liang：** NVIDIA 设备价格很高，但从服务层面看，它仍可能变成一种商品化供给。你的邻居也能买到相似设备，差异可能只来自折扣或政府补贴。 **Rodrigo Liang：** 这种成本优势很有限。SambaNova 想提供的是不同服务：高级 token、高级推理、快速推理、最大的模型，并与现有基础设施混合。 **Rodrigo Liang：** 服务商由此可以提供主权服务、本国模型或更快的专门模型，获得溢价收入，而不是只卖与邻居相同的 GPU 时间。 **Rodrigo Liang：** 它能以更低成本部署更多容量，同时提供差异化服务，既吸引更多用户，也提高收入。 **Rodrigo Liang：** 资本成本越来越高，所有人都在建设数据中心，所以必须极其高效地使用资本，并尽快锁定用户和企业。 ## [35:12] 数十亿美元融资与市场集中 · YouTube **Molly O’Shea：** 我觉得你们使用资本还算高效。你怎么看其他公司融到惊人数额？这种规模怎样证明合理？ **Rodrigo Liang：** 我也不知道每一家公司怎样证明。SambaNova 成立以来累计融资约 25 亿美元，真正能累计融到数十亿美元的公司其实不多。 **Rodrigo Liang：** 如果一家公司能够获得这种资本，至少说明投资者相信它的技术有机会成为长期参与者。 **Rodrigo Liang：** 这个领域的专业投资者非常敏锐；如果他们不相信公司能够长期存在，不会投入这么多资金。 **Rodrigo Liang：** 另一方面，市场确实在争夺主导地位。数据中心会是异构的，会使用 NVIDIA 和其他芯片，但不会同时维护 100 种芯片。 **Rodrigo Liang：** 最终可能只有两三种，或者三四种主要平台。再增加更多硬件类型，会产生运维低效和边际收益递减。 **Rodrigo Liang：** 因此，新平台必须提供显著不同的服务。仅仅再多一种差不多的芯片，没有足够价值。 **Rodrigo Liang：** 不同技术可以让服务商提供超低延迟代理、都市低延迟、银行级安全和数据私有推理等差异化能力。 **Rodrigo Liang：** 今天很难说清 neocloud A 与 neocloud B 有什么本质不同，它们可能都拥有类似的 GPU 机架。 **Rodrigo Liang：** 将来，服务商会说：“我提供超低延迟代理”“我在大城市提供低延迟”“我为银行提供最安全、最私密的推理”。 **Rodrigo Liang：** 这层技术差异让服务商能够收取溢价、降低平均成本，也避免完全依赖单一供应商。 ## [37:53] 为什么 SambaNova 不自建云 · YouTube **Molly O’Shea：** 对芯片公司而言，把云本身作为产品有多重要？ **Rodrigo Liang：** 云很重要。开发者需要很低的进入成本，需要免费或低成本尝试，才能开始使用技术。 **Rodrigo Liang：** 我们通过合作伙伴提供这种入口。许多芯片公司选择建设自己的云，直接与 AWS 等云服务商竞争；我们选择不这么做。 **Rodrigo Liang：** 我们希望把精力集中在能够交付的技术上：出货机架、芯片和软件，而不是同时经营一整套云。 **Rodrigo Liang：** 因此，我们建立了一系列合作伙伴关系，由伙伴建设新的云服务。 **Rodrigo Liang：** 上个月，我们宣布了与 Vista Equity、Cambium 等方面围绕新型 neocloud 项目的合作；自动字幕把项目名听写为 Vector Core Compute（VC2），该专名仍需核对。 **Rodrigo Liang：** 这些伙伴建设超低延迟数据中心。SambaNova 技术让他们能够进入过去难以覆盖的市场，并通过合作向客户提供云服务。 **Rodrigo Liang：** 模型提供商也可以进入这个生态。合作伙伴负责数据中心、能源、设施与融资，我们负责交付所需基础设施。 **Rodrigo Liang：** 这种分工提高了速度与资本效率。建设数据中心、筹集建设资本是他们的业务；我们的业务是持续出货机架、芯片和软件。 **Molly O’Shea（广告口播）：** 如果你在建设下一代 AI，就需要了解 MongoDB。它是开发者喜爱的数据库平台，也为正在运行的代理而构建。 **Molly O’Shea（广告口播）：** MongoDB 可以在同一个系统中实时存储、搜索和推理数据，结合向量搜索与 Voyage AI 的嵌入能力，不需要额外管道，也不必拼接十种工具。 **Molly O’Shea（广告口播）：** 约 75% 的《财富》100 强企业以及领先的 AI 原生创业公司使用 MongoDB，从第一个用户扩展到数十亿向量。详情可访问 mongodb.com/ai。 **Molly O’Shea（广告口播）：** AssemblyAI 是数百万开发者使用的语音 AI 基础设施层，提供语音转文字、语音代理和语音理解模型。 **Molly O’Shea（广告口播）：** Granola、HeyGen、Ashby、ClickUp 等公司使用其服务。它不仅转录语音，还能提取洞察、识别说话人并标记关键信息。访问 assemblyai.com/sourcery 可获得 50 美元免费额度。 ## [41:05] AI 主权真正要保护什么 · YouTube **Molly O’Shea：** 主权再次成为热门话题。Alex Karp 最近在 CNBC 谈到主权，以及垂直拥有数据、产品和整条流程。 **Molly O’Shea：** 我们现在就在欧洲。你认为欧洲拥有自己的芯片有多重要？ **Rodrigo Liang：** 主权一直是我们业务中很重要的一部分。企业当然会希望购买并控制自己的基础设施，以便私下运行工作负载。 **Rodrigo Liang：** 但更重要的，是能否运行一项服务或模型，并控制进入模型的私有数据。人们真正想保护的是数据。 **Rodrigo Liang：** 无论国家主权还是企业主权，都没有人希望自己的数据被训练进一个模型，然后模型被分发到全世界。 **Rodrigo Liang：** 想象一下，你的银行账户信息未经许可，出现在世界另一端的聊天机器人回答里，这是绝对不能接受的。 **Rodrigo Liang：** 所以很多国家会说：我们不想只基于全球模型或美国模型，我们希望拥有自己的国家模型。 **Rodrigo Liang：** 日本、韩国以及其他地区都在投入大量资金，从头训练本国模型，供政府和本国公民使用。 **Rodrigo Liang：** 这些模型不是简单派生自美国模型，而是在本国建立。SambaNova 可以参与其中的训练和推理。 **Rodrigo Liang：** 全球会越来越重视这种选择。异构 AI 体系里，人们仍会使用 Anthropic、OpenAI 等优秀模型，也会使用开放模型。 **Rodrigo Liang：** 同时，国家、银行和科技公司会拥有至少经过私有微调、由自己控制的模型，因为它们有不愿公开的知识产权和数据。 **Rodrigo Liang：** 要让自己的用户安全使用这些模型，就需要自己可控的基础设施。 ## [43:48] 数据隐私推动企业回到本地部署 · YouTube **Molly O’Shea：** 竞争层面也是一样。企业不愿交出个人身份信息等敏感数据，也不愿让竞争者获得自己的产品知识。 **Molly O’Shea：** 主持人提到 Anthropic 与 Figma 的一则争议案例：如果企业内部知识被模型吸收，别人可能借此复制产品。 **Molly O’Shea：** 我们最近还采访过 Harvey AI，讨论它的法律模型。对这类公司而言，最大的竞争者可能就是通用前沿模型。 **Molly O’Shea：** 现在“回到本地部署”又成了热门方向。技术总是在拆分、重新捆绑、再拆分之间循环。这会怎样改变价格和客户服务？ **Rodrigo Liang：** 基础设施回迁本地确实正在发生。二十年前大家说一切都要上云，但直到今天，仍有公司刚开始迁移到云。 **Rodrigo Liang：** 我最近和一家大型银行的 CIO 交谈，他说他们从来没打算把核心系统迁到公共云，仿佛在说：“我早就知道答案还是本地。” **Rodrigo Liang：** 这是一个大约二十年的周期。等得足够久，技术路线就可能转回来。 **Rodrigo Liang：** 原因正是数据隐私和安全。但还有一个更深层的问题：全球 2000 强企业凭什么向客户收取溢价？ **Rodrigo Liang：** 通常是因为它拥有某种知识产权、独特数据、客户理解、供应链关系或其他别人没有的信息。 **Rodrigo Liang：** 如果所有这些差异都被迁移到完全相同的社区通用模型上，企业的差异化从哪里来？ **Rodrigo Liang：** 快进两年，而不是十年：如果所有人都只使用商品化模型，大家怎样继续收取更高价格？很多企业会被推向低利润业务。 **Rodrigo Liang：** 所以企业开始重新思考 AI 的作用。最初大家谈节省成本：减少文书、降低运营费用。这些当然有价值。 **Rodrigo Liang：** 但越来越多公司在问怎样形成差异化，怎样改善营收，创造新业务、新服务和别人没有的体验。 **Rodrigo Liang：** 如果每个人使用完全相同的模型，很难做到这一点。 **Rodrigo Liang：** 企业会说：“我有自己的数据，比任何人更了解客户；我在这个行业做了 40 年，为什么不训练自己的模型？” **Rodrigo Liang：** 而且它不会愿意把这些数据直接交给模型提供商。 **Rodrigo Liang：** AI 带来的运营节省正在某些领域出现，但更多人开始研究怎样提供更好的服务、体验和使用场景，向市场销售新的能力。 **Rodrigo Liang：** 只节省成本最终可能压缩营收；用自己的数据创造新服务，才有机会增加收入。 ## [47:56] 如何真正获得 AI 投资回报 · YouTube **Molly O’Shea：** 你们提供的产品比许多芯片更省成本、性能也更高。但企业现在得到的建议常常是“把能花的钱都投进 AI”。前段时间还有 token maxing，现在又开始收紧。 **Molly O’Shea：** 企业什么时候会停止盲目投入，开始更经济地使用 AI？ **Rodrigo Liang：** 把钱扔向 AI 不是目标。目标是让 AI 给企业带来更多商业收益。 **Rodrigo Liang：** 一方面，把现有成本和流程交给 AI，看看能不能降低成本。不是为了多花钱，而是把当前支出投入 AI，看看能否更高效。 **Rodrigo Liang：** 另一方面，把已有业务交给 AI，看看能否打开过去不存在的新服务，创造更多价值。 **Rodrigo Liang：** 在大家还不知道准确方法之前，鼓励企业多尝试，是为了发现哪里能省钱、哪里能产生新服务。 **Rodrigo Liang：** Google 在转型中强调“AI first”，就是一个例子。面对新技术，我们不知道自己不知道什么。 **Rodrigo Liang：** 互联网早期，如果有人问“电子邮件的 ROI 是什么”，很难在使用前给出精确答案。 **Molly O’Shea：** 有些公司会要求：“先证明每封邮件的 ROI，我才允许使用。”这显然不现实。 **Rodrigo Liang：** 对。某些公司因此选择先以 AI 为默认方式。走过两三步之后，团队可能发明出世界从未见过的东西。 **Rodrigo Liang：** 对研究和开发导向的公司来说，这是一种很强的创新路径。 **Rodrigo Liang：** 但危险正如你所说：如果不注意，就会变成 token maxing——只要求大家多花、多调用。 **Rodrigo Liang：** 真正目标不是在模型上持续花钱，而是尽可能高效地转型业务。 **Rodrigo Liang：** 更系统的方法是先看企业今天做什么：怎样用 AI 让这些工作更高效、更快、更简单、更便宜？ **Rodrigo Liang：** 再看企业今天销售什么：怎样用 AI 扩大可以提供给市场的服务？ **Rodrigo Liang：** 完成这些设计以后，才计算需要多少 token、成本是多少。 **Rodrigo Liang：** 目标不是最大化 token 使用量，而是最大化真正有价值的服务，并且比旧的经营方式更高效。 ## [51:16] 每家企业现在都该问什么 · YouTube **Molly O’Shea：** 我们已经谈了很多。我很好奇，你认为今天有哪些最大问题，是人们还没有认真询问的？ **Rodrigo Liang：** 世界变化得非常快。第一个问题是：你准备怎样形成差异化？ **Rodrigo Liang：** 地球上有约 80 亿人，也有数以万计、数十万计的企业。仅仅“使用 AI”并不会形成差异化，因为所有人都能使用。 **Rodrigo Liang：** 我不认为 AI 的自然路径只是消灭工作。我认为人们会用 AI 创造更多服务，并在市场中更激烈地竞争。 **Rodrigo Liang：** 如果一家企业没有这样做，它可能在自己的市场中失去位置。 **Rodrigo Liang：** 人们想看到从未见过的服务，想看到新事物，也想与真实的人和故事产生连接。 **Rodrigo Liang：** 世界杯正在进行。即使我们能让机器人上场比赛，人们观看机器对机器的兴趣，很可能远低于观看人类运动员突破极限。 **Rodrigo Liang：** 电脑可以替我们玩电子游戏，但仍有许多人一天看十几个小时的直播，观看其他人玩游戏。大家关心的是人能做到什么。 **Rodrigo Liang：** 因此，企业有巨大机会创造前所未有、让人产生连接的服务，但必须现在开始。 **Rodrigo Liang：** 与其只担心 AI 会拿走现有工作，我反而希望它先拿走没人愿意做的琐碎任务。 **Molly O’Shea：** 对。 **Rodrigo Liang：** 我真的希望以后不用自己报税。让 AI 接手这类工作，应该把人释放出来去创造和发明。 **Rodrigo Liang：** 主持人和嘉宾还提到一位来自佛得角、姓名被自动字幕严重误识别的球员：他因为做出人们意想不到的事情，社交媒体关注者据称从约 5 万迅速增长到约 1600 万。这个例子要说明的仍是“意外的人类表现会吸引注意力”。 **Rodrigo Liang：** 第二个问题是：怎样规模化？能源、数据中心、芯片供应和成本约束都会越来越严重。 **Rodrigo Liang：** 如果世界需要你的服务，它需要的是规模化服务，不是一个小演示。企业必须设计能够走向全球的生态和结构。 **Rodrigo Liang：** 很多人只想着“撒一点 AI”，省一点钱，让董事会不再追问。这可以是一步，但远远不够。 **Rodrigo Liang：** 互联网出现时，许多公司也说它不会持续。Circuit City、Blockbuster 都是例子。 **Rodrigo Liang：** Netflix 最初把 DVD 邮寄到家。有人认为，把每张约 2.99 美元的租赁变成每月约 5 美元的无限服务，会摧毁它的商业模式。 **Rodrigo Liang：** 快进到今天，它成为全球最重要的公司之一。关键是拥抱技术，问自己能做什么过去做不到的事。 **Rodrigo Liang：** 如果你行动更快、形成差异化，并能把服务大规模交付，两年后可能成为主导者。 **Rodrigo Liang：** 反过来，转型慢、适应慢的企业会很难竞争，因为容量和供应都不容易获得。 **Rodrigo Liang：** 这就像一级方程式赛车：从最后一位起跑，而别人从杆位出发，并且所有人都跑得很快，追上去非常困难。 ## [56:07] 主持人的即时回应 · YouTube **Molly O’Shea：** 天啊，这个回答太精彩了。 **Rodrigo Liang：** 对吧？（笑） ## [56:09] 三十二年芯片生涯中的韧性 · YouTube **Molly O’Shea：** 以这个回答作为过渡，我们来收尾。你 2017 年创办公司，现在把公司做到 110 亿美元估值。 **Molly O’Shea：** 我喜欢从更个人的角度问“表现”这个问题。我们的赞助商 Brex 强调更聪明地花钱、更快行动；而对个人表现而言，我认为关键往往是你身边有什么人、谁指导过你、谁给你灵感。 **Molly O’Shea：** 对你来说，那些人是谁？ **Rodrigo Liang：** 我在芯片行业 32 年学到的是：你必须有韧性，必须留在场上。 **Rodrigo Liang：** 事业从来不是一条直线。企业做到一定规模，会经历最高的高点，有时也会经历最低的低谷，你必须穿过去。 **Rodrigo Liang：** Jensen 也谈过 NVIDIA 经历的许多阶段。最大的公司都经历过类似过程。 **Rodrigo Liang：** 你必须非常系统地理解：你相信什么？你究竟想建设什么？ **Rodrigo Liang：** 你无法控制世界在某个时刻想要什么，无法控制经济，也无法控制政治。 **Rodrigo Liang：** 你能控制的是对自己所建设事物的信念，以及能不能保持韧性、继续做下去。 **Rodrigo Liang：** 伟大的公司不会一夜出现。你必须一直做，一直做，一直做。 **Rodrigo Liang：** 我最自豪的是，我们身边有一群非常努力的人；更重要的是，他们非常有韧性。 **Rodrigo Liang：** 他们一次次处理下一个挑战、下一个意外、下一件必须完成的事，并始终保持一致。 **Rodrigo Liang：** 然后有一天醒来，你发现自己真的做出了伟大的东西。 **Molly O’Shea：** 太棒了。 ## [58:02] 展示最新一代 SN50 与节目收尾 · YouTube **Molly O’Shea：** 结束之前，我们必须看看这颗芯片。 **Rodrigo Liang：** 好，这就是我们最新的芯片 SN50。 **Rodrigo Liang：** 我们今年早些时候宣布了它，现在已经在它上面取得一些非常令人兴奋的结果。 **Rodrigo Liang：** 我们刚才谈到的分解式、异构推理，会把 SambaNova 与 NVIDIA 芯片、Xeon 等系统结合起来。这是大规模部署推理非常高效的方式。 **Rodrigo Liang：** SN50 可以组成面向超大规模部署的大型集群，也可以用于非常节能的边缘数据中心。 **Rodrigo Liang：** 我相信它会改变推理格局，许多客户会用它提供自己的高级推理服务。 **Molly O’Shea：** 太棒了。非常感谢你，Rodrigo。 **Rodrigo Liang：** 谢谢邀请。 **Molly O’Shea：** 也感谢整个 RAISE 团队举办这场精彩活动，感谢 Brex、MongoDB 和 AssemblyAI 让这次巴黎之行和系列节目成为可能。 **Molly O’Shea：** 如果你喜欢这次对话，也可以观看 RAISE 系列的其他节目，包括 BlackRock 的 Tony Kim、Cognition 的 Scott Wu、Cerebras 的 Andrew Feldman、SambaNova 的 Rodrigo Liang、MongoDB 的 CJ Desai，以及其他嘉宾。 **Molly O’Shea：** 我们还在一个秘密地点录制了即时评论，可以在 X、YouTube 和 Instagram 找到。 **Molly O’Shea：** 欢迎订阅 Sourcery 的 YouTube 频道，继续观看与 AI 建设者的对话，也可以订阅免费通讯或在 sourcery.vc 订阅付费内容。 **Molly O’Shea：** 通讯会每周讨论 AI、机器人、企业软件、消费科技、半导体、融资公告以及科技行业接下来发生的大事。谢谢，再见。