推理 101：SambaNova CEO Rodrigo Liang 谈低功耗推理、异构数据中心与 AI 主权

我们刚刚完成了 10 亿美元融资的首轮交割，公司估值为 110 亿美元。

我在这个行业已经工作 32 年，一直在做高性能芯片。我从未见过半导体受到如此高的关注。

现在，Anthropic、OpenAI、Gemini 等服务每天都有数以百万计的人使用，推理正在真正走向大规模。

我们几年前发布 SN40。与功耗约 130 至 140 千瓦的 NVIDIA GPU 机架相比，我们用约 10 千瓦的 SN40 机架，在我们的测试中取得了更高的推理表现。

一个万亿参数级模型可以在我们的单个机架中运行，而其他设备可能需要几十个机架才能运行同一个模型。

SambaNova 成立以来累计融资约 25 亿美元。真正的问题始终是规模：谁能更快达到规模。

Rodrigo，欢迎来到 Sourcery。

谢谢邀请。

交代一下背景：我们现在在巴黎参加 RAISE 峰会，就坐在会场前面、卢浮宫附近的一座公园里。我其实不知道这座公园叫什么。

你来过巴黎很多次，你知道这里的名字吗？

我来过这里，但也不确定这片地方的准确名称。总之，我们就在卢浮宫前面。

你们刚刚有一条大新闻。这期节目大概会在消息公布一周后上线，不过我们肯定还会把这段剪出来。新闻是什么？

我们非常兴奋。公司刚刚完成目标规模 10 亿美元融资的首轮交割，对应 110 亿美元估值。

这体现了公司的发展势头，也体现了投资者的支持。本轮由 General Atlantic 领投，T. Rowe Price、Capital Group 等重要美国投资机构参与。

这笔资本会帮助我们进一步扩大规模。投资者看到公司正在形成势头，也看到我们必须加快交付和部署。

现在几乎所有能量都流向半导体。这轮融资应该非常受关注，可能也比一些传统融资推进得更快。你经历的过程是怎样的？

我做高性能芯片已经 32 年，从未见过市场对半导体有这么强烈的兴趣。

大家开始认识到，芯片处在这场转型的中心。AI 与数据中心的扩张不可能离开芯片，而且芯片必须高效运行。

SambaNova 提供的技术，是把 AI 推到真正可规模化的推理阶段。单靠传统 GPU，要在功耗、空间和成本上实现同样规模，越来越不现实。

世界看到了这一点，所以一些全球最重要的投资者愿意支持我们。

今天的核心已经变成推理。它接过了舞台，成为 AI 计算下一阶段的重点。对不了解 SambaNova 的人，你能从产品和推理路线讲起吗？

AI 一直有两个部分：训练和推理。训练模型的目的就是使用它；如果你永远不做推理、不让人使用，就没有必要训练模型。

我常用搜索作类比：如果你永远不执行搜索，就不会花时间发明搜索算法。模型也是一样，训练最终必须落到使用。

我们 2017 年创办公司时，重点是降低训练成本。那时整个行业还在研究怎样把模型训练得更好。

当时训练的任务包括图像识别，例如区分狗和猫，也包括识别声音、合成声音等研究工作。

那时推理还没有成为真正的瓶颈，因为实际使用模型的人非常少，很多人只是测试自己刚训练出来的模型。

今天完全不同。Anthropic、OpenAI、Gemini 等服务已经有数以百万计的人每天使用，模型进入了大规模消费与企业流程。

现在出现的正是我们最初关心的效率问题：怎样让整个地球都能使用 AI，同时不把地球的电力烧光，不耗尽数据中心空间，也不让基础设施成本失控。

当使用规模真正展开，推理所部署的芯片数量最终会比训练所需的芯片高出若干数量级。

请你具体讲讲 SambaNova 的芯片演进。

过去七年里，我们已经完成六款芯片的流片，计划明年完成第七款。我们也很期待今年晚些时候出货的第五代产品。

最初的 SN10 和 SN20 主要面向训练。那时我们的目标，是用更少的芯片、更快地训练模型。

大型 AI 实验室可能为了训练一个模型部署数千块芯片，并连续训练几个月。早期的产品就是为降低这种训练成本而设计。

随着市场发展，我们很快看到更大的挑战是推理：已经训练好的模型，怎样在不同国家、不同城市、不同数据中心被大量用户使用。

你当然可以在西得克萨斯建一座吉瓦级数据中心，但这不能回答怎样服务全球各地用户的问题。

推理必须同时考虑电力、机房、部署位置和延迟。基础设施不可能只集中在少数超大型园区。

我们几年前发布 SN40，它之所以受欢迎，是因为传统 NVIDIA GPU 机架可能需要 130 至 140 千瓦，而我们的机架约为 10 千瓦。

10 千瓦意味着可以风冷，可以放进普通数据中心，不必专门改造成高功率液冷机房。

更重要的是，我们能压缩部署占地。万亿参数级模型可以在一个机架里运行，其他方案可能需要几十个机架。

SambaNova 由此聚焦“高级推理”：运行最大的模型，同时保持较低成本、较低功耗和非常高的性能，让这些模型真正能够规模化部署。

机架的组成和部署方式发生了什么变化？

训练的难点，是必须把大量机架聚合起来，让数千块 GPU 同步工作。每一轮训练都需要协调。

如果其中一个关键节点失败，整个集群都可能受影响，所以必须不断制作检查点，把已经完成的进度保存下来，以防下一轮失败。

训练集群还需要非常高性能、非常昂贵的网络，需要大量内存和复杂的软件协调。

推理的优势是可以横向扩展。用户增加时，再增加机架；不必一开始就把庞大集群绑在一起。

SambaNova 把最小部署单元降到一个机架。以约 1.5 万亿参数的 DeepSeek 模型为例，其他提供商的最低部署规模可能是 10 至 20 个机架。

对新的推理服务商来说，如果一开始就必须购买 20 个机架，初始成本、用电和空间门槛都会很高。我们可以从一个机架开始，随用户增长再扩展。

这种方式也更适合没有吉瓦级供电的环境。巴黎市中心的现有数据中心，可以先部署 5 个或 10 个机架，把超低延迟服务放到用户附近。

我们采用标准 19 英寸机架、标准风冷、标准 Kubernetes、Red Hat Linux，以及机架顶部的标准以太网。

不需要为了把所有设备捆绑起来而使用非常昂贵的特殊网络，也不需要做复杂液冷改造。

客户可以走进现有数据中心，把旧设备移出，把新机架推入，然后很快上线新的服务。

相比之下，新建吉瓦级数据中心、引入液冷和新增电力，可能需要 9 个月、1 年，甚至 18 个月。

有时还要讨论新电源、新能源，甚至核电站。那些项目需要大量时间和资本，而使用现有机房就不必先完成这些工程。

这确实很有吸引力。推理市场要求的就是快速上线，而不是等几个月。

对。模型已经训练好了。无论是 OpenAI 的开放权重模型、法国的 Mistral、DeepSeek、MiniMax，还是前沿商业模型、闭源模型，客户都希望马上部署。

设备上线后，可以立即装载最新模型，之后继续升级，而不必每次换模型都重建数据中心。

你相信那些“新数据中心应该耗资 500 亿或 1000 亿美元”的标题吗？

我相信会有一些这样的数据中心。大型部署和大规模容量需求确实存在。

但世界会是异构的。除了超大型数据中心，还会出现新一波分布式、中型数据中心。

进入代理时代后，这一点更重要。代理任务不再只是一个用户向一个模型发出一个提示。

比如你在法国多出一天，问 ChatGPT 应该做什么。传统模式是你与一个模型交互，它直接生成行程。

在代理系统里，可能有 10 个、20 个代理在后台相互编排，各自完成安全校验、查询、计划或执行。

对一个人和一个模型而言，两秒响应不算太长，因为用户读输出本身可能就需要两秒。

但如果一个任务背后串联 20 个代理，每个代理都等两秒，最终就是 40 秒。

例如用户说：“请把钱从我的美国银行账户转到 PayPal，再给我一份过去六个月所有支出的报告。”后台必须完成身份、安全、余额、转账和汇总等多个步骤。

如果这些步骤累计需要 40 秒，用户早就放弃了。用户期望完整结果在一到两秒内出现。

把一到两秒分给 20 个代理，每个步骤可能只有约 0.1 秒。因此，延迟会成为核心基础设施问题。

这也是为什么硬件必须部署在用户所在的大都市附近，因为大部分商业活动就发生在那里。

可是曼哈顿、巴黎这样的城市没有空间建设吉瓦级数据中心，更不可能随便塞进一座耗资 500 亿至 1000 亿美元的园区。

要为银行、医疗和其他实时业务提供超低延迟，就必须使用更小的部署单元，在城市中找到较小空间。

说到推理，什么是“高级推理”（premium inference）？

我们定义的“高级”，指最高价值的使用场景，主要有两个维度。

第一个维度是模型规模，因为规模通常与准确率相关。几年前我们经常讨论模型幻觉；现在幻觉少了一些，但准确率仍然极其重要。

回头看，“到处都是幻觉”的阶段好像还挺有时代感。

是的，但用户并不会因此降低要求。模型之所以越来越大，不是因为人们喜欢花几亿美元训练，而是因为大家在争夺那一点点更高的准确率。

以 Anthropic 的 Claude 为例，它成为非常受欢迎的代码生成模型，是因为软件开发者输入需求后，它往往能生成质量很高的代码。

一些开放模型，例如自动字幕识别为 MiniMax 的模型，也因为代码生成准确而受欢迎。

如果你信任模型输出，就不必投入同样多的人力逐项复核；如果每次都必须检查，节省的时间就会消失。

因此，“高级”的第一层含义，是模型输出有多准确。今天，准确率在很大程度上仍与模型规模正相关。

过去 70B 还是大模型，现在已经显得很小。8B 更小。前沿模型被认为正在走向数万亿参数，开放模型也已经进入一到两万亿参数范围。

人们希望模型能处理非常广泛的任务，而且处理正确，所以我们专注于把最大的模型运行好。

第二个维度是“跑得快”。代理任务不允许每一步都长时间等待，我们生活在一个没有耐心的世界。

对，手机上几秒没有反应，人就会开始反复点击。

如果服务背后是代理系统，就必须非常快。通常，大模型跑不快；而某些追求极高速度的服务只能运行小模型。

我们要解决的是：怎样让世界上最大的模型也运行得非常快。

我们以原始精度、全精度运行模型，不依靠把大量权重砍掉的激进量化来获得速度。我们的主张是，在保持模型本身的情况下仍然比其他方案更快。

本期节目由 Brex 赞助。我不愿把时间花在本不该存在的工作上，例如费用报销、追收票据和手工关账。

Vercel、OpenAI、Anthropic、Granola、Deepgram 等建设下一代产品的公司都选择 Brex。Brex 把企业卡、费用管理和银行服务放进一个平台，并加入代理式财务能力。

AI 代理可以自动处理费用，在支出发生前执行政策，并把关账时间缩短到几分钟。Sourcery 也使用 Brex，让我把时间花在建设业务上，而不是忙于琐事。详情可访问 brex.com/sourcery。

速度什么时候会让市场分化出更明确的价格层级？大家现在很关注 token 成本，但普通消费者是否真的需要企业级速度？

人们会为速度付费，这在互联网时代已经得到证明。早期用户愿意为更快的宽带套餐支付溢价，也有人留在基础套餐。

移动网络也是如此。5G 出现以后，没有人主动要求回到 2G；手机传输很慢时，人会非常沮丧。

今天，高速推理首先会成为有明确需求者的溢价服务，例如代码生成、实时银行、实时医疗等场景，因为速度直接关系到业务。

这些客户会愿意支付更高价格，这也是我们当前提供的高级服务。

但随着高速推理广泛可用，谁还会主动选择慢服务？互联网和移动数据都没有证明人们长期偏爱低速。

随着交付高速服务的成本下降，大多数人最终都会转向更快的服务。

稳态下，大家真正想要的是大模型带来的准确率，以及足够快的响应。问题只是今天能否把成本降到每个人都负担得起。

在此之前，有强烈速度和准确率需求的企业会率先迁移，而我认为企业市场中有很大一部分属于这种情况。

还有几股宏观趋势会让全球数据量和使用量爆发，其中之一是 Starlink。飞机接入 Starlink 后，即使在偏远地区也能继续工作。

另一股趋势是边缘计算。你们也会部署到偏远地区或边缘场景吗？

这又回到“500 亿美元数据中心是否会无处不在”的问题。很多经济体根本无法承担这种数据中心。

如果 AI 会像互联网一样普遍——我相信会——那么地球上的每个人都应该能够获得移动服务、互联网和 AI。

但部署不会完全相同。有些国家没有条件建设耗资 1000 亿美元、功率达到吉瓦级的数据中心，再让数千万或数亿人远程使用。

因为我们的机架最低约 10 千瓦，所以可以把它们放进集装箱式模块化设施。

可以在一个集装箱中部署 10 个或 20 个机架，形成边缘数据中心集群，比液冷、吉瓦级、甚至需要自建核电站的园区更节省成本和电力。

再给它接入 Starlink，在旁边配置太阳能或其他当地能源，就能为不同地区、行业或社区提供先进模型。

我想到 Armada。他们在边缘部署模块化数据中心，不只服务偏远社区，还服务石油天然气、采矿、海上油气平台、军事和国防等缺少实时数据的关键行业。

Armada 是我们的合作伙伴，已经合作几年了。Dan 也是我的好朋友，他们部署了我们的机架。

如果不必塞进一套约 100 千瓦的 NVIDIA 机架，而是放入约 10 千瓦的机架，并在更小空间和更少电力下产生更多 token，价值就很明显。

这种设备可以进入没有传统数据中心的地区，在偏远现场让 AI 管理运营，例如油气设施等。

AI 基础设施会以许多不同载体、不同形态部署，不会只存在于耗资 1000 亿美元的超大型数据中心。

回到数据中心和机架：你们现在会以过去没有的方式与其他芯片公司合作。这个变化是怎样发生的？会持续吗？

这是“竞合”的世界。公司会在一些领域竞争，在另一些领域合作。

核心技术产业其实很小。真正能够设计并部署芯片、系统、机架和数据中心的公司并没有那么多。

我们会合作，但最终大家都在服务客户。客户告诉我们：他们已经有 NVIDIA 机架、Xeon 机架、AMD 机架和其他芯片，怎样让整体业务更高效？

推理到来后，答案变得清晰。假设一家推理云服务商有 1000 个 NVIDIA 机架，它们同时承担训练、推理、高性能计算、生物、物理、游戏等工作。

服务商购买这些机架后，必须尽可能把它们变现。SambaNova 专注推理，并主张能用更低成本、更高性能运行这些模型。

如果数据中心中 70% 至 80% 的机架都在做推理，而推理可以在我们的机架上以更低成本完成，就可以把这部分流量路由给 SambaNova。

这样会释放原有 GPU 机架，让它们重新出售给训练、HPC 或其他真正需要通用 GPU 的工作负载。

不增加硬件，服务商就能产生更多收入。最热门模型在更高效的机架上运行，资本开支和运营开支都更低。

更快的 token 还可以形成溢价服务，提高收入和利润率，而不只是降低同一套基础设施的成本。

今天许多推理服务商收入增长很快，但利润率不足。要长期持续投资，它们必须真正盈利。

投资者也在问同一个问题：这个体系怎样持续？答案是让每个服务商赚到更多钱，而我们通过更低成本、更好的推理服务帮助它们提高利润率。

客户怎样衡量这种差异，又怎样衡量路由的表现？

路由今天已经存在。大型数据中心同时运行开放模型、闭源模型和 HPC，请求进来后，本来就会被发送到特定机架。

某些机架运行 Anthropic，某些运行 MiniMax 或 DeepSeek。用户通过提示路由器请求某个模型，请求就会被送到对应服务。

这是自动完成的吗？中间有什么软件？

上层软件会处理这些工作。OpenAI、Anthropic 等公司推动了开放、标准化的接口，这是生态系统的重要基础。

API 调用会指向特定模型、特定服务和特定 IP 地址。有了标准接口，在 neocloud 或超大规模云部署新机架时，就能复用开放生态里的路由工具。

GPU 自己也需要路由。A100、H100、B200 等不同代际都在同一环境中，购买最新芯片服务的客户不会希望请求被发到旧芯片。

同理，数据中心可以把 AMD、SambaNova 和其他芯片并排部署，让它们都进入同一个路由体系。

但服务商最终关注的 KPI 很直接：他们按机架购买、按机架运营，所以希望按机架产生收入。

收入来自 token。一个机架在特定模型上每秒生成多少 token，乘以该模型的每 token 价格，再乘以每天 24 小时和每月 30 天，就能估算月收入。

然后再与机架的购买成本、用电和运营成本比较。真正的指标是每个机架能创造多少经济价值。

不同模型的 token 单价不同，客户也会切换模型，但目标不变：机架每月必须产生足够多的 token，并留下利润。

我之前和很多人聊过，AI 领域似乎没有统一定义：什么叫代理、什么叫越狱，概念都很模糊。硬件的计算反而清楚得多。

我还采访过 General Catalyst Institute 的 Teresa Carlson。她曾负责 AWS 公共部门业务，并帮助 AWS 获得 CIA 合同。她说，云真正进入政府采购，关键是形成标准定义；一旦定义建立，采用速度就迅速提升。

是的。硬件经济性最终会回到可计算的输入和输出，这给客户一个共同语言。

从芯片、数据中心、电力、边缘，到 token 和成本，你看到的最大瓶颈与最大挑战是什么？

现在是一场圈地战。超大规模云、前沿实验室、neocloud、主权云都在争夺推理市场。

以法国为例，超大规模云厂商会进入，模型公司会竞争，法国和欧洲的区域云也会竞争。

所有人都在争取规模，因为历史上能够率先建立全球或区域规模的公司，往往能形成长期影响。

大家在积极投资，以获得用户和企业客户。一旦客户进入 Microsoft、Google Gemini 等生态，通常会在那个生态中停留很久。

我们希望给客户一种优势：不必投入传统规模的资本，也能更快获得用户。

NVIDIA 设备价格很高，但从服务层面看，它仍可能变成一种商品化供给。你的邻居也能买到相似设备，差异可能只来自折扣或政府补贴。

这种成本优势很有限。SambaNova 想提供的是不同服务：高级 token、高级推理、快速推理、最大的模型，并与现有基础设施混合。

服务商由此可以提供主权服务、本国模型或更快的专门模型，获得溢价收入，而不是只卖与邻居相同的 GPU 时间。

它能以更低成本部署更多容量，同时提供差异化服务，既吸引更多用户，也提高收入。

资本成本越来越高，所有人都在建设数据中心，所以必须极其高效地使用资本，并尽快锁定用户和企业。

我觉得你们使用资本还算高效。你怎么看其他公司融到惊人数额？这种规模怎样证明合理？

我也不知道每一家公司怎样证明。SambaNova 成立以来累计融资约 25 亿美元，真正能累计融到数十亿美元的公司其实不多。

如果一家公司能够获得这种资本，至少说明投资者相信它的技术有机会成为长期参与者。

这个领域的专业投资者非常敏锐；如果他们不相信公司能够长期存在，不会投入这么多资金。

另一方面，市场确实在争夺主导地位。数据中心会是异构的，会使用 NVIDIA 和其他芯片，但不会同时维护 100 种芯片。

最终可能只有两三种，或者三四种主要平台。再增加更多硬件类型，会产生运维低效和边际收益递减。

因此，新平台必须提供显著不同的服务。仅仅再多一种差不多的芯片，没有足够价值。

不同技术可以让服务商提供超低延迟代理、都市低延迟、银行级安全和数据私有推理等差异化能力。

今天很难说清 neocloud A 与 neocloud B 有什么本质不同，它们可能都拥有类似的 GPU 机架。

将来，服务商会说：“我提供超低延迟代理”“我在大城市提供低延迟”“我为银行提供最安全、最私密的推理”。

这层技术差异让服务商能够收取溢价、降低平均成本，也避免完全依赖单一供应商。

对芯片公司而言，把云本身作为产品有多重要？

云很重要。开发者需要很低的进入成本，需要免费或低成本尝试，才能开始使用技术。

我们通过合作伙伴提供这种入口。许多芯片公司选择建设自己的云，直接与 AWS 等云服务商竞争；我们选择不这么做。

我们希望把精力集中在能够交付的技术上：出货机架、芯片和软件，而不是同时经营一整套云。

因此，我们建立了一系列合作伙伴关系，由伙伴建设新的云服务。

上个月，我们宣布了与 Vista Equity、Cambium 等方面围绕新型 neocloud 项目的合作；自动字幕把项目名听写为 Vector Core Compute（VC2），该专名仍需核对。

这些伙伴建设超低延迟数据中心。SambaNova 技术让他们能够进入过去难以覆盖的市场，并通过合作向客户提供云服务。

模型提供商也可以进入这个生态。合作伙伴负责数据中心、能源、设施与融资，我们负责交付所需基础设施。

这种分工提高了速度与资本效率。建设数据中心、筹集建设资本是他们的业务；我们的业务是持续出货机架、芯片和软件。

如果你在建设下一代 AI，就需要了解 MongoDB。它是开发者喜爱的数据库平台，也为正在运行的代理而构建。

MongoDB 可以在同一个系统中实时存储、搜索和推理数据，结合向量搜索与 Voyage AI 的嵌入能力，不需要额外管道，也不必拼接十种工具。

约 75% 的《财富》100 强企业以及领先的 AI 原生创业公司使用 MongoDB，从第一个用户扩展到数十亿向量。详情可访问 mongodb.com/ai。

AssemblyAI 是数百万开发者使用的语音 AI 基础设施层，提供语音转文字、语音代理和语音理解模型。

Granola、HeyGen、Ashby、ClickUp 等公司使用其服务。它不仅转录语音，还能提取洞察、识别说话人并标记关键信息。访问 assemblyai.com/sourcery 可获得 50 美元免费额度。

主权再次成为热门话题。Alex Karp 最近在 CNBC 谈到主权，以及垂直拥有数据、产品和整条流程。

我们现在就在欧洲。你认为欧洲拥有自己的芯片有多重要？

主权一直是我们业务中很重要的一部分。企业当然会希望购买并控制自己的基础设施，以便私下运行工作负载。

但更重要的，是能否运行一项服务或模型，并控制进入模型的私有数据。人们真正想保护的是数据。

无论国家主权还是企业主权，都没有人希望自己的数据被训练进一个模型，然后模型被分发到全世界。

想象一下，你的银行账户信息未经许可，出现在世界另一端的聊天机器人回答里，这是绝对不能接受的。

所以很多国家会说：我们不想只基于全球模型或美国模型，我们希望拥有自己的国家模型。

日本、韩国以及其他地区都在投入大量资金，从头训练本国模型，供政府和本国公民使用。

这些模型不是简单派生自美国模型，而是在本国建立。SambaNova 可以参与其中的训练和推理。

全球会越来越重视这种选择。异构 AI 体系里，人们仍会使用 Anthropic、OpenAI 等优秀模型，也会使用开放模型。

同时，国家、银行和科技公司会拥有至少经过私有微调、由自己控制的模型，因为它们有不愿公开的知识产权和数据。

要让自己的用户安全使用这些模型，就需要自己可控的基础设施。

竞争层面也是一样。企业不愿交出个人身份信息等敏感数据，也不愿让竞争者获得自己的产品知识。

主持人提到 Anthropic 与 Figma 的一则争议案例：如果企业内部知识被模型吸收，别人可能借此复制产品。

我们最近还采访过 Harvey AI，讨论它的法律模型。对这类公司而言，最大的竞争者可能就是通用前沿模型。

现在“回到本地部署”又成了热门方向。技术总是在拆分、重新捆绑、再拆分之间循环。这会怎样改变价格和客户服务？

基础设施回迁本地确实正在发生。二十年前大家说一切都要上云，但直到今天，仍有公司刚开始迁移到云。

我最近和一家大型银行的 CIO 交谈，他说他们从来没打算把核心系统迁到公共云，仿佛在说：“我早就知道答案还是本地。”

这是一个大约二十年的周期。等得足够久，技术路线就可能转回来。

原因正是数据隐私和安全。但还有一个更深层的问题：全球 2000 强企业凭什么向客户收取溢价？

通常是因为它拥有某种知识产权、独特数据、客户理解、供应链关系或其他别人没有的信息。

如果所有这些差异都被迁移到完全相同的社区通用模型上，企业的差异化从哪里来？

快进两年，而不是十年：如果所有人都只使用商品化模型，大家怎样继续收取更高价格？很多企业会被推向低利润业务。

所以企业开始重新思考 AI 的作用。最初大家谈节省成本：减少文书、降低运营费用。这些当然有价值。

但越来越多公司在问怎样形成差异化，怎样改善营收，创造新业务、新服务和别人没有的体验。

如果每个人使用完全相同的模型，很难做到这一点。

企业会说：“我有自己的数据，比任何人更了解客户；我在这个行业做了 40 年，为什么不训练自己的模型？”

而且它不会愿意把这些数据直接交给模型提供商。

AI 带来的运营节省正在某些领域出现，但更多人开始研究怎样提供更好的服务、体验和使用场景，向市场销售新的能力。

只节省成本最终可能压缩营收；用自己的数据创造新服务，才有机会增加收入。

你们提供的产品比许多芯片更省成本、性能也更高。但企业现在得到的建议常常是“把能花的钱都投进 AI”。前段时间还有 token maxing，现在又开始收紧。

企业什么时候会停止盲目投入，开始更经济地使用 AI？

把钱扔向 AI 不是目标。目标是让 AI 给企业带来更多商业收益。

一方面，把现有成本和流程交给 AI，看看能不能降低成本。不是为了多花钱，而是把当前支出投入 AI，看看能否更高效。

另一方面，把已有业务交给 AI，看看能否打开过去不存在的新服务，创造更多价值。

在大家还不知道准确方法之前，鼓励企业多尝试，是为了发现哪里能省钱、哪里能产生新服务。

Google 在转型中强调“AI first”，就是一个例子。面对新技术，我们不知道自己不知道什么。

互联网早期，如果有人问“电子邮件的 ROI 是什么”，很难在使用前给出精确答案。

有些公司会要求：“先证明每封邮件的 ROI，我才允许使用。”这显然不现实。

对。某些公司因此选择先以 AI 为默认方式。走过两三步之后，团队可能发明出世界从未见过的东西。

对研究和开发导向的公司来说，这是一种很强的创新路径。

但危险正如你所说：如果不注意，就会变成 token maxing——只要求大家多花、多调用。

真正目标不是在模型上持续花钱，而是尽可能高效地转型业务。

更系统的方法是先看企业今天做什么：怎样用 AI 让这些工作更高效、更快、更简单、更便宜？

再看企业今天销售什么：怎样用 AI 扩大可以提供给市场的服务？

完成这些设计以后，才计算需要多少 token、成本是多少。

目标不是最大化 token 使用量，而是最大化真正有价值的服务，并且比旧的经营方式更高效。

我们已经谈了很多。我很好奇，你认为今天有哪些最大问题，是人们还没有认真询问的？

世界变化得非常快。第一个问题是：你准备怎样形成差异化？

地球上有约 80 亿人，也有数以万计、数十万计的企业。仅仅“使用 AI”并不会形成差异化，因为所有人都能使用。

我不认为 AI 的自然路径只是消灭工作。我认为人们会用 AI 创造更多服务，并在市场中更激烈地竞争。

如果一家企业没有这样做，它可能在自己的市场中失去位置。

人们想看到从未见过的服务，想看到新事物，也想与真实的人和故事产生连接。

世界杯正在进行。即使我们能让机器人上场比赛，人们观看机器对机器的兴趣，很可能远低于观看人类运动员突破极限。

电脑可以替我们玩电子游戏，但仍有许多人一天看十几个小时的直播，观看其他人玩游戏。大家关心的是人能做到什么。

因此，企业有巨大机会创造前所未有、让人产生连接的服务，但必须现在开始。

与其只担心 AI 会拿走现有工作，我反而希望它先拿走没人愿意做的琐碎任务。

对。

我真的希望以后不用自己报税。让 AI 接手这类工作，应该把人释放出来去创造和发明。

主持人和嘉宾还提到一位来自佛得角、姓名被自动字幕严重误识别的球员：他因为做出人们意想不到的事情，社交媒体关注者据称从约 5 万迅速增长到约 1600 万。这个例子要说明的仍是“意外的人类表现会吸引注意力”。

第二个问题是：怎样规模化？能源、数据中心、芯片供应和成本约束都会越来越严重。

如果世界需要你的服务，它需要的是规模化服务，不是一个小演示。企业必须设计能够走向全球的生态和结构。

很多人只想着“撒一点 AI”，省一点钱，让董事会不再追问。这可以是一步，但远远不够。

互联网出现时，许多公司也说它不会持续。Circuit City、Blockbuster 都是例子。

Netflix 最初把 DVD 邮寄到家。有人认为，把每张约 2.99 美元的租赁变成每月约 5 美元的无限服务，会摧毁它的商业模式。

快进到今天，它成为全球最重要的公司之一。关键是拥抱技术，问自己能做什么过去做不到的事。

如果你行动更快、形成差异化，并能把服务大规模交付，两年后可能成为主导者。

反过来，转型慢、适应慢的企业会很难竞争，因为容量和供应都不容易获得。

这就像一级方程式赛车：从最后一位起跑，而别人从杆位出发，并且所有人都跑得很快，追上去非常困难。

天啊，这个回答太精彩了。

对吧？（笑）

以这个回答作为过渡，我们来收尾。你 2017 年创办公司，现在把公司做到 110 亿美元估值。

我喜欢从更个人的角度问“表现”这个问题。我们的赞助商 Brex 强调更聪明地花钱、更快行动；而对个人表现而言，我认为关键往往是你身边有什么人、谁指导过你、谁给你灵感。

对你来说，那些人是谁？

我在芯片行业 32 年学到的是：你必须有韧性，必须留在场上。

事业从来不是一条直线。企业做到一定规模，会经历最高的高点，有时也会经历最低的低谷，你必须穿过去。

Jensen 也谈过 NVIDIA 经历的许多阶段。最大的公司都经历过类似过程。

你必须非常系统地理解：你相信什么？你究竟想建设什么？

你无法控制世界在某个时刻想要什么，无法控制经济，也无法控制政治。

你能控制的是对自己所建设事物的信念，以及能不能保持韧性、继续做下去。

伟大的公司不会一夜出现。你必须一直做，一直做，一直做。

我最自豪的是，我们身边有一群非常努力的人；更重要的是，他们非常有韧性。

他们一次次处理下一个挑战、下一个意外、下一件必须完成的事，并始终保持一致。

然后有一天醒来，你发现自己真的做出了伟大的东西。

太棒了。

结束之前，我们必须看看这颗芯片。

好，这就是我们最新的芯片 SN50。

我们今年早些时候宣布了它，现在已经在它上面取得一些非常令人兴奋的结果。

我们刚才谈到的分解式、异构推理，会把 SambaNova 与 NVIDIA 芯片、Xeon 等系统结合起来。这是大规模部署推理非常高效的方式。

SN50 可以组成面向超大规模部署的大型集群，也可以用于非常节能的边缘数据中心。

我相信它会改变推理格局，许多客户会用它提供自己的高级推理服务。

太棒了。非常感谢你，Rodrigo。

谢谢邀请。

也感谢整个 RAISE 团队举办这场精彩活动，感谢 Brex、MongoDB 和 AssemblyAI 让这次巴黎之行和系列节目成为可能。

如果你喜欢这次对话，也可以观看 RAISE 系列的其他节目，包括 BlackRock 的 Tony Kim、Cognition 的 Scott Wu、Cerebras 的 Andrew Feldman、SambaNova 的 Rodrigo Liang、MongoDB 的 CJ Desai，以及其他嘉宾。

我们还在一个秘密地点录制了即时评论，可以在 X、YouTube 和 Instagram 找到。

欢迎订阅 Sourcery 的 YouTube 频道，继续观看与 AI 建设者的对话，也可以订阅免费通讯或在 sourcery.vc 订阅付费内容。

通讯会每周讨论 AI、机器人、企业软件、消费科技、半导体、融资公告以及科技行业接下来发生的大事。谢谢，再见。