--- id: "qJkcjURcAe8" title: "AWS 醒来前的窗口：Nebius CTO 谈与超大规模云厂商竞速" channel: "Unsupervised Learning: With Jacob Effron" host: ["Jacob Effron"] guests: ["Danila Shtan"] date: "2026-11-02" updated: "2026-11-03" duration: "1:01:08" duration_seconds: 3668 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=qJkcjURcAe8" canonical: "https://pod-exp.pages.dev/qJkcjURcAe8/" transcript_jsonl: "https://pod-exp.pages.dev/qJkcjURcAe8/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["AI 基础设施","人工智能","AI 智能体"] series: ["AI 基础设施"] --- # AWS 醒来前的窗口：Nebius CTO 谈与超大规模云厂商竞速 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Nebius CTO Danila Shtan 介绍了公司从 Yandex 分离后的发展路径，以及软件平台、硬件基础设施和客户服务如何共同构成 AI 云。对话讨论新一代英伟达芯片上线、训练与推理需求、存储吞吐量、延迟 SLA、prefill 与 decode 分离、开源模型优化和 Tavily 收购。Shtan 认为 AI 基础设施建设的首要瓶颈是执行能力：团队必须协调芯片、网络、存储、电力、设施和人才。他也谈到超大规模云厂商受芯片供给及内部算力需求限制的原因、独立云厂商的长期空间，以及企业如何在谨慎治理的同时使用 AI 智能体。 ## [0:01] 开场：AI 云市场的窗口 · YouTube **Jacob Effron：** 如果英伟达当时能买到、或者生产出十倍的芯片，整个市场的格局都会不一样。对那些超大规模云厂商来说，AI 还不是足够大的生意，无法证明大规模改造基础设施的投入是合理的；他们现有的设施是按其他类型的工作负载建设的。 这几年 Nebius 和其他超大规模云厂商之外的竞争者陆续出现，是 AI 故事里很有意思的一部分，我一直很关注。所以很高兴请到 Nebius CTO Dima 来节目，聊聊这门生意以及这个领域的发展。我们谈了 Nebius 很特别的起源、它和 Yandex 最初的关系，也聊了在这样的公司里工作是什么样，Nebius 如何与英伟达合作、怎样让下一代芯片上线，以及为什么 AWS、GCP、Azure 没有直接拿下整个市场。 我们还谈到 Dima 对一些新技术的看法，比如分离式推理（disaggregation）和“Prince”（音频转写如此，具体术语待核）。总之，能和站在 AI 基础设施市场中心的人聊聊他对行业走向的看法，特别有意思。我想大家会喜欢这期节目。话不多说，下面请出他。 ## [1:25] AI 云之间的差异 · YouTube **Jacob Effron：** 我想先从更大的 AI 云市场聊起。现在有几家规模更大、也更受关注的上市公司，大家把它们叫作“新云”（neocloud）；而且感觉每天都有一家新的公司拿到融资。我知道你不喜欢这个叫法。你能不能谈谈，究竟是什么让这些公司彼此不同？有些听众可能会觉得，最重要的无非是能不能拿到 GPU，拿到哪里就去哪里。你就把这当成一个待反驳的说法，告诉我们为什么事实并非如此。 **Danila Shtan：** 我显然有偏见，因为我首先是做软件出身的。我们的产品和业务从一开始就建立在一个想法上：软件才是核心。我们的价值主张一直是，无论客户要消费数万张 GPU、组成互联的大型集群，还是只想通过自助服务租一张 GPU 用半小时，我们都能用同一个平台服务他们。我们认为这一点非常重要：既能大规模建设，又能像零售一样把算力卖给客户。这就是我们认为自己与市场上其他公司真正不同的地方。 顺便说一句，“新云”这个词让这些公司非常反感。它最初是为了区分一类云公司，说它们在做某种奇怪的新业务；后来所有人都想进入这个市场。我们刚起步时，这个领域大概有五到七家公司被叫作新云。现在，看你愿意把哪些公司算进去，可能已经有三五百家了。 我们不喜欢这个越撑越大的笼统标签。我们是 AI 云。别人愿意叫新云就让他们叫去，我们是 AI 云。我们的思路是，我们不再和新云市场里的公司竞争；我们觉得已经越过了那个阶段，下一步要面对的是 AWS 和 Google Cloud。 没错，我们小得多，收入我想大概只有 AWS 的百分之一。但我们跑得很快，服务的是一个非常特定的市场。我们押注这个市场会增长、会爆发。大家担心这些基础设施投资太大，但如果把现在看到的市场和两年前相比，我觉得我们才刚刚碰到表面。未来三年，总需求可能增长十倍，甚至一百倍。我们正站在又一轮爆发式增长的门槛上。 现在能看到一些规模巨大的设施，但其中很多是公司为内部需求自建的。比如埃隆·马斯克谈到他的 Colossus 集群，规模确实大得惊人；但它不是面向整个市场，而是满足他们自己的需要，或许也会分给他们决定合作的伙伴。Anthropic 和 OpenAI 也在大量囤积算力，不过是为了自己的产品。这是另一回事：这些公司本质上想成为一切，想把互联网、所有产品和所有算力都纳入其中…… ## [5:26] AI 云之间的差异（续） · YouTube **Danila Shtan：** ……都留在公司内部。Google、Meta、Microsoft 虽然有很多算力，却一直要在对外出租和供内部团队使用之间做取舍。这些公司都深度依赖机器学习和 AI，运行服务、开展研究都要消耗大量算力，所以必须不断平衡。我们的判断是，市场需要一家独立的公司——不隶属于某个内部算力需求巨大的大公司——来服务那些想成为大公司的中型企业。 ## [6:16] Nebius 的起源 · YouTube **Jacob Effron：** 我觉得听众会很想了解 Nebius 的历史。你和团队一路走到今天，经历的路径很有意思。能不能讲讲这家公司是怎么来的？ **Danila Shtan：** 我从自己加入公司的时候讲起吧。我是公司的 CTO，但从公司还不叫 Nebius 的时候就加入了。新公司是在 2024 年成立的；那年交易也最终完成，我们正式宣布与 Yandex 分离，不再与俄罗斯资产有任何关联，重新开始。事情大致就是这样。 **Jacob Effron：** 不同人进入 AI 云业务的路径各不相同。我一直觉得 Yandex 团队的工程实力非常出色。很多建设 AI 云的人来自加密货币、能源等领域，技术背景未必一样。你们在 Yandex 的经验到底有多大帮助？还是说，建 GPU 云这件事毕竟很新，没人真正知道该怎么做，大家都是边做边学？ **Danila Shtan：** 首先，我们有、现在也仍有一支来自 Yandex 的核心团队，负责业务的硬件部分。他们有大规模运营硬件基础设施的经验，是真正的大规模——数十万、数百万台服务器，分布在多个设施里。这些人是我们最初建设和扩张的核心，现在仍在公司。没有这支团队，我们不会这么成功。 软件这边则复杂一些。硬件方面很直接：我们需要有经验的人，而我们正好有这样的人，他们从一开始就着手建设。软件方面就不一样了。首先，我们必须从头重写所有东西，所以过去的经验没法直接照搬。其次，我们扩张得太快。比如到 2024 年底新平台上线时，软件工程团队已经有相当一部分人不是从 Yandex 来的，因为这期间我们大量招聘。 作为团队，我们从最初的想法就开始做这套云平台，于是坚持把软件做好。我们不做托管裸金属，也不把第三方服务东拼西凑；我们想打造完整的云体验和完整的云平台。即使要从头重写平台，我们也继续加码这个方向。当然，团队里有很多优秀工程师也帮了大忙。 你刚才提到那些从加密货币等领域来的人，他们大多集中在硬件侧。他们的思路是：买 GPU、让 GPU 跑起来，然后再找买家。我们这边，2024 年硬件团队负责采购 GPU、建设设施、开发自己的服务器和机箱、编写固件、搭建网络，总共大约 40 到 50 人。那时软件组织已经有 200 人。所以我们完全可以说自己是一家软件优先的公司：在扎实的硬件基础上建设云服务。我们不是硬件优先的公司。 ## [10:15] 让新一代英伟达芯片上线 · YouTube **Jacob Effron：** 说得通。我想带听众走进 Nebius 内部。你们拿到新一代英伟达芯片后，肯定要做不少工作，才能让它们投入运行。从和英伟达团队沟通、提前了解下一代芯片，到最终让客户用上，这整个过程是什么样的？ **Danila Shtan：** 这过程挺混乱的，不过是积极意义上的混乱。整个行业发展太快，所有人都在追赶。英伟达虽然领先、指引着市场方向，也不例外。很早的时候，他们会给你看计划在下一年推出的原型和示意图，讲内部会如何优化、PCI 连接会怎么安排、未来平台大概是什么样。 过一阵他们又会说：“我们优化过了，现在会不一样。”再后来，他们拿来第一批实验室样品让你看。你会发现，这和两个月前给你看的东西又不一样；他们会解释说，设计一直在调整。时间非常紧，他们一边生产芯片，一边不断迭代。 这和消费电子产品不一样。比如今天看到的 iPhone，可能三年前就开始规划，一年前大致定型，最后一年用来打磨和生产。AI 行业的速度太快，早期公布的内容只能作为方向参考，团队还会持续改动。 **Jacob Effron：** 工作流程也会跟着变化，对吧？他们肯定会继续迭代。 **Danila Shtan：** 对，一轮接一轮地迭代。英伟达现在是个巨头，他们做的任何事都会影响整个市场和供应链，所以他们必须考虑这些影响。到某个阶段，你拿到的样品才会基本接近量产版本。然后你们开始搭建、测试，把新硬件的支持以及新的限制或能力接入软件平台，还要从一开始就考虑怎样隔离不同工作负载。 我们是云服务商，不是提供裸金属主机，所以虚拟化、存储、网络都必须正常工作。有时我们站在最前沿；有几代产品，我们可能是最早建成一定规模集群的团队之一。于是会碰到以前没人遇到过的软件问题，我们把问题反馈给英伟达、提出补丁，再拿到修复并确认它能正常运行。 所以我们觉得自己处在行业前沿。但总的来说，这已经是一套相对常规的流程：反复迭代，和英伟达的硬件、软件团队持续沟通，同时自己排查问题，把新能力接入更复杂的平台，再琢磨如何向客户提供。比如从普通的 Blackwell 芯片过渡到 B300，再到 GB300…… ## [14:18] 让新一代英伟达芯片上线（续） · YouTube **Danila Shtan：** ……这就完全是另一种架构，隔离方式也不同：处理单位变成机架，而不再是服务器。因此维护时要在机架层面操作；过去你关掉一台服务器、把工作负载迁到另一台就行，现在不一样了。尽管有这些变化，产品还是每天一点点推进，最后就能交付，客户也开始使用。 ## [14:55] 不同客户想要什么 · YouTube **Jacob Effron：** 我想问问最终客户需求有哪些差异。很容易以为所有客户要的都差不多，但你们肯定会按客户类型来考虑他们各自重视什么。你怎么看现在客户需求的主要区别？ **Anne Marie：** 嗨，我是《Unsupervised Learning》的制作人 Anne Marie。谢谢大家收听。如果你喜欢这次对话，请订阅节目。订阅能帮助我们扩大节目，也能继续邀请一些很棒的嘉宾。非常感谢大家收听，下期再见。 **Jacob Effron：** 我刚才问的是，你怎么看今天客户需求的主要差异？ **Danila Shtan：** 老实说，差异没那么大。每个客户当然都有自己的特点，但工作负载本身大体类似：要么是训练，要么是推理，我们对两者的需求形态都有一定了解。 回头看几年前，我们低估了存储的重要性。GPU 确实最重要，但与此同时，存储需求也非常大。关键不在于能给客户的虚拟机配多少硬盘，而在于吞吐量和延迟。AI 之前，我谈网络附加存储时，衡量的还是每秒几 GB。现在有些客户会让多台 GPU 服务器同时访问一个共享卷，吞吐量达到每秒 500、600，甚至 700 GB。这很夸张。两年前我还没想到会出现这种需求，现在却差不多成了预期。 另一方面，如果你按最高要求的客户来设定产品基线，门槛就会高得让其他客户用不起。假设客户需要一个 3 PB 的共享文件存储，连接一千台服务器、共 8,000 张 GPU，并提供每秒 700 GB 的吞吐量，你自然会知道怎样服务这种超大规模群体。所以单论性能或功能，客户并没有那么不同。 客户真正不同的，是成熟度，以及他们对自己客户承担什么义务。新成立的实验室如今种子轮融资就可能达到数十亿美元，大部分预算会花在算力上。你可以和一家刚成立的新 AI 实验室签下一份十亿美元合同；他们关心的可能只有 GPU、存储、性能和可用性。很多时候，他们甚至不在乎 GPU 在美国、欧洲、法国还是冰岛，只要网络连接良好、存储到位、GPU 能跑就行——毕竟这是十亿美元的合同。与此同时，我们现在也开始看到…… ## [18:57] 不同客户想要什么（续） · YouTube **Danila Shtan：** ……比如开始接入企业客户。这些公司的合同金额会更小，有时小很多，但它们更成熟：已经有自己的客户，也对客户承担义务，有既定流程，还要确保符合多个国家的监管要求。 **Jacob Effron：** 这样就进入了真正做云服务的那一面：认证、合规、安全审查，客户可能会要求查看源代码，问你如何解决某个问题、如何保护他们免受某种攻击。要说客户之间最明显的差异，我觉得是这些方面，而不是规模或问题本身。 ## [19:58] 延迟与成本 · YouTube **Jacob Effron：** 我看到很多人在权衡吞吐量和延迟，或者说延迟与成本。有些客户的工作负载对延迟极其敏感，他们会用小批次，想尽办法降低延迟；另一些客户，比如后台智能体，可能就没那么敏感。这些差异是不是只靠软件调整？例如调整批次大小？还是你们会根据工作负载，用不同方式搭建集群？ **Danila Shtan：** 不会，这从一开始就是我们的前提：建设一个通用云平台，确保基础能力足够强，能满足大多数工作负载。 然后还有 SLA 的需求。比如托管推理业务的客户会提出不同要求，接着就要做基准测试：针对特定的流量模式和资源配置，能不能满足延迟 SLA？这里的延迟可以指首个 token 的生成时间，也可以指整个请求的耗时。然后你就围绕它做优化。 但这不会在硬件层面完成，因为硬件已经足够好了；通常也不会在更底层的基础设施层做，因为那是通用的，而且性能已经够用。你会继续往技术栈上层走，到编排层、模型层，甚至更高：客户的请求从接口到推理服务器究竟经过了什么路径，途中在哪些环节损失了性能？ **Jacob Effron：** 明白了。 **Danila Shtan：** 所以这百分之百是软件问题。 ## [21:53] Prefill 与 Decode 分离 · YouTube **Jacob Effron：** 我跟很多人聊过，感觉现在大家都在讨论把 prefill 和 decode 拆开，也就是分离式推理。你们现在会考虑这个吗？或者说，你们怎么看它的未来？ **Danila Shtan：** 我觉得现在正处在人人都在谈、但还没人把它真正做好用的阶段。这是个复杂问题。尤其在推理里，还有很多更容易解决的问题，先把那些做好就能达到 SLA，所以我们对此相当谨慎。 我们不会把它当成适用于所有客户、所有工作负载的默认方案：首先这不总是合理；其次它很难运营，今天要围绕它提供可靠的 SLA 也不容易。我们的原型服务已经有一些不错的结果，但还没有全面推出。不过，现在确实已经有一些要求最高的客户在生产环境中使用分离式架构，只是采用更宽松、更偏人工定制的方式。 特别是 Grace Blackwell 这类新架构，整台设备有很快的互联。如果能把工作负载放在同一机架里，过去分离式架构遇到的许多挑战就会缓解：带宽和互联都快得多。你可以把它看成一种配置方式，根据客户的流量模式平衡 prefill 和 decode 节点。 **Jacob Effron：** 你怎么判断哪些工作负载适合放在一个机架里？ **Danila Shtan：** 这得逐个案例看。它们肯定都是很大的工作负载：每秒数千个请求，流过数十亿个 token。不过我们是云，可以让两个工作负载共用一个机架，不必把每个机架都完全交给单一负载。比如这个产品只允许客户按整机架使用，不能只订两台 Grace Blackwell 节点，那样没有意义；你得分配整架，再在里面安排工作负载。 但像托管推理这样的产品，我们可以让不同工作负载共置，找到合适的安排。所以重点不是能否把任何东西塞进机架，而是有没有工作负载能从 prefill 和 decode 节点这种有意的不均衡配置中获益。 **Jacob Effron：** 明白了。一个机架里能放不止一个这样的配置吗？你们怎么解决装箱问题？ **Danila Shtan：** 对，这个问题…… ## [25:00] 推理优化的优先项 · YouTube **Jacob Effron：** 你刚才说推理领域还有不少更容易解决的问题。现在整个行业还有哪些地方没优化好？ **Danila Shtan：** 首先我觉得，整个行业都还没把推理优化好。恕我直言，我坚信如今运行推理，特别是运行各种开放权重、近似开源的模型，还不是一道已经解决的问题。你直接用模型发布时的原样配置，配上某些开源推理服务器刚加上的初步支持，跑新模型，结果大概会让人失望：速度不够快，成本也不够低，尤其考虑到现在的基础设施价格。直接用 Fable 5.1、Astra 6 之类的服务可能更省事。 但开放架构让你可以优化请求处理方式、调整推理服务器配置、投入大量精力做 kernel 优化，有时甚至针对实际流量模式进一步定制 kernel。模型权重优化的潜力也远没挖出来。我说的不只是 speculative decoding，还包括模型剪枝、选择性剪枝和压缩。 从我们的客户群来看，95% 的客户运行的都不是原封不动的开源模型，而是经过修改、微调等处理的模型。这说明模型是为客户的特定用途设计的。特定用途通常意味着领域有限、范围明确；你只需要在这部分任务上保留前沿水平的智能和推理能力，其他能力可以不要。 这样一来，或许就不需要那么大的模型，而是可以选择性压缩，让模型适合某个具体任务，即便在其他任务上表现差一些。当然，这不适用于开放式深度研究或广泛的编程任务。但我坚信，真正要让 AI 落地到严肃的企业业务、切实解决问题，就会越来越多地使用领域受限的专用智能体。那时，人们甚至不那么在意成本，更看重结果是否可预测，以及拿到结果需要多少秒、多少分钟。 **Jacob Effron：** 对，我觉得这里还有很大潜力，之后还会有一些不错的突破。 ## [28:31] Nebius 应该把什么做成产品 · YouTube **Jacob Effron：** 推理优化有很多工作是在开源社区里完成、由社区共享的；也有很多工作集中在小型专用模型、压缩等方向。就这些会影响企业如何使用推理的课题来说，哪些问题值得 Nebius 做成产品、提供解决方案？哪些则是“很好，我们也会受益，但不一定要冲在最前面”？ **Danila Shtan：** 这些优化是可以叠加、甚至相乘的。针对某个具体用途做对一组优化，就能更轻松、更快、更好、更可预测地达到目标。所以我们会在所有方向投入。 今年夏天刚开始时，我们有一笔收购，目标就是这类能力：我们基本上是为了模型优化、模型压缩、speculative decoding 等方面的人才收购了那家公司。再和现有团队结合，相关团队规模翻了一倍，手上有很多人专门处理这些问题。我们有专门做 kernel 优化的小组，也有专门研究模型压缩的小组。 我觉得，如果要把推理服务做到真正严肃的规模和水准，现在唯一的办法就是这样。 ## [30:11] 收购 Tavily · YouTube **Jacob Effron：** 你们做过几笔收购，其中 Tavily 这家网络搜索公司引起了一些人的注意。能不能讲讲收购它的考虑，以及它如何融入更大的平台？ **Danila Shtan：** 首先，我们非常欣赏他们的产品和市场拓展方式。现在回想起来差不多是一年前的事了。我们觉得，凭借自己的专业能力、技术和底层基础设施，可以帮助他们跑得更快。因为运营一个网络搜索引擎并不简单，无论是软件开发，还是…… **Jacob Effron：** 你们很多人以前就做过搜索引擎。 **Danila Shtan：** 是的，我们中有些人过去确实做过一些相关工作。我们的想法是：他们有一支很优秀的团队，在快速拓展市场、推进商业化；而我们可以把这与自己在底层技术、大规模基础设施和大规模网页索引方面的经验结合起来。 它现在还没有完全融入我们现有的其他产品。不过我们正在探索，也有一些东西在筹备，比如把托管推理和智能体工具结合起来。我们现在也在开发沙箱，它也是构建智能体时会用到的基础组件之一。此外还有几个相关产品正处在更早期的开发阶段。 ## [31:56] 不同数据中心有什么区别 · YouTube **Jacob Effron：** 看起来大家会用一系列工具来构建智能体，其中很多是开源工具；你们似乎也想为最终客户提供其中不少工具。网络搜索是长期运行的智能体的重要基础，它们会消耗不少 token 来获取信息。接下来想换个话题，聊聊整个行业的基础设施建设。你们使用的数据中心彼此有多相似？有没有统一的参考设计，以至于从你们角度看是哪座数据中心其实无关紧要？哪些差异会影响 AI 云的运营？ **Danila Shtan：** 坦白说，我不知道这些设施的墙是用什么材料做的，所以它们大概确实不一样，但这没什么帮助（笑）。认真说，墙里面的东西都由我们控制。我们不会租用别人已经建好网络、配好 GPU 或服务器的数据中心。即使设施不是我们自己拥有的、而是租来的，我们租的也只是建筑和电力；内部的建设全部由我们负责，按自己的标准完成。 所以从软件角度看，我们在哪座数据中心运行没有区别：是自有设施、建在租用设施里的设备，还是我们最近宣布的“轻资产”模式——第三方出资建设设施并提供 GPU，我们在其上运行自己的平台——都一样。这些数据中心会按我们的规格建设和配置。我们熟悉里面的硬件；陌生的硬件很难接入，也很难保证 SLA。 我们不会在这方面妥协，不会租别人搭好的东西再说这是自己的云。你在 Nebius 云上启动虚拟机，可以确定从头到尾运行的都是我们的技术栈。 ## [34:29] AI 基础设施建设的瓶颈 · YouTube **Jacob Effron：** 现在大家都在讨论 AI 基础设施建设有哪些瓶颈，提到电力、数据中心建设所需的人力、制冷、网络、HBM、GPU 等等。你会怎么给这些瓶颈排优先级？眼下最突出的几个是什么？ **Danila Shtan：** 恐怕要让你失望了：真正的瓶颈只有一个，那就是执行能力。你说的那些确实全都是问题：GPU、各种组件、CPU、NVMe 都短缺；设施不够、电力不够、能参与建设的合格劳动力不够，小零件也不够，比如网络收发器。还有什么？那些大型的、我不确定英文该怎么说、用来转换电力的设备——变压器也不够。 **Jacob Effron：** 变压器。你知道现在它们的交货期有多久吗？几年。 **Danila Shtan：** 所以什么都是问题。真正的瓶颈，同时也是你能施加影响的关键，就在于你能不能处理好所有这些问题。你能否找到货源、在适当的地方灵活变通、整体上把事情做成？你能不能在不同设施之间调配资源：把这个从这里挪到那里，之后再挪回来；那个项目可以延期，但要确保另一个项目按时交付，因为它更重要。所有这些都要统筹。 在这个领域，优秀的项目经理可能比我职业生涯中任何时候都更抢手。 **Jacob Effron：** 所以瓶颈其实是优秀的产品经理？ **Danila Shtan：** 没错。你得把所有地方的问题都放在一个大的全局里，理解它们，再想办法推进，这种整体协调能力最重要。 ## [37:03] 新工作负载如何影响集群 · YouTube **Jacob Effron：** 硬件本身在变，工作负载也在变：长期运行的智能体更多了，后训练更多了，大家也在运行开放权重模型。这些变化会怎样影响集群的整体建设？还是说工作负载就是工作负载，集群总能跑？ **Danila Shtan：** 工作负载就是工作负载，正如你说的。确实会有些差异，但关键是把基础能力做得足够强，不会被差异限制住。剩下的就是优化问题：怎么打包、怎么拆分。有些负载不需要独占整台节点，因此你要让不同负载共置，准备好合适的基础组件，并通过平台把这些能力开放出来。 总的来说，差异化工作负载几乎不会改变你在最底层如何建设基础设施。当然，现在也出现了新架构，比如英伟达 LPX，也就是 Groq 交易带来的产品。这确实会增加一些新东西。不过，如果你有运营其他代际产品的经验，这不过是又一个“半代”产品。它会有些新颖，连接方式和以前不一样，对能运行什么也有一些限制，但效率提升只是对面向更广泛市场的平台做局部补充。 总体而言，定制化方案比大家想象的少得多。工作负载就是工作负载。 ## [39:17] 为什么超大规模云厂商没赢下这个市场 · YouTube **Jacob Effron：** 为什么超大规模云厂商没有更早进入这个市场，或者至少在第一阶段更有力地拿下它？ **Danila Shtan：** 首先，有时大家会以为它们根本没尝试过，但它们在这个市场上确实做成了不少生意、签下了很大的合同，竞争力也很强。有人说“你看看 AWS 的公开价格”，但我可以保证，真正的大客户合同价格很有竞争力，它们对市场非常了解。 我觉得原因有两方面。第一，前面提到过，它们要在内部消耗和对外服务市场之间分配算力。现在芯片短缺。如果英伟达能买到、或者生产出十倍的芯片，整个市场的形态很可能会不一样。微软、Google 这样的公司就可以既为自己购买算力，也买更多容量对外运营。现在的问题是，算力不足以满足它们自身的规模需求，所以对它们来说，这仍然是一门相对小的生意。 AWS 的收入大概是一千亿美元上下，而 AI 云可能是二三十亿、四十亿美元的生意。这绝不是小数目，但相比它们保守、成熟、规模庞大的核心业务，也并不容易成为优先事项。 **Jacob Effron：** 你的意思是，它们拿到的芯片配额也不够理想，必须把很多芯片留给自己的训练，所以能用于推理或云业务的规模有限。它们还得决定，是服务少数签大合同的客户，还是发展中型企业等新兴市场。只要芯片总量有限，怎么选都很难。 **Danila Shtan：** 没错。同时，这块在它们的总收入里占比还比较小，它们也会问：是否值得为此分配资源？这尤其值得考虑，因为对超大规模云厂商来说，问题不只是销售，而是要改造原本按其他工作负载大规模建设的基础设施。网络、吞吐量、存储性能都得改。如果要把这些变化全面铺到整个技术栈上，就是一项巨大的投入，必须由潜在业务的规模来证明合理性，而现在还没到那一步。 如果我们在两三年、也可能五年后摆脱芯片短缺，这种情况肯定会改变。AI 会变成越来越大的一块业务，它们会更加重视，投入资金、调整组织、重新设计内部设施以满足这类需求，再凭借强大的销售能力来争夺市场。问题是，等它们真正进场时，我们这样的新玩家能不能长得足够快，成为有分量的竞争者…… ## [43:18] 为什么超大规模云厂商没赢下这个市场（续） · YouTube **Danila Shtan：** ……我们完全相信，未来它们会更加重视这个市场。我们的赌注是，等它们进来的时候，我们已经跑得足够快，能和它们站在同一赛场上平等竞争，而不是只能跟在后面的小玩家。 ## [43:39] 新云公司的未来 · YouTube **Jacob Effron：** 你刚才说，现在有三百到五百家新云公司都想进入这个市场；而且芯片短缺最终会结束。把时间放到五年、十年后，这些公司会有多少留下来？市场最终会是什么样？ **Danila Shtan：** 听着，AI 的使用量会不断增长，最终 AI 服务会像今天的网络服务一样无处不在。现在有 AWS，但也有 Hetzner、DigitalOcean、Linode，还有大量本地托管服务商，提供虚拟机、裸金属等服务。AI 基础设施市场也会很庞大。 现在这些三百到五百家公司是否都能活过未来五年？我不确定。但我相当确定，长期来看，市场会给大量小型服务商留下空间。有些现有公司会整合，有些会退出，也会有新公司出现。这门生意并不差，现在依然很吸引资本和关注。 我相信五年后仍会有数百家玩家，它们获得了几亿美元投资，找到了适合自己的定位，能为市场上的某些客户提供价值。就像今天的小型云服务商 DigitalOcean 一样。DigitalOcean 没有因为 AWS 规模增长就消失…… ## [45:42] 哪些业务会被 AI 超大规模云厂商吸收 · YouTube **Jacob Effron：** ……它们显然会自己做很多东西，比如沙箱、网络搜索，随着时间推移也会帮助客户使用模型。很多人想知道，AI 基础设施技术栈的哪些部分最终会被未来的 AI 超大规模云厂商纳入统一服务，哪些独立部分还会作为独立公司存在？ **Danila Shtan：** 我觉得这会有点像上一代云的发展。大型公司的增长会推动它们进入新的行业和市场；否则增长会受到限制，没法支持它们的预测和估值。因此，它们自然会扩大产品组合、进入新产品和新服务领域。 但这不代表最终会有一个包打天下的方案。若你因为担心 OpenAI 或 Anthropic 会统治一切，就决定停止现在做的事、原地等待，那就忽略了现实：OpenAI 有自己的模型、运行推理，也有搜索能力。虽然它不一定直接开放搜索，但你在它的平台上构建智能体时，智能体可以用搜索。它们还有各种沙箱、本地智能体和云端智能体。OpenAI 和 Anthropic 也都在投资前线部署团队，准备接手过去由德勤、埃森哲这类公司做的一部分工作。它们会进入很多领域。这是大公司自然会做的事。 但这不代表它们会成为唯一玩家。今天仍有独立的对象存储、计算、小规模推理和数据库公司。曾几何时，人们觉得 Google 有 BigQuery，数据方面什么都有，后来 Snowflake 却从市场上冒出来。AWS 有 Aurora、Redshift 等各种托管数据库，MongoDB 仍然做得很成功。按今天的标准，它也许不算超级大公司，但两年前它是一家非常扎实、成功的企业。还有 ClickHouse 推出云服务，作为独立公司在托管数据库领域找到自己的位置，并做得很好。 大公司和大云厂商会继续扩张，在各个领域推出产品，也会凭借捆绑销售和销售能力取得不错成绩。但利基玩家始终有空间。市场足够大，“利基”并不等于小规模、低收入或低估值；这类公司也可以很扎实。 ## [49:42] 哪些业务会被 AI 超大规模云厂商吸收（续） · YouTube **Danila Shtan：** ……也可以成为很稳健的公司。 ## [49:43] OpenAI 与 Baseten · YouTube **Jacob Effron：** 你提到 OpenAI 和 Anthropic 正在打造一整套服务，它们也在建设自己的 AI 云。与其他云相比，这些 AI 云的一个限制是只能调用自家模型。但最近 OpenAI 宣布和 Baseten 合作，这很有意思。你怎么看？这是它们想跨模型进入通用云服务市场吗？ **Danila Shtan：** 我们看到很多人抱怨 OpenAI 或 Anthropic 的模型太贵，月底看到账单时会很惊讶。这个合作可能是在回应这种顾虑：如果觉得贵，可以试试开放模型。 不过开放模型目前仍落后于闭源模型，无论它们现在有多好，还是有差距。给用户一个选择，让他们先尝试较小规模的方案，同时还能随时切回最前沿的顶级模型，这也是很好的激励。所以我觉得 OpenAI 这次合作很有意思，我也很喜欢，因为它展现出灵活性：他们没有把路锁死，而是在探索各种可行或不可行的选择。 但我觉得这一切都服务于同一个目标：OpenAI 和 Anthropic 都想成为用户的一站式入口，想用一个平台满足所有需求。即便如此，用户有时还是会想在 Codex 管理的环境里使用开源模型。只要公司和用户还在你的生态里，你仍然有很多机会引导他们、向他们追加销售，或介绍新服务。如果这个合作能消除一项顾虑，那很好，何乐而不为？ ## [52:07] 快问快答 · YouTube **Jacob Effron：** 我喜欢在访谈结尾问几个特别宽泛的问题。先问第一个：过去一年里，你对 AI 的哪件事改变了看法？ **Danila Shtan：** 过去一年发生了太多事。最明显的答案是软件工程。很多人忘了，一年前我们生活在完全不同的世界。 **Jacob Effron：** AI 世界的时间就像狗的一年顶人七年。 **Danila Shtan：** 是啊。那时模型能力差得多，今天这些工具和工作流也没这么成熟。AI 编程一年前还很原始，现在已经成了日常工具的一部分。 但如果不谈行业趋势，而谈我自己的变化，我开始更多依赖 AI 本地智能体和各种框架，帮我分担一部分认知负担。 **Jacob Effron：** 你管理着一家规模很大的技术组织。模型最近才在编程方面变得非常好，大家都在摸索如何利用新的模型能力来组建团队、运营组织。你们现在找到什么做法？你怎么考虑这件事？ **Danila Shtan：** 谨慎，保守。我非常担心现代模型和它们提供的流畅体验——现代智能体、现代模型等等——会给我们带来问题。你已经能在聊天、合并请求等各种地方看到粗制滥造的内容。我会尽量把这些问题指出来，对此保持高度观察和警惕。 比如，我们不限制 token 使用量，大家想用什么都可以，预算也相当可观；不会给每个人或每个部门设额度。但与此同时，我们会查看使用情况，了解大家拿它做什么，也会找出最没效率的用法。 我们制定了一套政策，强调无论智能体帮你做了什么，结果仍然是你的，责任也由你承担。提交请求是你的，代码是你的，值班也是你；如果半夜出了问题，把你叫醒的还是你自己。如果完全由自主智能体生成，我们会明确标注。自主智能体暂时不能接触核心服务，因为这还不在允许范围内。 有时候别人会惊讶：我身处 AI 革命的中心，却这么保守。但我亲眼见过这些东西是怎么做出来的，所以我会谨慎。 **Jacob Effron：** 到目前为止，你觉得建设 Nebius 时犯过的最大错误是什么？显然很多事情都做对了，但回头看，有没有什么是你希望当初做得不一样的？ **Danila Shtan：** 说出来现在可能有点好笑，但我们低估了规模。这不是说我们低估公司的增长；我们从一开始就相当乐观，只是我个人起初有很强的偏见…… ## [56:08] 快问快答（续） · YouTube **Danila Shtan：** ……我低估了如今单个客户实际运营的规模。五年前，谈到一座 30 兆瓦的数据中心，那已经是很大的设施，能容纳几十万台服务器。现在，30 兆瓦有时连一个客户都不够。我到现在还在适应这个变化。 存储也是一样。四年前说网络附加存储，谈的是每秒几百 MB、也许几 GB 的吞吐量。现在有些客户会从一个共享文件系统里持续读取每秒 700 多 GB。我最初低估了这种规模，到现在还在适应。挺奇怪的，我是做基础设施的，职业生涯里不止一次见过这些数字，结果突然在后面加上几个零，就说这是新常态。 **Jacob Effron：** 还是很难想象。太疯狂了（笑）。最后一个问题：AI 领域现在有很多悬而未决的问题，大家都在判断未来会走向哪里。如果不同问题的答案不同，Nebius 的整体策略也可能改变。你最关注哪些还没有定论的问题？ **Danila Shtan：** 我已经不太在意新模型会不会更大、更聪明了；我把这当作必然趋势。我在留意有没有全新的架构或方法，但截至今天还没看到。我希望某个隐秘实验室里正在孕育新东西，但坦白说，现在我看不到任何值得我哪怕小赌一把的突破。 我更关注智能体如何优化最终结果。过去我们总在谈模型、模型大小、模型家族；现在转向多轮、长期运行的智能体，讨论的不是请求，而是结果。公司甚至开始按结果付费。我很想知道这会怎样发展。Nebius 内部确实有一个小型研究组在研究这个问题：怎么提高最终达成目标的概率？当然可以通过扩大或更换模型，但那只是讨论的一部分。我认为还有很多优化空间，可以引入更复杂或更简单的工具，让工作框架随着具体任务演进。 这又让我们想到 CPU 的大量消耗，因为许多现代 AI 工作负载实际上又变成了代码：流程被明确写出来，有质量门槛，也有复杂工具。有时智能体连续工作好几分钟，却一次都不向后端的大语言模型发请求，因为负载主要落在这些部分。 ## [1:00:08] 快问快答（续） · YouTube **Danila Shtan：** ……这正是我特别感兴趣的地方。我认为未来 AI 能否大规模普及，很大程度取决于智能体场景是否可靠，以及它们能不能稳定地实现预期结果。我觉得模型之外的整套优化循环也很重要。 **Jacob Effron：** 完全同意。这次对话太棒了，非常感谢你来节目做客。 **Danila Shtan：** 谢谢邀请。 **Jacob Effron：** 我是 Jacob Effron，这里是《Unsupervised Learning》。在这档节目里，我会和 AI 领域最聪明的人交流，问他们很多关于模型发展及其对商业和世界意味着什么的问题。希望大家能听出来，我做这档节目很开心。它是我在 Redpoint 做投资之外，利用晚上和周末做的项目。能请到这么棒的嘉宾，主要靠大家订阅节目、分享给朋友；这才让一切运转起来。请考虑订阅，也非常感谢大家的支持和收听。我们下期再见。