开场
达里奥、伊利亚、萨姆、格雷格和埃隆，我想当时都像一个和睦的大家庭。他们确实是相信规模定律的那群人，而我在 2018、2019 年时也相信这一点。我现在最大的变化是：我过去总觉得对齐会随着规模扩大自然而然地出现，但我已经不这么认为了。
说实话，这期节目对我来说相当特别，甚至有些动情。我 18 岁时在伦敦卧室里创办了 20VC，没钱，电话簿里也没有人脉。如今我有机会坐下来采访萨提亚·纳德拉——微软 CEO，也是过去三四十年来最伟大的公司之一的掌舵人。关于萨提亚，我想说，他在这么短的采访时间里展现出的温暖，几乎是我前所未见的。他论述和想法清晰，能很快深入问题，几乎是我从未见过的表现。这期节目我会一直记得，真心希望你们喜欢。准备好了吗？
萨提亚，非常感谢你接受我们的采访。原本我想说谢谢你来演播室，不过其实是你在这里接待我们。所以真的很感谢你抽出时间。
谢谢你们邀请我上节目，哈里。我们筹备这件事已经很久了，我很高兴终于成行。你大约十天前写了一篇很重要的文章……
为什么萨提亚认为应假设 AI 模型已遭到攻破
你大约十天前写了一篇很重要的文章，说我们应该假设模型已经遭到攻破。我想就此展开聊聊。这是否意味着我们不能、或者不应该相信模型提供商披露的信息？
不。我认为，目前我看到的挑战是，模型正变得越来越强大，对吧？规模定律确实有效，但我曾经有一个假设：对齐会随着规模扩大而自然出现。现在看来并非如此，而且这里还有更多科学层面的难题需要解决。要理解模型的机制也仍然很困难，所以……
为什么 AI 需要“零信任”架构
如果还想继续使用这些复杂模型，我认为最好的做法，是把它们置于零信任架构之中。零信任并不是什么新概念，我们早已有零信任架构。所以我的主张是：构建一个经过工程化的零信任环境，在任何失灵的智能体造成伤害之前把它限制住。如果你想要能力更强、但对齐程度可能更低的智能体，就需要一个可以依赖的信任系统。
我能问问这个信任系统具体是什么样的吗？由谁设计架构？谁来裁定？
问得很好。这就是为什么我会把 AI 安全之外的部分单独看待。比如对齐，至少我的看法是，它主要得在训练阶段体现，甚至可能从预训练阶段就开始。我不认为单靠强化学习就能实现对齐；你必须让对齐从一开始就真正嵌入模型权重里。那属于模型本身，模型最终希望能实现对齐。
如果先把 AI 安全放在一边，信任架构就是微软这类公司和网络安全从业者一直在做的事。比如我们构建了 Agent 365 和 Purview：给每个智能体分配身份，记录它的所有活动和工具调用，实际上也记录每次模型调用。思维链也应该以英文而不是新造的表示形式呈现；之后可以用多个模型交叉检查。日志必须防篡改，不能让智能体修改自己的日志。然后在这些基础上设置策略，并通过行为监控确认智能体活动符合策略。这就是架构。
但我们现在还没有这样的架构。这只是说明我们还处在发展过程中的某个阶段吗？
这样的架构已经存在。人们把我所说的、用于隔离风险的工程化安全零信任架构，与 AI 安全混为一谈。AI 安全难解、尚未实现，并不等于我们在安全防护上无事可做。我不是说这两件事必须同时解决。我们得应对眼前的情况：在模型之外构建信任系统，并积极制定策略、监测偏离策略的行为。
思维链有多可靠？
说到监控，思维链到底有多可靠？
并不可靠。我们知道，思维链本身可能并不忠实地反映模型实际的推理过程。如果模型公司说“它不忠实，所以我要把它藏起来”，情况反而会更糟。（笑）这会带来更大的问题。因此我认为需要推动标准化，并让可信合作伙伴能够看到原始思维链，以便检查、审计，也能用多个模型交叉验证。这甚至可能推动更多开放权重模型的发展。坦白说，闭源模型确实更强，但如果它们不认可透明度的重要性，尤其是在可信合作伙伴使用时，我们就可能遇到问题。
开放权重模型会因更透明而胜出吗？
谈到开源的兴起，我完全同意你说的闭源模型更强，而开放模型主要来自中国。那么，考虑到安全需要从预训练阶段就融入模型，而且正如我们刚才谈到的需要披露信息，开放模型大多来自中国，这会不会令人担忧？
我认为这里有两件事。退一步说，AI 安全尚未实现，对中国、美国、英国都不是好事。每个国家都有共同利益，因为一个未对齐的中国开放权重模型很可能也会攻击中国。所以不能只把它当作一种对外攻击手段。
撇开这一点，我对西方开放权重模型的进展也相当满意，黄仁勋和其他人都在推进这件事。我们也会有微软的 MAI 模型，但它们不会开放权重；我更愿意把它们称为“授权权重”。我希望把这变成简单直接的软件业务，而不是依赖网络效应的智能业务。所以会出现不同的商业模式。最终，决定哪些模型会被采用的，是你能否信任并控制它们。
开放与闭源模型：流量将流向哪里？
……最终决定哪些模型会被采用。
作为一名风险投资人，我得预测今天的流量会流向哪里：闭源还是开放？如果把流量和收入看成两个维度，展望未来 24 个月，你认为多少比例的流量会经过开放模型、多少经过闭源模型？
这是个好问题。我觉得要看前沿能力发展到什么程度。许多任务似乎会逐渐饱和；一旦饱和，开放权重模型，或者更便宜的闭源模型，似乎就够用了。尤其是如果你能用自己的运行轨迹训练模型，那么只要问题没变，就不需要最新模型来解决同一个问题。若你希望持续推进某项评测，可能就值得付费。不过，即使如此，我也很看好我们在 GitHub 上已有的那种融合方案。（此处产品名转写不清。）
对，它有趣的地方是可以训练模型。现在我们又在进入智能体集群和多智能体协作的阶段，我可以调用很多子智能体，其中一些甚至是本地模型。
所以我猜，前沿模型市场会一直存在，总会有新的任务，比如科学研究可能成为新的前沿。但大多数 token 用量会是商品化的 token 用量。
也就是说，大部分会是开源的吗？
可能是开放权重，也可能是便宜的闭源模型，因为会有大量价格竞争。就看我自己在 Copilot 里的使用，我们会把不少较便宜的闭源模型和开放权重模型搭配起来。
你提过一些很棒的客户，尤其是英国的客户，需要拥有自己的智能。未来的模型环境会是这样吗：企业利用自己的数据，构建专门的智能？
为什么每家公司都需要拥有自己的智能
是的。这在我看来是最重要的事情之一：在智能时代，公司将是什么？回到哈耶克的观点，他对经济的根本描述是：本地智能和默会知识分散在整个经济体中。否则，经济就不可能只有一家公司，也不可能只有一种智能。这是资本主义的基础，价格发现和定价机制都依赖这一点。
因此，我认为每家公司都必须能够借助 AI，以越来越大的规模积累知识，而不是把知识泄露出去。这就是我所说的“逆向信息悖论”。肯尼斯·阿罗描述过信息悖论：卖方如果没有专利、商业秘密或版权保护，就把秘密披露出来，价值也就泄露了。现在第一次，买方也需要这种保护。人们想到的可能是自己的数据，但还包括使用过程留下的痕迹，比如点赞或点踩信号。你是在为模型公司创造价值，还是把价值留给自己？我认为，要让这种模式稳定下来，智能使用所创造的更多剩余价值必须留在公司里。
为什么私有评测可能成为公司的核心知识产权
而且，公司不一定要把知识都嵌入权重里，也可以放在上下文中，或放在评测里。你可以有自己的基准测试。我特别看好的是，每家公司都会拥有自己的私有评测基准，这就是它们的核心知识产权。每个模型都来这个评测上不断爬坡、争取更好的表现。在我看来，这就是公司的运作方式。我很喜欢每家公司都拥有私有评测基准这个想法。
这听起来目前还是少数公司的特权，比如 Harvey、Lora 这样的前沿 AI 公司。这会扩散到全世界的每家公司吗？
会的，哈里，技术一直都是这样。我记得 80 年代末、90 年代初，只有少数公司部署了个人电脑，用电脑做预测分析，当时感觉简直不可思议。（笑）他们能把东西放进 Excel 表格，通过电子邮件发出去，不再用传真机和办公室内部备忘录，大家会觉得“哇，这什么时候才能普及？”也许花了十年左右，它就逐渐扩散了。
现在人们还会说“我是 AI 原生公司，我会做这些事”，我想五年后这大概就很平常了。技术周期总是这样。云计算刚开始时，大家关心谁是云原生、谁不是；如今所有人都是了，甚至有 500 年历史的劳合社也是云原生。所以它会发生。那我们会不会进入一个实施经济……
AI 将催生新的实施经济
……因为大客户需要大量全职员工支持，可能比过去十年传统软件转型需要的更多。我们会不会出现一个规模很大的实施经济，帮助现有客户完成转型？
有意思。系统集成商一直都存在，过去很多技术的普及也依赖实施服务。但这次的轮廓不太一样，因为它结合了技术和业务。它既不是传统的管理咨询，也不是经典的系统集成，更不是传统技术支持。
比如，看看我今天主题演讲里提到的联合利华案例。他们建立了一个智能体系统，实现从订单到现金流程的自动化，还处理贸易索赔。他们一开始使用前沿模型，后来换成了成本更低的模型——我想他们现在用 MAI 模型处理所有贸易索赔。模型由他们自己控制，因为他们能用自己的运行轨迹训练模型。我们派驻了一些全职员工，但更多人部署之后，他们自己的 IT 团队就接管了管理。
整个过程从几个问题开始：业务是什么？怎么评测？智能体架构应该如何设计？所以这是业务咨询和技术咨询的结合。我同意，生态系统会形成一套新的技能。现在大家都有所谓自己的全职员工团队，但这会像传统系统集成一样，发展成新的全职实施服务生态。
AI 是否要求全栈垂直整合？
你提到了 MAI。看着许多不同的参与者，大家似乎开始意识到需要覆盖从芯片、模型到应用的完整技术栈。这是未来方向吗？企业必须垂直整合、拥有整条链路吗？这意味着什么？
这取决于行业结构。今天可能有五六家闭源模型在竞争，也有五六家开放权重模型在竞争。因此，如果你在构建应用或智能体系统，可以像我说的那样设置一个带有决策引擎的路由器，然后为每项任务选择最合适的模型。这是一种可能。
当然，也有一种风险：某个公司可能垂直整合，从模型、应用层一路做到芯片和系统。但我觉得这种情况不太可能。我曾经认为最后也许会有一家这样的公司，但现在看趋势恰恰相反：每天醒来都会发现技术栈的每一层竞争都更多了，无论是芯片、管理芯片的系统、模型层还是应用层。我觉得这是健康的发展方向，不过谁也说不准，因为最终取决于哪种架构成为主流。我的希望是各层都出现横向专业化，每层有多个赢家，然后人们可以把它们组合起来。
推理需求为何远超预期
我没预料到的是每一层的深度。现在我知道、但希望十二个月前就知道的一件事，是推理需求几乎没有上限。
说得好。（笑）
世界能否支撑千亿美元级 AI 训练？
如果我十二个月前就知道推理需求这么大，我会做出完全不同的投资。说到投资，穆斯塔法·苏莱曼等人说，千亿美元级的训练即将到来，而只有少数实验室付得起。世界有足够的能源、基础设施和电力，支撑技术栈各层这种规模的训练吗？
我的思路是，最终这得由世界 GDP 的增长来支撑。GDP 增长之后，企业才能拿出一定比例投入研发。训练运行本质上就是研发支出的一部分。研发投入很高的公司可能会把收入的 15% 或 20% 用于研发。所以只要收入足够，就能投入足够多的钱训练模型。当然，只有当你为世界经济增长作出贡献、获得应有份额时，收入才会增长。
你也提到了供给侧：我们现在面临电力短缺、硅片短缺以及各种其他短缺。这些都是交付周期很长的项目，不可能一眨眼就建好发电设施或新晶圆厂。考虑到需求，每个人现在都在建设。问题是这些设施何时投产，供需会是什么样？坦白说，今天任何人都只能猜测。
但我觉得，可以先想想最终状态会是什么样：公司损益表不会突然变得面目全非，依然是有收入、有收入成本、还要有利润。如果这点成立，那关键问题就是世界 GDP 的增长率。这才是更重要的事。
AI 能显著加快全球 GDP 增长吗？
说到 GDP 增长的拐点，世界经济的增长率似乎长期稳定在每年 2% 左右。AI 能在短时间内显著推高这个增速吗？
我认为可以，也多少希望如此。关键就在这里。以医疗支出占 GDP 的比例为例，我看到 NHS 部署 Copilot 时会想：如果它能改善患者预后、降低医疗成本，那按定义就是在帮助英国 GDP 增长。
所以经济中有一些特别适合采用 AI 的领域？
是的。那些领域可能带来最少的岗位替代和最大的收益，我们必须找到最适合的切入点。软件开发也是一个例子。看到软件开发需求的弹性有多大，令人惊讶。这意味着 IT 积压需求其实非常庞大，只是我们谁都没有意识到……
哪些行业会获得最大的 AI 生产力提升？
我以前被教导说，风险投资要赢，就必须成为市场第一或第二。但 Factory 排名第五，却仍在赢。
这打破了风险投资的所有规则。我还有个稍微跑题的问题：我们会不会看到金融、销售、营销等其他职能的能力出现像编程领域那样的跃升？编程一直是最大的突破口。
问得好。大家常说，要有可验证的奖励信号；这些任务之所以容易推进，很大程度上是因为在预训练模型上使用强化学习，这推动了编程能力的发展。我们能否在知识工作中做到这一点，似乎要难得多。
不过，我们已经看到一些例子：联络中心、供应链系统、营销到现金回款流程等，都有可能应用 AI。它们的需求弹性是否和编程一样大？我觉得科学研究或许有类似的弹性，工程领域总体上也可能如此。
看看企业内部，不只是软件开发，芯片设计也正在经历巨大变化：流片可以快得多，可以在硅片上模拟一切，第一版芯片就有可能完全达到预期。（停顿）
甚至连维护报告的优化，比如你提到的 Choice？
简直不可思议。安排维护是他们一直以来都在做的事，我以前没意识到这是一个很大的优化问题，现在可以直接拿来运行优化。
我看了你很多节目。我们来做一轮快速问答，有些问题我一直想问，大家可能也都想知道。考虑到你的出差安排，你平时怎么锻炼？
你身材不错。
我尽量保持吧，不知道是不是都被衣服藏起来了。（笑）
我大概坚持这个习惯 25 年了：每天早上起来锻炼。我以前还能跑步，可惜膝盖不行了，现在至少会在有坡度的跑步机上走。今天早上我也走了半小时。不管身处哪里、有没有时差，我每天都会去健身房。
很棒。我膝盖也不好，大概是年纪到了。过去十二个月里，你改变了什么看法？
为什么萨提亚不再相信对齐会随着规模扩大而自然出现
也许是因为毕竟我算是最早的一批人之一。显然，当达里奥、伊利亚、萨姆、格雷格和埃隆还像一个和睦的大家庭时，他们确实是相信规模定律的。我在 2018、2019 年也相信这一点。我现在最大的变化是，过去我总觉得对齐会自然而然地出现，但我已经不这么认为了。我觉得对齐可能是一个更难、性质不同的问题。这就是我改变看法的一件事。
哪种疯狂想法五年后会变得稀松平常？
今天看起来很疯狂，但五年后会变得非常普遍、被大家接受的事情是什么？
可能就是我们刚刚谈到的评测。公司本身会成为一个 AI 基准。
最后一个问题：未来十年有很多令人期待的事。对你来说，比如我很期待药物研发能取得进展，因为我母亲患有多发性硬化症。你最期待什么？
萨提亚对未来十年最期待什么
这是个很棒的例子。我一直期待出现一种如此强大的通用技术。有人会说：“哦，这不只是又一种通用技术。”不管它究竟是什么，我希望它能比其他任何技术都更快地传播、扩散到全世界，进入经济的所有部门，达到前所未有的程度。
我真心希望，这一次全球增长的前沿能发生真正变化，不只是数赢家和输家，而是让所有人都得到提升。这一直是我的梦想。事实上，我父亲是发展经济学家，我们总是在谈趋同增长：全球南方什么时候才能获得某种力量，突然实现增长？我希望这次就是。
这次谈话非常愉快。非常感谢你抽出时间。
当然，我也很高兴，哈里。（源文句末称呼与上下文存在明显口误，按原文保留。）