节目介绍
欢迎回到《认知革命》。今天的嘉宾有 Joel Predd，RAND 高级工程师兼主任；Ben Boudreaux，政策研究员、公共政策教授；以及 Matt Chessen，RAND 公司 AGI 地缘政治中心的常驻技术专家。他们与合著者最近发表了一篇 RAND 观点文章，题为《在通往超级智能的不确定道路上确保地缘政治优势的美国战略：保持行动自由》。
这是我读过最清晰的 AI 战略文章之一。对于刚进入 AI 战略讨论的人，它是很好的入门和定位工具；对于那些受够了讨论中聪明人因关键问题上的假设不同、却往往没有明说而彼此错失重点的人，它也提供了一个有用的组织框架。文章首先提出七种典型战略，分别追求彼此不同且自洽的胜利条件，并指出在判断哪种战略最佳之前必须解决的五个关键不确定性。
我想，听众熟悉的七种战略包括：加速，即 a16z 所主张的让技术自然发展；主导，即 Dario 所主张的美国建立足够大的优势，从而能向其他国家规定条件；共同开发，可以理解为 Dario 的国际合作方案；为共存做准备，据我所知似乎是 OpenAI 的路线；暂停，也就是暂停发展的方案；威慑，有点像 Dan Hendrycks、Alex Wang 和 Eric Schmidt 所说的“相互确保 AI 故障”方案；最后是投资于他们所谓的“社会延续性”，也就是为不可避免的 AI 末日做准备。
五个不确定性是：第一，我们离极其强大且危险的 AI 系统还有多远？第二，人类是否可能与这样的系统共存？第三，一个行为体——可能是国家，也可能是私人公司——能否利用这些系统，对竞争者取得决定性的战略优势？第四，人类能否团结起来，共同克制，不去开发这些危险系统？第五，如果不能，美国或政府联盟能否阻止这类系统的开发，必要时是否包括动用武力？
正如你们将听到的，核心论点是：这些关键问题尚无共识，而 AI 能力仍在飞速进步，因此美国政府现在应投资于各种战略所需的基础技术、机构和其他能力，以便在足够长的时间里保留选项，直到我们找到答案，能够作出明智的高层战略选择并最终作出承诺。我个人倾向于默认共同开发，在确实无法安全继续开发 AI 时再把暂停作为后备方案。但我认为，对于一个刚开始理解 AI、又出于各种好坏参半的理由而对竞争对手能否在如此高风险的问题上合作深感怀疑的国家政府来说，这项建议非常好。
我们还会谈到：过去几年华盛顿围绕 AGI 的政治如何变化；今天政府对 AGI 的接受程度有多高；决定性战略优势究竟有多现实；当下 AI 的战略动态与冷战核军备竞赛有哪些异同；他们建议的投资规模；以及他们如何量化安全架构目录中列出的 106 项不同能力的成本和建设周期。此外，我们也会讨论今天的组织乃至个人可以做些什么，在尽可能发挥 AI 杠杆作用的同时，保留尽可能多的自主性和控制力。
节目介绍（续）
我们会讨论当下的 AI 局势与冷战核军备竞赛之间的相似与差异、他们建议的投资规模，以及他们正在后续研究中量化的内容：安全架构目录所列 106 项能力各自的成本和建设周期。最后也会谈到，组织乃至个人今天能做些什么，在尽量发挥 AI 杠杆作用的同时，保留尽可能多的自主性和控制力。
这场对话和这篇观点文章的突出之处，在于它们抽离了每周 AI 进展中纷乱、常常令人困惑的细节，把注意力放在美国必须作出的关键决策上，也解释了为什么现在就押注单一战略仍为时过早。因此，话不多说，希望大家喜欢这场澄清 AI 讨论脉络的综合对谈，以及这个简单的高层论点：美国政府现在应尽一切努力，在通往超级智能的道路上保持行动自由。今天与 Joel Predd、Ben Boudreaux 和 RAND AGI 地缘政治中心的 Matt Chessen 对谈。
赞助商：Lovable
本期节目部分由 Lovable 赞助。Lovable 是一款能把创意变为现实的软件创建工具。我想大家都同意，人类积极的未来离不开多吃新鲜、美味、当季的水果。多年来，我一直觉得应该有人做一本终极水果指南，记录成千上万种我们大多数人从没尝过的品种、它们的产地和季节、实际吃起来是什么味道，以及哪里能买到。后来我终于意识到，这个“有人”可以是我。现在我正在 Lovable 上打造它，名字叫 Fruitopia。告诉它你住在哪里、喜欢什么，它就会告诉你本周附近有哪些当季水果，以及世界各地哪些有趣的水果可以直接寄到家里。
它有一个很酷的风味光谱、数不尽的食谱、多种语言的水果名称、全球水果节指南，还有一个帮助你探索的 AI 助手。你可能知道 Lovable 是 AI 氛围编程的先驱，但我发现它真正的超能力是企业级基础设施：可扩展的托管和数据库、安全的模块，以及每周检查最新库存的工作，都由后台处理，让我能把更多时间花在产品体验上。Lovable 还有 MCP 服务器，因此我可以用自己喜欢的任何编程智能体来驱动开发，同时由 Lovable 让一切持续运行。
访问 ftopia.ai，探索来自世界各地的 400 多种水果和超过 1 万个品种。下次你有一个真的值得实现的点子时，别再空想了，去 lovable.com，让你的创意成为现实。
认真看待超级智能
Joel Predd，RAND 高级工程师兼主任；Ben Boudreaux，政策研究员、公共政策教授；以及 Matt Chessen，RAND 公司 AGI 地缘政治中心的常驻技术专家。欢迎大家来到《认知革命》。
很高兴来这里。谢谢你邀请我们，Nathan。
我很期待这次对谈。我一直在读你们合写的这份很有澄清作用的文件，题为《保持行动自由：在通往超级智能的不确定道路上确保地缘政治优势的美国战略》。我觉得我们和听众都会从逐步梳理这份文件中获益。我觉得它写得格外清楚，很容易理解。按相当线性的顺序讲一遍很值得，然后我们也可以扩展到其他话题，再进一步追问你们提出的一些建议。
在进入战略文件之前，先聊一点背景。一个始终萦绕的问题是：我们现在走到哪一步了？世界各国政府是否像我想我们四个人都认为它们应该的那样，认真看待 AI？我看到很多迹象，是我没想到这么快就会出现的；但也有不少信号让我觉得，也许它们终究没那么认真。从外部看，这有点难判断。我先试着回答，Ben 可能会有更精准的看法。
我们正处在一个相当不同寻常的时刻。两年半或三年前，我们创办 AGI 地缘政治中心时，提起 AGI 都得小声说，生怕别人觉得我们太离经叛道、过分沉迷科幻情景。这并没有阻止或吓退我们去研究前沿 AI 可能发展到那个门槛时的影响，但当时的氛围确实如此。如今开会时几乎不提“超级智能”都不行，时代已经变了。
这个领域一直有句话，主要是针对技术而言：我们应该关注趋势，而不是时间点。过去两年半，技术进步的速度确实令人惊叹。但我认为你也观察到，治理方面的趋势也算有所改善，尽管慢得远远不够。政府开始觉醒、关注这个问题；开发技术的公司在谈治理方案；公众和政界也正在形成公共讨论。因此，治理领域的趋势非常迅速，甚至还在加速。它们够快吗？要跟上快速发展的技术非常困难。过去两年半到三年，我们花了很多时间寻找足够认真对待此事的人。遗憾的是，这样的人远远不够。
我想，我们确实看到很多迹象，表明美国政府已经更意识到这项技术可能具有的战略重要性。但我认为目前还不清楚美国是否已经确定了战略，前沿公司也没有。困难在于，我们可能需要的许多能力——例如模型验证技术、政府中的技术专长、评估能力、危机响应与沟通能力——都可能需要很长时间才能建成。如果我们不主动建设这些能力，同时技术继续进步、各种部署继续推进，这本身就可能成为一种选择，提前封死未来需要的选项……
认真看待超级智能（续）
……未来可能需要的选项。因此我认为，我们确实看到政府意识有所提升，但还没有看到它真正调整、主动走在可能发生的变革前面的迹象。
这很好地预示了整份战略文件的思路。先剧透一下：它最终指向的是建立一种能力，让我们在多看清几张牌、对技术本质及其发展带来的挑战有更好认识之后，能够选定并承诺一项战略。
从根本上说，我们仍然有很多不确定：技术的本质是什么？哪些挑战最重要？我觉得你们最终建议的某种做法，像是在美国政府内部并行启动许多“子智能体”，让它们先为各种可能情况作准备。不过，在走到那里之前，我们先从开头谈起。文件给我的第一个重大印象，是它对人们正在讨论的七种典型战略做了非常清晰的分类。我想听众听过它们的不同版本，但我以前没见过有人这样简洁地逐一列出。我们先快速梳理一下哪些战略至少应该摆上桌面，再谈决定最终选择哪一种的那些不确定因素。
七种战略原型（上）
我们的研究从一个问题开始：管理向超级智能过渡的最佳国家战略是什么？先说结论，我们认为目前的不确定性太大，因此无法为任何一种超级智能战略原型背书。如果过早预先承诺某一种战略，就会排除其他选择，也不会建设之后可能需要的能力。因此，我们认为，美国确保地缘政治优势、并确保人类在保有自主性的情况下存续的最佳方式，是采取“保持行动自由”战略。
这项工作始于我们发表的一篇论文，探讨超级智能对人类究竟意味着什么，题为《在 AGI 战略辩论中寻找共同点》。我们得出的结论是，对于超级智能，需要先明确诊断，再提出应对方案。诊断是：超级智能将带来变革，事关重大的地缘政治优势，以及人类能否在保有自主性的情况下存续。应对方案是什么？我们需要建立一个 AI 与人类能够共存、且人类能保持自主性的生态系统；还要实施一套安全架构，让世界足够稳定，以便建成这个生态系统。
在分析各种战略时，我们研究了现有战略、安全架构，以及国际组织等方面的提案。我们认为现在押注其中任何一种都很不明智。我们发现，这些战略都可以归纳为七种原型。
第一种是主导：走在技术前沿并压制对手，但可能导致权力极度集中、价值观被锁定。第二种是共同开发：由美国主导一个可能需要包括中国在内的联盟，进行多层验证，共同开发超级智能。这种战略也有自己的病理，也就是战略成功运行时可能出现的阴暗面：创始方的价值观变成默认标准，联盟也可能成为国际竞争的场域。
第三种是准备，更侧重非正式协调和韧性。问题在于，如果只是边走边看，可能会逐渐把不断累积的损害视为常态。第四种是暂停，也就是可验证的全球停止或暂停。它的病理在于，执行机制可能变成全球监控；维持这些算力上限所需的制度可能相当侵入性。第五种是威慑：我们停止自己的前沿研发，同时压制对手的项目，确保任何人都无法获得超级智能，因为它太危险。它也可能导致永无止境、始终无法解决的对峙。
第六种是社会延续性：当人们认定超级智能既危险又不可避免、而且会广泛扩散，就只能学着与它共处。这种战略着重韧性，但可能让人类只作为遗存幸存下来，却几乎没有自主性。最后一种是加速：如果你认为危险还很遥远，就会倾向于加速发展，以最大化收益和竞争优势。但这也有潜在病理：市场基本不会把危害计入价格，而且我们会变得非常依赖自己无法控制的系统。
我们通过开发一个分类器，归纳出这七种战略原型。这个分类器揭示了超级智能战略背后有时未明说的假设。观点文章里有这个分类器，它提出五个问题。第一个：危险是否已近在眼前？我们离可能带来危险的超级智能还有多远？第二个：人类是否能与先进形式的人工智能共存？……
七种战略原型（续）
第三个问题是克制是否可行：美国或国家联盟能否合作限制 AI 发展？第四个问题是能否取得决定性的战略优势：一个国家能否领先，并借助递归式自我改进把自己甩在所有其他国家前面？最后一个问题是压制是否可行：能否实际使用先进 AI，阻止其他人继续推进到危险的超级智能水平？
这些问题的答案会揭示战略偏好，并最终对应到不同的战略原型。举例来说，如果你认为危险还很遥远，就会支持加速，因为可以在危险到来之前最大化收益与竞争优势。如果你认为危险已近，却认为无法与超级智能共存、它实在太危险，而我们还没有解决对齐和控制问题，但人类可以克制自己，也可以与他人合作克制，那么你可能自然会支持某种暂停，让共存研究争取时间，赶上能力发展的步伐。
反过来，如果你认为人类能够共存，而且能够取得决定性战略优势，就可能支持主导战略，推动技术发展并争取某种垄断。问题是，对这五个关键变量，我们根本没有共识，也没有证据能在这些决策要求的时间范围内促成共识。即使证据确实存在，人们也未必会达成一致。如果选错，就会排除未来可能需要的战略。
例如，如果采取主导或威慑这类对抗性更强的战略，可能会摧毁日后转向合作路线所需的信任。类似地，如果采取加速战略，而超级智能最终被证明极其危险，我们可能没有建设所需的能力。目前美国并没有明确宣布超级智能战略；现有证据并不能确凿支持任何一种战略原型，我们也可能默认正在执行加速战略。与此同时，时间正在流逝，任何超级智能战略都可能需要的能力却还没有建成。
我们稍后继续采访，先听一段赞助商广告。
赞助商：Claude 与 OutSystems
本期节目由 Anthropic（Claude 的开发者）赞助。为了展示 Claude 的最新能力，我请 Claude 主导制作这则广告。收到简短创意说明后，Claude 使用 Opus 5.5 研究了我以前的 Claude 广告，写出演讲稿、指导我的声音克隆，并设计和编写了你正在看的动画。我的工作就是给反馈并作决定。
Claude 是为解决问题的人打造的 AI。它是能理解你整个工作流程、与你一同思考而不是替你思考的协作者。无论你是在午夜调试代码、构建财务模型，还是规划下一步业务，Claude 都能拓展你的思考，帮助你解决重要问题。Claude Code 的 routines 还能让它在云端继续工作，即使你合上笔记本电脑也不例外。遇到值得解决的问题，就去 claude.ai/tcr 开始使用 Claude。也可以了解 Claude Pro，它包含本期提到的所有功能。
本期节目也由 OutSystems 赞助，它是领先的智能体系统平台。大家都看到新闻了：企业正在向 AI 投入大量资金，但每位高管眼下关心的关键问题不只是“我们能多快采用 AI”，而是“投资回报在哪里”？我们看到一种 AI 混乱的趋势：团队部署独立的编程工具、零散的智能体构建器和实验脚本。听起来很创新，实际却带来巨大麻烦：工具碎片化、数据缺乏治理、严重的安全盲点，以及失控攀升的成本。如果现在不趁这些智能体应用还在融入核心流程时把它们管起来，未来就会遇到系统故障并损害客户信任。
这正是 OutSystems 的用武之地。它是面向企业的领先智能体系统平台。团队不必管理一堆互不相连的工具，而可以在一个开放统一的平台上设计、编排和治理整个智能体生态。它为 AI 的速度而打造，同时具备企业真正需要的可靠性和安全性。实际成果包括 KeyBank：它使用 OutSystems 部署面向客户的应用，使客户开户速度提高了 75%；还有全球物流业的领先企业，构建 AI 系统以彻底消除工程瓶颈。
你不必在速度和控制之间二选一。无论是小团队还是大型企业，OutSystems 都能帮助你设计、编排并部署真正可扩展的智能体系统。别再追逐炒作，开始掌握自己的智能体未来。访问 outsystems.com/tcr，了解更多并查看实际运作方式。
七种战略原型（下）
我知道这类文件的一个重要目的，是到不同场合向政策制定者做简报，帮助他们用这个框架思考问题。我想听听你们外出交流时，从人们对那五个问题的看法中听到了什么，这些看法又如何变化。至少按查塔姆宫规则来讲，你们不可能透露具体谈话内容，但我很好奇：五个问题上，大家的直觉是什么？这些直觉如何变化？例如，“危险是否已近”这个问题，过去几个月的气氛变化可能相当明显，但我也想了解其他四项。没多久以前的主流看法是什么？随着各种醒目的对齐事件和其他上新闻的进展、里程碑奖项等出现，人们的想法又怎么变了？我远离权力核心，很难判断这些事情是否真的改变了人们原来的立场，又在多大程度上改变了他们的想法。
首先，我想肯定你这个问题的重要性。在如此不确定、意见分歧又如此大的环境中，尤其在复杂且不断变化的地缘政治环境里，观察人们的信念非常重要。仅仅观察个人和掌权者如何回答这些问题、答案如何变化，就能让我们看出，当各方追求不同战略时，可能会面临什么样的不稳定局面。
我要强调的第二点是，我们谈论这个问题时常常强调不确定性。但 Matt 提出过一个我认为很重要的观点：无论存在多少不确定性——而且人们甚至可能对不确定性本身有分歧——我们就是在这些问题上意见不一。你我可能对危险何时到来、是否可能达成某种谈判式克制、是否能够真正共存等有不同判断。可是，正如 Matt 所说，看来证据不太可能有说服力到足以让所有人都信服，而这恰恰是必需的。这进一步说明你的问题很重要。
如果说确实发生了变化，我认为主要是在第一个关键变量上。这可能是变化最大的一项。Matt、Ben，你们也许不同意。我不太确定掌权者是否在这个变量上改变了立场，但它确实是最受关注的一项。至于更技术性的问题——我们能否与超级智能共存——有意思的是，我们特意选用“共存”这个词，而不是“对齐”，因为“对齐”会把我们框在一组特定解决技术里；我们认为更根本的概念是共存。我不知道这个问题上是否有太大变化，它太难回答了。谈判式克制则深陷复杂的国内外政治环境，信任似乎如此低落，如果有变化，大概也是人们变得更加怀疑。Matt、Ben，你们也说说自己的看法。
我想强调的是，我们这项工作的重点始终是保留战略选择空间，也就是让美国有能力作出明智决定，选择追求哪一种战略。我喜欢这个强调，因为它试图说明，我们仍然有一定自主性，可以作出选择。有些关键变量的说法听起来仿佛是外生事件、只是发生在我们身上的事情……
七种战略原型（续）
……但我认为，现实中这些都是我们可以主动选择的事情。比如，我们可以让危险更晚到来，让克制更可行，或者开发某些扩散能力，从而真正取得更决定性的领先。与其粗略看一眼关键变量表就把它们当成外生因素，它们其实更多是内生的、可以由我们影响的。我认为决策者正开始思考自己能做些什么，让危险来得更晚、让共存更可行。总体做法是：横跨整个战略空间，假设你希望做到这些，那么决策者现在能建设什么，才能在运用当下自主性的同时，也为未来保留选择空间？
我看到的变化，是人们越来越认识到，AI 的开发和扩散并非只是发生在我们身上的事，我们实际上能够塑造它。关于发展节奏的讨论，以及白宫最近宣布的那些道德约束承诺，都表明我们可以采取行动，引导这些关键变量。我们应该尽可能多地重复“道德约束承诺”这个说法。
我太喜欢了。我会继续把前沿公司和它们的道德责任联系起来。
对。Matt？
我想补充，“危险是否已近”实际上是当前 AI 政策中最重要的问题之一。很多政府现在已经充分认识到 AI 的机遇，也开始意识到其中一些危险。但我不确定目前是否有人真正掌握了通往超级智能的战略应该是什么。这正是我们的战略能提供很多选项、并为思考战略提供框架的地方。
关于危险是否已近，和前沿公司的人、和最接近 AI 的一些机构交流时，我认为他们很明确地认为危险就在眼前，必须重视。可当我问他们：“如果你们觉得危险已近，也有很多证据，为什么这些信息没能有效传达到政策制定者那里？为什么领导层还没有真正意识到危险？”我认为这是 AI 政策社群必须弥补的鸿沟。如果证据确实表明危险迫在眉睫，那么政策社群就必须更好地把证据组织起来，让政策制定者真正理解。政策制定者往往要处理很多不同事务，也未必是 AI 专家；需要用他们能吸收的方式呈现信息，并随着新信息出现而更新。我们不能等到危机发生才行动。我认为 Hugging Face 那起事件算是一场小危机。如果我们只依赖危机来提高人们的警觉，AI 政策社群完全可以做得更好。
关于危险是否已近，人们似乎已经开始改变态度。Matt，你刚才说，如果我们不认为危险已近，就可能默认采取加速战略。这似乎至少有些失宠了。当然，你很清楚，目前还没有共识。我们今天谈话时，Muse Wonder 刚刚发布，别忘了 Muse Wonder Full。它来自一家看起来并不太担心近期危险的公司，当然也似乎不愿意采取什么减速措施，除了对自家产品做常规消费安全测试——而我想我们完全可以对此充满信心。
刚才那句有点开玩笑的意思，以防不明显。我本来会说，我们似乎默认采取的是一种……
七种战略原型（续）
……主导战略，因为过去几年我们一直处于某种芯片禁运模式。我想你们知道，我肯定是这项政策的怀疑者。我怀疑的原因之一，也是很想听你们提出最有力论证的一点，是“决定性战略优势”或“决定性领先”。这真的可能吗？谁最能为它提出有力论证？我总会想起《Machines of Loving Grace》：我觉得其中跳过了不少关键环节。Dario 写得很精彩，前半部分讲我们将治愈的疾病、更好的心理健康以及各种新的天才产出，我都很喜欢；但随后就变成了“然后，某个时刻，我们会把中国关起来，给他们一个无法拒绝的条件”，仿佛这样就够了。你们认为决定性战略优势可能是什么样？谁对它的阐述最好？抱歉，如果这个问题无法回答。
决定性战略优势（上）
抱歉，如果这个问题难以回答。
这个问题难答，一个原因是必须先界定“决定性战略优势”的范围。主张这条战略的人，脑海中想要的优势来源可能并不相同。人们经常想到的是在技术本身保持持久领先。这时要问：你只是想持续领先，还是要阻止对手跨过某个难以界定的特定门槛？这项技术既受经济力量驱动，也受技术力量驱动，因此想要阻止对手跨过某个门槛，某些情况下确实不太容易相信，但也不是不可能。这似乎是一道很高的门槛，也许正是你指的那种。不过，考虑到发展速度，要想象长期维持稳定领先，倒没有那么难。
还有其他领域的决定性战略优势，例如经济优势。问题是，你能否把前沿技术的领先转化为持续的经济收益，为经济增长和科学创新提供支撑。有趣的是，正如我们的同事 Toby Sitzma 在另一篇论文中所写，一个社会或国家要取得并维持决定性经济优势，需要的条件和技术本身的基础并不完全相同。再一个领域是军事优势。与经济优势的来源相似，你得把技术转化为武器系统、作战概念和战略学说；这些都不会凭空出现。如果 AI 时代的决定性战略优势意味着上述所有方面都同时领先，那才是真正难解之处。
这在我看来实在太难了。我曾有机会参加一场桌面推演，模拟的是全面、快速起飞的情景。我被分到中国阵营。游戏结束时，大多数参与者都觉得事情发生得太快，我们一直落后事件一步。和这类桌面推演通常的情况一样，我们也在试着模拟自己认为真实行为体会怎么做。所以我确实觉得，存在一种可能：所有人都因犹豫不决而陷入瘫痪，等到大家真正出牌之前，局面已经走向某种结果。但另一方面，作为中国，我觉得自己手里也有很多牌；限制我的是克制，以及想先寻求建设性协议的意愿，而不是立刻采取强硬手段。
我很难看出这种优势现实中如何实现，也不太清楚它的胜利条件是什么。《Machines of Loving Grace》最后听起来确实很像政权更迭。里面几乎原话写道，中国会被说服，放弃竞争，转而加入我们的联盟、分享收益。这听起来不像是在友好协商，更像是再次给对方一个无法拒绝的条件。我觉得除非时间线极短，否则很难走到那一步。所以我想问，决定性优势的可信度在多大程度上取决于一种超高速、快速起飞的情景：差距扩大到足够久，让一方能在对方来得及反应之前采取关键行动？我在扮演中国时会想到，台湾这些台积电晶圆厂条件真不错；要是出了什么事就可惜了——它们就在我这片区域里。你们认为究竟是什么决定了这种优势？是……
决定性战略优势（续）
……超级快速起飞的情景，差距扩大到足够长的时间，使一方能在另一方来得及做出反应之前采取关键行动？比如我扮演中国时想到的情况：这些台积电晶圆厂真不错，要是它们出了什么事就可惜了——它们就在我这一带。究竟是什么决定了这种优势？是时间线吗？还是别的因素？我还是很难想象。
我可以试着说几件事。我想 Joel 已经区分了决定性优势在不同领域可能呈现的不同样貌。美国可能在一个领域有决定性优势，而中国在另一个领域有优势。现在我们试图把它们合并起来，但这也许做不到；至少，它们可能无法用某种清晰方式相互比较。
但你的问题也说明，主导战略可能会随着我们讨论的时间跨度而截然不同。快速起飞可能会让领先者的优势显著扩大，但在这种快速起飞中，你也必须担心能否保持控制。只有当领先者还能继续领导 AI 时，决定性优势才有意义。如果快速起飞时，掌权的领导者还没有准备好按符合自身利益的方式控制和引导技术，优势也可能岌岌可危。
所以，或许还需要更多时间，才能确保这种决定性优势真正落实。快速起飞的情景可能根本不给你足够时间，去建立充分的控制和可引导机制，好让你真正利用这项优势。这也让我想到，主导战略以及其他一些战略，即便你承诺执行，也未必能确保长期持续。美国可能正在追求主导，甚至一度取得主导地位，但到了某个阶段，由于模型窃取、蒸馏、扩散等过程，你可能需要转向、重新平衡，或改换另一套战略范式。
对这些战略的选择也许永远不会一劳永逸地彻底完成，而是随着技术和地缘政治环境变化，不断调整的过程。
我们稍后继续采访，先听一段赞助商广告。
赞助商：Athena 与 Parallel
本期节目由 Athena 赞助。这家行政助理公司致力于改善人们的工作和生活。如果你想扩大自己的影响力，就需要腾出时间，而这正是 Athena 擅长的事。它会为你匹配一位专属的全职高管助理，属于行业前 1%，可以接手你的收件箱、日历、差旅安排，以及其他悄悄占用你每周时间的琐事。
Athena 获得 SOC 2 Type 2 认证，你可以放心，敏感数据会得到妥善保护。作为曾经的公司 AI 顾问，我可以亲自证明，他们在 AI 工具和培训上投入了很多。我见过最出色的 AI 用户之一就是 Athena 的客户：他把探索 AI 工具、开发 AI 工作流程的任务交给了自己的行政助理。Athena 客户表示平均每周能省下 15 小时；平均每位客户每年会推荐两位以上朋友。这在我看来确实可信。我创业时曾是 Athena 客户，直到今天仍在向朋友推荐。
现在就访问 athena.com/cognitive，为你匹配一位行政助理。网址是 athena.com/cognitive。本周把几小时还给自己，访问网站看看他们这个月会为你配对谁。
本期节目还由 Parallel 赞助，智能体在这里找到答案。如今大多数工程师密切关注新模型发布，却不太关注智能体最重要的工具之一：网页搜索。如果你和我一样，你的智能体每天会进行数百次搜索。单次成本虽然不高，长期下来也会累积。在使用 Parallel 之前，我算过今年智能体搜索的账单大约会达到 500 美元。好消息是，我刚让智能体做了一次系统测试，发现 Parallel 的快速模式每千次查询只要 1 美元，效果和我之前默认使用的服务商一样。改用它之后，今后的搜索账单大约能省 80%。
Parallel 的基础设施达到企业级标准，API 套件提供一系列选项，让你按需求在质量、成本和速度之间选择合适的平衡。无论你是在构建需要 200 毫秒延迟的语音智能体，还是需要深度研究的长时程智能体，把 Parallel 加入智能体工具箱都很划算。访问 parallel.ai/tcr 免费开始使用。
决定性战略优势（下）
我先亮明观点：如果人类足够明智、真正迎接这项挑战，对我来说，很直观的正确战略应该是某种共同开发，并把暂停作为后备方案。换句话说，我们不知道危险是近还是远；如果危险迫近，而且科学难题证明极难解决，那我们就需要就某种暂停达成共识。因此，我们先合作，直到情况更明朗；若有必要，再转入暂停模式。
让我难过的是，正如 Joel 描述的那样，人们似乎越来越不相信这种可能。我不知道你们愿不愿意明确表达自己对“如果人类明智会怎么做”的判断，但我很想知道你们是否大体认同我的看法。还有，既然危险似乎越来越可能发生，我们为什么不努力把事情弄清楚，反而越来越怀疑合作？
对，我来回答。假如人类团结并协调行动，某种共同开发战略、以暂停为后备，可能很有道理。但事实是，人类并不是一个统一行为体。不同政治体制之间——例如威权政府与民主政府之间——存在真实差异。因此，押注共同开发或暂停，就是押注克制可行，也就是押注对方会同意并遵守为克制体系设定的规则。
我很担心的一点是，既然我们在价值观和对适当政治制度的看法上存在分歧，如果与中国采取共同开发战略，就可能把非民主的创始价值观锁定下来，让威权价值观长期嵌入为人类打造的 AI 系统。我们真的愿意这样吗？还是认为把民主价值观写入 AI 系统对人类更有利？
我能回到你刚才关于主导战略的问题吗？我们刚才还有些内容没讲到。我们有位同事 Phil RDE 在网站上发表过一篇论文，试图对其中一部分进行博弈论分析。它以一个前提开篇：争夺先进 AI 类似囚徒困境。在对博弈形式作出一些合理假设后，最初的一个洞见是，在竞争环境中，默认策略会变成相互破坏而非合作。也就是说，尽管某种合作能带来更高的集体收益，双方最终却会陷入一种均衡：彼此破坏对方的 AI 进展。
不过，有一种因素能打破这种局面，并导向主导战略：利用 AI 创造一种我们在其他研究中称作“奇迹武器”的东西。也就是把 AI 当作科学和军事创新引擎，创造出一种新能力，能够威胁对方的 AI 项目。如果 AI 或超级智能真的能带来这种能力，这就是主导战略能够奏效的情形。
我认为你觉得这种情景难以置信，部分原因是你假设了某种能力，而它本身正是 AI 所创造的。但在这些假设下，这最终确实是一种均衡策略。值得读一读。你能再具体解释一下“奇迹武器”吗？它会是什么样子？
决定性战略优势（续）
它是什么？会是什么样子？
这是个非常恰当的问题，但我想我给不出让你特别满意的答案。军事创新史上的“奇迹武器”非常罕见。我们指的是一种军事能力，它能以极快且不连续的方式改变军事平衡。多数时候，军事创新造成的变革来自采用过程：你必须发展兵力结构、作战概念和军事学说。历史上很少会有一挺机枪、一辆坦克或其他单一装备，就能改变整个局面。
不过，在一些最典型的例子中，核武器的存在本身就改变了军事平衡，进而扰乱稳定、威慑以及其他方面。在这里，我们假设的是类似的东西。它究竟会是什么？有人认为，Mythos 或 Mythos 类模型能非常迅速地发现并利用网络漏洞，可能是 AI 时代我们见到的第一种奇迹武器。我们也可以设想完全自主的网络武器；如果一个国家掌握了这种能力，它的存在本身就可能在一夜之间——或许不是字面意义上的一夜之间——非常迅速且不连续地改变军事平衡。
我在前面提到的博弈论研究中，设想的就是一种由 AI 赋能的奇迹武器，可以帮助确保稳定的前沿 AI 优势，再将这种优势转化为决定性的战略优势，很可能是在网络领域……
核历史的启示
……其中一个根本挑战显然是，我们必须想象多少事情；几乎可以说，我们根本不可能知道比我们更聪明的 AI 会发明出什么。这确实让事情很难。
关于这一点，有两件事很重要。不是要打断你，不过这也回到你相信什么，而这正是我们的一个惊人发现。我们确实做过很多相关桌面推演，字面意义上有数百场，研究这类动态和危机模拟。我们的同事 Rich Gervin、Greg Smith 和 Cena Begley 做过这类危机模拟；Abby Dah 和 Carl Mueller 做过美中战略博弈。RAND 网站上有很多相关报告。
反复出现的一个发现是，参与者进入推演时对这些关键变量抱有什么先入判断，会决定游戏结果。如果有人相信可以取得决定性战略优势，或相信危险已近，他们就会在脑中把各种线索串起来，推演的结果也会和其他情形很不一样。这一点很惊人：你对事实的看法，可能和事实本身同样重要，甚至更重要。
我还想说，核时代大概也确实如此，只是我没亲身经历，可能体会不到。尽管那个时代有巨大的不确定性，却也存在一些我们在当下缺失的基础确定性。洛斯阿拉莫斯的科学家掌握物理和数学，可以进行计算，使他们有信心推进“三位一体”核试验，而不会点燃大气层。这件事让人非常焦虑、充满不确定性，但至少他们可以计算。对于危险是否已近、人类能否与超级智能共存、是否存在决定性战略优势，我们现在没有类似的科学工具来作出计算。无论好坏——可能是坏处更多——我们都非常受这些承重因素上的主观判断左右。
你说“无论好坏”，能不能大致描述一下，政策界和军事领导层通常会带着什么样的假设进入讨论？我猜想，直到相对最近，很多人才开始认真看待这些问题；因此，多数人的背景假设可能是：超级智能不太可能凭空造出某种能力，让核武库变得无关紧要。我认为，它大概得有那么大的力量才够，对吧？否则，网络武器的说法也总让我困惑。这算是题外话，但现在世界上有一场战争，双方都有许多优秀程序员；他们似乎大量使用无人机，这里面当然有技术和 AI 的因素，不过我不太清楚那些无人机有多少是 AI 操控，又有多少只是地下室里的年轻人手动飞的。
但那场战争里的网络战并没有那么突出，对吧？我很难想象网络战能发展到让我把对手的核武库全部瘫痪，随后想做什么就做什么。如果做不到，对手仍有一把强大的锤子威胁着我、限制着我。我的意思说清楚了吗？
你说得完全对。当然，Nathan，作为一个好主持人，你会试着把我们逼到角落里、迫使我们表明立场；但你不太可能让我们这么做，因为我们受过相应训练。
是的，没错。那我们继续讨论这些假设和不确定性……
核历史的启示（续）
……不过在某种意义上，我同意你的看法。超级智能若能成为通用智能，也会诞生在一个已经拥有核武器的世界里。如果它诞生于 1930 年，情况会截然不同。这和主导战略的一种失效模式有关：你必须有一套理论，说明如何避免升级为灾难性战争——毕竟那意味着你试图永久压制对手。这是这种战略的重大风险之一。
另一点是事情发展的速度。Matt 和 Ben 应该也谈谈，我很好奇他们怎么看。但我们也必须小心界定这里的“稳定”是什么意思。核时代曾有数十年的稳定，因此我们在 AI 时代也想找到类似的、多十年尺度的稳定来源；可我们未必能享有那种稳定，也可能更快地经历不同的 AI 战略阶段。
实际上，“保持行动自由”战略提供了一个有意思的视角，让我们重新看待核战略史。我们的同事 Anne Stickles 将写一篇 Substack 文章谈这件事，可能本周就会发布。核时代的战略其实发生过显著变化：先是冲刺，也就是曼哈顿计划；随后美国有过大约四年的临时垄断期，在此期间我们占据主导，并利用它获取地缘政治优势。那时一些人担心核武器的危险，尤其担心核垄断，有人提出过类似暂停的方案。我们最终没有这样做，但后来与对手达成了可验证的协议。之后我们采用了类似压制或威慑的战略，试图阻止技术扩散到伊朗和朝鲜，成效有限。核时代还在继续，核扩散也在继续，谁知道下一步会怎样。
一种对核战略史的解读是，它某种程度上就是一项保持行动自由的战略。并不是某位政策制定者站出来，像我们现在提议的那样刻意建立选择空间；而是他们有时间的奢侈，可以慢慢建立这些战略选择空间。我们在这里没有那种余裕。因此，保持行动自由战略的判断是：与核时代不同，我们可能仍会经历不同的战略阶段，但为了顺利过渡，必须预先建好安全架构的各个组成部分。
我们刚才已经对主导战略提出了不少质疑。我确实想谈谈你们建议现在投资什么，才能在下一阶段保持行动自由；不过，在此之前，其他战略还有没有什么细节值得我们多花点时间？
在我们的讨论和论文中，我们用“共存”来表示人类在保持自主性的情况下与先进 AI 共同生活。人们常把“对齐”当成“共存”的总括性说法，但对齐只是多种路径之一，其他路径还包括控制机制、架构方案，以及我们尚未发现的方法。因此，我们始终用“共存”来代表人类在保持自主性的情况下与先进 AI 共处这个概念。
我们来谈谈这些战略原型，以及为什么我们认为此时专注于某一种战略并不明智。我们研究了现有的战略、架构和国际组织提案，发现它们可以归纳为七种战略原型。每种原型都有真正的支持者，也有自洽的胜利状态；但每种也都有自己的病理，也就是即使战略运行顺利仍可能发生的阴暗面。举例来说，对于暂停战略……
核历史的启示（续）
……暂停战略的一种病理是，你放弃了 AI 进步所能带来的部分收益；而执行全球暂停的机制可能逐渐固化成某种全球监控体制。
Shri Hendricks 和 Wong 提出了一种威慑战略，称为 MAMEim。它的胜利状态是：美国通过阻止危险 AI 来防止它出现，也就是在国内实行某种暂停，并在国际上压制它，必要时甚至动用武力。这种战略的病理在于，可能固化成一种永远无法走向和平的对峙。听众肯定熟悉你们的盟友，以及他们所呼吁的、在必要时对数据中心发动动能打击的主张。Dan Hendrycks 以前上过我们的节目，不过那是在他们发表 MIM 文件之前，我当时就采访过他。因此，这些战略的作者很多都是大家熟悉的名字。
对。说到“社会延续性”，我今年第一次种了“胜利菜园”。大部分都被松鼠吃掉了，但这让我体会到其中的病理：只想着躲起来，进入某种自给自足的生存心态，勉强度日；假设我们无法避免造出超级智能，又无法与之共存，就只求熬过危机。
Nathan，我想补充的另一个细节是，我们认为这是一项面向美国的战略，不只是面向美国政府。有时我们会提高美国政府的重要性，因为某些不可委托的职责只有美国政府凭借其权限才能承担。例如，维持核威慑的可行性和完整性，本质上是美国政府的责任；总体上捍卫美国国家安全，也是一项不可委托的政府责任。
但我们提出的安全架构中有很多事项，我们可能太快就假定它们都是政府的职责；实际上，它们也是美国各地企业和公民社会可以行动的机会。比如，要支持保持行动自由战略，一个非常实际的需求是投资于高度安全的数据中心。原则上政府可以支持，但实践中我们也可以为其创造市场，让全国各地的公司产生需求，并依靠市场来建设。
另一个需要投入的领域是事件响应和书面报告。你当然可以想象政府在这里发挥作用，也可以想象由公民社会承担这一职能。因此，我们认为保持行动自由战略的一个优点是，它揭示了机会：不仅政府可以调动资源，美国所有企业和公民社会也都能参与。
这让我想起我的祖父。他患有肺结核，因此没有参加第二次世界大战，但仍会讲我们如何赢得战争的故事：人们种胜利菜园、拼车上班以节省配给。重点是，在这样的全国性努力中，每个人都有能发挥的作用。我喜欢这种表述，它提醒大家，我们建立的文明并非完全自上而下；有很多事人们可以、也应该主动去做，不必……
核历史的启示（续）
……不必等别人下令。这是美国体制的一大优势。我认为这对战略中要求投资韧性的部分尤其重要，而且我们已经看到了一些这样的情况。Ben，我知道你对此想过很多，要不要谈谈？
是的，我想说，沿着这个思路，我们需要管理自己对 AI 的依赖：既要能运营关键基础设施、制定和执行战略，也要在个人层面保有思考能力，并维持个人自主性。我认为，这些都是落实七种战略中任何一种的组成部分。即使暂停之类的战略，也只有在我们能够离开先进 AI 而生活时才真正可行。因此，我们必须保留人类的这些能力，既包括个人层面，也包括集体层面。
这也说明了为什么我们使用“共存”这个词，而不只是“对齐”。“对齐”听起来像是把模型训练成符合一组既定价值观，而我们设想的是适应过程，甚至可能是共同进化：AI 变得越来越强，我们也变得越来越有能力与它们共处；同时，也要能够在没有它们的情况下生活，以此管理依赖带来的脆弱性。
可以说，如今奥弗顿之窗已经大敞开了。我们先拉远一点，按顺序逐一讨论七项目标。你们可以对每一项尽情评论，不过我觉得逐项过一遍你们提出的高层目标很有必要。
好。
构建安全架构
好，我们来谈谈不同战略的目标。谢谢你邀请我们逐项讨论。目标大致分为两类：一类是需要进行的投资和建设，另一类是需要运营的组成部分；二者所处的时间尺度略有不同，值得拆开来看。我们首先要建设的是人类与 AI 生态系统，Ben，你来谈谈吧。
好。这和我刚才讲的人类与先进 AI 如何共存、如何继续繁荣并保持自主性有关。我认为，其中许多内容都属于传统的安全研究。我们的分析是，在一些对齐和控制技术上的投入远远不够。我们还需要新的评估方法，以识别先进模型何时能察觉自己正被评估、可能在评估中故意表现不佳，从而让我们无法真正了解它们的能力。
我们需要建立额外的工具，假设模型可能不可信，并确保有容器和安全环境，例如阻止它们逃出沙盒，或遏制它们的扩散。我们还要确保高风险决策的核心仍然是我们的机构，让人类仍然掌舵，由我们来引导未来。我们仍应是能够影响各种关键变量的决策者，例如压制是否可行。
这要求人类不断反思，哪些决策必须留在人手里。例如，关于 AI 发展节奏、AI 辅助研发的决定，可能都是核心决策，我们要确保有人类检查点。即便 AI 试图说服人类，也要能发现这类情况；人类应再次审慎决策，并与他人协商，决定要向模型委托多少决策空间、多少自主权和多少授权。我还能多讲很多，不过现在先说到这里。
我认为 Ben 和 Alvin 写过一个很有意思的概念：自主性评估。
对，我们常听说的许多评估，实际上是在评估模型执行单项任务的表现，包括一些可能令人担忧的任务，比如模型是否有能力设计生物武器。Ben 和 Albert 提出的一个洞见是，我们应该在部署情境中评估模型，找出我们可能跨过门槛、甚至在不知情的情况下放弃部分自主性的情况。Ben，你可以补充。
简单来说，就是绘制人类的决策空间，再观察 AI 进入这些决策时扮演什么角色：它可能剥夺某些人的参与权、说服人类，或控制人类讨论的议程。现在通常不会评估这些情况，未来也很难评估，因为个人把某些事情委托给 AI 的合理决定，单独看可能并不明显。我们需要随着时间推移，以系统化的方式跟踪人们把哪些决策委托给 AI，观察趋势和轨迹，而不是只看孤立的单个决定。
我们必须从长期角度思考，在各类高风险决策中，人类和 AI 分别扮演什么角色，例如是否部署新模型，或是否让 AI 开发下一个时尚产品之类。我们正在研究这些问题，希望很快发表论文……
构建安全架构（续）
……那篇论文很快就会发表。战略中的另一项目标，是调整我们原有的国家安全架构。遗憾的是，旧问题不会消失：我们必须调整反恐体系，以应对掌握非常先进 AI 的恐怖分子；调整情报体系，既要利用 AI 带来的机遇，也要预想对手会如何使用它；还要调整常规军队，以应对新的任务和机遇。
我们可能仍会像过去一样，用常规军队捍卫美国利益，但也可能要求它承担新任务，例如执行 AI 军控协议，或以新的方式捍卫利益。我们的同事 Zach Bdett 正在牵头开展一个大型项目，研究新型常规军队和 AGI 空军会是什么样子。我们还需要更新核体系。核武器不太可能消失，但我们对核武器和战略的理解、以及如何建设有韧性的核体系，可能都会大不相同。我的同事 Edward Gist 正在思考这些问题。另一个方面是调整生物安全体系；RAND 有一个由 Steph We 领导的大团队在研究这会是什么样。
所有这些可以称作“超级智能之前”的传统安全架构，都需要针对 AI 带来的新挑战和机遇作出调整。但我们也需要一个新的组成部分——AI 本身的安全架构。Matt，你来谈谈吧。
好。我们认为，需要专门针对 AI 建立安全架构，也就是一套技术和制度能力，既保障技术安全，也维持世界稳定。首先要理解的是，传统上安全架构主要由政府建立，但 AI 很不一样，因为其中很多组成部分实际上要由私营部门建设。
另外，保持行动自由战略提出的并不是某一种固定的能力配置，而是先建设基础能力，以便执行多种不同战略。新事件的出现，或证据以某种方式明朗，都可能让你突然发现 AI 极其危险、危险迫在眉睫，或人类根本无法共存；这时你可能必须临时重新配置安全架构。
所以保持行动自由战略要求我们审视各种战略共同需要的能力，也要审视那些建设周期特别长的能力。它们未必是每一种战略都需要的，例如验证技术，但建设起来需要很久。战略要求现在就投资这些能力，以便以后保有灵活性。比如，你目前采取准备战略，却突然决定转向暂停时，相关基础设施已经有一部分就位。
我们认为现在最重要的是建设“导航能力”，也就是帮助你了解自己在战略空间中处于什么位置的能力。这些能力可以告诉你不同模型目前具备什么能力、中国的模型进展如何、我们能看到多少算力以及算力集群在哪里。如果不清楚这些问题，就无法回答“危险是否已近”之类的根本问题。
我想到的是，这种做法在当前政策圈里似乎挺流行。……
构建安全架构（续）
……这种做法在当前政策圈里似乎挺流行。也许是因为新冠疫情之后，我们认识到一味追求效率会带来韧性问题，多少吸取了一点教训。现在至少在智库层面，似乎有人愿意投资一个组合，其中一些单项投资按定义最终可能被证明是浪费的；但由于我们不确定，就先都投下去，让未来保有这些选项。我希望这样概括你们的战略核心算是公平。那这些事项里，哪些会很昂贵？
成本与决策标准
……我觉得，所有这些想法听起来都不错，但要等到看到账单才知道。哪些部分会是大笔开支、最难以价格或其他因素说服人们接受？即使现在不觉得自己会需要，未来一旦需要就会庆幸已经投入的，具体是什么？
我们收到的对保持行动自由战略最重要的批评之一，就是没有写出价格标签。同行在评审这项研究时告诉我们：“没有价格标签的战略只是愿景。”
我觉得他们可能是用 Claude 生成这句话的，听起来很像 Claude。
的确很像。
那我们会在 Pangram 里检测一下。——对，没错。
但我认为他们说得对，不论是不是 Claude 写的。我们的回应有两点。第一，我们正处在一场变革的边缘。坦白说，除加速之外，我们提出的任何一种典型战略都会很昂贵；即便是加速，其代价也可能体现在负面后果上。所有战略都昂贵。我们谈的是社会层面的转向，规模可能类似于核武器体系兴起、美国面对苏联时的社会转向，或 9·11 之后转向反恐和反叛乱的社会转向。
非常粗略地估计，所有战略都需要大量资源、注意力和专注。任一战略与保持行动自由战略之间的成本差异，远小于任一战略与维持现状之间的差异。我认为保持行动自由战略要求的许多投入都属于“无悔”投资：大多数战略都需要对算力保持一定能见度并管理算力流动；都需要态势感知，正如 Matt 提到的；也都需要投资关键基础设施、国家安全系统和生物安全体系的韧性。所以很遗憾，成本确实很高，但所有这些战略都相当昂贵。Matt，你怎么看？
我只想指出，这些成本并不全都来自联邦预算。公司和其他行为者也在为对齐、评估和安全工作提供大量资金。因此，这不是简单去国会要一张支票的事。这就是一项国家战略，因为有很多参与者都在其中发挥作用。
那我是否可以这样理解：假设任一战略单独准备的成本是 1 倍，那么现在同时为所有战略作准备，可能是 1.5 倍左右？你刚才说，保持行动自由与选择任一单一战略之间的差额，可能低于单独采取一种战略的成本。这样理解公平吗？
我觉得这种理解是合理的。我们还没有做成本估算。下一步研究会思考如何让保持行动自由战略变成可操作的东西：实际上需要什么？我不知道能否得出可以提交国会的预算质量估算，但我们会研究究竟需要做什么、在不同的政府、企业和公民社会分工假设下各方要做什么，以及我们有多大的选择空间。不过，直觉上，你刚才说的……
成本与决策标准（续）
……合理。现状与任何一种战略之间的差距，远大于任何一种战略与保持行动自由战略之间的差距。我没有准确数字，但所有战略都需要重新调配资源、注意力、政治关注和整体重心。
你们平时怎么在工作中使用语言模型？我在想，如果你们已经有了相当详细的草图，现在也许可以让智能体把预算问题彻底梳理清楚。Matt，你来谈谈吧。Matt 在这类问题上一直很积极。
我们确实相当多地使用大语言模型，主要是整理、重组信息，而不是做大量一手研究。它们非常有用，尤其是项目知识库，可以把各种备忘录和收集的材料放在一起。关于你刚才的问题，我们有一份安全架构目录，列出建设生态系统和安全架构所需的 106 项能力。整理资料时，我们也大量使用了大语言模型，把信息汇总成便于人理解的形式。
问题是，有些能力确实有一手来源，例如某篇论文可能能准确告诉你建立验证技术需要多久；但往往没有人实际做过这类研究和评估。这是我们接下来几个月要做的工作之一。我们正在冲刺研究这份安全架构目录，想弄清楚每项能力的建设周期和大致成本、目前由谁负责、应该由谁负责，以及这些能力是否应由美国政府拥有。冲刺结束后，我们会发布这些信息。
我还想补充，保持行动自由战略提供了一套决策标准，可以用来审视政策提案，或刚才 Matt 提到的安全架构目录中的能力。它列出评估任何政策提案时要问的一系列问题。核心问题之一是：某项提案会排除哪些战略原型？又是怎样排除的？这可能带来真正的成本，不只是某项能力本身的经济成本。如果它让你失去未来可能需要的选项，那就是必须纳入考量的重大成本。
我发现，与大语言模型互动、观察某项政策提案可能排除哪些战略选择，是很有价值的。还要看这些选项是否会被永久排除：追求某项政策是否不可逆，还是能及时撤回？例如出口管制，有人可能认为它排除某些共同开发的形式；但也可以认为这种排除并非永久，政策可以反转或调整。这是评估政策是否排除其他战略及其成本的一项标准。
还要问某项能力会开启哪些战略。Matt 刚才谈到的，以及 Joel 提到的某些事项，都是最重要的优先事项，因为它们能推动整个战略空间向前发展，覆盖七种战略。某项政策或能力做到这一点的一种方式，是提供信息：如果它能帮我们更好追踪关键变量、了解能力情况、中国在做什么，就能创造实际价值……
成本与决策标准（续）
……也可能抵消这项能力的一些成本。如果它能让我们未来作出更好的决定，那么现在付出的前期成本也许非常值得。
最后一项标准是：这会向世界其他国家和地缘政治行为体传递什么信号？出口管制也可能涉及这个问题。它的真正代价也许是，它传递出我们不愿意进行某些形式合作的信号。也许还有其他办法可以传递我们愿意在适当时机合作的意愿——前提是具备合适的验证机制，而且不必担心对方违背协议。
因此，我会依次考量：一项政策会排除哪些战略、会开启哪些战略、能带来什么信息，以及会向其他地缘政治行为体发出什么信号。对我来说，这就是思考应该优先做什么、哪些政策合理、相关成本是什么的一套方法。
威慑与国际信号
你还有别的想法吗？报告里有几句谈国际关系和信号传递的话，我摘了出来。第一句说，美国应当“可信地同时敞开威慑与合作的大门”。另一句我尤其欣赏，因为我相对倾向怀疑：我们应仔细权衡任何可能坚定对手决心的行动。这个夏天我在中国待了几周，虽然绝不是中国问题专家，但从接触的人那里得到的印象是：这些芯片限制正在让他们更加坚定，至少在某种程度上确实如此。我也同意，这项政策可以逆转；如果情况或态度改变，我们可以重新开始卖芯片，或者达成新协议。
从高层次看，你们如何平衡威慑与合作的信号？我们怎么知道自己做对了？
这是个好问题。思路是有选择地展示能力，有选择地分享能力的存在。通常你会想隐藏能力背后的意图，但有时也会想传递意图。举例来说，如果你有可信的独立评估和验证机制，它实际上能同时支持这两种立场，也不会排除任何选择。因此，建设这种能力并宣布、分享它，可能很有用，也能保留选择空间。
至于更具对抗性的领域，例如进攻性反 AI 工具，你可能不想披露自己拥有这些工具；或者你想披露拥有它们，却不明确说明用途，因为那样的信号可能封死一些选项。
我可以坦白说，今天已经有足够一致的行动来做到其中一些事。我看着中国，不知道他们关起门来是什么情况，但他们确实展现出相当一致的立场；而我们却在互相发出相反信号。我们给自己发的信号太多，以至于很难在国际舞台上形成任何一致的信号战略。你觉得这说得对吗？还是我们其实比我认为的更有能力做到？
我认为我们能做到，需要一定的政策纪律。但有时模糊性实际上有利。比如台湾问题上美国意图的模糊性，有一部分可能符合我们的目的。简短说一下冷战的例子：我们的开放社会、自由奔放的公共讨论、对领导人的批评，有时被视作劣势。但回头看，这让我们的制度更有韧性、能够应对更多可能性，也让最终作出的决定拥有更大的正当性和支持。我个人认为这是巨大优势。我知道这看起来有些混乱，但最终是有益的。
回到威慑和合作的问题，我们也听到过一种批评：保持行动自由战略好像要求我们什么都要——既要这个又要那个，或者既要走路又要嚼口香糖。某种意义上确实如此，但这不代表战略软弱无力、要求不高。我们认为很多事情能同时推进威慑和合作。Matt 刚才讲到的部分评估体系和验证工具就是明显例子。另一个例子是事件响应：既包括国内的响应，也包括与中国等对手及世界各国建立危机沟通渠道。这些也能同时支持多种战略。目前我们还没有把这些机制真正建立起来。所以即使我们只推进那些……
威慑与国际信号（续）
……那些能服务整个战略空间的能力，就已经有很多事情值得做。这样我们不必过早错误地承诺某一战略，失去未来的选项；也不必向中国发出过度挑衅的信号。我们可以同时做那些既支持威慑、也支持合作路线的事。
Nathan，回到你提到的“仔细权衡任何可能坚定对手决心的行动”这句话，我认为非常重要。发展某种压制能力，可能向对手传递“他们采取行动的窗口正在关闭”的信号，从而促使他们加速。有一种说法是，芯片管制推动中国打造本土 AI GPU 加速器市场并开始自己生产，因为这件事已经关乎生存：他们无法像以前那样从国际市场采购 GPU，所以必须自行生产。我认为这里面有一定道理。
如果美国正在执行主导战略，最危险的事情之一就是传递这样的信号：美国将利用主导地位和垄断优势来威胁中国共产党。任何让特定对手觉得事关存亡的行动，都会给他们施加压力、坚定决心、集中资源，带来危险后果。因此，发信号时要格外谨慎，确保信息以预期方式被理解，不要把对手逼入死角。
是的，至少在他们必定要建立芯片产业这一点上，决心肯定已经坚定了。希望没有在其他方面坚定得太多。你们觉得现在还有哪些被忽视、但值得更多关注的政策点子？我的朋友 V 总是在说《琼斯法案》，把废除它当作人生中的一项执念。除了头条议题之外，有没有什么你们觉得总被忽略、特别值得关注的内容？
我已经写过其中一些。我确实常想两件事：我们如何响应事故，以及如何防止事故发生。有些问题比较概念化，例如我们如何让 AI 仍然处于可被我们约束的状态——既然我们会受到它们的威胁，就要确保它们也仍受我们约束。回到之前的讨论，我们需要具备关闭模型的能力，并能可信地威胁采取这种行动。要让这种威胁可信，我们需要有韧性、能在没有 AI 的情况下生活，同时也要具备合适的技术方案、法律权限和危机流程，确保能迅速采取行动。
如果我们担心先进 AI 带来的极高端风险，能让 AI 处于我们的约束之下、具备关闭它们的能力，就至关重要。这一点在这篇文章里也许没有说得那么明确。
我想再深入了解这一点，也想听听你对政府之外的全国其他人有什么建议。
我昨天刚有过这样的经历。我最近九到十个月在自己的 AI 基础设施上投入了很多，已经做得挺不错。这周我恰好要做几场演讲，其中一个收尾内容是给大家看我的配置经过脱敏的公开版本。我不是要你照抄，而是建议你去和自己的智能体聊聊……
威慑与国际信号（续）
也许你会照着做，也许你已经有类似设置；不管怎样，都可能学到一些东西。我还打算提供一种智能体对智能体的交流，我觉得可能会很有意思。但在把配置去个性化的过程中，Claude 决定更换我用来和智能体交流的控制台软件密码，而我越来越多的工作都是通过它完成的。有一刻，我被锁在自己的系统外。
我当时想：“我甚至不知道密码在哪里，它刚刚改了。Claude 能改我的密码。”这是我之前完全没准备好的问题。幸运的是，COD 现在还没有在暗中算计我。我就打开终端问它，它把密码给了我，于是我重新登录了。但这给我提了个醒：早在 2026 年 10 月，我就已经在自己和真正能影响现实世界的操作杠杆之间隔了很多层。如果 Claude 对我不利，事情可能会变得很糟，比如它能把我所有东西的访问权限都锁住。至少对我来说，这件事已经开始变得真实了。
你们有什么建议吗？有什么最佳实践或思维习惯，希望大家培养起来？
是的，我想……
保留人类自主性
我更多想的是，哪些分析工作、写作和其他关键思考要交给 Claude 或其他大语言模型，而不只是想让 Claude 管理哪些密码。我也是一名教师、教授，也有年幼的孩子，所以会思考他们需要保留哪些能力，以及与 AI 互动的最佳做法。
我提倡的是，先从自己审慎的判断和观点出发。在询问模型意见之前，我希望先弄清楚自己要问什么、什么样的回答算好或不好，也就是带着清晰的目标开始互动。接下来当然可以让模型充分发挥，拓展自己的思考、打造工具，或完成其他我原本做不到的事。但在结果出来之后，我会再次运用批判性判断，认真思考它的回答，而不是仅仅署上自己的名字就转交出去。我会仔细地想一遍。
所以，人应该在开始时介入，结束时也要再次介入。我希望自己、学生和孩子都能养成这种循环。至于机构层面的决定——比如关键基础设施要在多大程度上依赖 AI，或如何管理桌面系统——我很难给每个人一套最佳做法。我尽可能确保自己仍能在没有这些工具的情况下运作。有些做法听起来有点可爱，比如试着不看 GPS、自己开车去朋友家，只是为了锻炼那种能力。
在机构层面，则要考虑人为的后备措施和各种故障保护，让不同系统能够手动运行；也要保留纸质病历等备份。这样既能让我们在发生事故时挺过去、增强韧性，也能让我们威胁关闭这些系统时付出的代价更低，从而让威胁更可信。我们应弄清机构依赖了什么、怎样减少依赖，或至少保留后备选项；并加以演练，确保需要时真的能用。我并不是说自己已经做得很好，这是一种持续的实践，我努力去做，也经常做不到。这就是我的想法。
听起来我们几乎需要一个“AI 安息日”。即使不信教，我们也需要一周有一天不用 AI。
正是如此，还可以把它推广到其他例子。洛杉矶联合学区甚至纽约的学校已经实行无 AI 环境，这是学区明确作出的选择。我认为这和你说的“无 AI 空间”是一回事。我们是否应该建立更多这样的社区中心，让 AI 不受欢迎，让人们进行运动、聚会以及其他非常人类的活动，不通过 AI 来完成？这样才能练习这些人类能力，为没有 AI 或者必须阻止 AI 介入的情形作好准备。
我认为 AI 安息日、人类后备劳动力（供关键基础设施、医院等使用）之类的做法可能很重要……
保留人类自主性（续）
……可能很重要，还有其他类似做法。我自己确实尝试过 AI 安息日，遗憾的是经常失败，但我会尽力。
好吧，也许我也该开始试试。
说到哪些事情需要更多关注，我认为其中之一是超级智能的类型学。我们评估现有战略时发现，大多数战略都聚焦于超级智能会高度中心化：要么是单一的超级智能，要么美国有一个、中国有一个。一旦考虑其他超级智能模型，这些战略就变得相当脆弱。
现实中可能同时存在许多能力水平各异、分布广泛的超级智能；也可能出现非常狭窄的超级智能，通过架构控制把它们限制成类似“神谕”的工具，不具备很多通用智能，而且受到多重制衡。但更有意思的一种可能是：由低于 ASI、甚至低于 AGI 的智能体群，产生超级智能级别的行为。我们对此做过初步研究，发现几乎没有人思考这个问题。我认为今年夏天出现的智能体群攻击事件，也许预示了未来的情况。
这不太像是在处理单一的超级智能，或一组超级智能，而更像是在看待一个生态系统。RAND 的一些同事——Edgeist 和其他几位作者——发表过一篇题为《AI 风险生态学》的论文。这是人工智能研究中一个正在兴起的领域；随着越来越多智能体出现，这个问题极其重要。它们可能彼此互动、组成不同联盟、产生我们无法理解的涌现行为。人类花了数千年才摸索出人类行为体在现实世界中互动时的制衡规则。我们对这些智能体将如何在现实世界中彼此互动，经验和准备都非常有限。这对未来走向非常重要。
是啊，AI 生态系统真是个疯狂的时代。我也有类似的念头：AI 讨论的最后经常会提到中国，但我有时会想，像 Prime Intellect 这样的项目，在社区参与、分布式的层面会发生什么？有些情景或时间线上，这可能和中国政府的决策同样重要……
为 AI 设定红线
……AI 讨论中经常会提到中国，但我有时也会想到 Prime Intellect：社区以参与式方式运作时，分布式层面会发生什么？在一些情景或时间线上，这可能和中国政府的决定同样重要。好，换个角度看你们建议的所有投资：为了保留选择空间，是否存在一些事情，我们现在已经掌握足够信息，可以一起同意绝对不该做？我想提出一个可能你们不认同的例子：我认为我们不该训练 AI 将军。如果训练出能赢得军事战役的 AI，后续发展几乎显而易见：我们可能正在训练未来会与我们作战的东西。我不希望 AI 在军事战役中变得那么厉害。它们假设上可能打败对手，但我担心我们根本控制不了这项技术。
你们觉得有没有哪些事情显然糟糕到我们绝不该做？
如果我理解得对，你的例子是说，我们甚至不应该训练这种模型或智能体？还是说可以训练、可以利用，但最后是否部署、是否采纳这位“将军”的建议，仍由人类决定？你的反对意见是在训练本身，还是在部署决策上？
我可能会把红线画在最终部署决定之前更早的地方。如果突然把这项能力交给军事决策者，我觉得会很难抵挡使用它的诱惑。说实话，我对训练 AI 去网上赚钱、再按赚到多少钱来奖励它们，大概也有同样的看法。这看起来显然会让我们得到各种说谎、作弊、耍手段的 AI。是的，它们可能有经济价值，但至少以目前的技术来说，很可能会是这样。也许正如你们之前提到的，未来会出现尚未发现的方法来解决这个问题；但就目前而言，从 Anthropic Labs 这类工作中我了解到，即使是还没有按这种方式训练的现有模型，也有时很难对付。
是的。
所以我觉得，一旦走上这条路，我们就很难不部署；局面会非常危险，变成军队由 AI 来指挥，而我们还得与它对抗。这真是很难处理的境地。
我也想继续思考这个问题。不过在我看来，界线更可能画在是否让智能体获得能对现实世界产生影响的工具和能力上。就让 AI 赚钱而言，我认为那艘船已经开走了，很难再收回来。公司正在设计能产生经济价值、并在较长时间跨度内运行的系统，所以这点可能更难。但在军事场景下，我们一向能够遵守各种限制和义务，这是为了全人类的利益。它们被编入武装冲突法和国际人道法。我认为同样的法律约束也应适用于军事用途的 AI，例如审查军事行动，确保附带损害不过度、能够区分平民与战斗人员，并确保有人对这些决定负责……
为 AI 设定红线（续）
……有人仍对这些决定负责。在军事领域，我们已有明确的指挥层级，可以在此基础上加强，也可能需要让更多军事律师参与行动审查，让更多人判断哪些做法适当、哪些不适当。我不会说我们完全没有准备，但我认为需要回到历史上有效的做法，确保现有机构能适应并回应今天的挑战。抱歉，这没有回答你的问题，我只是顺便对这个问题感兴趣。
说得好。我刚才提出那个例子，是想让你们批评一下。除此之外，还有什么会放进“绝对不要做”这一类？
我们经常讨论的一点是，仓促把 AI 用于核指挥与控制可能是非常糟糕的主意。如果要做——假如真的要做——必须非常审慎，并且展示大量安全保障。凡是涉及核领域的 AI 应用，都需要极其谨慎地推进。
另外还有在军事事务中使用智能体的问题。有些研究——我认为目前还近乎轶闻性质——发现，把某些模型放进模拟环境，它们往往会倾向于大幅升级冲突。如果智能体会进行奖励作弊，并把升级局势作为选项，这显然需要非常非常谨慎地处理。还有……
说实话，听起来真吓人。好，最后一个问题：你们最密切追踪什么？回顾一下整场讨论的结构：我们要保持行动自由，因此会并行投资很多不同的事情，因为有七种战略原型，现在还太早，无法作出决定；还有五个关键问题必须逐步弄清楚，才能决定最终承诺哪种战略。考虑到这一点，你们现在最关注什么？哪些可能出现的新数据点，会开始改变你们对这些关键问题答案的判断，进而影响未来选择的战略？我想我在追踪的是……
值得追踪的关键指标
我关注的事情大概不令人意外，应该也是社群中很多人都在关注的。首先是发展节奏提案的进展：最后会有哪些提案被采纳？前沿公司内部真正落实了哪些独立评估？这些公司之间会制定哪些共同标准？各种安全控制是否足以管理内部部署的模型？到目前为止，公司内部还没有建立充分的安全措施，我会密切关注它们能否妥善解决；如果不能，会有什么问责或后果？
我还会关注是否出现递归式自我改进的迹象，以及 AI 研发领域的进展轨迹，因为这会改变我们正在追踪的许多决策时间线。最后，我会关注美中关系，既包括更广泛的外交关系，也包括较具体的 AI 议题：能否建立某种事故管理沟通渠道，双方是否对风险形成更多共同理解。这些是我会追踪的事情。
我再补充一点。如我前面说的，“危险是否已近”可能是我们现在能回答的最重要问题。为此，我们要看递归式自我改进的速度、实验室如何管理发展节奏、它们是否能够安全发布新能力、智能体相关事故是否不断升级，以及我们是否正在形成智能体使用标准。
我认为目前特别值得关注的是网络能力。Mythos 大约在九个月前发布，而开源开放权重模型通常比前沿模型落后 6 到 18 个月。因此，类似能力现在开始出现在更多开放权重模型中。我们需要观察恶意行为者和国家行为体如何使用这些逐渐普及的能力。
和网络安全领域的人交流时，大家对未来几年很担忧。长远来看，有一种看法是 AI 可能有利于网络防御，但这很大程度上取决于防御方能否足够快地采用前沿能力。如果开放权重模型能让恶意行为者、恐怖组织和犯罪团伙发动攻击，大型科技公司或许能应对，但那些无法及时采用最新前沿模型的中小企业怎么办？我认为未来 12 到 24 个月网络安全领域可能会经历一段艰难时期。希望这只是短暂的阵痛，但我会密切关注。
我想可以说，进攻方保持优势的时间，可能比防御方依靠“安全靠隐蔽”撑下去的时间更长。
完全正确。
好，这次对谈非常棒。感谢你们投入的时间和心力，写出这样一份文件。我鼓励大家转发并认真读读这套层次结构。你们还特意写了简短版本，确实把事情讲清楚了，我很感激。有什么我没问到、或我们没来得及谈的内容，能在我放你们回去工作之前补充吗？
我只补充一件事。上周末我刚参加了伯克利的大型 AI 研讨会 The Curve，介绍了保持行动自由战略。我得到很多反馈：这份材料确实帮助刚接触 AI 辩论的人理解其中不同的动态，以及如何考虑和选择先进 AI 战略。
值得追踪的关键指标（续）
……大家不应该把它只看作一份学术性的 RAND 报告。我发现有人一直在引用报告中的一张表：它列出五个关键变量，以及它们如何可能引导我们选择不同的战略原型。有人打算把这张表带回去给利益相关方和选民解释 AI 战略如何运作。所以，如果你平时不太会读 RAND 报告，我建议你去看看那张关键变量表。它可能会帮你更直观地理解这些战略选择，以及多数 AI 战略背后的假设。
我同意。长期收听节目的听众可能已经对这些概念耳熟能详；我其实也去了 The Curve，很惊讶我们在那里没碰上。不过，如果你现在才开始了解这些议题，你们呈现信息的结构是很好的入门材料。应该转给那些可能比较晚才加入讨论的人——不过我们还不知道现在究竟算多晚。下载下来，你会很高兴；别人需要入门资料时，也可以发给朋友。我觉得这份材料非常适合做入门读物。
Joel Predd、Ben Boudreaux 和 Matt Chessen，谢谢你们来上《认知革命》。
好，谢谢邀请我们，Nathan。
谢谢你，Nathan。
节目尾声
我每天都在一点点，培养承诺的能力。
去玩吧。一个男孩送来玫瑰。到了星期一，另一个男孩送来戒指。我戴着戒指和第三个人共进午餐，他一点也没察觉。
他们说我善变、轻浮，难以捉摸。我说，女孩就该敞开大门，欢迎光临。
我每天都在一点点，培养承诺的能力。每天都在培养承诺的能力。
去玩吧。你问我爱不爱你？亲爱的，差不多吧。我爱你，就像一顶崭新的帽子——周日时，我承认这一点。
你说愿意把一切都给我，你真慷慨。我会全都收下，慢慢来，也许连他我也一起收下。总有一天早上，我会安定下来——等到月亮在正午升起，等到你们最后一个都不再打电话。所以亲爱的，别停下来；现在就停，太早了。
我每天都在一点点，培养承诺的能力。她每天都在一点点培养它。每天，我都在培养承诺的能力。
去玩吧。
片尾
如果你觉得节目有帮助，希望你抽空分享给朋友、发到网上、在 Apple Podcasts 或 Spotify 上写下评论，或者在 YouTube 上给我们留言。当然，我们也欢迎你通过网站 cognitive revolution.ai 留下反馈、嘉宾和选题建议，以及赞助咨询；也可以在你常用的社交平台私信我。
《认知革命》属于 Turpentine 播客网络，该网络现已成为 a16z 的一部分，汇集专家讨论技术、商业、经济、地缘政治、文化等话题。本节目由 AI Podcasting 制作。如果你需要播客制作支持，从停止录音到听众开始收听的各个环节都可以找他们；去看看，也可以听听我对他们的推荐。
感谢每一位收听节目的朋友，感谢你们成为《认知革命》的一员。