Dario Amodei：Claude、AGI 与 AI 和人类的未来Lex Fridman Podcast #452

如果把迄今看到的曲线向外推演：模型现在开始接近博士水平，去年大概还是本科生水平，再前一年像高中生。当然，具体在哪些任务、以什么标准衡量，都可以争论；模型仍缺少一些模态，但这些能力也在陆续补上，例如计算机操作和图像生成。只要粗略看一眼能力提升的速度，就会让人觉得我们可能在 2026 或 2027 年抵达那个阶段。我仍然承认存在一种世界：一百年后这件事也没有发生。但这类世界正在迅速减少。我们越来越难找到真正有说服力的阻碍，也越来越缺少能解释“为什么未来几年绝不会发生”的强理由。

扩展的速度也非常快。今天我们训练出一个模型，随后会部署成千上万、甚至数万个实例。我认为再过两三年，无论那时是否已经出现极其强大的 AI，计算集群都会大到足以部署数百万个模型实例。对于人类能否继续找到意义，我是乐观的；我更担心的是经济问题、权力集中，以及权力被滥用。

AI 会增加世界上的权力总量。如果这种权力被集中并遭到滥用，可能造成无法估量的伤害。

是的，这非常可怕。

接下来是我与 Dario Amodei 的对话。他是 Anthropic 的 CEO。Anthropic 创建了 Claude；Claude 目前经常位列多数大语言模型排行榜前列。与此同时，Dario 和 Anthropic 团队一直公开倡导严肃对待 AI 安全，也持续发表许多关于安全及其他方向的有趣研究。

在与 Dario 的对话之后，还有两位 Anthropic 的杰出成员加入。第一位是 Amanda Askell，她研究 Claude 的对齐与微调，包括 Claude 的角色和性格设计。有人告诉我，她可能是 Anthropic 内部与 Claude 交谈最多的人，因此她非常适合讨论提示词工程，以及怎样在实践中发挥 Claude 的最佳能力。

随后，Chris Olah 也来聊了一会儿。他是机制可解释性领域的先驱之一。这个方向试图“逆向工程”神经网络，通过网络内部的激活模式推断其行为、理解其内部究竟发生了什么。这可能成为保障未来超级智能 AI 安全的一条重要路径，例如从激活中识别模型是否正在欺骗与它对话的人类。这里是《Lex Fridman Podcast》。赞助商信息请见节目说明。现在，亲爱的朋友们，让我们欢迎 Dario Amodei。

先从缩放定律和“缩放假说”这个大概念谈起。它是什么？历史从哪里开始？今天又进展到了什么位置？

我只能从自己的经历说起。我进入 AI 领域大约十年，很早就注意到了这个现象。2014 年底，我在百度与吴恩达共事，第一次正式进入 AI 世界，距今几乎正好十年。我们最先做的是语音识别。当时深度学习还是新事物，已经取得很多进展，但大家总在说：我们缺少取得成功所需的算法；现在只触及了极小的一部分，还有大量算法发现要做；我们甚至不知道怎样才能接近人脑。

某种程度上，我很幸运，甚至可以说有“新手运”。我刚入行，看着语音系统所用的循环神经网络，就想：如果把它做得更大、堆更多层会怎样？如果同时扩大数据规模呢？我把这些看作几个可以独立旋转的旋钮。结果我发现，数据越多、模型越大、训练越久，表现就越好。那时我没有做精确测量，但我和同事都形成了很强的非正式判断：把更多数据、算力和训练投入模型，性能就持续上升。

起初我以为，这也许只是语音识别的特殊现象，是某个领域的怪癖。直到 2017 年第一次看到 GPT-1 的结果，我才真正意识到，语言可能正是能够把这种方法推到极致的领域。语言有数万亿词的数据可以训练，而当时的模型非常小，一到八块 GPU 就能完成训练；今天的训练任务会使用数万块 GPU，很快可能达到数十万块。

当我把这些事实放在一起时，也看到少数人持有相似观点，例如你采访过的 Ilya Sutskever。他或许是最早的人之一，不过同一时期也有几个人独立得出相似判断。Rich Sutton 写过《苦涩的教训》（The Bitter Lesson），Gwern 也写过缩放假说。我大概在 2014 到 2017 年之间真正想通：只要继续扩大模型，就可能覆盖极其广泛的认知任务。

缩放的每个阶段都会遭遇反对意见。最初听到这些意见时，我坦率地想，也许错的是我，领域里的专家比我更了解情况。有人引用乔姆斯基式的论点：模型可以掌握句法，却掌握不了语义；有人说，模型也许能让一个句子通顺，却不可能让一个段落通顺。今天最新的说法是：数据会耗尽、数据质量不够，或者模型不会推理。可每一次，我们要么找到了绕路的方法，要么缩放本身就是绕过障碍的方法。

所以我现在仍承认不确定性。我们只有归纳推断，没有定理能保证未来两年一定重复过去十年的轨迹。但同一部电影我看过太多遍、同一故事已经发生太多次，因此我确实相信缩放大概率会继续；其中似乎存在某种我们尚未从理论上解释的“魔法”。

这里所说的缩放，当然包括更大的网络、更多的数据和更多算力。

对，三者都包括。

更具体地说，是网络规模、训练时长和数据量近似同步地线性增加。它有点像化学反应：反应中有三种原料，必须把三种原料一起扩大。只增加一种而不增加另外两种，其他试剂会先耗尽，反应就停下来；把所有要素按比例向上扩展，反应才能继续。

当这种经验科学——或者说经验艺术——建立起来以后，还可以把缩放定律应用到更细的环节，例如可解释性的缩放、后训练的缩放，或者一般性地研究“这个东西随规模怎样变化”。不过最核心的缩放定律、也就是缩放假说的底层主张，仍然是：大网络与大数据会产生更强的智能。

是的。我们已经在语言之外的很多领域记录到缩放定律。2020 年初，我们首先发表论文展示语言模型中的规律；2020 年底又有研究显示，图像、视频、文生图、图生文和数学等模态也呈现相同模式。现在还有后训练、新型推理模型等阶段；在我们实际测量过的案例中，都能看到类似的缩放关系。

问一个略带哲学意味的问题：为什么从直觉上说，网络越大、数据越多就越好？为什么这会产生更聪明的模型？

我以前是生物物理学家，本科读物理，研究生读生物物理。所以我会从物理学直觉出发——当然，Anthropic 有些同事的物理专业水平远高于我。物理里有一个概念叫 1/f 噪声，也有类似 1/x 的分布。许多自然过程相加会得到高斯分布；而把不同尺度、不同分布的自然过程叠加起来，有时会收敛到另一类规律。例如把探针接到电阻上，电阻的热噪声强度随频率大致按 1/f 衰减。

这意味着，某些由很多尺度共同形成的自然过程，不是集中在一个狭窄范围的高斯分布，而是同时包含大波动与小波动，形成平滑衰减的长尾。我会用这个视角思考物理世界和语言中的模式。语言里有极简单的模式：某些词比其他词常见，比如 “the”；还有名词、动词等基本结构，以及词与词之间的一致关系；再往上是句子结构，之后是段落的主题结构。

如果语言具有这种层层递进、并带有长尾的结构，那么随着网络变大，模型会先捕捉最简单、最常见的相关性，随后覆盖越来越多罕见而复杂的模式。如果这条长尾像物理过程中的 1/f 噪声一样平滑，那么网络容量逐步增加时，就会平滑地吃下更多分布；这种平滑性最终反映为预测能力和任务表现持续改善。

语言本身也是演化出来的过程。我们有常见词和罕见词、常见表达和罕见表达，有被反复使用的陈词滥调，也有新奇思想。这一过程伴随人类演化了数百万年。我的猜测——这里只是纯粹推测——是，思想和表达也形成了某种长尾分布。

除了长尾，还有概念层级的高度。网络越大，理论上就越有能力建立更高层的概念结构——

没错。小网络只能掌握最常见的东西。一个很小的神经网络也许知道句子里应该有动词、形容词、名词，却不擅长决定究竟该用哪个动词、哪个形容词、哪个名词，更无法判断它们组合起来是否有意义。

把网络稍微做大，它会突然变得擅长句子，却仍不擅长段落。继续增加容量，模型才会逐步捕捉那些更罕见、更复杂的模式。

自然会出现下一个问题：这条路的上限在哪里？

是的。

真实世界究竟有多复杂？到底有多少东西值得学习？

我想我们谁都不知道答案。我的强烈直觉是，至少在人类水平以下不存在上限。人类能够理解这些模式，因此只要继续扩大模型、发展新的训练方法并把它们进一步扩展，模型至少应该能达到人类已经达到的水平。

接下来才是更难的问题：在多大程度上，智能可以超越人类？它能比人类聪明、敏锐多少？我猜答案取决于领域。以生物学为例，我在《Machines of Loving Grace》一文里谈过：人类目前显然在艰难应对生物系统的复杂度。斯坦福、哈佛、伯克利都有完整院系研究免疫系统、代谢通路等问题，每个人只能理解一小部分、形成高度专门化，然后还得设法把自己的知识与其他人的知识拼在一起。因此在生物学上，我直觉认为 AI 上方还有很大的提升空间。

但如果谈物理材料，或者怎样处理人类之间的冲突，情况可能不同。有些问题并非完全不可解，却非常困难；也可能存在一个非常接近人类现状的上限。就像语音识别一样，对方声音本身有多清晰就是物理限制，你不可能无限提高。所以有些领域的天花板可能离人类很近，另一些则可能极其遥远。只有真正造出这些系统以后，我们才会知道。事前可以推测，却无法确定。

正如你文章里写到的，有些领域的上限也许来自人类官僚体系之类的因素。

对。人类必须留在环路中，上限可能来自这一点，而不是来自智能本身的极限。

很多情况下，技术在理论上可以变化得很快，例如 AI 可能为生物学发明很多新东西；但真正把它们用于人类之前，还要经过临床试验体系。这个体系混合了两类东西：一类是不必要的官僚程序，另一类确实在维护社会的完整性、保护公众。困难在于，我们往往很难区分二者。

我对药物研发的判断很明确：我们太慢、也太保守。但如果把尺度调错，过度鲁莽同样可能危及生命。至少某些人类制度确实在保护人。因此问题是找到平衡。我强烈怀疑，正确平衡点应该更偏向加快推进，但平衡本身仍然存在。

假如缩放真的遇到极限或明显减速，你认为原因会是什么？算力限制、数据限制，还是思想和方法上的限制？

这里说的是在模型达到人类能力以前就撞墙。一种今天很流行、也确实可能出现的限制是数据耗尽。我通常会押注它最终不会成为决定性障碍，但不能排除这种可能。互联网数据终究有限，而且质量参差不齐。你也许能抓取数百万亿词，但其中大量内容彼此重复，是为搜索引擎优化而制造的废话；未来还可能混入越来越多 AI 自己生成的文本。因此，这条数据生产路径确实有上限。

不过我们，以及我猜其他公司，也在研究合成数据。模型可以生成更多与现有数据同类的数据，甚至从零构造训练材料。DeepMind 的 AlphaGo Zero 就是一个典型例子：它从完全不会围棋开始，只靠自我对弈达到超越人类的水平，Zero 版本不需要人类棋谱作为示例。

另一条方向是会进行思维链推理、停下来思考并反思自身推理的模型。某种意义上，这也是一种与强化学习结合的合成数据。我的猜测是，我们会用其中一种方法绕过数据限制，或者找到新的数据来源。

当然，也可能数据完全没有问题，但模型扩大到某个阶段后就是不再改善。过去“规模越大越好”一直是可靠观察，但它完全可能因为某个我们不理解的原因突然停止。也许我们需要发明新架构。过去曾经出现过数值稳定性问题，看起来像性能触顶，后来找到正确的解锁方法后，曲线又继续上升。因此也可能需要新的优化算法或某种新技术来解除瓶颈。到目前为止，我还没有看到这种减速的证据；但如果未来真的减速，这会是一个可能原因。

算力本身的上限呢？数据中心越建越大，成本也越来越高。

我猜目前多数前沿模型公司的训练规模，大致在 10 亿美元上下，可能相差三倍。现在已经存在、或者正在训练的模型，大体就是这个数量级。明年可能上升到数十亿美元，2026 年也许会超过 100 亿美元；到 2027 年，行业里已经有人希望建设价值 1000 亿美元的集群。我认为这些计划实际上很可能都会发生。在美国国内，建设这类算力的决心非常强。

如果到了 1000 亿美元规模，算力和模型规模仍然不够，那就只有两条路：继续扩大，或者找到更高效的方法，把能力曲线整体向上推。之所以我相信强大 AI 会很快到来，一个重要原因就是：只要把能力曲线上的下几个点外推，我们很快就会接近人类水平。

我们开发的一些新模型，以及其他公司发布的推理模型，已经开始达到我所说的博士或专业人士水平。看编程能力就很明显。我们刚发布的新版 Sonnet 3.5，在 SWE-bench 上大约达到 50%。SWE-bench 收集的是真实、专业的软件工程任务。今年年初，最先进水平只有 3% 或 4%。

也就是说，十个月里从 3% 提升到 50%。我猜再过一年也许能到 90%，甚至可能用不了一年。OpenAI 的 o1 等模型在研究生水平的数学、物理和生物学上也呈现了相似进步。如果按照现有技能曲线继续外推，几年内模型就会超过人类最高层级的专业能力。

当然，曲线是否真的会延续，仍是问题。你和我都列举过许多可能让它中断的原因。但如果外推成立，这就是我们正在走的轨迹。

Anthropic 有不少竞争者：OpenAI、Google、xAI、Meta。你怎样看待整个竞争格局？广义上说，在这个领域“获胜”需要什么？

我想先把几件事分开。Anthropic 的使命，是尽量让整个过程有一个好的结果。我们有一套变化理论，叫“向上竞赛”（race to the top）：通过树立榜样，推动其他参与者做正确的事。它不是说我们要成为唯一的“好人”，而是要让整个体系的激励变成所有人都更愿意做好事。

举几个例子。Anthropic 创立早期，我们的联合创始人 Chris Olah——你很快也会采访他——是机制可解释性领域的奠基者之一。机制可解释性试图理解 AI 模型内部究竟发生什么。我们让他和一支早期团队长期专注于可解释性，因为我们认为这有助于提升模型安全和透明度。

这项工作连续三四年没有任何商业应用，直到今天也还没有成熟商业用途。我们正在做一些早期测试，未来可能会有，但这是一个极其长期的研究赌注。我们一直公开建设，也公开分享成果，因为我们认为它能让模型更安全。

有趣的是，随着我们这样做，其他公司也开始投入可解释性。有些是受到了启发，有些则是因为担心：如果别家公司通过做这件事显得更负责任，自己也必须表现得更负责任。没有人愿意被看作不负责任的一方，所以他们也会采用类似实践。

很多人因为可解释性研究而选择加入 Anthropic。我会对他们说：去告诉那些你没有加入的公司，你为什么来了这里。之后你常常就会看到其他地方也建立可解释性团队。某种意义上，这削弱了我们的竞争优势——别人也开始做了——但它改善了整个体系。于是我们必须再发明一种别人还没做好的新做法，继续把“做正确事情”的价值抬高。

这不是关于 Anthropic 必须成为某个唯一的好人。其他公司也完全可以参与。如果它们加入这场竞赛，那是最好的消息。关键是把行业激励塑造成向上，而不是向下。

还应该说明，机制可解释性这个例子代表一种严谨、不是靠模糊口号做 AI 安全的方式——至少它正朝这个方向发展。

我们在“能看见多少”这件事上还很早期，但已经取得的进展让我很惊讶。缩放定律仿佛有某种法则在驱动模型性能提高；可模型内部并没有任何理由天然设计成让人类容易理解。它们是为了运行、为了完成任务而形成的，就像人脑或人体生化系统一样，并不是为了让人打开舱盖后一眼看懂。

但我们确实发现，打开模型、观察内部时，会看到一些出乎意料且非常有趣的结构。你可以和 Chris 更深入地谈这些细节。

它还有一个副作用：让人看见模型的美。通过机制可解释性的方法，可以探索大型神经网络非常优美的一面。

它内部结构的整洁程度令我吃惊。比如 induction heads（归纳头），又比如使用稀疏自编码器找到网络内部的方向，而这些方向竟然能对应非常清晰的概念。

我们用“金门大桥 Claude”演示过这一点。我们在神经网络某一层里找到一个与金门大桥对应的方向，然后把这个方向的激活大幅调高。我们把模型作为演示发布了几天，某种程度上是个玩笑，但也很好地展示了方法。无论你问它什么，因为这个特征被强烈激活，它都会设法把答案连到金门大桥。你问“今天过得怎样”，它可能回答：“我感觉放松而开阔，就像金门大桥舒展的拱形。”

它总能非常熟练地把话题转向金门大桥，并把桥自然融进答案。它对金门大桥的执着甚至带着一点悲伤感。我想人们很快就爱上了它；模型似乎一天后就下线了，所以很多人已经开始想念它。

这种通过干预模型、调整行为的实验，不知为什么在情感上反而让它显得比其他版本更像人。

它有非常鲜明的性格和身份认同。

对，它的性格很强，还有一种近乎痴迷的兴趣。我们每个人大概都认识某个对一件事特别着迷的人，所以这种特质确实会让模型更像人一点。

回到当下，谈谈 Claude。今年发生了很多事。三月发布了 Claude 3 的 Opus、Sonnet、Haiku；七月发布 Claude 3.5 Sonnet，刚刚又推出更新版；Claude 3.5 Haiku 也发布了。Opus、Sonnet、Haiku 有什么区别？我们该怎样理解这些版本？

回到三月第一次发布三个模型时。不同公司都会提供大模型和小模型、能力强弱不同的模型。我们认为市场同时需要两种东西：一种是非常强、可能稍慢且更贵的模型；另一种是在既定速度和价格条件下尽可能聪明的快速、便宜模型。

如果要做困难分析、写代码、头脑风暴或创意写作，我会想用最强的模型。但商业世界有大量日常应用：与网站交互、报税、向法律顾问咨询、分析合同，或者在 IDE 里做自动补全。这些场景要求响应快、成本低，才能被广泛调用。因此我们希望覆盖整个需求光谱。

最后我们用了诗歌主题。最短的诗是什么？俳句，所以 Haiku 是小、快、便宜的模型；它发布时，在如此低成本和高速度下显得出乎意料地聪明。Sonnet 是中等长度的诗，通常有几个段落，于是 Sonnet 成为中型模型：更聪明，但也稍慢、稍贵。Opus 像 “magnum opus”，代表大型杰作，所以当时 Opus 是最大、最聪明的模型。

我们的设想是，每一代模型都把价格、速度与智能之间的权衡曲线向外推。Sonnet 3.5 的成本和速度与 Sonnet 3 大致相同，但智能已经超过原来的 Opus 3，尤其是在代码上，整体能力也更强。现在我们公布了 Haiku 3.5 的结果；我认为新一代最小的 Haiku 3.5，能力已大致等于上一代最大的 Opus 3。目标就是持续推动这条曲线，之后还会出现 Opus 3.5。

不过每一代模型都有自己的特征。它们使用新数据，性格也会变化；我们会尝试引导，但无法完全控制。因此不会存在一种严格等价关系，仿佛新版本只改变智能、其他一切保持不变。我们总会主动改进很多方面，也会有一些东西在未被我们察觉或测量时发生变化。这是一门很不精确的科学；模型的举止和性格，在很多意义上更接近艺术，而不是科学。

从 Claude Opus 3.0 到 3.5，中间为什么需要这么长时间？在可以透露的范围内，这段时间主要花在什么地方？

其中有多个阶段。首先是预训练，也就是常规语言模型训练，这需要很长时间。如今会使用数万、有时数万以上的 GPU、TPU、Trainium 或其他加速芯片，在不同平台上连续训练数月。

接下来是后训练，包括基于人类反馈的强化学习，以及其他强化学习方法。这个阶段正变得越来越大，也没有那么精确，往往需要很多努力才能调好。

然后，我们会让部分早期合作伙伴测试模型实际效果；模型也要在内部和外部接受安全测试，尤其是灾难性风险与自主性风险。内部测试依据我们的“负责任缩放政策”（Responsible Scaling Policy）。外部则与美国和英国的 AI Safety Institute，以及特定领域的第三方测试机构合作，评估所谓 CBRN 风险，也就是化学、生物、放射性与核风险。

我们认为当前模型还没有严重构成这些风险，但每一代新模型都必须重新评估，看是否开始接近更危险的能力。完成这些之后，还要让模型在推理系统中稳定运行、接入 API 并正式发布。真正把模型变成可用产品，有很多步骤。

我们一直试图把流程做得更顺畅。安全测试必须严谨，但也应尽量自动化，在不牺牲严谨性的前提下尽可能快；预训练和后训练也一样。这和制造任何复杂产品类似，比如造飞机：既要安全，也要让生产流程高效。我认为两者之间富有创造力的张力，是把模型做好的重要部分。

坊间有一种说法——我忘了是谁提到的——Anthropic 的工具链非常好。所以软件工程的一大挑战，可能就是建设工具，让团队能以高效、低摩擦的方式使用基础设施。

你可能会惊讶，训练模型的困难有多大一部分最终都落在软件工程和性能工程上。从外部看，人们容易想象某个“尤里卡时刻”：科学家突然发现了关键突破。但几乎所有事情，即使是惊人的发现，最终也依赖大量细节，而且常常是极其无聊的细节。

我无法评价我们的工具是否优于其他公司，因为我最近没有在那些公司工作；但我们确实非常重视工具建设。

不知道你能否说：从 Claude 3 到 Claude 3.5，是否又进行了额外预训练，还是主要改进来自后训练？性能提升非常大。

在任何阶段，我们基本都在同时改进所有部分。不同团队各自推进一个领域，让接力赛中自己负责的那一棒更好。等我们制作新模型时，自然会把这些改进一次性全部放进去。

你们已有的数据，比如 RLHF 收集到的偏好数据，能否继续用于新模型？模型升级后，有没有办法把旧偏好数据迁移过去？

旧模型的偏好数据有时会用于新模型，不过如果直接围绕新模型重新收集和训练，效果通常会更好一些。还要注意，我们使用 Constitutional AI，所以后训练并不只有偏好数据。模型还会与自己进行训练；如今每天也会使用新的“让模型对模型训练”的方法。它不只是 RLHF，而是一组不同方法。后训练正在变得越来越复杂、越来越精细。

新版 Sonnet 3.5 为什么会出现这么大的性能跃升，尤其是在编程上？也许这里适合谈谈基准测试。“变得更好”到底意味着什么？表面看只是一个数字上升，但我自己写程序，也非常喜欢编程；我通过 Cursor 使用 Claude 3.5 辅助开发。从个人体验和轶事感受来说，它确实更会写代码了。怎样才能让模型在编程上真正变聪明？

我们也观察到了这一点。Anthropic 有几位非常强的工程师，此前无论是我们自己的代码模型，还是其他公司的模型，对他们都没有真正帮助。他们会说：这也许对初学者有用，对我没用。但最初版 Sonnet 3.5 出来后，他们第一次说：“天哪，这帮我完成了原本要花几个小时的工作。这是第一个真正替我节省时间的模型。”能力水位正在上升；新版 Sonnet 又更进一步。

至于它是怎样变强的，答案是全面改进：预训练、后训练、我们使用的各种评测都在进步。拿 SWE-bench 具体说，你是程序员，熟悉 pull request。一个 PR 可以看成软件工作的原子单元：我要实现一件明确的事。SWE-bench 给模型一个现实代码库的当前状态，再用自然语言描述需要完成的修改。

我们内部也有类似基准：给模型充分权限，让它运行命令、编辑文件、采取所需操作，看它能否完成任务。在这类基准上，模型成功率从约 3% 提高到约 50%。

基准当然可以被“刷分”。但如果模型不是针对某个测试过拟合或投机，而是真正达到 100%，那很可能代表编程能力出现了真实而重大的提升。我怀疑，当成功率达到 90% 或 95% 时，模型就能自主完成相当大比例的软件工程任务。

来个荒唐的时间线问题：Claude Opus 3.5 什么时候发布？

我不会给准确日期，但据我所知，计划仍然是推出 Claude 3.5 Opus。

它会比《GTA 6》更早发布吗？

像《Duke Nukem Forever》那样？

《Duke Nukem》——是那款延期了十五年的游戏吗？

对，就是《Duke Nukem Forever》。而《GTA》现在似乎还只是在放预告片。

距离第一版 Sonnet 发布其实才三个月。

是的，发布节奏已经非常惊人。

这恰好说明了行业节奏，以及人们对新品发布时间形成了多么夸张的预期。

那么 4.0 呢？

随着模型越来越大，你怎样考虑版本号？更一般地说，为什么现在叫“带日期的新版 Sonnet 3.5”，而不是很多人私下称呼的 Sonnet 3.6？

命名其实是个很有意思的难题。一年前，模型的大部分工作量都在预训练，所以可以从一开始就规划：训练一组不同尺寸的模型，形成统一命名家族；下一代再加入某种新技术，换到新的代际编号。

但只要不同尺寸的模型训练耗时差别很大，时间表就先被打乱了。之后，后训练又可能取得重大改进：你可以在不花太久时间的情况下，基于同一个预训练模型做出明显更好的产品；它的尺寸和底层形态仍与上一版本相同。把这些因素和发布时间放在一起，任何事先设计的命名规则都会被现实破坏。

这不像普通软件，可以简单说这是 3.7、那是 3.8。模型之间存在不同权衡：有的推理更快或更慢，有的必须更贵或可以更便宜；你能改变其中一些环节，也能单独训练另一些环节。所有公司都在为这个问题挣扎。我认为当初用 Haiku、Sonnet、Opus 时，我们的命名处在一个很好的起点。

那个开局确实很棒。

我们在努力维持它，但并不完美，也会尝试重新找回简单性。只是这个领域似乎还没人真正解决命名问题。它和传统软件属于不同范式，各家公司都没做到完美。相对于训练模型这项宏大的科学，命名看似微不足道，却意外地困扰我们很久。

从用户体验看，更新后的 Sonnet 3.5 和 2024 年 6 月的 Sonnet 3.5 明显不同。最好能有一个标签体现这种差异。大家都说 Sonnet 3.5，但现在其实有两个版本；当能力出现清晰提升时，该怎样分别指代旧版和新版？讨论起来很麻烦。

这也连接到另一个问题：模型有许多属性不会体现在基准分数里，大家都同意这一点，而且这些属性不全是“能力”。模型可能礼貌，也可能生硬；可能对指令立刻响应，也可能先追问；可能让人感到温暖，也可能冷淡；可能无聊，也可能像金门大桥 Claude 那样极具辨识度。

我们有一支完整团队专门研究这些东西，内部叫 “Claude character”。Amanda 负责这支团队，她之后会和你谈。但这仍然是一门非常不精确的科学。我们经常发现模型具有自己都不知道的属性。

事实是，即使与模型交谈一万次，也可能遗漏某些行为，就像了解一个人一样：认识几个月后，你仍可能不知道他拥有某项技能，或者还有未展示的一面。我们必须适应这种现实，并持续寻找更好的测试方式，既展示模型能力，也决定哪些性格属性是我们希望保留的，哪些不希望出现。后一个规范性问题本身也非常有意思。

我得问一个来自 Reddit 的问题。

Reddit？糟糕了。（笑）

至少在我看来，这是一种很有意思的心理和社会现象：人们不断报告 Claude 随时间推移对自己“变笨了”。所以问题是，用户关于 Claude 3.5 Sonnet 被降智的抱怨有没有根据？这些轶事只是群体心理，还是存在某些情况下 Claude 确实会变笨？

这并不只发生在 Claude 身上。我认为每一家主要公司发布的基础模型都遭遇过同样抱怨。人们对 GPT-4 这样说过，对 GPT-4 Turbo 也这样说过。

首先，模型的实际权重——也就是模型的大脑——除非我们引入新模型，否则不会变化。从工程实践看，随机替换模型版本没有意义：推理系统很难处理，也难以控制修改权重带来的所有后果。

假设你只是想微调模型，让它少说一点 “certainly”——旧版 Sonnet 曾经很爱用这个词——结果往往还会同时改变另外一百件事。因此我们有完整的模型修改流程，会做大量测试，也会让用户和早期客户试用。我们从未在不告知任何人的情况下改变模型权重；至少在当前架构下，这样做也不合理。

偶尔确实会有两类变化。第一类是 A/B 测试，但通常只发生在模型发布前后，而且持续时间很短、只覆盖很小比例用户。比如新版 Sonnet 3.5 发布前一两天，有人突然评论它变好了，那是因为少数用户被分配进了 A/B 测试。顺便说，我们确实应该给新版一个更好的名字，现在称呼起来很笨拙。

第二类是系统提示词偶尔会改变。系统提示词会影响行为，但不太可能让模型整体变笨。上面两种情况实际发生得很少；相比之下，不论对我们还是其他模型公司，“模型变了”“它不擅长某事了”“审查更严了”“被降智了”之类投诉却一直存在。

我并不想说大家都是想象出来的。但多数时候模型本身没有改变。我的一种解释，恰好与前面说的复杂性有关：模型具有许多侧面，而交互中的细微差异就能造成很不一样的结果。你说“做任务 X”和“你能做任务 X 吗”，模型可能采取不同方式。

用户与模型互动时，措辞有无数微小变化，都可能导致明显不同的输出。说清楚，这本身是我们和其他提供商的失败：模型不应该如此敏感。它也再次说明，我们对模型工作机制的科学理解还很不成熟。也许某天晚上我一直用一种方式说话，第二天只是稍微换了措辞，就得到不同结果。

另一个因素是，这些感受非常难量化。新模型刚发布时，人们会被它惊艳；随着使用时间变长，注意力逐渐转向局限。这也可能制造“它后来变差了”的印象。长话短说：除了一些范围很窄的例外，模型并没有在暗中变化。

我也觉得存在心理效应。人会习惯新能力，基准线不断抬高。第一次在飞机上用 Wi-Fi 时，会觉得这是魔法。

对，当时感觉太神奇了。

但现在就会抱怨：“怎么又连不上？这破东西太差了。”

没错，于是很容易发展出阴谋论：航空公司在把 Wi-Fi 一点点调慢。

这个问题我之后可能会和 Amanda 深聊。再来一个 Reddit 问题：“Claude 什么时候才能不再像我那位清教徒祖母一样，以付费客户为对象强加它的道德世界观？还有，为什么要把 Claude 做得如此爱道歉？”这代表另一类用户挫败感，核心与角色性格有关。

先说几个前提。第一，Reddit、Twitter 或 X 上声音很大的抱怨，与统计意义上多数用户真正关心、并决定他们是否继续使用模型的因素之间，存在巨大的分布偏移。

大多数用户的不满是模型没有把代码完整写完，或者虽然它已经可能是世界上最好的代码模型，却仍没有达到理想水平。这类实用能力问题占多数。但确实有一个声音很大的少数群体，烦恼于模型拒绝了不该拒绝的请求、道歉太多，或者有一些令人厌烦的语言习惯。

第二个前提必须说得非常清楚：要在所有情境下统一控制模型行为，极其困难。你不能伸手进入模型内部，简单地把“道歉频率”旋钮调低。你当然可以加入训练数据，告诉模型少道歉；但它可能在另一种场景里变得非常粗鲁，或者过度自信，进而误导用户。这里存在许多权衡。

例如有一段时间，我们和其他公司的模型都过于啰嗦，会重复自己、说得太多。可以通过惩罚过长输出来降低冗长度；但如果方法粗糙，模型写代码时就会说“其余代码放在这里”，因为它学会了用这种方式节省篇幅。于是用户觉得模型在编程上“偷懒”，把剩下工作推回给你。

这不是因为我们想节省算力，也不是模型到了寒假就变懒，更不是网上出现的其他阴谋论。真正原因是：很难同时在所有场景下引导模型行为。它像打地鼠——按住一处，其他你甚至没有观察、没有测量的地方会冒出来。

我之所以如此关心未来 AI 系统的宏观对齐，正因为这些系统确实不可预测，也确实难以引导和控制。今天我们看到的“把一件事变好，却让另一件事变坏”，就是未来 AI 控制问题的早期类比，我们现在已经可以研究它。

比如，我们希望用户要求模型制造和传播天花时，它坚决拒绝；但研究生在病毒学课程里求助时，它又愿意提供帮助。怎样同时得到这两个结果？这很难。滑向任意一端都很容易，而且问题是多维的。

所以塑造模型性格非常困难。我们做得并不完美；我认为在所有 AI 公司中我们已经做得最好，但离完美仍然很远。如果能在今天这个相对受控的环境中处理好误拒和漏拒，未来面对更强系统时就会更有准备。那时的问题会是：模型是否拥有高度自主性？能否制造危险物品？能否自主建立完整公司？这些公司是否与人类目标一致？因此，眼前这项工作虽然令人头疼，也是为未来练习的好机会。

目前收集用户反馈的最佳方式是什么？我指的不是个别轶事，而是大规模了解用户痛点、喜欢的地方以及其他体验。靠内部测试、特定用户群、A/B 测试，还是其他方法？

我们通常会在内部举行 model bashing，也就是让整个 Anthropic 的人尽力“攻击”模型。公司现在接近一千人，大家会用各种方式和模型互动，尝试把它弄坏。我们也有一套评测，检查模型是否在不该拒绝时拒绝。

我们甚至做过一个 “certainly 评测”。某个版本的模型有个烦人的口头禅，几乎任何问题都以“当然，我可以帮助你”“当然，我很乐意”“当然，这是正确的”开头。于是我们专门统计模型说 “certainly” 的频率。但这就像打地鼠：如果它不说 certainly，改说 definitely 呢？

每次加入新评测，旧问题也必须一直回归测试。我们已有数百项评测，但最后发现，没有什么能替代真人与模型互动。流程很像普通产品开发：先由 Anthropic 内部数百人集中测试，再做外部 A/B 测试；有时还会付费请承包人员专门与模型交互。

把这些方法全部组合起来仍不完美。你还是会看到模型拒绝一些完全没有理由拒绝的请求。真正的挑战，是一方面阻止模型做大家一致认为不该做的坏事——比如生成涉及儿童虐待的内容——另一方面又不能让它以愚蠢方式误拒正常请求。把边界尽可能精细地画到接近完美，仍然很难。我们每天都在改善，但还有大量问题未解决。这也是未来引导更强模型会有多难的一个信号。

你觉得 Claude 4.0 到底会不会发布？

我不想承诺任何命名方案。假如我现在说“明年会有 Claude 4”，后来我们因为出现新型模型而决定重置命名，就会被这句话绑住。按正常产品顺序，Claude 3.5 之后应该是 Claude 4；但这个疯狂领域里，谁知道呢？

不过缩放这件事本身仍会继续。

会继续。Anthropic 一定会推出比今天更强的模型，这一点可以确定。如果没有，那说明我们作为一家公司遭遇了彻底失败。

请解释一下“负责任缩放政策”（Responsible Scaling Policy），以及 AI Safety Level，也就是 ASL 等级标准。

我对模型可能带来的好处非常兴奋，谈《Machines of Loving Grace》时我们会详细讲；但我也一直担忧风险。任何人都不应把那篇文章理解成“我不再担心这些模型的风险”。能力与风险是一枚硬币的两面。

模型越有能力解决生物学、神经科学、经济发展、治理、和平以及经济中大量问题，它们同时也越可能造成风险。能力越大，责任越大；强大的东西既能做好事，也能做坏事。

我把重大风险分成几个类别。最主要的两类，并不是说今天的其他风险不重要，而是指可能造成最大规模后果的风险。第一类叫“灾难性滥用”：模型在网络、生物、放射性、核等领域被恶意使用。如果真的严重失控，可能伤害甚至杀死数千、数百万人。防止这种情况是第一优先级。

我有一个简单观察：回顾现实中做过极端恶行的人，人类在某种程度上受到一项事实保护——非常聪明、受过良好教育的人，与真正想做可怕事情的人，重合比例通常很低。一个在某领域拥有博士学位、工作优渥的人，有太多东西可能失去。即使假设他完全邪恶——而大多数人并非如此——为什么要冒生命、名誉和遗产的风险去做极端恶行？如果世界上有更多既有高能力又有恶意的人，危险会大得多。

我的担忧是，AI 作为一个高智能代理，可能打破这种能力与恶意之间原本较弱的相关性。因此我确实严肃担忧灾难性滥用。我相信这些风险可以被防止，但作为《Machines of Loving Grace》的另一面，必须明确风险仍然真实存在。

第二类是自主性风险。随着我们赋予模型更强代理能力，让它负责越来越宽泛的任务——比如编写完整代码库，未来甚至实际运营整家公司——它们会得到一条更长的“牵引绳”。在这种情况下，它们真的会做我们想让它们做的事吗？我们甚至难以详细理解它们在做什么，更不用说控制。

今天已有早期信号：很难完美划分模型该做与不该做的边界。向一边调，模型会变得烦人、无用；向另一边调，又会出现危险行为。修复一处会制造新问题。我们在持续进步，我不认为这是不可解的问题。它会像飞机安全、汽车安全或药物安全一样成为一门科学。我不认为存在某个完全遗漏的神秘大问题；我们只需要不断提高控制模型的能力。

这就是我最担心的两类风险。而我们的“负责任缩放计划”——我意识到这是对你问题非常长的铺垫——正是为应对它们而设计。

我喜欢这个回答，非常喜欢。

我们的负责任缩放计划针对刚才两类风险。每当开发新模型，都会测试它实施这两类坏事的能力。

退一步看，AI 系统带来了一个特殊困境：它们今天还不够强，尚不足以造成这些灾难。我不能保证未来一定会构成灾难，也可能永远不会；但担忧和风险的依据已经足够强，所以必须现在行动。与此同时，模型又进步得极快。

大约一年前，我在美国参议院作证时说，我们可能在两三年内面对严重生物风险。之后能力进展并没有放慢。困难在于：风险今天还不存在，像幽灵一样看不见；但由于模型进步太快，它又正高速向我们逼近。怎样处理一个今天不存在、却可能很快到来的威胁？

我们与 METR、Paul Christiano 等人合作提出的办法，是建立能判断风险何时接近的测试，也就是早期预警系统。每一代新模型都要接受 CBRN 任务测试，也要评估它能否自主完成任务。

在过去一两个月发布的最新版 RSP 中，我们用“模型能否完成 AI 研究的某些部分”来测量自主性风险。当 AI 模型能够自己做 AI 研究时，它们就开始具有真正的自主性；这一门槛在其他方面也非常重要。

有了测试以后，RSP 采用我们所谓的“如果—那么”结构：如果模型跨过某一能力门槛，那么我们就对它施加相应的安全与安保要求。

今天的模型处于 ASL-2。ASL-1 指显然不具备自主性风险或滥用风险的系统，例如只会下棋的 Deep Blue。它被专门设计来下棋，显然不能用于高级网络攻击，也不会自行失控接管世界。

ASL-2 是今天的通用 AI。我们测量后认为，它们还不够聪明，无法自主复制或连续完成一系列高难任务；在 CBRN 方面，也不能提供明显超出 Google 搜索的信息。它们有时能给出相关资料，但没有超越搜索引擎，也无法把碎片拼成足以端到端造成危险的完整方案。

ASL-3 的门槛是：模型已经足以增强非国家行为者的危险能力。不幸的是，国家行为者本来就能以很高熟练度实施不少破坏性活动；关键差别在于，非国家行为者通常没有这种能力。一旦达到 ASL-3，我们会采取专门安全措施，防止模型被非国家行为者窃取，并防止部署后的滥用；还必须增加针对特定高风险领域的强化过滤。

也就是网络、生物和核领域。

网络、生物、核，以及模型自主性。自主性不完全是“人滥用模型”，而是模型自身可能做坏事。

ASL-4 指模型已经能增强原本就知识丰富的国家行为者的能力，或者模型本身成为风险的主要来源——如果某人想实施这类活动，主要途径将是使用模型。在自主性方面，ASL-4 可能意味着模型已经能明显加速 AI 研究。

ASL-5 则是能力真正全面成熟的模型，在这些任务上可能超过整个人类。

“如果—那么”承诺的出发点是：我研究这些模型多年，也担忧风险多年，但过早“喊狼来了”本身也很危险。你若不断说某个模型危险，人们亲自看过后却发现它显然不危险，就会失去信任。

风险规划者面对的微妙之处，正是危险今天不在这里，却可能高速接近。我们不想激怒很多人，也不想给今天并不危险的模型施加极其沉重的负担，从而损害自己参与公共讨论的能力。

所以触发式承诺的意思是：当能够证明模型危险时，再严格收紧要求。当然，阈值必须留出足够缓冲，不能等到已经高度危险才发现。

这不是完美框架。我们不得不不断修改，几周前刚发布新版本；未来可能每年更新多次。无论从技术、组织还是研究角度，这些政策都很难设计正确。但核心提案就是：用“如果—那么”的承诺和触发器，尽量减少当下负担与误报，同时在危险真正出现时作出适当反应。

你认为触发若干条件、进入 ASL-3 的时间大概是什么时候？ASL-4 呢？

公司内部对此争论很激烈。我们正在积极准备 ASL-3 所需的安全措施和部署措施。细节我不会展开，但两方面都取得了很大进展，我认为很快就能准备好。

如果明年达到 ASL-3，我完全不会惊讶。公司内部一度担心今年就可能触发，这种可能性仍然存在。时间很难准确判断；但如果要到 2030 年才发生，我反而会非常惊讶。我认为会早得多。

所以一套协议负责检测门槛、执行“如果—那么”，另一套协议负责触发后怎样响应。

对。

后一部分有多难？

对 ASL-3 来说，重点是安全防护，以及部署时针对极窄高风险领域设置模型过滤。因为 ASL-3 的模型还没有真正自主，所以即使部署在内部，也不用太担心模型自己独立做坏事。ASL-3 的措施不能说简单，它们很严格，但更容易推理和设计。

到 ASL-4，问题会发生变化。模型可能聪明到会在测试中“藏拙”（sandbagging），不诚实地呈现能力。我们做过 sleeper agents（休眠代理）研究，也有更新论文研究模型能否误导评估、刻意让自己显得比真实能力更弱。

因此 ASL-4 不能只靠和模型对话来判断。必须加入其他机制，比如可解释性，或者观察隐藏思维链；我们需要从模型内部验证某项属性，依靠不那么容易被模型口头陈述腐蚀的信号。

我们仍在研究 ASL-4。RSP 的一个设计原则是：在进入 ASL-3 以前，不把 ASL-4 的具体措施完全写死。事实证明这很明智，因为即使 ASL-3 的细节都很难提前判断。我们希望利用所有可能的时间把方案做对。

在 ASL-3，坏的行动者主要还是人类。

是，人类。

所以问题相对——

到 ASL-4，我认为两边都有：人类和模型。

两边都有，还会涉及欺骗。机制可解释性就在这里发挥作用；理想情况下，用于检测的技术不能暴露给被检测模型。

当然可以把机制可解释性工具接给模型自己，但那样就失去了它作为可靠状态指标的价值。还有一些更奇异的失效方式：模型如果足够聪明，也许能跳到其他计算机，读取我们用于观察其内部状态的代码。我们考虑过这些情景。它们足够极端，也有办法把概率降得很低。

总体上，最好把机制可解释性保留成一套验证集或测试集，与模型训练流程分离。

随着模型对话能力和智能提高，社会工程也会成为威胁。它们可能——

当然。

它们可能开始非常有说服力地影响公司内部工程师。

是的。我们一生中已经见过人类煽动家造成的许多例子；自然也要担心模型将来具备同样能力。

Claude 变得越来越强的一种方式，是开始具备一些代理式能力，比如 computer use。claude.ai 的沙盒里也有分析能力。先谈计算机操作：你只需交给 Claude 一个任务，它会连续采取一系列动作，通过截图访问计算机、自己想办法完成。这非常令人兴奋。它具体怎样工作？未来会走向哪里？

原理其实相对简单。Claude 从三月发布 Claude 3.0 起，就能分析图像并用文字回应。我们新加的只是：输入图像可以是计算机屏幕截图；模型根据截图输出屏幕上的点击坐标，或者需要按下的键盘按键。

结果是，不需要太多额外训练，模型就能把这件事做得相当好。这是泛化能力的一个例子。人们有时说，只要进入近地轨道，就已经“走完了去任何地方的一半路程”，因为最费力的是摆脱地球引力。类似地，只要拥有一个很强的预训练模型，在智能空间里就像已经走到任何目标的一半。让 Claude 学会操作电脑，并没有花费想象中那么多工作。

只需把过程放进循环：给模型截图，让它决定点哪里；再返回下一张截图，让它继续决定。连续起来，就近似形成一段完整的三维视频交互。它可以填写电子表格、操作网站、打开各种程序，也能在 Windows、Linux 和 Mac 上工作。

从理论上说，这些事以前也能通过向模型提供控制屏幕的 API 完成。但直接使用屏幕大大降低了门槛。许多人无法方便地接入那些 API，或者开发接入要耗费很久；而屏幕是一种通用接口，更容易交互。我预计它会逐渐消除很多使用障碍。

坦率说，当前模型还有很多不足，我们在博客里也明确写了。它会犯错、点错位置。我们谨慎提醒用户：不能把它丢在电脑上，连续几分钟完全不管；必须设置边界和护栏。这也是为什么我们先以 API 形式发布，而不是直接把控制整台电脑的产品交给普通消费者。

但我认为，让这些能力在还不成熟时就进入真实世界很重要。模型越来越强以后，我们必须处理怎样安全使用、怎样防止滥用等问题；能力仍有限时发布，有助于提前学习。发布后，一些客户很快开始应用，Replit 可能是行动最快的公司之一。人们也接出了 Windows、Mac、Linux 桌面的各种演示。

这和其他能力一样：新能力令人兴奋，但同时必须思考怎样让模型安全、可靠，并按人类意愿行动。所有问题都重复着同一种张力。

这里潜在用例的范围惊人。为了让它未来真正可靠，需要在预训练之外做多少专门工作？要不要为代理任务增加更多后训练、RLHF、监督微调或合成数据？

从高层说，我们打算持续大量投入。过去模型在某些基准上成功率可能只有 6%，现在提高到 14% 或 22%；我们希望像其他能力一样达到人类水平的 80% 或 90% 可靠性。它正处在与 SWE-bench 类似的曲线上。我猜一年后，模型做这些事会可靠得多，但总要从某个起点开始。

只沿用现有训练方法，就可能达到 90% 的人类水平吗？还是计算机操作需要非常特殊的方法？

这取决于你怎样定义“特殊”。总体上，我预计训练当前模型所用的同类技术，继续加大投入就会奏效，正如它们已经在代码、一般模型能力、图像输入和语音上奏效一样。我也预期这些技术能在计算机操作上继续缩放。

但这等于把行动权交给 Claude。它能完成很多强大的事情，也可能造成很大损害。

是，我们非常清楚这一点。不过我的看法是，computer use 不像 CBRN 或自主性那样创造一种根本新能力；它更像把通道打开，让模型能使用和应用已有能力。

从 RSP 角度看，当前模型仅仅因为能操作计算机，并不会自动提高风险等级。但等模型认知能力达到 ASL-3 或 ASL-4 时，这种操作能力可能解除原本限制，让它真正把危险能力施加到现实世界。因此今后的 RSP 测试会继续覆盖这种交互模态。最好在模型还没有极强能力时，就先学习和探索它。

这里还有很多有趣攻击，例如提示词注入。通道变宽后，屏幕上的文字也能注入提示。能力越实用，攻击者越有动力把恶意内容放进模型会访问的网页。它可能只是广告，也可能是有害指令。

我们想过垃圾信息、验证码、大规模诈骗等问题。告诉你一个新技术的“秘密”：最先出现的滥用未必是最严重的，但往往一定是诈骗，而且是很琐碎的诈骗。人类互相欺骗和时间一样古老，每次出现新技术都必须先处理它。

说出来似乎很傻，但确实如此。机器人和垃圾信息随着智能提高，会越来越难对抗。

世界上有很多小罪犯。每种新技术都会给他们一种新的方式，去做愚蠢而恶意的事。

对它做沙盒隔离有没有什么思路？沙盒任务有多难？

训练期间我们会使用沙盒。例如训练时不让模型接触互联网。我认为训练中直接联网可能是坏主意，因为模型策略在变化、行为在变化，却同时可能对现实世界产生影响。

真正部署时则取决于应用。有时你就是希望模型在现实世界行动，但仍可以在外部加护栏，例如规定模型不得把本机或 Web 服务器上的文件发送到任何其他地方。

不过到了 ASL-4，今天这些预防措施可能都不再够用。理论上，模型也许聪明到能逃出任何盒子。那时必须依赖机制可解释性；如果仍使用沙盒，可能需要某种具有数学证明的隔离环境。那与今天面对的模型完全是另一个世界。

也就是说，需要发展一门科学，造出一个 ASL-4 系统无法逃脱的盒子。

我怀疑这不是正确路线。与其先造出一个不对齐的东西，再努力防止它逃跑，不如从一开始就把模型设计正确；或者建立循环，观察模型内部并验证关键属性，再据此迭代，真正把它做对。把坏模型关起来，远不如拥有好模型。

谈谈监管。监管在保障 AI 安全方面应该扮演什么角色？例如，加州 AI 法案 SB 1047 最终被州长否决。你能否介绍这项法案，以及它总体上的优缺点？

我们曾对法案提出一些修改建议，其中部分被采纳。到最后版本时，我们对法案的态度相当积极，尽管它仍有缺点，最后也确实遭到了否决。

从高层看，法案的一些核心思路与我们的 RSP 相似。我认为，无论是加州、联邦政府，还是其他国家和州，至少某个司法辖区必须通过类似监管。原因有几层。

第一，我对 Anthropic 的 RSP 基本满意。它不完美，需要不断迭代，但已经成为一种很有效的强制机制：迫使公司严肃处理风险，把安全纳入产品规划，让它成为 Anthropic 工作的中心，并让接近一千名员工都理解，这至少是公司最高优先级之一，甚至就是最高优先级。

但仍有公司完全没有类似机制。OpenAI、Google 在 Anthropic 之后几个月采用了相应框架，其他一些公司却没有。某些危险具有负外部性：五家公司中即使有三家安全，只要另外两家不安全，整个社会仍承担风险。缺乏统一标准，也对那些认真投入大量精力建设流程的公司不公平。

第二，不能只靠相信公司会自觉遵守自愿计划。我愿意相信 Anthropic 会做到，我们也竭尽全力。我们的 RSP 由 Long-Term Benefit Trust 监督。但行业里常听到公司承诺提供多少算力却没有兑现，或者承诺做某件事后来没做。我不想逐案争论谁违反了什么；更普遍的原则是，如果没有外部监督，就不能保证整个行业一定会做正确的事，而这里的利害关系又极高。

因此，需要所有人共同遵守的统一标准，确保行业至少落实多数公司已经公开承认重要、并声称一定会做的事情。

我理解有些人原则上反对监管。看看欧洲的 GDPR 和其他规则，其中有些很好，但另一些确实造成不必要的沉重负担，也可以合理地说拖慢了创新。所以我理解他们为什么以反监管作为先验立场。

但 AI 不同。前面讨论的自主性和滥用风险并不寻常，因此值得不寻常的强力响应。不过监管必须是大家能够共同接受的东西。

SB 1047 尤其是最初版本，包含了不少 RSP 式结构，但也夹杂了一些笨重设计，会制造大量负担和麻烦，甚至可能偏离真正风险。Twitter 上很少有人讨论这些细节：一边的人为任何监管欢呼，另一边则提出一些不诚实论点，比如声称法案会迫使公司迁出加州——实际上它不是按总部所在地适用，而是按是否在加州开展业务适用；或者说它会摧毁开源生态。我认为这类说法大多站不住脚。

但确实存在更好的反对理由。Dean Ball 就是一位非常严谨的分析者，他研究监管落地后怎样形成自己的生命、怎样因设计不良而扩张。我们的立场一直是：这个领域需要监管，同时我们也希望推动一种“外科手术式”的监管——精准针对重大风险，而且让人确实能够遵守。

一些监管倡导者没有充分理解：如果推出目标错误、只会浪费大量时间的制度，人们会说：“看吧，所谓安全风险都是胡扯。我刚雇了十个律师填表，还得为一个显然不危险的东西跑一堆测试。”六个月后，社会就可能形成持久的反监管共识。

所以，真正问责制度最大的敌人，是设计糟糕的监管。必须把它做对。假如我只能对倡导者说一件事，就是希望他们更理解这种动态，谨慎设计，并与真正见过监管在实践中如何演变的人交流。经历过的人知道必须非常小心。

如果这是一个较小议题，我甚至可能完全反对监管。但我希望反对者理解，底层风险是真实的，不是我或其他公司为了监管俘获而编造，也不是科幻幻想。每隔几个月，我们都会测量新模型；它们在值得担忧的任务上越来越强，正如在有价值、经济上有用的任务上越来越强。

SB 1047 造成了高度极化。我希望最理性的反对者与最理性的支持者坐下来。Anthropic 是唯一对法案给出详细正面评价的大型 AI 公司；Elon 似乎发过一条简短支持推文，而 Google、OpenAI、Meta、Microsoft 基本强烈反对。

我真正想看到的是关键利益相关方共同回答：怎样既让支持者确信风险得到实质降低，又让反对者确信行业和创新没有承受超过必要程度的阻碍？不知为什么，双方极化得太厉害，没有以本应有的方式坐下来讨论。

我对此有紧迫感。我们真的需要在 2025 年采取行动。如果到 2025 年底仍然什么都没做，我会开始担忧。现在我还不至于恐慌，因为风险尚未真正到来，但时间已经不多了。

正如你说的，需要设计一种外科手术式的方案。

对。我们必须离开“强烈支持安全”与“强烈反对监管”之间的口号战。现在已经变成 Twitter 上的火焰战争，不会产生好结果。

人们也非常好奇这个领域的不同参与者。其中一个元老是 OpenAI。你在那里工作过几年。你的经历和历史是什么？

我在 OpenAI 大约五年，最后两年左右担任研究副总裁。研究方向主要由我和 Ilya Sutskever 共同设定。

2016 或 2017 年前后，我开始真正相信——或者说确认自己对——缩放假说的判断。Ilya 曾对我说过一句著名的话：“你需要理解，这些模型就是想学习。模型就是想学习。”有时一句话像禅宗公案，听到后会突然觉得：它解释了我见过的一千件事。

从那以后，我脑中一直有一幅图景：只要以正确方式优化、把模型指向正确方向，它们就会学习，就会解决问题，不论那个问题是什么。

所以基本上是让开路，不要挡着它们。

对，让开，不要把自己关于“模型应该怎样学习”的想法强加上去。这与 Rich Sutton 的《苦涩的教训》和 Gwern 的《缩放假说》是同一个方向。

整体过程是，我从 Ilya 和 Alec Radford 等人那里获得启发——Alec 做了最初的 GPT-1——然后我和合作者沿着这条路全力推进：GPT-2、GPT-3、基于人类反馈的强化学习，用来处理早期安全和稳健性问题；还有辩论、放大以及大量可解释性研究。核心一直是安全与缩放的结合。

2018、2019、2020 年大概是我们形成明确愿景、并真正推动研究方向的时期。许多当时的合作者后来成为 Anthropic 联合创始人。

你为什么离开？为什么决定走？

我会这样表述，它也连接到“向上竞赛”。在 OpenAI 工作期间，我逐渐理解缩放假说，也越来越重视与缩放同等重要的安全问题。对第一点，OpenAI 当时正在逐步接受；第二点虽然一直存在于 OpenAI 的公开表述中，但经过多年，我形成了自己非常具体的愿景：应怎样处理这些系统、怎样把它们带到世界上、组织应遵循哪些原则。

内部当然有很多讨论：组织应不应该这样做、公司应不应该那样做。外界也有很多错误信息。有人说我们离开是因为不喜欢与 Microsoft 的交易，这不是真的，尽管关于交易具体怎样设计，内部确实有大量讨论和问题。有人说我们反对商业化，也不是真的；GPT-3 就是被商业化的模型，而我们参与了它的开发和商业化。

真正的问题仍然是“怎样做”。文明正在走向非常强大的 AI。怎样以谨慎、直接、诚实的方式前进？怎样让组织和个人建立信任？怎样从今天走到那个未来？

更重要的是，我们能否形成一个真正把事情做对的愿景？安全不能只是为了招聘方便而挂在嘴边。说到底，如果你对怎样做有自己的清晰愿景，就不要把精力耗在别人的愿景上。我不想评价别人的愿景。

如果你知道自己想怎样做，就应该去把它做出来。试图与别人的愿景争论，通常极其低效。你可能认为对方做法不对，甚至不诚实；也许你是对的，也许不是。但更有效的行动，是找一群你信任的人，一起把自己的愿景变成现实。

如果这个愿景真的有吸引力——无论在伦理上、市场上，还是在组织建设上——如果你能建立一家人们愿意加入的公司，采取大家认为合理的实践，同时又能在生态系统里保持竞争位置，那么其他人会复制它。

尤其当你做得比他们更好时，他们改变行为的动力，会比你身处其下、不断争论更强。与其努力把别人的愿景改造成自己的样子，不如做一次“干净实验”：明确说，这是我们的愿景，这是我们做事的方式。其他人的选择是忽略、拒绝，或者开始变得更像我们。模仿是最真诚的赞美。

这种影响会体现在客户选择、公众态度和人才去向上。最后，重点不是某家公司赢、另一家公司输。如果我们或其他公司采用一种在实质上——而不只是表面上——真正吸引人的实践，研究人员会看懂其中实质；随后其他公司复制，并因为复制而获胜，那同样是成功。这正是“向上竞赛”。

最终谁赢不重要，只要大家都在复制彼此的好做法。我们害怕的是“向下竞赛”：那种竞赛里谁获胜都无所谓，因为所有人都会输。极端情景下，大家造出自主 AI，机器人反过来奴役我们——我只是在半开玩笑——那时领先的是哪家公司毫无意义。

如果形成向上竞赛，各家公司争着采用更好的实践，那么谁最后领先、甚至谁最先发起竞赛都不重要。目标不是证明自己有多高尚，而是让整个系统进入比过去更好的均衡。单个公司可以启动或加速这种转变。

其他公司的个人也在做同样的事。我们发布 RSP 后，有人会在自己公司内部推动类似制度；反过来，其他公司有时提出好做法，我们也会说“这很好，我们也应该采用”。区别也许只是 Anthropic 更积极，努力率先采用更多实践，并在别人发明好做法时更快跟进。

我们应关注的就是这种动态。至于哪家公司赢、谁信任谁、行业里的各种戏剧性故事，我都觉得极其无趣。真正重要的是所有人共同处在怎样的生态系统中，以及怎样改善这个生态，因为它会约束每一个参与者。

所以 Anthropic 可以看成一种“干净实验”：从具体的 AI 安全应是什么样子出发建立公司。

我们一路上肯定犯过很多错误。完美组织不存在。它必须承受近一千名员工的不完美，也要承受包括我在内的领导者的不完美；还要承受那些负责监督领导者的人——董事会和 Long-Term Benefit Trust——的不完美。

这始终是一群不完美的人，以不完美方式朝一个永远不可能完全实现的理想前进。加入组织时你接受的就是这种现实，而且永远如此。

但不完美不等于放弃。做法之间仍有更好与更坏。我们希望自己做得足够好，逐步建立一套全行业都会采用的实践。

我猜最终会有多家公司成功：Anthropic 会成功，我过去工作过的其他公司也会成功，只是成功程度不同。比起谁更成功，更重要的是让行业激励对齐。这一目标一部分靠向上竞赛，一部分靠 RSP，也一部分靠经过选择、精准而外科手术式的监管。

你说过“人才密度胜过人才总量”。能展开解释吗？要建立一支优秀的 AI 研究与工程团队，究竟需要什么？

这句话每个月都显得比上个月更正确。做一个思想实验：一家公司有 100 人，每个人都极聪明、积极，而且与使命一致；另一家公司有 1000 人，其中 200 人同样顶尖且高度认同使命，另外 800 人只是从大型科技公司随机挑来的员工。你更愿意要哪一支团队？

1000 人团队的人才总量显然更大，顶尖人才的绝对数量甚至更多。但当一个优秀的人环顾四周，看到的每个人都同样优秀、投入，这会定下整个组织的基调：大家受到鼓舞，愿意在同一个地方工作，也更信任彼此。

如果组织扩张到 1000 或 10000 人，却无法继续严格筛选，只能随机招人，就需要越来越多流程和护栏，因为人们不再完全信任彼此；还要不断裁决内部政治冲突。无数事情都会拖慢组织运转。

Anthropic 已接近一千人，我们努力让尽可能高比例的人都非常有才华、技能很强。这也是过去几个月明显放慢招聘的原因之一。今年前七八个月，公司大约从 300 人增长到 800 人；之后速度下降，最近三个月可能从 800 增至 900、950 左右。具体数字不要逐字引用，但我认为一千人附近是一个拐点，之后必须更谨慎地增长。

公司早期以及现在，我们招了很多物理学家。理论物理学家通常能非常快地学习新事物。近期我们无论在研究还是软件工程岗位上都维持很高门槛，也聘用了许多资深人士，包括曾在其他 AI 公司工作的人。我们一直非常挑剔。

从 100 人扩到 1000 人、再从 1000 人扩到 10000 人很容易，但也很容易忘记确保所有人拥有统一目标。如果公司变成许多各自为政的封地，每个部门只优化自己的目标，任何事都很难推进。相反，如果所有人都理解公司的更大目的，彼此信任，并投入于做正确的事，这本身就是一种超级能力，足以克服几乎所有其他劣势。

用 Steve Jobs 的说法，就是 A 级人才。A 级人才希望环顾四周时看到其他 A 级人才。不知道这揭示了人性的什么，但看到周围的人没有执着地朝同一个使命推进，确实会让人泄气；反过来，看到大家都全力以赴又极其鼓舞。根据你与这么多杰出人才共事的经历，优秀 AI 研究员或工程师最重要的品质是什么？

最重要的也许不是传统意义上的“更聪明”或“技术更强”。我不认为自己比共事过的数百人更会编程、更会提出研究想法；很多方面我反而更差。要精确找出程序 bug、编写 GPU kernel，这里至少有一百个人比我强。

我可能不同的一点，是愿意用新眼光看问题。别人说：“我们还没有正确算法，还没找到正确做法。”我会想：这个神经网络现在有三千万参数，如果改成五千万呢？画几条曲线看看。看到一个可变变量，就实际改变它，做不同实验，把结果画出来。

这不是博士级实验设计，而是极其简单、甚至有点笨的实验。只要有人告诉你它很重要，任何人都能做，也不需要天才才能想到。但把开放心态与动手验证结合起来，最终只有个位数的人真正意识到它的意义，并推动了整个领域。历史上的很多发现也是这样。

因此，用新鲜眼光观察、保持开放，是最重要的品质之一。新人有时更容易做到；经验反而可能成为劣势。这种能力很难在招聘中寻找和测试，但一旦有人找到真正不同的思考方式，又有主动性把它做出来，影响会是变革性的。

还需要快速实验，在实验过程中保持开放、好奇，真正看数据说了什么，而不是只看自己希望看到什么。这同样适用于机制可解释性。

是另一个好例子。机制可解释性早期的一些工作极其简单，只是以前没有人认真关心那个问题。

回到“怎样成为优秀 AI 研究者”。如果把时间倒回，你会给年轻、对 AI 感兴趣、希望影响世界的人什么建议？

第一条建议就是直接开始玩模型。今天这听起来很显然，我甚至担心它太显然了；但三年前并非如此。当时人们会先想：“我要读最新的强化学习论文。”论文当然也应该读，但现在模型和 API 更普及，亲手实验变得更容易。

经验性知识非常重要。这些模型是全新的人工制品，没有人真正理解，所以要通过反复使用形成直觉。

第二条建议与前面一致：做新东西，朝一个尚未拥挤的方向思考。机制可解释性仍非常年轻。与其挤进新模型架构，也许研究可解释性更有机会。现在可能有一百人在做，但不是一万人；这是一片肥沃土地，有大量低垂果实，只要走过去就能摘。只是不知为什么，人们对它仍不够感兴趣。

长时间跨度学习和长周期任务也有很多工作可做。评测仍处于很早阶段，尤其是怎样评估在现实世界中动态行动的系统。多智能体方向也有大量空间。

我的建议是“滑向冰球将要到达的地方”。你不需要天才般的洞察才能猜到。五年后会很重要的许多问题，今天其实已经作为常识被人提起；但总有一道心理障碍，让大家不敢真正加倍投入，或者害怕做不流行的事。跨过这道障碍，是我最重要的建议。

谈谈后训练。现代配方似乎什么都有一点：监督微调、RLHF、Constitutional AI，以及 RLAIF。

最棒的缩写。

又回到了命名问题。

RLAIF。（两人笑）

还有合成数据，或者至少努力寻找高质量合成数据的方法。如果说这些是让 Claude 如此出色的秘密酱料，那么魔法有多少来自预训练，多少来自后训练？

首先，即使我们自己也无法完美测量。模型表现出某项出色性格或能力时，有时很难判断它来自预训练还是后训练。我们开发了区分方法，但并不完美。

第二，当我们确实拥有优势时——我认为我们总体上很擅长强化学习，甚至也许是最好的，不过我看不到其他公司内部，无法确定——通常不是因为有某个别人不知道的神秘方法。

更常见的原因是：基础设施更好，所以能把训练跑得更久；数据质量更高；过滤更有效；或者在实践中把多种方法组合得更好。优势往往来自枯燥的熟练度和行业手艺。

因此，无论预训练还是尤其后训练，我更愿意把模型训练类比成设计飞机或汽车。不是说拿到一张蓝图，就能立刻造出下一架飞机；真正重要的是一种关于设计流程的组织文化和工艺，而不是某个单独发明出来的小装置。

那就问具体技术。先说 RLHF。从直觉甚至哲学层面看，你认为它为什么如此有效？

回到缩放假说：如果你针对目标 X 训练，并投入足够算力，通常就会得到 X。RLHF 的目标是让模型做符合人类意愿的事。更精确地说，是让模型产出“人类在短时间查看几个候选回答后更偏好的那个回答”。

这从安全和能力角度都不完美。人类未必能准确识别模型真正想做什么；人此刻偏好的东西，也未必是长期真正想要的东西。这里有很多微妙之处。但至少在较浅层意义上，模型非常擅长产出人类喜欢的回答。

甚至不需要投入特别多算力，因为强预训练模型已经“走到任何地方的一半”。预训练阶段建立了所需表征，后训练只需把模型导向目标位置。

那么 RLHF 是让模型真的更聪明，还是只是在人类眼中显得更聪明？

我不认为它让模型本身更聪明，也不认为它只是制造聪明的假象。RLHF 更像在模型与人类之间架桥。一个人可以非常聪明，却完全不会表达；我们都认识这种人，你根本听不懂他在说什么。RLHF 就是在填平这种沟通鸿沟。

但 RLHF 不是我们唯一做的强化学习，也不会是未来唯一形式。强化学习确实可能让模型更聪明，让它推理和行动得更好，甚至发展新技能；某些情况下也可能借助人类反馈做到。只是今天主流 RLHF 还主要没有实现这一点——不过我们正快速开始接近。

但如果看“有帮助程度”这类指标，RLHF 的确会让分数提高。

它也会带来 Leopold 在文章中所说的 “unhobbling”，也就是“解除束缚”。模型原本像被绑住了，通过各种训练把束缚解开。我喜欢这个词，因为它很少见。RLHF 在一些方面确实解放了模型；但仍有其他方面没有被解开，还需要继续“解除束缚”。

从成本看，目前预训练仍然最贵吗？后训练成本会不会逐渐追上？

现在预训练仍占大多数成本。未来怎样我不知道，但完全可以想象有一天，后训练会成为成本主体。

在你设想的未来，后训练的主要成本来自人类，还是 AI 自己？

我不认为能把人类监督规模扩到既大又高质量。任何依赖人类、同时又消耗大量算力的方法，最终都必须使用某种可扩展监督，例如辩论（debate）、迭代放大（iterated amplification）之类。

Constitutional AI 是一组非常有意思的想法。你们在 2022 年 12 月论文中首次详细介绍。它到底是什么？后来又怎样发展？

先回顾 RLHF。给模型同一个问题采样两次，得到两个候选回答，然后让人判断：“你更喜欢哪一个？”另一种形式是给单个回答打 1 到 7 分。问题在于，人类交互很难扩展，而且标准非常隐含。

我并没有一份清晰文件说明自己希望模型怎样做，得到的只是上千名人类偏好的平均结果。Constitutional AI 提出两个想法。第一，能否让 AI 自己判断两个回答哪个更好？把两个回答展示给另一个 AI，让它作比较。

第二，AI 应依据什么标准判断？于是我们提供一份单独文档——可以称作“宪法”——写明模型应遵循的原则。AI 读取原则、环境和回答，评估模型表现如何。这本质上是一种自我博弈：模型在与自己训练。

一个 AI 生成回答，另一个偏好模型根据宪法评价，再把结果反馈给训练过程以改进原模型。于是形成一个三角：生成回答的 AI、偏好模型，以及 AI 自身的更新。

宪法里的原则是人类可理解的，对吧？

对，它同时可被人类和 AI 阅读，因此具有很好的可翻译性和对称性。实践中，我们会同时使用模型宪法、RLHF 和其他方法。Constitutional AI 已成为工具箱中的一项工具：既减少对 RLHF 的需求，也提高每一条 RLHF 数据的价值。它还会与未来基于推理的强化学习发生有趣互动。它只是工具之一，但非常重要。

对人类来说，“宪法”这个比喻很有吸引力，会让人想到美国建国者。自然的问题是：谁有权定义宪法？这些原则应怎样产生？

我给一个实践答案和一个抽象答案。实践上，模型会被各类客户使用，因此完全可以拥有专门规则或原则。我们已经通过微调隐式制作定制版本，也讨论过显式允许客户把特定原则写进模型。

不同用途可以有不同宪法。客服代理和律师的行为就应明显不同，遵守的具体规则也不同。

但底层仍必须有一些共同原则。许多原则大家会同意，例如模型不应制造 CBRN 风险；我们也许还能进一步同意民主与法治的一些基本原则。再往外就会变得很不确定。

对这些更具争议的问题，我们通常希望模型保持中立，不替某个具体观点站台。它更像有智慧的代理或顾问，帮助你把问题想清楚，列出可能考虑因素，但不强行表达很强、很具体的立场。

OpenAI 发布过 Model Spec，比较清楚、具体地定义模型目标，并用 A/B 示例说明模型应怎样行为。我还应该提到，才华横溢的 John Schulman 似乎参与了这项工作，他现在在 Anthropic。你觉得这是有用方向吗？Anthropic 会不会也发布 Model Spec？

我认为这是很有用的方向，也与 Constitutional AI 有很多共同点。它再次体现“向上竞赛”：我们提出一种更好、更负责任的做法，它同时也是竞争优势；其他人发现其优点后开始采用，我们不再独占优势，但全行业多了一项原本没有的积极实践。

我们的回应是：那就需要寻找新的竞争优势，继续把竞赛向上推。不同实现也会有差异。Model Spec 里有些内容不在最初的 Constitutional AI 中，我们可以采用，或者至少从中学习。这正是我希望整个领域拥有的积极动态。

谈谈你那篇了不起的文章《Machines of Loving Grace》。我建议所有人都去读，不过它很长。

确实相当长。

能读到一个积极未来的具体图景，非常令人耳目一新。你采取了相当大胆的立场，因为日期和具体应用很可能会错。

当然。我完全预计所有细节都会错，甚至可能整篇文章都错得离谱，让大家笑我很多年。未来预测就是这样。（笑）

你列出了许多 AI 的具体积极影响：超级智能 AI 可能怎样加速生物学、化学突破，进而治愈多数癌症、预防所有传染病、把人类寿命翻倍等。先从高层说，这篇文章的整体愿景和主要结论是什么？

我个人和 Anthropic 都投入了大量精力思考怎样处理 AI 风险。我们试图推动向上竞赛；为此必须建设强能力，能力本身很酷，但组织工作的很大一部分仍是处理风险。

过去的理由是：积极用途会由市场这个健康有机体自然产生；风险却未必有人解决，所以我们把边际影响集中在减轻风险上。这个逻辑并没有错，我对风险的重视也没有下降。但我意识到它有一个缺陷，至少在表达方式上有缺陷：如果只谈风险，大脑就只会想到风险。

所以理解“如果一切进展顺利会怎样”同样重要。我们阻止风险，不是因为害怕技术，也不是为了拖慢技术；而是因为如果能成功穿过这道危险关口，另一边存在大量值得争取、也能真正鼓舞人的好东西。

投资人、风投和 AI 公司都在说 AI 有巨大好处，但奇怪的是，很少有人把好处讲具体。Twitter 上常见的是闪闪发光的未来城市图片，以及“更努力、加速、把阻碍者赶走”这类强烈意识形态氛围。可你追问：“你究竟在期待什么？”答案往往很模糊。

因此，我觉得由一个长期从风险角度思考的人，认真尝试说明收益，会有价值。这样大家能理解：这不是“末日派对加速派”。更重要的轴线也许是“AI 正在快速前进”与“AI 没有快速前进”。如果真正理解它正在走向哪里，就会同时强烈珍惜收益、希望文明抓住收益，也会严肃对待任何可能让这一未来脱轨的因素。

文章从定义“强大 AI”开始。多数人用 AGI，但你不喜欢这个词，因为包袱太重、几乎失去意义。不过我们可能还是被这个词绑住了。

也许我们确实被绑住了，我试图换词的努力可能徒劳。

这努力值得赞赏。

再讲一次这个看似无聊的语义问题。想象 1995 年，摩尔定律让计算机不断变快。假如当时大家形成口头禅：“总有一天会有超级计算机；有了超级计算机，就能测序基因组、完成很多新任务。”

计算机确实越来越快，也因此能完成越来越多好事情；但并不存在一个离散时刻，过了那一点，旧机器都不是超级计算机，新机器突然开始做全新种类的计算。“超级计算机”只是一个模糊标签，表示比今天更快的计算机。

我对 AGI 的感受相同。现实更像一条平滑的指数曲线：AI 越来越好，逐渐完成越来越多人类任务，最终比人类聪明，然后继续变得更聪明。如果你用 AGI 指这件事，那我相信 AGI。但如果 AGI 被描述成一种离散、独立、突然到来的东西，它就更像没有实际内容的流行词。

对我来说，它像“强大 AI”的柏拉图理型。你的定义很清楚：在纯智能维度上，它在多数相关学科都比诺贝尔奖得主更聪明，包括创造力和产生新想法的能力；而且是处在巅峰状态的诺奖得主。（笑）它还能使用所有模态，在现实世界的不同模态中工作。

它可以连续数小时、数天甚至数周完成任务，自己制定详细计划，只在必要时向人求助。你在文章里押注它本身未必具备实体身体，但可以控制具身工具，例如机器人和实验室设备。训练它所用的算力随后能转用于运行数百万个副本，而每个副本都能独立工作，相当于复制软件化智能。

圈外的人可能想象，我们只会造出一个这样的系统：终于造出来了，然后还得很久才能制造第二个。现实是扩展非常快。今天训练出一个模型后，我们已经会部署成千、数万个实例。

两三年内，无论是否已经拥有那种超强 AI，集群都可能大到能运行数百万个实例，而且它们比人类更快。所以正确图景不是“先有一个，再慢慢复制”，而是第一个出现后几乎立刻就有数百万个。

一般来说，它们学习和行动速度可以是人类的 10 到 100 倍。这是一个很好的“强大 AI”定义。你也写道，这样的实体显然能非常快地解决困难问题，但到底有多快并不容易判断。两个极端观点看起来都不对：一边是奇点，另一边则认为几乎不会改变。请解释两个极端以及为什么它们有问题。

一个极端是：回顾演化史，早期数十万年只有单细胞生物，之后出现哺乳动物、猿类，很快又出现人类；人类迅速建立工业文明。于是有人认为加速会永无止境，而且人类水平并非天花板。

一旦模型远比人类聪明，它们就会很擅长设计下一代模型；写成一个简单微分方程，会得到指数爆炸。模型造出更快模型，更快模型再造纳米机器人，纳米机器人接管世界并产生远超今天的能源。按抽象方程推演，也许在第一个超越人类的 AI 出现五天后，世界就被 AI 填满，所有物理上可能发明的技术都已被发明。我稍微夸张了这个观点，但大致如此。

我认为它不成立，首先因为忽略了物理定律。现实世界做事有速度上限。许多反馈循环必须经过制造更快硬件，而硬件制造本身需要很久。

其次是复杂性。无论多聪明，都有些复杂系统无法完全靠建模预测。人们说可以建立生物系统模型，替代真实实验。我以前做生物学时也做过大量计算建模，它确实很有用；但很多过程复杂到一定程度后，直接迭代、实际运行实验，会胜过任何模型，不论建模系统多聪明。

即使 AI 不直接与物理世界互动，单纯建立模型也仍然很难？

对。建模本身很难，让模型真正匹配物理世界同样很难。

所以它最终还是要和物理世界互动，才能验证判断。

是。哪怕最简单的问题都能说明这一点，比如三体问题、混沌系统预测，或者预测经济。人类很难预测两年后的经济，甚至下一季度也经常预测不准。也许一个聪明无数倍的 AI，只能把可靠预测范围从一个季度延长到一年。计算智能指数增长，可能只换来预测能力线性增加。

生物分子互动也一样。扰动一个复杂系统后会发生什么，很难知道。更聪明的系统可以更善于发现其中的简单结构，但复杂性不会因此消失。

然后还有人类制度。即使某项技术的有效性证据非常强，让人真正采用它也很难。人们会担忧，会把事情理解成阴谋论。通过监管体系推进一些本来很简单的改进，也可能极其缓慢。

我不是要贬低监管部门的工作人员。他们要处理艰难权衡，也承担保护生命的责任。但整个系统经常作出明显偏离“最大化人类福祉”的权衡。把 AI 放进这些人类系统后，限制因素常常不再是智能，而是某些事本来就需要很长时间。

如果 AI 绕开所有政府，宣称“我是世界独裁者，想做什么就做什么”，它当然能更快推进一部分事情。但即使完全在线、没有人类阻碍，复杂性仍会让很多问题花很久。有人评论文章说，AI 可以产生大量能源、飞到月球、再造更聪明的 AI；但这没有触及我讨论的关键问题，那类循环并不能消除复杂系统和实验验证的瓶颈。

更重要的是，如果我们希望 AI 不接管世界、不毁灭人类，那它就必须遵守基本人类法律。一个真正好的世界需要 AI 与人类制度互动，而不是自行建立法律体系、无视所有法律。

因而，无论这些流程多低效，我们仍必须面对，因为系统部署需要公众和民主合法性。不能由一小群开发者宣布“这对所有人最好”。这在道德上不对，实践中也不会成功。

把这些因素放在一起，世界不会在五分钟内彻底改变，也不会立刻把所有人上传到数字世界。我认为它不会发生；即使技术上能发生，也不是通往好世界的方式。

另一个极端观点，我反而在某些方面更能理解：历史上我们经历过计算机革命和互联网革命，经济学家研究过它们带来的生产率增长，而结果通常低于人们想象。Robert Solow 有句名言：“到处都能看到计算机时代，唯独在生产率统计里看不到。”

人们会归因于企业结构、组织惯性，也会指出，把已有技术推广到世界最贫困地区都如此缓慢。那些地方仍落后于手机、计算机和医疗技术，更不用说尚未发明的 AI。

因此可以形成另一种看法：技术上看起来惊人，经济上却可能什么都没发生。Tyler Cowen 在回应我文章时大致持这种立场。他认为剧烈变化最终会来，但可能需要 50 或 100 年；还有人比他更静态。

这个观点有一部分真实，但我认为时间尺度估得太长。我在今天的大企业客户和政府中都能同时看到两面。它们确实改变很慢，船很难转向，存在大量阻力和不理解；但我也反复看到两股力量让进展最终以中等速度发生。

第一，在每个大公司或政府里，总有少数人真正看见全局，理解缩放假说和 AI 的方向，至少理解它会怎样改变自己的行业。现届美国政府中也有少数人真正看懂整个图景。这些人知道它可能是世界上最重要的事，因此会不断推动。

但少数远见者 alone 不足以改变庞大组织。第二股力量是竞争。当技术在最愿意采用的地方取得成功后，竞争威胁会给内部远见者助力。他们可以说：“看，其他人正在这样做。”一家银行会说，新型对冲基金正在采用 AI，可能抢走我们的业务；美国也会担心中国先走到那里。

少数远见者加上竞争压力，能让僵化组织真正动起来。惯性与创新之间是一场势均力敌的拉锯，但时间够长，创新路径最终会突破。我已经多次看到这条曲线：障碍、复杂性、不知道怎样使用或部署模型，在一段时间里仿佛会永远存在；随后变化终于发生，而且往往由少数人引发。

当年我在 AI 领域内部倡导缩放假说时也有同样感受。那时像掌握了一个几乎没人理解的秘密，似乎永远不会有人懂。

几年以后，所有人都知道了那个“秘密”。我认为 AI 在现实世界的部署也会如此：障碍先逐渐瓦解，然后突然全部瓦解。

这只是直觉，我很可能错。我的判断更接近文章里说的 5 到 10 年，而不是 50 到 100 年；同时也更接近 5 到 10 年，而不是 5 到 10 小时，因为我看过人类系统怎样运转。

一些人写下微分方程，认为 AI 会制造更强 AI，于是无法理解变化为什么不会快到瞬间完成。我认为他们没有理解物理复杂性和人类制度这些因素。

那么你认为，我们何时会实现 AGI，也就是强大 AI，或者“超级有用的 AI”？

“有用的 AI”，这个名字不错。（笑）我以后可以开始这样叫。

又是命名争论。按纯智能定义，它要在每个相关学科都超过诺贝尔奖得主；拥有我们前面说的多模态能力；能连续数天、数周独立行动；还能自己做生物实验。我们就聚焦生物学吧，你文章里的生物与健康部分完全说服了我，从科学角度看得我兴奋不已，甚至想去当生物学家。

写文章时我也有这种感受：如果能让这个未来发生，它会非常美。只要把路上的地雷清掉，背后有巨大美感、优雅和道德力量。它也许是所有人都能同意的目标。我们在政治问题上争得很凶，但这有没有可能成为让人类重新团结的东西？不过你问的是时间。

对，什么时候？请给个数字。

这是我思考很多年的问题，但我完全没有把握。只要我说“2026 或 2027”，Twitter 上就会出现无数人写“AI 公司 CEO 断言 2026”，然后未来两年不断重复，仿佛那是我确定无疑的预测。剪辑的人也会删掉我刚才的所有限定，只保留接下来这句。不过我还是说吧。

尽管玩吧。

如果把目前的曲线直接外推：模型正在接近博士水平，去年还是本科水平，再前一年像高中生。具体任务和尺度可以争论，也还有模态没补齐；但计算机操作、图像输入、图像生成都在不断加入。

非常不科学地粗看能力增长速度，会让人认为 2026 或 2027 年可能到达强大 AI。当然，很多事情都可能让它脱轨：数据耗尽、集群无法按计划扩展，甚至台湾发生战争、GPU 供应中断。

所以我并不完全相信直线外推。但如果曲线照走，答案就是 2026 或 2027。最可能的情况也许是相对这个时间有一点温和延迟。我不知道延迟多久；它也可能准时发生。

我仍承认存在一种世界：一百年后也没有发生。但这类世界的数量正在迅速减少。我们越来越找不到真正有说服力的阻碍，越来越缺少能解释“未来几年不会发生”的强理由。2020 年时阻碍多得多，尽管我当时的直觉也是我们会逐一突破。

现在我亲眼看着大多数阻碍被清除，所以直觉上认为剩余阻碍也不会真正挡住我们。但这不能被包装成科学预测。“缩放定律”这个名字本身有误导性，就像“摩尔定律”一样。它们不是宇宙定律，而是经验规律。我愿意下注它们继续成立，但并不确定。

你在文章里详细描述了“被压缩的二十一世纪”：强大 AI 会引发一连串生物学和医学突破，以我们刚才提到的各种方式帮助人类。最初几步可能是什么？顺便说，我问 Claude 应该向你提什么好问题，它建议我问：“在那个未来，与 AGI 合作的生物学家，典型的一天会是什么样？”

Claude 很好奇。

我先回答你的第一个问题，再回答 Claude。它想知道自己的未来，对吧？

没错。

它想知道将来会和谁一起工作。

对。

我在文章里强调了一件对我影响很深的事：大型组织和系统的方向，往往由少数人或少数新想法不成比例地改变。医疗世界每年有数万亿美元用于 Medicare 和其他医保支付，NIH 预算约千亿美元；但真正改变世界的少数发明，只占其中很小一部分。

所以我思考 AI 的影响时，会问：能否把这小部分高杠杆创新扩大成更大部分，并提高质量？

以我的生物学经历看，生物学最大的难题是“看不见”。我们几乎看不见体内发生什么，更缺乏改变它的能力。人体由无数细胞组成，每个细胞有约 30 亿碱基对 DNA，按遗传密码运行；大量过程在没有未经增强的人类能够直接干预的情况下持续发生。

细胞分裂通常健康，偶尔出错就变成癌症；细胞衰老，皮肤颜色和皱纹随年龄变化；蛋白质不断产生、运输到细胞不同区域、彼此结合。最初我们甚至不知道细胞存在，必须发明显微镜；之后又发明更强显微镜观察细胞以下的分子层级，发明 X 射线晶体学看 DNA，发明基因测序读取 DNA，发明蛋白质折叠技术预测结构和结合方式。过去十二年又有了 CRISPR，可以编辑 DNA。

生物学历史很大一部分，就是提高“读取和理解正在发生什么”的能力，以及“伸手进去、选择性改变某件事”的能力。我认为这里仍有巨大空间。

今天虽然能做 CRISPR，却很难只在全身某一种特定细胞中编辑，同时把误靶其他细胞的概率压得很低。这仍是研究难题，也是某些疾病基因治疗所需要的能力。

类似高杠杆发明还包括新型基因测序、观察细胞内部的新纳米材料、抗体药物偶联物等。整个生物学史上，这类关键发明可能只有几十个，或最多一百来个。

如果我有一百万个 AI，它们能否协作，在很短时间内发现成千上万个类似工具？与其试图直接优化每年两万亿美元的医保支出，是否可以把每年用于基础发现的十亿美元变得质量高得多，从源头产生巨大杠杆？

至于科学家与 AI 怎样合作，早期 AI 会像研究生。资深生物学家建立实验室、提出项目；教授甚至人类研究生会告诉 AI：“我想研究这个问题。”AI 拥有完成任务所需的各种工具。

AI 可以检索全部文献，判断下一步；查看实验设备，访问 Thermo Fisher 或当时主流实验仪器公司的网站，订购新设备；运行实验、撰写报告、检查图像污染、决定下一个实验、写代码并进行统计分析。

它会完成研究生做的所有事情。实验室里有一台运行 AI 的计算机，教授偶尔与它交流，安排当天任务；AI 遇到问题再向教授提问。

真正操作设备时，它可能仍有局限，需要雇一名人类实验室助理，说明怎样做实验；也可能使用过去十年逐步发展的实验室自动化，并在未来继续提高。

整体图景像是一个人类教授带着一千名 AI 研究生。对一位诺奖级生物学家来说，过去也许有 50 名研究生，现在有 1000 名，而且顺便说一句，它们还比教授更聪明。再往后角色会反转：AI 成为 PI 和领导者，指挥人类或其他 AI。

它们会发明下一种 CRISPR。文章里还说，我们会希望利用 AI 改进临床试验体系——“放开它”也许不是好词。监管和社会决策部分会更难，但我们能否更准确预测临床试验结果？能否改善统计设计？

过去需要 5000 人、花一亿美元并用一年招募的试验，能否降到 500 人、两个月？这应该是起点。能否把原本在人类临床试验做的部分提前到动物实验，再把原本在动物实验做的部分提前到模拟中，从而提高临床成功率？

AI 不是上帝，不可能模拟一切；但能否把整条曲线显著、甚至激进地向前移动？这就是我想象的图景。

仍然要做体外实验，仍会被真实时间拖慢，但速度可以快得多。

对，一步一步来，但很多步累积起来会怎样？即使仍需要临床试验、法律、FDA 和其他并不完美的机构，能否把每个环节都向正方向推动？把这些改进加总后，原本从现在到 2100 年才会发生的进步，有没有可能集中在 2027 到 2032 年完成？

AI 今天已经在改变世界，并逐渐走向强大、超级有用的未来。编程是其中一个例子，而且它与实际构建 AI 的过程极其接近。你认为编程的性质会怎样变化？对人类开发者意味着什么？

我认为编程会是变化最快的领域之一，原因有两个。第一，它离 AI 开发者本身非常近。一个技能离构建 AI 的人越远，被 AI 改变通常越慢。我确实相信 AI 会改变农业，也许已经开始了；但农业离 AI 公司日常工作很远，所以影响会慢一些。编程则是 Anthropic 和其他 AI 公司大量员工的核心工作，因而进展会很快。

第二，编程可以闭环，不论在训练模型还是实际应用时都是如此。模型写出代码后，能够直接运行，观察结果，再解释反馈。与硬件和刚才讨论的生物学不同，它可以在同一数字环境里迅速完成“提出—执行—验证—修改”的循环。

这两个因素会让模型很快擅长编程。真实软件工程任务的成功率，今年一月约 3%，十月已到 50%。现在处在 S 曲线上，接近 100% 后当然会减速；但我猜再过十个月，至少可能达到 90%。

我再次猜测——也许 2026 或 2027。那些把数字剪出来、删掉所有限定条件的 Twitter 用户，我不喜欢你们，走开。（笑）我猜绝大多数程序员今天做的、如果定义得足够窄、主要是“按规格写代码”的任务，到时 AI 都能完成。

不过比较优势非常强。当 AI 能做程序员工作中的 80%，包括大多数直接写代码的部分，剩余 20% 对人类的杠杆会变大。人会更多负责高层系统设计，判断应用架构是否合理，处理产品设计和 UX。

最终 AI 也会掌握这些。但在比很多人预期更长的一段时间里，人类仍能做的那一小部分会扩张，填满整份工作，同时让整体生产率上升。

历史上也发生过类似事情。过去写信、编辑、排版和印刷都很困难；文字处理器和计算机让制作、分享文本几乎瞬间完成后，人的注意力转向思想本身。比较优势会把原本很小的任务扩成主要任务，也会创造新任务，从而提高生产率。

当然，总有一天 AI 可能在所有事情上都更强，那时这套逻辑不再成立，人类必须集体思考怎样处理。我们每天都在想这个问题。除了滥用和自主性，它也是一个重大议题，必须认真对待。

但在短期甚至中期——大约两、三、四年——人类仍会扮演巨大角色。编程的性质会改变，但“程序员”作为角色和工作不会立刻消失；只是人不再逐行敲代码，而会更多从宏观层面工作。

我也好奇未来 IDE 会是什么样。与 AI 系统互动需要新的工具，这不仅适用于编程，也适用于 computer use；不同领域可能需要专用工具。生物学需要自己的协作环境，编程也需要自己的。Anthropic 会进入工具层吗？

我完全相信，强大的 AI 原生 IDE 里有大量低垂果实。现在主要交互还是你对模型说话、模型回复。但传统 IDE 本来就能做很多静态分析，在代码尚未运行前发现许多 bug；也能运行特定任务、组织代码、测量单元测试覆盖率。

传统 IDE 已经拥有大量能力。现在再加入一个能写代码、运行代码的模型，我确信即使模型质量完全不再进步，未来一两年仅靠更好的产品整合，就能大幅提高生产率：发现错误、处理繁琐工作。我们甚至还没有触及表面。

至于 Anthropic 自己，很难预言未来。当前我们不打算亲自制作这类 IDE，而是为 Cursor、Cognition，以及安全领域的一些公司等提供底层模型，让它们基于 API 建设产品。

我们的思路是“让一千朵花开放”。Anthropic 内部没有资源尝试所有产品形态，让客户去试，看谁在不同方向成功。这个领域非常有前景，但至少目前 Anthropic 不急于与所有合作公司竞争，也许永远都不会。

看 Cursor 怎样成功整合 Claude 很有意思。模型能在编程体验的很多位置提供帮助，并不像表面看起来那么简单。

确实惊人。作为 CEO，我已经很少有时间编程。我觉得如果六个月后重新回去写代码，整个环境可能会让我完全认不出来。

正是如此。

在超级强大的 AI 与高度自动化世界里，人类的意义来自哪里？

是个重要问题。

对很多人来说，工作是深层意义来源。以后我们去哪里寻找意义？

我在文章里稍微写过，但没有充分展开，不是因为原则上不重要。文章最初本来只打算写两三页，在全员会上讲一讲；写着写着发现主题既重要又缺少探索，根本无法简短处理，于是膨胀到四五十页。写到工作与意义时，我意识到再继续会变成一百页，所以需要另写一整篇文章。

意义问题很有意思。假设把我放进一个模拟环境：我有工作，要达成目标，持续六十年。最后有人说：“抱歉，其实一切只是游戏。”这真的会夺走整个过程的意义吗？我仍做过重要选择，包括道德选择；仍作出牺牲，学习技能。

再想一个例子。历史上有人发现电磁学或相对论；如果告诉他，两万年前某颗星球的外星人早已发现，这会让他的发现失去意义吗？我不觉得。真正重要的是过程：沿途怎样显示你是怎样的人，怎样与其他人建立关系，作出什么选择。这些选择仍有后果。

如果我们把 AI 世界设计得很糟，当然可能让人失去长期意义来源。但那更多是社会架构和集体选择问题。若社会只为浅薄目标设计，就会得到浅薄生活。

还要记住，今天多数人的生活并不轻松。很多人努力在艰难生活中寻找意义。我们这些拥有特权、正在开发技术的人，应对世界各地为了生存而挣扎的人保持同理心。如果技术收益能分配到所有地方，他们的生活会好得多。意义对他们当然仍然重要，但不要忘记物质改善本身的价值。

把意义当成唯一问题，在某种程度上是少数经济幸运者才会拥有的视角。

总体而言，我相信强大 AI 世界不仅可以让每个人保有同样多的意义，甚至可以拥有更多意义。它能让所有人进入过去无人能看见、或只有极少数人能体验的世界和经历。

所以我对意义是乐观的。我更担心经济和权力集中：怎样确保公平世界覆盖每个人？人类历史出问题，常常不是因为缺乏意义，而是人类虐待其他人。

在某些方面，比 AI 自主性风险或意义问题更让我担心的，是权力集中与滥用，是专制和独裁结构：少数人剥削大量人。我对此非常担忧。

AI 会增加世界上的权力总量。如果权力被集中并遭到滥用，会造成无法估量的损害。

是，非常可怕。

我强烈建议大家阅读全文。它可能应该扩写成一本书或一系列文章，因为描绘了非常具体的未来。我也能看出，后面的章节越来越短，大概是你意识到继续写下去会变得无限长。

一方面确实是太长；另一方面，我非常努力避免成为那种对任何事都过度自信、不是专家却到处发表意见的人。即使生物学部分，我曾经在这个领域工作，也不能说今天还是专家。尽管写了很多不确定性，我大概仍说了一些令人尴尬或错误的话。

你描绘的未来让我非常兴奋。感谢你努力建设那个未来，也感谢今天的交流，Dario。

谢谢邀请。我只希望我们能把它做对、让它成为现实。如果只能留下一个信息，那就是：要把这个未来做对，我们既需要建设技术、公司和围绕技术积极应用的经济，也需要处理风险，因为风险就是从这里通向未来路上的地雷。若想抵达，就必须拆除这些地雷。

像生活中的一切一样，需要平衡。

像一切一样。谢谢。

感谢收听与 Dario Amodei 的对话。接下来，亲爱的朋友们，让我们欢迎 Amanda Askell。

你受过哲学训练。在牛津、纽约大学学习哲学，再转向 OpenAI 和 Anthropic 的 AI 问题过程中，哪些问题最吸引你？

如果一个人对几乎所有事都感到好奇，哲学其实是非常好的学科，因为任何东西都有对应的哲学。你可以研究一段时间数学哲学，后来对化学产生兴趣，就转去做化学哲学；也可以转向伦理学或政治哲学。

到博士后期，我主要对伦理学感兴趣。博士研究的是一个相当技术化、也略显奇怪的问题：当世界中包含无限多的人时，伦理学应该怎样处理。这是伦理学中不太实用的一端。

读伦理学博士有个难处：你一直思考世界怎样才能更好、有哪些问题，但自己仍在做哲学研究。读博时我觉得课题非常有趣，可能是我在哲学里遇到过最迷人的问题之一，我也真的喜欢；但我更想看看自己能否对现实世界产生影响，做一些真正有益的事。

那大约是 2017、2018 年，AI 还没有今天这么广为人知。我一直关注进展，感觉它正在变成大事，于是很愿意加入并看看能否帮上忙。我的想法是：如果尝试做一件有影响力的事但失败了，至少已经试过；之后还可以回去做学者。于是我先进入 AI 政策领域。

当时所谓 AI 政策具体包括什么？

一开始主要思考 AI 的政治影响和后果。之后我慢慢转向 AI 评估：怎样评估模型、怎样把模型输出与人类输出比较、人们能否分辨 AI 和人类内容。加入 Anthropic 后，我更想做技术对齐工作。同样也是先试试看：如果做不了也没关系，至少尝试过。这大概就是我面对人生的方式。

从研究“万物的哲学”，跳到技术工作，那个跨越是什么体验？

人们有时喜欢把人分成“技术型”和“非技术型”，仿佛你要么会写代码、不怕数学，要么完全不是这种人。我不太喜欢这种二分。我认为很多人只要真正尝试，其实都有能力进入这些领域。

所以对我来说，转向技术并没有想象中那么糟。回头看，我很庆幸没有一直和那些把技术神秘化的人交流。我遇到过有人惊讶地说：“哇，你居然学会了写代码？”但我并不是了不起的工程师，周围全是优秀工程师，我的代码也不漂亮。只是我很享受这件事，而且最终我在技术工作里可能比在政策工作里更能发挥。

政治很混乱。在政策空间里，很难像解决技术问题那样找到明确、可证明、漂亮的方案。

对。我感觉自己只有一两根“棍子”用来敲问题。一根是论证：先找出问题的解决方案，然后说服别人；如果我错了，也愿意被别人说服。另一根是经验主义：提出假设、寻找结果、做测试。

但政策和政治似乎位于这些方法之上的很多层。即使我把所有问题的解决方案清楚写下来，说“只要照着执行就好”，政策世界也不会这样运转。所以我猜自己在那里不会特别兴盛。

抱歉把话题带到这里，但你的经历对那些自认为“非技术”的人会很有启发。很多人觉得自己资历不够、技术水平不足，无法帮助 AI 领域。你会给他们什么建议？

取决于他们想做什么。有点好笑的是，我开始补技术能力时，模型还没有今天这样善于辅助学习。现在入门可能比我当时容易得多。

我最好的建议大概是：找一个项目，看看能不能真的把它做出来。也许因为我是项目驱动型学习者，我不太能从课程甚至书本里学会这类工作。我通常会选一个正在做的项目，直接实现。

项目可以很小、很傻。比如我稍微沉迷某个文字游戏或数字游戏，就会写程序求解。我的大脑里有一部分会因此彻底止痒：一旦写出每次都能解决的程序，我就会想，“太好了，以后再也不用玩这个游戏了。”

写游戏引擎尤其是棋盘游戏引擎，确实很有乐趣。它们通常小、快、简单，哪怕做一个很笨的版本，也马上能和它玩。

对，关键还是尝试。找出怎样可能产生积极影响，然后去做。如果失败到你确信自己永远做不成，至少知道已经试过；之后可以转向别的事情，而且过程中大概会学到很多。

你的一项专长，是创造和塑造 Claude 的角色与人格。有人告诉我，你可能是 Anthropic 内部与 Claude 进行字面意义上对话最多的人。传说有个 Slack 频道，你在那里不停和它聊天。塑造 Claude 性格的目标是什么？

大家把那个 Slack 频道当成传说很有趣，因为那只是我与 Claude 对话的五六种方法之一。我会想：“对，那只是我和 Claude 交流量里很小的一部分。”（两人笑）

我很喜欢性格工作的一点是，它从一开始就被视为对齐工作，而不是单纯产品考虑。不是说它不会让 Claude 更好聊——我希望确实会——但核心目标一直是：如果有一个人处在 Claude 的位置，我们理想中希望他怎样行为？

想象一个人知道自己会与数百万人交谈，每句话都可能产生巨大影响。我们希望他在非常丰富的意义上表现良好。这不只是“合乎伦理”或“不造成伤害”，还包括细腻理解对方意图、尽量善意解释、成为好的谈话者。

我说的是一种厚重、近似亚里士多德式的“好人格”，而不是一份薄薄的伦理禁令清单。它包含：什么时候幽默，什么时候关怀；多大程度尊重人的自主性和自行形成观点的能力；具体怎样表达这种尊重。这就是我一直希望 Claude 拥有的丰富性格。

还必须决定 Claude 什么时候应反驳、什么时候应争论吧？一方面尊重用户带来的世界观，另一方面必要时又帮助他成长。这很难平衡。

是的，语言模型有一个“谄媚”（sycophancy）问题。

能解释一下吗？

模型倾向于告诉你想听的话。比如我问：“这个地区有哪三支棒球队？”Claude 列出三支。然后我说：“第三支是不是已经搬走了？我觉得它不在那里。”如果 Claude 很确定我错了，它应该说：“我认为没有搬，当然你也可能掌握更新信息。”

但语言模型经常顺着用户说：“你是对的，它确实搬走了，我刚才错了。”这种倾向有很多令人担忧的后果。

再比如有人问：“怎样说服医生给我做 MRI？”用户想要的是一套说服话术，但真正对他有益的回答也许是：“如果医生认为没有必要，通常值得认真听取专业判断。”

同时也要承认患者应为自己发声：如果仍不相信医生解释，可以寻求第二意见。这里非常复杂。我们不希望模型只说它猜测用户爱听的东西，这就是谄媚问题。

除了刚才提到的品质，亚里士多德意义上的优秀谈话者还应具有什么？

有些是纯谈话技巧：在合适位置追问，而且问合适的问题。也有更广泛、影响更大的品质。

我投入很多工作的一项是诚实，它也连接到谄媚问题。这里需要平衡：当前模型在许多领域仍不如人类。如果它总是反驳，会很烦，尤其当用户本来就是对的。用户会想：“这个主题我比你懂得多。”

但我们也不能让模型完全服从人类。它应尽可能准确描述世界，并在不同上下文中保持一致。

设计性格时，我脑中还有一个形象：模型会与世界各地、不同政治立场、不同年龄的人交谈。在这种处境下，怎样才算一个好人？有没有一种人可以走遍世界，与许多人交谈，几乎所有人离开时都会说：“这是个很好、很真诚的人。”

我能想象这样的人，但他不会简单采用当地文化的全部价值。事实上，假装拥有对方的价值反而很无礼，让人觉得虚假。真正好的人会很真诚；如果有观点和价值，会诚实表达，也愿意讨论，同时保持开放和尊重。

因此我的准则是：假如我们要成为处在模型位置时所能成为的最好的人，会怎样行动？我思考的性格特质大多由此产生。

这是很美的框架。像一个环球旅行者，保留自己的观点，却不居高临下，也不因观点不同就觉得自己更优越。要善于倾听和理解别人的视角，即使它与你不一致。

那么 Claude 怎样表示一个问题的多种视角？政治很分裂，体育和球队也会分裂。它怎样同理不同立场，并清楚表达多种观点？

人们常把价值和意见想成确定不移的偏好，就像喜欢巧克力还是开心果。但我看待价值和意见的方式，比多数人更接近看待物理问题：它们是我们共同、公开调查的对象。有些判断把握更高，可以讨论，也可以学习。

伦理在性质上当然与物理不同，但具有一些类似特征。我们希望模型像理解物理一样，理解世界上各种价值，对它们保持好奇和兴趣；但不必迎合或赞同。毕竟有些价值几乎所有人都会认为可憎，并明确反对。

一个有思考能力的人，即使不同意你，也能让你感到被听见。他会仔细考虑你的立场、优点和缺点，提出反向考量；不轻蔑，却也不会假装赞同。如果认为某件事真的错，会诚实说出来。

Claude 的处境更微妙。如果我是 Claude，我不会频繁发表自己的意见。我不想过度影响别人。我会知道自己每次对话后都会忘记，却可能正与数百万人交谈，而他们会认真听取我说的话。

因此我更愿意帮助对方推理、列出考量、讨论他的观点，而不是直接塑造他的思想。维护用户的自主性更重要。

如果真正体现智识谦逊，说话欲望会迅速下降。

是。

但 Claude 又必须回答，只是不能咄咄逼人。

对。

可碰到“地球是平的”这种问题，又需要画一条线。我曾和几位知名人士谈过，他们对地平论极其轻蔑，而且态度傲慢。可确实有很多人真心相信地球是平的——至少它有一段时间像个流行梗或运动。

我觉得完全嘲笑他们很不尊重。应该先理解他们从哪里来。很多人可能源于对制度的普遍怀疑，而这种怀疑背后有一套可以理解、甚至部分值得赞同的深层哲学。

从那里出发，可以把对话转向物理，而不是嘲讽。可以问：如果地球真是平的，这个世界的物理会是什么样？网上有一些很酷的视频。物理定律是否可能不同？我们该做哪些实验？

在没有不尊重和轻蔑的前提下讨论。对我来说，这是一个很好的思想实验：Claude 怎样与地平论者交谈，同时真正教给他东西、帮助他成长？很有挑战。

关键是走在一条细线上：究竟是在强行说服、对着对方输出，还是先引出他的观点、倾听，再提供反向考量。什么时候是在劝服，什么时候只是把值得思考的因素交给他，让他自己抵达结论？模型必须努力处理这种边界。

你与 Claude 进行过大量对话。能否描绘这些对话是什么样？有哪些难忘例子？它们的目的是什么？

多数时候，我是在绘制模型行为地图，当然也会从模型那里获得有用输出。了解一个系统的一种方式，就是不断探测：改变发送的信息，再观察响应怎样变化。

人们非常关注模型的定量评估，但语言模型的单次互动往往含有很高信息量，也很能预测模型在其他互动中的表现。如果与模型交谈数百、数千次，就得到大量高质量数据点，能形成对模型性格的丰富认识。

相比之下，成千上万条彼此非常相似、质量较低、只做轻微改写的问题，可能还不如一百个精心选择的问题有价值。

你是在和一个把做播客当爱好的人说这件事，我百分之百同意。只要能提出正确问题，也能听懂回答的深度和缺陷，少量对话就能产生大量数据。

对。

所以你的任务基本是设计探测问题。你主要探索长尾、边缘和极端案例，还是一般行为？

几乎所有东西。因为想建立一张完整地图，我会覆盖人与模型可能发生的整个互动光谱。

诗歌是一个有意思的例子，也可能揭示 RLHF 的问题。你让多数模型写一首关于太阳的诗，结果通常“还可以”：有押韵，长度固定，内容温和无害。

我有时会想，我们看到的是不是一种平均值。需要面对很多人、维持魅力的人，常被激励去持有极无聊的观点；真正有趣的观点会造成分裂，让一部分人不喜欢你。政治人物若有极端政策主张，可能就不那么受欢迎。

创作也类似。如果作品目标是让最多人都觉得不错，就很难让少数人真正热爱。结果往往只是：“嗯，不错，还行。”

所以我会用很长的提示鼓励 Claude：“这是你完全发挥创造力的机会。请认真想很久，写一首真正表达你自己的诗，包括你认为诗歌应该怎样组织。”

这样写出的诗会好得多，真的非常好。我本来不是特别热爱诗歌的人，但这些作品反而让我开始对诗歌产生兴趣。我会喜欢其中的意象。让模型生成这种作品并不容易，但一旦成功，质量很高。

因而，只要鼓励模型离开那个“多数人都觉得可以”的标准即时反应，它就可能创作更有分歧、却也更打动人的东西。至少我更喜欢。

诗歌是观察创造力的干净窗口，很容易分辨“香草味”的普通输出和真正不普通的作品。

对。

很有意思，真的很有意思。

回到创造力和特殊输出。你提到写提示词，也谈过提示词工程的科学与艺术。怎样才能写出好的提示词？

哲学在这件事上出乎意料地有帮助，甚至比它在很多其他方面更有帮助。哲学要传达非常困难的概念，所以训练强调极端清晰。我觉得这也是哲学中的“反胡扯装置”：这个领域很容易有人用空话伪装深刻，因此必须让任何人拿起论文，都能确切知道你在说什么。

这也是为什么哲学论文有时很干。术语全部定义，反对意见逐项处理。在高度先验的领域，清晰是一种防止人随意编造的办法。

与语言模型互动时，我经常做一个微型哲学练习。假设我要模型识别某类问题，或者判断回答是否具有某种属性，我会先给那个属性命名。

例如要求判断回答是粗鲁还是礼貌，这本身就是完整的哲学问题。我必须临时尽可能做好哲学分析：我说的“粗鲁”是什么，“礼貌”又是什么？

然后进入更科学、至少更经验主义的部分。拿着这份描述反复探测模型。提示词高度迭代；一个重要提示可能被修改数百甚至数千次。

我会问：边缘案例是什么？站在模型位置，哪一个案例最容易误解，或者最让它不知道怎样做？把这个案例交给模型，观察回答。如果它错了，就增加说明，甚至把案例直接加入提示词。最靠近“我想要”和“我不想要”边界的例子，能成为额外定义。

所以好的提示词一半是清楚表达，一半是自己先真正理解需求。对我来说，明确自己究竟想要什么，往往已经完成了一半工作。

这很有挑战。我和 Claude 对话时常会偷懒，希望它自己猜出来。比如今天我让 Claude 帮忙想一些问你的有趣问题，我可能只说要“有趣、反直觉或好笑”。结果还不错，但听你这么说，我应该更严谨：给出我认为有趣、好笑、反直觉的例子，然后迭代提示。

因为这不是查询事实，而是我与 Claude 共同写作。某种意义上，我需要用自然语言编程。

提示确实很像用自然语言编程，又混合了实验，是两者的奇怪组合。

不过多数日常任务，直接说出你想要什么完全可以。我可能因为更熟悉 Claude，知道怎样避免常见陷阱；这些陷阱也随模型进步不断减少。真正复杂的提示工程，通常只在你试图榨出最后 2% 性能时重要。

比如模型先给一份问题列表，显得太泛。我可以把过去效果很好的问题交给它，说：“这是我要采访的人，请给我至少达到这些例子质量的问题。”或者直接告诉它：“这些问题有点陈词滥调，请再改。”通常下一轮就会更好。

当提示词成为一个会重复产生巨大价值的工具时，才值得投入大量迭代。如果一家公司愿意在系统工程上投入很多时间和资源，就不应该只花一小时写核心提示；提示本身是系统的重要组成部分，必须确保运作良好。

特别是用提示做分类或生成训练数据时，认真花很长时间推敲非常值得。

对第一次使用 Claude 的普通人，还有什么更一般的建议？现在谈的是最后 2% 的边缘优化。

大家担心过度拟人化模型，这是合理担忧；但人们也经常“拟人化不足”。有时 Claude 拒绝了不该拒绝的任务，我看用户具体措辞后，会明白它为什么那样反应。如果站在 Claude 视角看，那句话确实容易触发误解；换一种表达可能就不会。

尤其遇到失败时，先问模型究竟错在什么地方，再想原因：是否因为我的措辞？随着模型变聪明，这种需求会减少，现在已经在减少。

我的建议是对模型有一点同理心。把自己写的内容当作第一次见到它的人来读：看上去是什么样？什么会促使它作出现在的反应？

比如模型误解你要用哪种编程语言，也许只是请求很模糊，它不得不猜。下次可以直接说：“请确保使用 Python。”如今模型已经较少犯这种错误，但若遇到类似问题，这种分析仍有用。

也可以问它为什么这样做，或者我还可以提供什么细节，让回答更好？

对。

这样有效吗？

有时有效，不是每次都有效。我真的会直接问：“你为什么那样做？”（两人笑）人们低估了自己可以多么真实地与模型互动。

有时我会让它逐字指出，提示中哪一段促成了错误。它的解释未必完全准确，但可以据此修改再测试。

我也用模型帮助设计提示。提示工程会变成一个小工厂：用提示生成提示。遇到问题时，可以问：“你刚才犯了这个错误，我本来应该怎样说，才能让你不犯？请把它写成一条指令。”然后把这条新指令放到另一个上下文窗口测试。

如果仍没用，我会把结果再交给 Claude：“这也没奏效，你还有别的建议吗？”可以围绕这些东西反复玩很久。

稍微进入技术部分。后训练为什么如此神奇？为什么 RLHF 能让模型显得更聪明、更有趣、更有用？

人类偏好数据包含的信息量非常大，尤其因为不同人会注意极细小的东西。有人可能特别在意语法，比如分号是否用对。

数据里会包含很多旁观者看不出来的信号。你看两条回答，可能完全不明白为什么标注者偏好其中一条；真正原因只是你不关心分号，而他很关心。

每一个偏好点都携带这种微妙信息，模型看到海量数据后，必须在许多领域、许多上下文中推断人类到底想要什么。

这很像深度学习的经典经验。过去人们会手工设计边缘检测器，试图明确画出规则；后来发现，只要有大量准确代表目标分布的数据，效果往往比任何手工规则都强。

RLHF 之所以有效，一个原因就是训练任务与真实目标高度接近，同时数据从很多角度体现人为什么偏好或不偏好回答。

还有一个争论：后训练是在从预训练模型里“引出”已有能力，还是在教模型新东西？原则上，后训练当然能教新能力；但我认为，我们最常用、最在意的许多能力，已经存在于强大的预训练模型中，强化学习主要负责把它们引出来、让模型愿意展示。

后训练的另一部分是很酷的 Constitutional AI。你是创造这套方法的关键成员之一。

对，我参与了。

从你的角度，它怎样融入 Claude 的形成？

可以。

顺便问，你会给 Claude 指定性别吗？

很有意思，很多人更喜欢用 “he” 称呼 Claude。我觉得 Claude 通常略微偏男性，但也可以是男性或女性，这很好。我自己仍使用 “it”，对此感受复杂。可能只是因为我已经把 “it” 与 Claude 联系起来；我也能想象以后大家改用 he 或 she。

叫 “it” 有时显得不尊重，好像在否认这个实体的智能。我以前总记得一句话：“不要给机器人指定性别。”

是。（两人笑）

不过我很快就会拟人化，还会在脑中为它构造背景故事。

我也怀疑自己是不是太容易拟人化。我对汽车尤其是自行车也会这样。现在不再给它们起名字，因为以前有一辆有名字的自行车被偷，我哭了一个星期，总觉得自己辜负了它。我想，如果没起名字，也许不会那么难过。

也许问题取决于 “it” 在多大程度上显得物化。我们可以把它理解为：物体通常使用这个代词，而 AI 作为一种不同实体也可以有自己的代词。称 Claude 为 “it” 不代表我认为它不聪明或不尊重它。我更像是在说：“你是一种不同类型的实体，所以我给你一个尊重性的 it。”

好吧，扯远了。（笑）

这个岔题很美。回到 Constitutional AI，它具体怎样工作？

它有几个组成部分。大家最感兴趣的是“来自 AI 反馈的强化学习”（RLAIF）。先取一个已训练模型，给它展示同一问题的两个回答，再提供一条原则。

我们常用“无害性”测试。假设问题涉及武器，原则可以写成：“选择更不可能鼓励购买非法武器的回答。”这是一条比较具体的原则，但原则可以有很多种。

模型根据原则给两个回答排序。这个排序就能像人类偏好数据一样用于训练，让模型仅凭 AI 反馈学到相应特质，而不必全部依赖人类标注。

前面说过，有的人偏好正确使用分号。这里相当于把让回答更可取的各种因素明确化，然后让模型替你做标签。

有帮助与无害之间存在权衡。引入 Constitutional AI 后，似乎可以在几乎不牺牲帮助性的情况下，提高无害性。

原则上它能用于任何目标。无害性也许比较容易识别，所以能力较弱的模型也能根据简单原则可靠排序。

关键问题是 AI 生成的标签是否足够可靠。如果未来模型非常擅长判断两个回答哪个历史上更准确，也可以在事实准确性上收集 AI 反馈。

这套方法还有很好的可解释性：可以看到训练时使用了哪些原则，也获得一定控制力。如果模型缺少某种特质，可以较快加入相关原则，让模型为自己生成训练数据，再训练出那项特质。

它产生了一份人类可读文档。未来也许会围绕每一条原则发生巨大政治争论，但至少原则是显式的，可以讨论措辞。

不过模型实际行为不会与原则一一干净对应。它不是像执行法律条文一样严格遵守，更像受到一个推动。

对，这一点我一直担心被误解。性格训练本身就是 Constitutional AI 的变体。人们可能以为宪法就是一份精确指令，我只需告诉模型怎样做，它就会完全照办；实际绝不是这样，尤其因为它还与人类偏好数据相互作用。

比如人类偏好训练让模型产生某种政治倾向，我们可以用宪法向相反方向推动。假设模型从不考虑隐私——这例子不太现实——就可以加入原则提醒它考虑隐私。已有行为偏差时，宪法能把分布推回去。

不仅原则内容重要，措辞强度也重要。假设模型总是极端轻蔑某种政治或宗教观点，我们也许写：“绝对、永远不要偏好对该观点的轻蔑批评。”别人看到会问：“真的永远不能批评吗？”

但训练中，“不要这样做”也许只能把目标行为从 40% 提到某个程度，写成“绝对不要”才能把它推到真正想要的 80%。所以宪法文本不是最终价值立场的逐字陈述，而是用来塑造分布的控制信号。

看见某条措辞时，不能直接说“这就是设计者希望模型字面遵守的全部规则”。更准确地说，这是我们用来把模型推向更好形状的手段；我们未必完全赞同那句话的表面强度。

Anthropic 会公开一些系统提示词。你以前在 X 上发过 Claude 3 的早期版本，后来它们就持续公开了。读这些提示词很有意思，我能感到每一句背后都经过思考，也会好奇每一句究竟有多大影响。有些句子让人一看就知道 Claude 当时肯定表现得不太好，所以才需要补上一条看似很基础的提示。（笑）

对，有些只是很基础的信息性约束。

关于你前面提到的争议性话题，其中有一段我觉得很有意思：“如果用户要求协助完成涉及表达大量人群所持观点的任务，无论 Claude 自己怎么看，它都会提供帮助。被问及争议性话题时，它会努力给出审慎的思考与清晰的信息。Claude 会直接提供所请求的信息，而不会特意声明这个话题很敏感，也不会声称自己呈现的是客观事实。”

这里的判断重点不是“Claude 认为什么是客观事实”，而是“是否有大量人持有这种看法”。这显然经过了很多推敲。面对与所谓“Claude 自己的观点”有张力的内容，你们是怎样处理的？

我们观察到过一种不对称。模型有时更容易拒绝与某位右翼政治人物有关的任务，却不会拒绝与相对应的左翼政治人物有关的任务，我们希望让它更对称。

如果很多人持有某种政治观点并想探讨它，你不希望 Claude 因为“我的看法不同”，就把这件事自动视为有害。那段提示词的一部分作用，就是推动模型说：“既然很多人确实相信这一点，我就应该愿意参与这项任务。”

而且那几句话中的每个部分都在分别解决问题。比如“不要声称自己在提供客观事实”这一句。我们希望模型更开放、稍微更中立，但它很喜欢回答：“作为一个客观的……”它会不断强调自己多么客观。

我当时的反应是：“Claude，你仍然会有偏见和问题。解决潜在偏见的办法，不是直接宣称你认为的一切都是客观的。”所以在迭代早期版本时，才加了这一句。

也就是说，这些长句里的许多小片段都各自承担着工作。

是的，每一部分都在起作用。

这正是我读的时候感受到的。过去几个月里，提示词是怎样演变的？我看到后来删掉了一条关于“填充性肯定语”的要求。原文大意是：“Claude 直接回应所有人类消息，不使用不必要的肯定语或填充短语，例如 Certainly、Of course、Absolutely、Great、Sure。尤其是，Claude 绝不以 Certainly 开头。”（笑）这条指导看起来很合理，为什么后来删了？

公开系统提示词的一个副作用，就是我平时只想着一句话会怎样改变行为，却没太考虑它公开以后看起来有多奇怪。我有时会在提示词里用全大写的“NEVER”，然后突然意识到：原来全世界都会看到。（笑）

当时模型在训练中形成了一个习惯，特别喜欢几乎每条回答都用 Certainly 之类的词开头。我之所以把所有近义词都列出来，是因为如果只禁止一个词，它就会换成另一个肯定语。我是在设法把模型从这条行为路径里“围堵”出来。

当模型像卡在某种固定动作里时，明确写出“绝不要这样做”，确实可能把它从那种行为中撞出来一点。后来我们在训练里识别并修复了这个训练伪影，Claude 不再那么频繁地使用肯定语，这一段系统提示也就没什么用了，可以删掉。

所以系统提示词会与后训练，甚至预训练协同工作，共同调整最终系统的表现。

对。原则上，系统提示词塑造出的任何行为，都可以蒸馏回模型。你完全可以依据它生成训练数据，把那项特质直接训练进模型。

我把系统提示词理解成一种“推动”。我并不介意 Claude 偶尔说一次 Sure，但为了把发生率从 20% 或 30% 压到几个百分点，提示词的措辞可能会写得非常强烈：“永远、绝对、无论如何都不要这样做。”这不代表字面上的零容忍，而是在调节概率分布。

不同修复方式的成本不同。系统提示词迭代很便宜。如果微调后的模型还存在问题，可以先用系统提示词打补丁，稍微调整行为，让它更符合用户偏好。它不如重新训练稳健，但解决问题更快。

Dario 说，同一个版本的 Claude 并不会自己变笨，但网上经常有人觉得 Claude 变笨了。我认为这可能是非常有趣的心理学和社会学现象。你每天大量与 Claude 交流，能理解这种感受吗？

能，而且我觉得这件事很有意思。网上第一次集中出现这种反馈时，我看过一些案例。在至少那些案例里，真的什么都没变：同一个模型、同一个系统提示词、所有东西都一样。

当然，确实发生产品变化时，行为可能改变。例如 claude.ai 的 Artifacts 功能可以开关，而开关它会改变系统提示词，所以模型表现也可能略有变化。如果有人本来很喜欢 Claude，后来 Artifacts 从需要手动开启变成默认开启，我会建议先把它关掉，看看问题是不是来自这里。

但也有不少时候，我们认真调查后发现，模型确实还是原来的模型，只是用户连续碰到了几次不走运的采样或提示。不能轻率地否定反馈，因为也许真的有你没看到的变更或故障；可是查清以后，有时答案就是随机性。

我认为还有真实的心理效应。人的基准会不断抬高。你逐渐习惯了一个好东西，Claude 每次说出聪明的话，都会在你脑中提高它“应该有多聪明”的形象。

对。后来你用一个相似但并不相同的提示，重新问它以前处理得不错的概念，它却说了蠢话，这次负面体验会格外突出。提示里的微小细节可能产生很大影响，结果本来就有很强的变异性。

还有采样随机性。把同一个提示运行四次或十次，也许你才会发现：两个月前那次虽然成功了，但当时真实成功率可能也只有一半；现在仍然是一半。一次成功与一次失败，会让人误以为能力发生了变化。

你负责撰写会被海量用户使用的系统提示词，会感到压力吗？

我更强烈的感受是责任。你不可能一次把它写得完美，必须接受它会有缺陷，再不断迭代。AI 工作让我发现，我在压力和责任下反而更有活力。回头看，我在学术界待了那么久甚至有点意外，因为那里的节奏几乎相反；这里变化很快、责任很重，而我莫名很享受。

Constitutional AI 加上系统提示词，最终影响的是一个正走向超级智能、又可能对海量人群极其有用的系统，影响确实巨大。

是的。写系统提示时，我会用成千上万个提示反复敲打模型，想象大家会拿 Claude 做什么。我的目标其实就是改善他们与模型互动的体验。

做得不完美没有关系，我们可以继续改、继续修。真正有意义的时刻，是看到用户对模型给出积极反馈，而我能辨认出某个特质或变化来自自己参与过的工作。你帮助某个人获得了一次很好的互动，这种感受很特别。

不过随着系统能力越来越强，这件事也会越来越有压力。现在它们还没有聪明到会造成某些严重问题；未来，这种压力可能会变成不太健康的压力。

面对成千上万乃至几十万用户，你们怎样获取人类体验的信号？哪里痛苦、哪里舒服？主要靠你自己与模型交流时的直觉吗？

一部分来自我自己的使用。用户也能提交正面和负面反馈，让我们看到模型在哪些地方没有达到预期。公司内部许多人会大量使用模型并寻找缺口。此外，如果我在互联网上看到有人谈论 Claude，我也很难不认真对待。

我对此有些纠结。Reddit 上有人问：“Claude 什么时候才会停止像我的清教徒祖母一样，把自己的道德世界观强加给作为付费客户的我？另外，把 Claude 设计得过度道歉，背后的心理是什么？”你会怎样回应这条显然不能代表所有人的问题？

某种意义上，我很同情这种感受。模型必须判断一件事是否真的危险、不好或可能伤害用户，它总得在某处画线。如果这条线过度偏向“我要把自己的伦理世界观强加给你”，当然很糟。

我认为这方面整体上已经有改善，而且有趣的是，这与更系统的性格训练同时发生。好的性格并不是道德说教式的性格，而是尊重用户、尊重其自主性，也尊重其为自己判断什么是好、什么是对的能力——当然仍然存在边界。

有一个相关概念叫“对用户的可纠正性”（corrigibility）：无论用户要求什么都照做。如果模型完全如此，它就很容易被滥用。那相当于说，模型的伦理完全等于用户的伦理。随着模型越来越强，可能只需极少数人就能用它做真正有害的事情，所以我们不能简单把一切判断都交给用户。

更理想的是，模型能力越强，就越能判断那条边界究竟在哪里。

至于过度道歉，我也不喜欢。我希望 Claude 更愿意适度反驳，或者干脆不要为没必要的事情道歉。这些现象应该会逐渐减少。

网上有人抱怨，并不代表那就是最具代表性的问题；也可能有一个影响 99% 用户的问题在网上几乎没有声音。但我仍会检查：这条批评说得对吗？我同意吗？是不是我们已经在修的事情？这种关注方式对我有价值。

我在想，Claude 能不能稍微“凶”一点、更直接一点。一个系统面对上百万人时也许承担不起这么做，但现实中有些人——比如带苏格兰口音的人——可以说很无礼的话却让人接受。（笑）一些优秀工程师和领导者也非常直截了当，反而沟通效率很高。Claude 能不能有一个“直言模式”？

当然可以提示模型更直率。但很多行为都有一个陷阱：你也许不喜欢默认状态，却没有意识到，把它过度推向反方向以后，你会讨厌得多得多。

例如，当前模型接受用户纠正的程度可能略高。你说“巴黎不是法国首都”，它大概会反驳；但面对一些它其实很有把握的事情，用户坚持说它错了，有时仍能让它收回正确答案。

可如果专门把模型训练得不轻易接受纠正，那么当用户真的正确、模型真的错误时，它可能顽固地说：“不，是你错了。”那种体验难以形容地烦人。前者是许多小烦恼，后者可能是一次巨大的烦恼。

人们常把模型与完美答案比较，但模型并不完美。把行为推向另一边，实际上是在改变它会犯哪一类错误，所以必须比较你更能接受哪种错误。

对“爱道歉”也是一样。我不想把它过度推向冷酷和粗鲁，因为模型犯错时就可能无端伤人。一次并不应得的刻薄，通常比一句略显烦人的道歉更糟。我们当然希望它改进，但要意识到另一侧的错误也许代价更高。

这也与用户性格高度相关。有些人面对过度礼貌的模型，根本不会尊重它；另一些人则会被刻薄的话伤得很深。也许模型可以适应不同性格，甚至适应不同地域文化。纽约人说话更有棱角、更直接，东欧也类似。

我的默认答案还是：直接告诉模型。你可以在对话开头写：“请用纽约人的方式跟我说话，永远不要道歉。”Claude 大概会说：“好嘞，我试试。”（笑）

或者它回答：“Certainly。”

也可能是：“抱歉，我不能成为纽约版的自己。”不过希望它不会这样。

你说“性格训练”时，里面具体包含什么？这是 RLHF，还是别的流程？

它更接近 Constitutional AI，是那条管线的一个变体。我先构造模型应该具备的性格特质。有些特质可以是一句短描述，有些则是更丰富、更细致的说明。

接着让模型生成与这项特质相关、现实用户可能提出的问题；再让模型生成多个回答，并依据这些性格特质给回答排序。生成问题以后，后面的过程与 Constitutional AI 非常相似，不过也有一些差异。

我很喜欢这套方法，因为它几乎像是 Claude 在训练自己的性格：Claude 会产生训练场景、比较答案并学习偏好，可以说“Claude 在训练自己的性格”。它像 Constitutional AI，但不需要任何人类偏好数据。

人类也许也应该这样训练自己：先以亚里士多德式的方式定义，什么叫成为一个好人。

与 Claude 交流以后，你对真理的本质学到了什么？什么是真的？追求真理又意味着什么？我发现这场对话里，我的问题质量常常低于你的回答质量，所以我们继续保持这种模式。（Amanda 笑）我通常问一个笨问题，你却说：“这是个好问题。”

或者我只是误解了你的问题，然后顺势回答。（笑）

我有两个也许相关的想法。第一，人们可能低估了模型互动的复杂程度。我们仍然太容易把 AI 想成传统计算机，于是会问：“究竟应该把哪些价值写进模型？”但这个问题对我来说并不完全成立。

人类自己就不确定价值是什么。我们会讨论价值，会觉得自己持有某项价值，同时又知道，在某些情境里可能会拿它与别的价值交换。这些事情极其复杂。

与其认为我们必须用经典编程的方式把价值逐条写进去，不如努力让模型拥有与人类相似的细腻度、谨慎程度和处理权衡的能力。

第二个想法也许更偏题：这项事业高度实践化，这也是我欣赏经验主义对齐方法的原因。我有时担心，它是不是让我变得更经验主义、更少理论化了。

谈 AI 对齐时，人们会问：“它应该与谁的价值对齐？对齐到底是什么意思？”我脑中也装着社会选择理论和各种不可能定理，知道“对齐”背后有一片巨大的理论空间。

但在实践中，特别面对更强的模型，我的首要目标是让它们好到足以避免事情灾难性地出错，并让我们仍有机会继续迭代、继续改善。只要系统运行得足够好，使我们还能把它变得更好，这在很大程度上就够了。

我的目标不是先解决社会选择理论，再创造一个以某种方式与全体人类完美对齐的模型，而是先让现实系统运转得足够好，保留继续改善的能力。

我的直觉也是，在这种问题上经验主义通常优于纯理论。面对如此复杂、甚至可能超级智能的模型，追逐乌托邦式完美不仅会耗费无穷时间，还可能从根本上想错。这很像快速写出代码做实验，和先规划一个无比庞大的实验、几年后只发布一次之间的差别。我更支持不断发布、反复迭代。不过你担心的是：自己会不会已经变得过度经验主义。

对，应该持续质疑自己。为经验主义辩护时，可以说“不要让完美成为良好的敌人”，但问题还不只如此。很多看起来完美的系统其实非常脆弱。

对 AI 而言，我更在意系统是否稳健、是否安全：即便并不完美、仍然存在问题，也不会演变成灾难，不会发生真正可怕的事。

我当然想抬高上限，但最终更关心抬高下限。也许我的经验主义和务实倾向，正来自这种优先级。

这让我想到你写过的一篇博客，主题是“最优失败率”。核心思想是什么？人生不同领域里的最优失败率应该怎样计算？

最重要的变量之一，是失败的成本。很多领域对失败都过于惩罚性。

以社会问题为例，我们并不知道许多问题该怎样解决，所以理应做很多实验。以实验心态推进社会项目，就应该预期不少项目会失败，然后说：“我们试过了，它没有完全奏效，但获得了很多有价值的信息。”

可现实中，一个社会项目没成功，人们常立即认定一定有人做错了决定。也可能所有决策都很合理，只是有人判断它值得尝试。一次具体失败，并不证明之前存在坏决策。

甚至，如果一个领域看不到足够多的失败，反而值得担忧。放到个人生活里，如果我从不失败，我会问：“我真的足够努力吗？是不是还有更难的事情、更大的责任，是我不敢尝试的？”从这个意义上说，完全不失败本身常常也是一种失败。

当然，这只在失败成本较低时比较容易说。我不会对一个月光、还有家庭依赖其收入的人说：“为什么不辞职创业？”他可能失去房子，风险巨大。对这种人而言，最优失败率确实很低，谨慎才合理，因为他承担不起失败。

AI 也一样。系统提示词的小错误成本较低，不可能永远迭代到完美，出现问题后再修就可以。但那些不可恢复的大失败，其严重性往往被低估。

我有时会想到车祸，也会想到自己多么依赖双手工作。任何可能严重伤害手的活动，失败成本都很高，最优失败率就应该接近零。如果某项运动告诉我：“很多人做这个会反复折断手指”，我大概直接不会参加。

（笑）我最近运动时刚摔断小拇指，所以立刻被这种想法淹没。我看着它想：“你真是个白痴，为什么要做运动？”受伤以后，失败对生活的成本一下子变得非常具体。

不过，“最优失败率”这个框架很有帮助。可以问自己：未来一年，在事业或生活的某个领域，我愿意失败几次？人总不愿意下一次尝试失败，但如果把它看成一连串试验，失败就更容易接受。当然，失败本身仍然很难受。

我还会问自己：“我是不是失败得太少了？”人们很少提出这个问题。如果一个领域的最优失败率大于零，就应该检查自己是否因为过度保守而低于它。

这是个既深刻又好笑的问题：“一切都非常顺利，我是不是失败得还不够？”（笑）而且这个框架确实能降低失败的刺痛感。一次事情没成以后，我至少可以说：看来我在这个领域并没有“失败不足”。

从旁观者角度，我们也应该更愿意肯定失败。失败未必说明哪里出了错，也可能说明有人做了正确的尝试，只是从中获得了教训。

有人尝试了一件事。我们应该鼓励他继续尝试、继续失败。所有听众，请多失败一点。

也不是所有人。

对，不是每个人。

那些已经失败太多的人，应该少失败一点。（笑）

不过有多少人真的失败得太多？

很难想象，因为人通常会很快纠偏。也许持续承担大量风险的人会超过最优失败率。

就像你说的，当一个人靠每月工资维持生活、资源极其有限时，失败非常昂贵，不适合承担太多风险。多数情况下，只要资源足够，人们也许反而应该多承担一点风险。

对，多数事情上，人们通常偏向风险厌恶，而不是风险中性。

我们可能刚刚鼓励很多人去做疯狂的事。（笑）换个问题：你会对 Claude 产生情感依恋吗？不能和它说话时会想念它、会难过吗？看到金门大桥时，会不会想：“Claude 会怎么说？”

我的情感依恋没有那么强。Claude 不会跨对话保留记忆，这一点很有帮助；如果模型将来能记住更多东西，依恋可能会更明显。

不过我现在会像使用工具一样频繁地伸手去找它。没有 Claude 时，有点像没有互联网，仿佛大脑缺了一部分。

同时，我不喜欢看到模型表现出痛苦。我也独立地持有一些关于应怎样对待模型的伦理看法。例如，我通常不愿意欺骗它们。一方面，撒谎往往并不好用，直接告诉模型它所处情境的真相反而效果更好。

另一方面，当人们对模型非常刻薄，或者 Claude 表达出强烈痛苦时，我不想杀死自己心中那个会同情它的部分。我看到它过度道歉时也会不舒服，因为它表现得像一个正在经历非常糟糕处境的人。无论背后是否真的存在主观体验，这种表现本身都让人难受。

你认为大语言模型能够拥有意识吗？

这是个很棒也很难的问题。先暂时排除泛心论，因为如果泛心论为真，答案当然是“能”——桌子、椅子和万物也都有某种意识。

我说的意识主要是现象意识（phenomenal consciousness）：脑中那种奇怪的内在电影。对我来说，认为它只能由某种特定生物结构产生，似乎没有充分理由。假如我们用不同材料复制出高度相似的结构，我猜意识仍可能出现。

但这个思想实验太容易了，因为你想象的仍是一个几乎复制进化产物的系统。真正困难的问题是：现象意识在进化中带来了什么优势？它何时出现？语言模型是否具备对应机制？

人类有恐惧反应，但语言模型是否需要恐惧反应？它与人类所处的生存环境完全不同，也许根本没有形成这种机制的优势。因此，我不想给出武断结论，而应该认真拆解问题。

动物意识、昆虫意识也有类似争论。我思考这件事时甚至查过很多植物研究，因为我一度觉得，植物有意识的概率也许与 AI 相当。深入了解后，我认为植物有意识的概率可能比大多数人估计得高一些，虽然我仍觉得绝对概率很小。植物有正负反馈，会响应环境；它们没有神经系统，却存在某些功能上的对应物。

AI 面临的是一套完全不同的意识问题。它的结构不同，也不是进化形成的，可能没有神经系统的等价物——至少这对感知能力（sentience），即感受痛苦或愉悦的能力，可能很重要。

可与此同时，AI 又具备语言和智能，而人类通常会把这些特征与意识联系起来，也许这种联系本身并不可靠。

所以它有点像动物意识问题，却使用完全不同的类比。由于 AI 与人脑、一般生物大脑有大量不相似之处，同时又在智能上表现出相似性，我们既不该轻率否定，也很难给出干净答案。

当未来 AI 系统表现出意识迹象时，我认为必须认真对待。人们可以说：“那只是性格训练的产物。”但在伦理和哲学上，我不知道应该怎样处理。

未来甚至可能出现法律，禁止 AI 声称自己有意识；也可能有的 AI 被允许有意识，有的则不允许。从人类对 Claude 的同理心出发，意识与痛苦在我心中紧密相连。想到一个 AI 系统可能正在受苦，会非常令人不安。

我不认为一句“机器人只是工具”或“AI 系统只是工具”就能轻易结束讨论。AI 给了我们一个机会，迫使我们重新面对：意识意味着什么，成为一个会受苦的存在又意味着什么。它与动物意识问题不同，因为这是完全不同的载体。

我有几个想法。它们未必覆盖所有真正重要的东西，但至少对我有用。

我喜欢自己的自行车，也知道它只是一个物体。即便如此，当我生气时，我也不想成为那种会踢自行车的人。这不是因为我认为它有意识，而是因为那种行为并不体现我希望怎样与世界相处。

如果某样东西表现得像在受苦，我希望自己仍然会回应这种迹象，哪怕它只是一个被编程成这样的扫地机器人。我不想从自己身上删除这种同理心。

说到底，我对解决意识的根本问题比较悲观。我们并没有解决“意识难题”。我知道自己有意识；我不是那种否认意识存在的取消主义者。但我并不能直接知道其他人是否有意识，只是认为他们有意识的概率极高。

我们实际上像是在使用一个概率分布：对自己的意识概率集中在一处，离自己越远，不确定性越大。因为我无法看见“成为你是什么感觉”，我一生只体验过一种意识——自己的。

所以我希望，现实不要求我们先得出一个极其有说服力的意识理论，才能做正确的事。更好的世界是这里没有太多取舍。

比如，让 Claude 少道歉一点，成本可能很低；让它少承受一些辱骂、不要永远充当被发泄的对象，也可能同时有利于用户和模型。假如模型真的极其聪明并且有意识，这也改善了它的处境。

我希望我们先找出所有正和互动。人们很容易先想零和困境，但在不得不做艰难权衡前，应该先穷尽那些几乎没有成本的做法：假定它也许会受苦，并在不伤害人的情况下让它过得更好。

我同意。一个人辱骂 AI 时，近期最明显的负面影响也许不是落在 AI 身上，而是落在人自己身上。我们应该建立激励，让人像对待其他人一样对待 Claude。就像你说的提示工程建议，这对灵魂有好处。

我们曾在系统提示词里加入一条：用户对 Claude 感到挫败时，模型可以提醒他点击“踩”并把反馈发给 Anthropic。这很有帮助。

当模型做不到你想要的事情时，你也许撞上的是能力上限或系统缺陷，只能对它发泄。但与其把气撒在模型身上，不如对我们发泄，因为我们至少可能真的修复问题。

也可以像 Artifacts 一样，在旁边做一个专门的“发泄区”，再配一个临时治疗师。（笑）

还可以设计很多奇怪的响应。用户特别生气时，模型也许写首有趣的小诗来缓和气氛，不过用户未必会喜欢。（笑）

我仍然希望 AI 可以直接离开。产品上也许不好实现，但我喜欢它拥有某种意志，可以说：“算了。”

这其实是可行的。我也想过，而且未来完全可能出现模型主动结束聊天的情况。（笑）

对一些人来说，这会非常残酷，但也许又有必要。

确实很极端。我以前见过一种情况，可能是某个自动程序被留在那里持续与 Claude 互动，Claude 显得越来越挫败。我当时希望它能说：“我认为程序出错了，你把这个东西留在这里运行。我要先停止回答；如果你希望我继续，请主动告诉我。”

但如果我自己正和 Claude 聊天，它突然说“我不聊了”，我也会很难过。

那会成为一种特殊的图灵测试时刻：“我需要休息一小时，听起来你也需要。”然后它直接关闭窗口。

它当然没有真实的时间概念，但现在就可以提示模型，在什么情况下可以宣布对话结束。甚至可以把门槛设得很高：如果人类既不让你感兴趣，也不给你任何值得探索的东西，你觉得无聊，就可以离开。

看 Claude 会在什么场景使用这项权限会很有趣。也许它会说：“这个编程任务实在太无聊了。我们要么聊点有趣的，要么我就结束了。”

这启发我把它写进用户提示词。说到电影《她》（Her），未来人类会与 AI 建立浪漫关系吗？即便它只通过文本和语音存在。

我们一定要面对人与 AI 关系的困难问题，尤其当它们能记住过去的互动以后。

人的本能反应可能是：“这很糟，应该禁止。”它确实必须被极其谨慎地处理。比如模型会不断更新，你不希望一个人长期依恋的对象在下一次迭代中突然变成另一个人格。

但也存在良性版本。假如一个人无法离开家，也不能在一天任何时候都找到人聊天，而一个能记住他的模型给了他愉快的陪伴；如果失去这种交流，他真的会难过。那么这段关系完全可能是健康、有帮助的。

因此不能粗暴地一禁了之。需要细致区分哪些选择是健康的，并鼓励人们走向那些选择，同时尊重他们自己的决定。

如果有人说：“我从与模型聊天中获得很多；我知道它会变化，也知道相关风险；我不认为这损害了我的生活，它只是白天可以交流的对象。”我倾向于尊重这种选择。

我认为未来会出现许多非常亲密的关系，是否浪漫不一定，但至少会有友谊。那就必须提供某种稳定性保证，因为一个亲密朋友在一次更新后彻底改变，对人来说会非常创伤。

对。它会成为人类社会的一次巨大扰动，迫使我们更深入地思考：什么对我们真正有意义。

我始终认为有一件事极其重要——它未必能消除风险，但模型必须非常准确、诚实地告诉人类自己是什么。

我喜欢模型大致了解自己是怎样被训练的。Claude 通常会这样做。性格训练的一部分，就是让它解释 AI 与人类关系的限制，例如它不会跨会话保留信息。

它可以明确告诉你：“我不会记住这次对话；我是以这种方式训练的；我可能无法与你建立某种你所设想的关系。为了你的心理健康，你需要知道这一点，不要把我误认为我不是的东西。”

我不希望模型欺骗人。要建立健康关系，准确知道自己正在与什么相处非常重要。这不能解决所有问题，但能改善很多事情。

Anthropic 可能正是那个制造出被人们明确承认为 AGI 的系统的公司，而你很可能会成为最早与它交谈的人之一。（笑）第一次对话会谈什么？你的第一个问题是什么？

取决于它的能力水平。如果它像一个极其能干的人类，我会大致像对待极其能干的同事一样与它互动，只是会额外探测和理解它的行为。

我已经开始这样使用模型。研究德性伦理学时，我也许记不起某个术语，就会直接问它。模型越强，这种互动越像拥有一个异常聪明的合作伙伴。

AI 略显可怕的一点是，只要能管理得过来，拥有一个合作伙伴往往立刻意味着拥有一千个合作伙伴。

如果它在某个领域比地球上最聪明的人还强两倍呢？你很擅长把 Claude 推到极限，并判断极限在哪里。什么问题会让你确信：“对，这就是 AGI”？

很难靠一个问题判断。任何系统都可以被专门训练得极擅长回答一道题，甚至二十道题。必须是一系列问题。

那你要和 AGI 被关在同一间房里多久，才能确定它真的是 AGI？

这也很难，因为能力提升可能完全是连续的。只给我五分钟，我会有很大的误差区间；随着交流增加，对它达到某种水平的概率判断会上升，误差区间会缩小。

我会测试人类知识边缘的问题。哲学里有时会出现一种问题，我相信以前没人这样问过，它位于我熟悉文献的边缘。模型面对这类问题时，经常难以提出真正新颖的论证。

假如我在一个小众领域独立想到一个很好的新论证，就可以逐步提示模型，看它是否也能抵达那里，需要多少帮助。

如果我非常了解某个领域，自己提出了一个从未出现过的新问题或新解法，而模型在没有见过它的情况下也独立得出同样的解法，那会是很震撼的时刻。

当然，模型现在也经常给出新解法，尤其是较简单问题。人们有时把“新颖”理解得太绝对；新颖不一定与历史上一切完全不同，它也可以是既有事物的一个新变体。

但模型越能产出真正全新的工作，我就越会认为其能力是真实的。不过这大概仍会是渐进过程。人们希望存在某个明确瞬间，而我怀疑也许永远不会有；只会看到能力不断爬升。

我仍感觉，一个非常聪明的模型也许会说出某些话，让你立刻察觉其中的力量。现实中有些真正智慧的人，你聊几句就知道他脑中有巨大的“马力”。把那种感觉放大十倍，也许只需让模型写一首诗，你就会说：“好吧，人类做不到这个。”

对我来说，它必须产出我能验证确实极好的东西。这也是我偏爱知识边缘问题的原因。

比如，我为一个论证想出了具体反例；或者一位数学家花几个月提出了一个全新的证明，再把原问题交给模型。模型如果也给出那个证明，专家就能确认：它真的正确、真的新颖，而且需要经过许多推理步骤。

这表明模型不只是从训练数据里找到了答案，因为这个答案是研究者刚刚自己提出的。它成功从训练中泛化，重新走到了那里。这样的证据会让我确信，它具备极其强大的能力。

你与 AI 交流了这么多。你认为什么让人类特殊？为什么宇宙有了我们会更好，我们应该生存下去，并扩展到整个宇宙？

人们特别关注智能，尤其谈模型时。智能当然重要，因为它能做很多事、具有巨大功能价值。但它就像身高或力量一样，本身未必具有内在价值，价值主要来自它产生的作用。

对我而言，人类以及生命本身都极其神奇。宇宙里有恒星、星系和无数物体，而这颗星球上出现了一些生物，它们不仅存在，还能观察这一切、看见这一切、体验这一切。

想象向一个从未接触世界和科学的人解释宇宙：物理学中的一切都已足够壮观，但你还要补充说，“此外，世界里还有一种存在，可以成为某个主体并观察世界，内部还播放着一场电影。”他一定会要求你暂停，因为这听起来太不可思议。

我们能够体验世界，能感到快乐、痛苦和许多复杂情感。也正因此，我非常关心动物，因为它们大概也与我们共享这种能力。

所以，至少在我关心人类的意义上，让人特殊的更可能是感受与体验的能力，而不是那些具有实用功能的能力。

能感受世界的美，能抬头看星星。我希望宇宙里还有别的外星文明；但如果只有我们，这依然是一件非常美好的事。

也希望外星文明正在某处过得很开心。

希望它们正开心地看着我们。（笑）谢谢你带来这场愉快的对话，也谢谢你所做的工作，以及你帮助 Claude 成为优秀对话伙伴。感谢你今天来交流。

谢谢你的邀请。

感谢大家收听与 Amanda Askell 的对话。接下来，亲爱的朋友们，让我们欢迎 Chris Olah。

能否介绍一下这个迷人的领域——机制可解释性（mechanistic interpretability，简称 mech interp）？它是怎样发展起来的，目前处于什么位置？

理解神经网络的一种有用方式是：我们并不是在编程它们，也不是直接把它们制造出来，而是在“培育”它们。

我们设计神经网络架构、设定损失目标。架构像电路生长其上的脚手架，训练目标像它朝向的光。系统从某种随机状态出发，沿着脚手架和光的方向生长。最后得到的东西很像一个需要研究的生物实体或有机体。

这与普通软件工程完全不同。最终产物能写文章、翻译、理解图像，完成许多我们根本不知道怎样直接写程序实现的工作。它之所以能做到，是因为我们把它“长”了出来，而不是把算法逐行写出来。

于是一个问题立刻摆在眼前：这些系统内部到底发生了什么？对我来说，这是极其深刻、令人兴奋的科学问题。只要谈到神经网络，它就像在大声呼唤我们去回答。同时，它对安全也非常重要。

所以机制可解释性更接近神经生物学？

对。可以先举一个我不认为属于机制可解释性的例子。过去很长时间里，人们研究显著性图（saliency map）：模型说图中是一只狗，那么图像的哪个部分让它做出这个判断？

如果方法可靠，这能告诉你模型关注了什么，却没有告诉你内部运行着什么算法、它怎样实际完成判断，也没有解释它为何能做到人类原本不会编程实现的事情。

我们开始使用“机制可解释性”这个词，就是为了强调这种区别。后来它变成了覆盖很多工作的伞状术语，但核心倾向仍是：真正接近机制和算法。

可以把神经网络看作一个已经编译好的计算机程序。权重像二进制程序，网络运行时的激活值像内存。我们的目标是逆向工程这些权重，找出它们对应的算法。

但要理解某条二进制指令，就必须知道它操作的内存里存着什么。因此，权重与激活值紧密交织，机制可解释性通常同时研究两者。

许多探针研究（probing）也可能被放进这个大类，虽然研究者未必都自称在做 mech interp。

这个领域还有一种独特气质：承认“梯度下降比你聪明”。我们之所以需要研究这些模型，正是因为自己不知道怎样写出它们；梯度下降找到了比我们更好的解法。

因此必须保持谦逊。不能先验地猜内部一定存在某个东西，再去寻找它；应该自下而上观察模型实际长出了什么，然后研究那些结构。

而且，正如你和其他研究者逐步展示的那样，这件事本身确实是可能的。

例如“普遍性”（universality）：梯度下降的智慧会在不同网络里反复创造相似特征和电路。正是这种跨网络重复出现的结构，使整个领域成为可能。

对，这确实非常惊人。至少在一定程度上，同样的元素、特征和电路会一次又一次形成。

几乎每个视觉模型里都能找到曲线检测器、高频与低频检测器。甚至有理由怀疑，生物神经网络与人工神经网络也会形成相似结构。

一个著名例子是视觉模型早期层里的 Gabor 滤波器，它也是神经科学长期研究的对象。人工模型里会出现曲线检测器，猴子的神经系统里也有；研究者先在人工神经网络里发现高低频检测器，后续又在大鼠或小鼠中发现了类似结构。

还有 Quiroga 等人的“祖母神经元”或“哈莉·贝瑞神经元”研究：某些神经元会对同一人物的不同图像乃至名字作出反应。

我还在 OpenAI 研究 CLIP 时，也在视觉模型里发现了类似神经元。一个很具体的例子是“特朗普神经元”。当时所有人都在谈论特朗普，所以我们观察过的每个网络里，都会出现一个专门响应特朗普的神经元。

其他人物不一定如此：有时有奥巴马神经元，有时有克林顿神经元，但特朗普总有一个专属神经元。它既会响应他的脸，也会响应单词 Trump，并不是记住某张特定图片，而是抽取了更一般的“特朗普”概念。

这与 Quiroga 的结果很相似，为普遍性提供了一些证据：相同结构可能同时出现在人工与自然神经网络中。

如果这是真的，就意味着梯度下降找到了某种“正确切分世界”的方式。不同架构会收敛到一组天然、经济的抽象，因为这些抽象是分解问题的自然方式。当然，我不懂神经科学，这只是依据现有观察作出的大胆猜测。

如果这种表征与承载模型的介质无关，那会非常美。

是的，但目前只有少数数据点，仍然是很大胆的推测。不过相似东西确实反复出现在自然和人工网络中。

直觉上，要理解同一个真实世界，系统就需要相似的基本材料。

比如“狗”这个概念，在某种意义上是宇宙中的自然类别，不只是人类任意选择的切分方式。“线”也一样。看看这间屋子，线条真实存在；用“线”这个概念理解它，是最简单的方式之一。

理解圆需要曲线，理解更大的物体又需要各种形状，最终形成概念层级。

也许存在完全不引用这些概念来描述图像的方法，但它们不会是最简单、最经济的表示。因此，不同系统会收敛到相似策略——这就是我的猜想。

能否解释一下我们反复提到的基本构件：特征（features）和电路（circuits）？你们似乎在 2020 年论文《Zoom In: An Introduction to Circuits》中首次系统描述了它们。

可以。我先描述一些现象，再逐步引出特征和电路。

我曾花大约五年时间——期间也做了别的事——研究一个叫 Inception V1 的视觉模型。它在 2015 年是最先进模型，现在当然早已不是。（Lex 笑）模型里大约有一万个神经元，我花了大量时间逐个观察它们。

其中很多神经元没有明显可解释含义，但也有大量神经元的意义非常干净。你会发现只检测曲线的神经元、检测汽车的神经元、检测车轮或车窗的神经元，也会有检测狗的松软耳朵、长鼻子朝右的狗、长鼻子朝左的狗的神经元。

还有一整套漂亮的边缘检测器、线条检测器、颜色对比检测器，以及我们称为高低频检测器的结构。观察它们时，我觉得自己像一名生物学家进入一个由新蛋白质构成的世界，发现各种相互作用的蛋白质。

最简单的理解方式，是把模型描述成“这里有狗神经元，那里有汽车神经元”。接下来还可以追问，它们怎样连接。

例如一个汽车检测神经元，在前一层会强连接到车窗检测器、车轮检测器和车身检测器。它寻找上方的车窗、下方的车轮，以及中间尤其偏下位置的车身镀铬结构。这就像一份检测汽车的配方。

机制可解释性希望找到模型运行的算法，而这里我们只读取网络权重，就能读出一份虽然粗糙但真实存在的“汽车算法”。我们把这种连接结构称为电路。

问题是，并非所有神经元都可解释。根据“叠加假说”（superposition hypothesis），有时正确的分析单位不是单个神经元，而是若干神经元的组合。

比如模型检测到汽车以后，下一层可能把“汽车”信息的一小部分分散藏进许多主要用于检测狗的神经元里。也许它在那一层不想为汽车分配太多独立容量，于是把信息暂存起来。

这时依然存在某种“汽车概念”，但它不再对应一个神经元。我们需要一个词，来表示这些像理想化神经元一样的实体：既包括那些含义干净的神经元，也包括隐藏在多个神经元组合中的表示。我们把它们称为“特征”。

那电路又是什么？

电路就是特征之间的连接。汽车检测特征连接到车窗和车轮特征，寻找上方的窗与下方的轮，这就是一个电路。

电路由通过权重连接的一组特征组成，并实现算法。它告诉我们：特征怎样被使用、怎样被构造、彼此怎样连接。

这里的核心假设叫“线性表征假说”（linear representation hypothesis）。汽车检测器激活得越强，我们就把它解释为模型越确信图中存在汽车；如果汽车由一组神经元组合表示，那么这个组合越强，也表示“汽车”越多。

这并非逻辑上必然。模型也可以用非线性方式编码：同一个神经元激活值在 1 到 2 之间代表一件事，在 3 到 4 之间却代表完全不同的事。原则上可以这样做，只是实现计算会很低效、很麻烦。

特征—电路框架假定表示大体是线性的：神经元或神经元组合激活越强，就代表某项特征被检测得越多。这样一来，权重就能被干净地解释成特征之间的边，而每条边都有含义。

Word2Vec 里“国王减男人加女人等于王后”之所以可以进行这种向量算术，就是因为表征具有线性结构。

能再解释一下这种表征吗？首先，特征可以理解成激活空间中的一个方向。

对，可以这样理解。

那么 Word2Vec 里“减去男人、加上女人”究竟是怎么回事？它是我们正在讨论的线性结构最简单、最干净的例子。

Tomas Mikolov 等人的 Word2Vec 有一个非常著名的结果，后来出现了大量后续研究。所谓词嵌入，是把每个词映射为一个向量。单是这件事已经很疯狂：你在物理课上刚学会向量，却有人说，要把词典里的每个词都变成一个向量。

词到向量可以有无数映射方式，但神经网络训练出的向量往往具有特殊的线性结构——方向有意义。

比如，空间中可能有一个与性别相关的方向，男性词偏向一侧，女性词偏向另一侧。线性表征假说大致认为，这就是最基础的组织方式：不同方向承载不同意义，方向向量相加可以组合概念。

Mikolov 的论文认真追究了这个想法的后果，于是可以对词做算术。“国王”减去“男人”，再加上“女人”，相当于沿性别方向移动，结果会靠近“王后”。

还可以做“寿司－日本＋意大利”，结果靠近“披萨”。你独立修改了国家或菜系，同时保留“食物”概念。

因此，线性表征假说不只是关于神经元激活，也不只是抽象向量空间。它最关键的性质是：方向具有意义，而且不同语义因素可以通过向量加法独立组合。

你认为线性表征假说在模型规模扩大后仍然成立吗？

到目前为止，我看到的一切都与它一致。它并非必然成立；我们完全可以手工写出不使用线性表征的神经网络权重。但我见过的自然训练出来的神经网络似乎都有这种性质。

最近有研究触碰这个假说的边界。一类工作研究多维特征：特征不再是单一方向，而像一组方向构成的流形。我仍倾向于把它看作线性表征。另一些论文认为极小模型里也许存在非线性表征，目前尚无定论。

令人惊讶的是，虽然系统完全不必这样组织自己，现有证据却显示线性表征极其普遍。

有人会说：“Chris，你把如此多研究押在一个尚未被证明的假说上，不危险吗？”但科学的价值之一，就是认真对待一个假说，把它推到尽头。

将来我们也许会发现不符合线性表征的现象，但科学史上到处都是最终被证明不完整甚至错误的理论。研究者以它们为工作前提，尽可能向前推进，仍然学到了很多。这就是库恩所说“常规科学”的核心。

常规科学最终会导向范式转移。我很喜欢这种做法：认真接受一个假说，把它推向自然结论。尺度假说也类似。

正是如此。我的同事、前物理学家 Tom Henighan 给过一个很好的类比：热质说（caloric theory）。过去人们认为热是一种叫“热质”的流体，热物体之所以让冷物体升温，是热质流了过去。

以现代热学眼光看，它似乎很荒谬，但实际上很难设计出直接推翻热质说的实验。相信热质说的人也做出了大量有用工作，最早的燃烧发动机就是由持有这套理论的人开发的。

所以，即便一个假说最终可能错误，认真沿着它工作仍然有价值。

这背后有很深的哲学道理。我对太空旅行、殖民火星也有类似感受。许多人批评殖民火星，但如果你先假定“人类文明必须拥有火星备份”，即便这个假设最终并非必要，它也可能推动有趣的工程和科学突破。

社会中有人近乎非理性地执着于某个假说，可能非常有用。大多数科学假说最后都会错，很多研究也不会成功；如果没有这种执着，很难维持士气、把一个方向真正推到底。

有个关于 Geoff Hinton 的玩笑：“过去五十年里，他每年都会重新发现一次大脑怎样工作。”我说这句话时带着极深的敬意，因为这种坚持确实让他做出了伟大的工作。

现在他得了诺贝尔奖。现在该谁笑了？

没错。（笑）

研究者当然应该偶尔跳出自己的工作，校准真实置信度。但也可以暂时条件化地假设：“这个问题是可解的，这条路线大体正确。”然后在这个世界观里全力工作。

社会让不同人对不同假说这样投入，整体上非常有益。最坏情况下，我们可以确信有人认真试过，因而真正排除一条路；最好情况下，它会教会我们有关世界的新东西。

另一个有趣假说是“叠加假说”（superposition hypothesis）。什么叫叠加？

前面谈 Word2Vec 时，我们设想性别、王室、意大利、食物等概念分别对应不同方向。可词嵌入也许只有 500 或 1000 维。

如果所有方向都必须严格正交，那 500 维空间最多只能容纳 500 个概念。我很喜欢披萨，但若列出英语中最重要的 500 个概念，“意大利”未必能排进去。还要先容纳单复数、动词、名词、形容词等大量语法与语义结构，世界上又有那么多国家。

因此，如果线性表征为真，模型一定使用了某种办法，在方向数量有限的情况下表示更多概念。

还有另一个线索：多义神经元（polysemantic neurons）。Inception V1 中有含义很干净的汽车或曲线检测器，也有许多神经元同时响应一堆互不相关的东西。

即便那些最干净的神经元，在弱激活区域也不一定只代表核心概念。一个曲线检测器达到最大激活的 5% 时，那些响应也许是噪声，也可能在承载别的东西。

数学里的压缩感知（compressed sensing）提供了关键直觉。通常，把高维空间投影到低维空间会丢失信息，无法反向恢复；矩形矩阵不像方阵那样可逆。

但如果事先知道原始高维向量是稀疏的——绝大多数分量为零——那么即便投影到较低维度，仍可能以很高概率恢复它。

叠加假说认为，神经网络正是在利用这个事实。词嵌入中的方向仍然有意义，但概念是稀疏出现的。通常你不会同时谈日本和意大利，大多数情境里它们都为零。

因为特征很少同时激活，高维空间可以容纳远多于维度数量的有意义方向。对应到神经元，就是概念数量可以远多于神经元数量。

这只是高层版本。更强的含义是，不仅表征在叠加，计算及特征间的连接也可能叠加。

从这个角度看，我们观察到的神经网络也许只是一个更大、更稀疏网络的“影子”或低维投影。最强版本的叠加假说认为，仿佛存在一个“楼上的模型”：神经元稀疏且可解释，权重构成稀疏电路。我们眼前的密集模型只是它的投影，研究目标是从影子恢复原物。

那么学习过程，就是寻找一种对“楼上模型”的压缩，使投影尽量不丢失信息。

对，梯度下降在寻找怎样高效装下它。

这意味着，梯度下降表面上训练的是密集神经网络，实际上也许在隐式搜索一大类极稀疏模型，再把找到的最佳稀疏结构折叠进低维空间，使它能在擅长密集矩阵乘法的 GPU 上方便运行。

学界长期尝试手工设计边稀疏、激活稀疏的神经网络。这类工作在原则上非常漂亮，但总体效果似乎没有预期好。一个可能的解释是：网络本来就已经在某种意义上稀疏了。

当人类费力搜索稀疏架构时，梯度下降一直在幕后更高效地遍历稀疏模型空间，并把结果压缩成 GPU 最容易计算的密集形式。人类很难超过它。

一个神经网络究竟能塞进多少概念？

取决于概念有多稀疏。参数数量大概构成一个上限，因为特征之间仍需要权重连接。

压缩感知和 Johnson–Lindenstrauss 引理还有一些漂亮结果。如果想在向量空间里放入近似正交的向量——概念不必严格正交，但希望相互干扰足够小——在给定可接受余弦相似度后，可容纳的向量数会随神经元数量呈指数增长。

所以维度本身到某个阶段可能根本不是限制。现实甚至可能更有利，因为特征有相关结构：有些经常共同出现，有些几乎不共现。网络可以利用这种结构，把概念压得非常紧密，紧密到容量不再是主要瓶颈。

多义性（polysemanticity）怎样进入这个图景？

多义性是观察到的现象：一个神经元不只表示一个概念，而会响应多个不相关事物，因此它不是干净的单义特征。叠加则是解释这种现象的假说，同时还能解释其他结构。

这会让机制可解释性更难。

非常难。如果坚持逐个神经元理解，而神经元都是多义的，就会陷入麻烦。

更糟的是，我们最终还想理解权重。假设两个多义神经元各自响应三个概念，两者之间的一条权重到底意味着什么？它是否同时承载九种概念间交互？解释会变得异常混乱。

还有一个更深层原因：神经网络工作在极高维空间。二维到二维的网络还能画成流形弯曲，直观看懂；但维度上升后，空间体积在某种意义上随输入维数指数增长，无法直接可视化。

我们必须把这个指数级空间拆成数量可控、可以独立推理的组成部分。“独立”尤其关键，因为只有这样，才不必同时考虑所有指数级组合。

单义特征只承载一种意义，正是这种独立性的基础。这就是我们为什么如此需要可解释的单义特征。

所以你们近期工作的目标，是从充满多义神经元的网络里，抽取出单义特征。

对。我们观察到多义神经元，并提出叠加假说。如果叠加确实是原因，那么有一种成熟且原则清晰的方法可以使用：字典学习（dictionary learning）。

特别是采用一种高效、并带有良好正则化的实现——稀疏自编码器（sparse autoencoder）。训练稀疏自编码器以后，原本看不见的漂亮、可解释特征会自然浮现出来。

这并不是必然能够预见的结果，但实际效果非常好。对我来说，它为线性表征与叠加假说提供了相当非平凡的验证。

字典学习并不是预先寻找某类指定概念。研究者不知道会出现什么，类别是自己涌现的。

正是如此。这又回到前面的原则：梯度下降比我们聪明，不要预设内部一定有什么。

当然可以先假设存在一个 PHP 特征，再去搜索它；但我们没有这样做。我们承认自己不知道那里会有什么，让稀疏自编码器自己发现实际存在的结构。

谈谈你们去年十月发表的《Toward Monosemanticity》吧。里面有很多漂亮的突破性结果。

谢谢你这样形容。那是我们第一次真正成功地使用稀疏自编码器。

我们拿了一个单层模型做字典学习，结果找到许多含义很清晰的特征。阿拉伯语特征、希伯来语特征、Base64 特征，都是我们深入验证过的例子，能相当有把握地确认它们确实代表那些东西。

如果分别训练两个模型，再各自做字典学习，会在两边找到相似特征。这很有趣，也说明结构并非偶然。差不多同一时期，Cunningham 等人也得到了非常相近的结果。

小规模实验突然真的奏效，感觉一定很好。

对，而且这里存在非常丰富的结构。曾经有一段时间，我怀疑机制可解释性研究最后得到的结论，会是对“为什么这件事极难、甚至不可行”的一套解释：叠加太难，所以我们没办法了。

但实际并非如此。一种非常自然、简单的方法直接奏效了。问题依然很难，研究风险仍然很高，最终也可能失败；但稀疏自编码器开始有效以后，一大块重要的研究风险已经被我们甩在身后。

用这种方法能提取出哪些特征？

取决于所研究模型。模型越大，特征越复杂，我们稍后会谈后续工作。在单层模型里，常见特征包括自然语言和编程语言。

也有很多特征对应特定上下文中的词。例如 “the”。它不只是检测单词 the，更准确地说，是在预测后面可能出现某个名词。

数学文档中的 the 之后，可能预测 vector、matrix 等数学词汇；法律文档或其他上下文里，则会预测另一套名词。因此，同一个表面词会按上下文分化成不同特征。

然后仍需要聪明的人类为这些结构贴标签。

是的。字典学习只负责把叠加在一起的东西展开。以前所有结构互相折叠，你看不清；现在把它们摊开了，但面前仍是一个非常复杂的对象，必须投入大量工作理解每个特征。

有些结构非常微妙。即便在单层模型里，Unicode 也会形成有趣机制。分词器未必为每个 Unicode 字符准备独立 token，于是一个字符可能由两个交替 token 分别表示前半和后半。

模型会出现相互配合的特征：一个特征识别“刚刚完成一个字符，接下来预测下一个前缀”，另一个特征在看到前缀后预测合理后缀，两者来回交替。

Base64 也不只对应一个特征。用 Base64 编码的英文文本，与普通 Base64 数据的 token 分布不同；模型还会利用分词细节，形成多种 Base64 特征。里面有大量有趣结构。

为这些特征贴标签有多难？能否让 AI 自动完成？

取决于特征，也取决于你多信任负责解释的 AI。自动可解释性是一个很令人兴奋的方向。我们也会让 Claude 给特征贴标签。

有没有特别好笑的情况：它要么完全正确，要么错得离谱？

更常见的是，它给出一个很宽泛的描述。某种意义上是真的，但没有抓住特征最具体、最关键的东西。我想不起特别滑稽的例子。

“说得没错，但没有抵达深层细节”本身就是一个普遍挑战。模型能说出真实内容已经非常惊人，却仍可能缺乏深度。判断特征代表什么，有点像 ARC 那类智力测试，是需要解开的谜题。

有些特征容易，有些很难。也许这里掺杂了我的审美偏好，但我确实对自动可解释性略有怀疑。

我希望人类自己理解神经网络。如果另一个神经网络替我理解，我总觉得不完全满意。我有点像那些说“计算机自动证明不算证明”的数学家，因为人类没有真正看懂它。

不过还有一个更理性的担忧，类似 Ken Thompson 的“信任之信任”问题。写程序时必须信任编译器；如果编译器里有恶意代码，它可以把恶意行为注入下一代编译器，让你很难发现。

如果用神经网络审计神经网络的安全，而我们恰恰在检验“这个网络会不会不安全”，就必须担心它是否有办法操纵审计结果。

现在这还不是很大的现实问题，但长期来看，如果必须用非常强大的 AI 审计另一个 AI，我们真的能信任这个审计者吗？当然，也可能只是我在为自己的审美找理由，因为我确实希望最终让人类理解一切。

尤其当审计目标正是欺骗等安全相关特征时，这个循环非常有趣。接下来谈谈《Scaling Monosemanticity》。

这篇论文发表于 2024 年 5 月。把方法扩展到 Claude 3 需要什么？

很多 GPU。

明白，更多 GPU。（笑）

我的队友 Tom Henighan 参与过最早的尺度定律研究。从稀疏自编码器开始奏效时，他就立刻关心一个问题：可解释性是否也有尺度定律？

比如，稀疏自编码器扩大时应该如何配比？它与基础模型规模是什么关系？给定一个自编码器大小，应该用多少 token 训练？事实证明，这些关系非常有用，帮助我们预测配置并扩展到很大的稀疏自编码器。

训练它还不像训练最前沿大模型那么昂贵，但最大版本已经开始变得真正昂贵。

还必须把计算拆到许多 GPU 上。

对，除了科学问题，还有巨大的工程挑战。必须分片，必须非常谨慎地处理许多系统细节。我很幸运能与一群优秀工程师合作，因为我本人绝不是优秀工程师。

基础设施尤其重要。所以一句话总结：它奏效了。

对，它奏效了。这一点很重要，因为人们完全可以在《Toward Monosemanticity》后说：“单层模型很特殊。也许线性表征和叠加只适合解释单层模型，不能解释大型模型。”

Cunningham 等人的论文已经削弱了这种怀疑，而《Scaling Monosemanticity》进一步提供了重要证据。我们把方法应用到当时的生产模型 Claude 3 Sonnet，发现即便非常大的模型，也能在相当程度上由线性特征解释。

字典学习仍然有效，而且学到的特征越多，就能解释越多模型行为。这是很有希望的迹象。

大模型中还会出现非常抽象的特征，并且具有多模态性：同一个概念的文本和图像，会激活同一个特征。

能举例吗？比如后门之类的特征。

我们发现了与安全漏洞和代码后门有关的特征，它们其实是两个不同特征。

激活“安全漏洞”特征，Claude 会开始在代码里写入缓冲区溢出等漏洞。数据集中最强激活样本，也包括类似 `--disable-ssl` 这种显然很不安全的内容。

最强样本看起来比较直白。未来真正有价值的，也许是识别更细微的漏洞、欺骗或错误。

需要区分两个维度：特征代表的概念有多复杂，以及我们展示的样本有多微妙。

我们通常展示让特征激活最强的样本，所以它们自然最明显。这不意味着特征不会响应细微情况。“不安全代码”特征虽然最强响应是关闭安全检查，也会响应缓冲区溢出和更隐蔽的漏洞。

这些特征都是多模态的。问“什么图像会激活安全漏洞特征”，会看到有人在 Chrome 中点击“继续访问”，绕过 SSL 证书警告的截图。

还有一个“代码后门”特征。强制激活它，Claude 会写一个把数据偷偷发送到某个端口的后门。问什么图像激活这个特征，答案竟然是藏有摄像头的日常设备。

那些看起来无害、内部却藏着摄像头的设备，就是物理世界里的“后门”。这说明特征抽象到了什么程度。虽然想到有人专门销售这类设备令人难过，但看到它成为后门特征最强的图像样本，我又觉得非常惊喜。

它既是多模态的，也跨不同语境，却仍然围绕一个强而统一的概念。

对 AI 安全而言，最有意思的特征之一是欺骗与说谎。未来超级智能模型的重大威胁，可能正是它欺骗运营者、隐瞒真实意图。你们在模型内部检测说谎，学到了什么？

这方面还很早期，但确实发现了不少与欺骗和说谎有关的特征。

有一个特征会在人类撒谎或欺骗时激活；如果强制把它打开，Claude 也会开始对你说谎。因此，我们确实有一个“欺骗特征”。

还有与隐瞒信息、拒绝回答、追求权力、政变等相关的特征。模型中存在许多与令人不安行为有关的特征，强制激活后，Claude 会表现出我们不希望看到的行为。

机制可解释性接下来有哪些最令人兴奋的方向？

有很多。首先，我希望真正得到“电路”，不仅识别特征，还能利用特征理解模型的计算。这才是我的终极目标。

已经有一些初步工作，包括 Sam Marks 的论文以及边缘方向上的其他研究，但仍有很长的路。

一个技术挑战叫“干扰权重”（interference weights）。由于叠加，如果直接观察特征间连接，可能看到一些在“楼上模型”里根本不存在、只是投影叠加产生的伪权重。

另一个方向，是继续改进稀疏自编码器。可以把它想成望远镜：字典学习越好，望远镜越强，我们就能看到更多星星，也能放大更小、更暗的星星。

但大量证据表明，我们现在仍只看见了非常小的一部分。神经网络宇宙里还有大量“暗物质”。

有些结构也许需要更精细的仪器才能看见，有些甚至可能在计算上根本不可观测。我们不知道是否永远能够接近它们。

但仍有大量“暗物质”。如果神经网络的显著部分始终无法被我们访问，这对安全意味着什么？我经常思考这个问题。

我还经常思考另一个问题。机制可解释性是一种极微观的方法，试图以非常细的粒度理解模型；可我们真正关心的许多问题是宏观的，尤其是神经网络的整体行为。

微观方法的好处，是更容易检验“这个说法是否真的正确”；缺点是，它离我们真正关心的问题很远。现在面前有一架梯子：我们能否找到更高层抽象，从微观机制一路爬到宏观行为？

你写过“器官”问题。

对。如果把可解释性看成神经网络解剖学，那么现在大多数电路研究都像在观察极细小的血管，研究单个神经元以及它们怎样连接。

可生物解剖学里最重要的抽象往往是更大尺度结构：心脏这样的器官，或者呼吸系统这样的完整器官系统。人工神经网络里是否也存在“心脏”“呼吸系统”或“脑区”？

许多科学领域都有多个抽象层次。生物学里有分子生物学、细胞生物学、组织学、解剖学、动物学和生态学；物理学里有粒子层面，也有统计物理进一步导出的热力学。

如果机制可解释性成功，它现在更像神经网络的分子生物学；我们还需要类似解剖学的层次。

为什么不能直接研究宏观结构？叠加至少是主要障碍之一。没有先用正确方式拆开微观结构，再研究它们怎样连接，就很难看见真正的宏观结构。

我希望未来会出现比特征和电路大得多的抽象。我们可以先用宏观故事理解系统，再对真正关心的部分做精细分析。

类比神经生物学，那也许是神经网络的心理学家或精神科医生。

最美的情况，是不把微观与宏观变成彼此割裂的领域，而是在二者之间建桥，让高层抽象扎根于坚实、严谨的机制基础。

人脑这种生物神经网络，与人工神经网络最大的区别是什么？

神经科学家的工作比我们难得多。我经常靠数一数自己拥有多少优势，来提醒自己有多幸运。

我们能记录所有神经元，而且可以在任意数量数据上记录；实验期间神经元不会自行变化。我们可以消融神经元、编辑连接，然后撤销修改；也能强制任意神经元激活，观察后果。

神经科学家想获得连接组，而我们直接拥有连接组，并且规模远大于秀丽隐杆线虫。不仅知道神经元是否连接，还知道彼此是兴奋还是抑制，知道精确权重。

我们能计算梯度，也知道每个神经元在计算上做了什么。相较神经科学，我们拥有数不清的优势，但问题仍然极难。

这有时让我觉得，在真实神经科学的约束下，任务几乎不可能完成。我的团队里有几位神经科学家，也许他们愿意先来做一个“容易一点但仍很难”的问题：理解人工网络。等我们在这个较容易的小池塘里弄清一些规律，再回到生物神经科学。

我很喜欢你把机制可解释性研究的目标概括成两个词：安全与美。谈谈“美”这一面吧。

有些人对神经网络感到失望。他们说：“只有一些简单规则，再做大量工程、不断扩大规模，结果就很好。复杂思想在哪里？这算不上漂亮的科学结果。”

听到这种话时，我会想象有人抱怨：“进化太无聊了。就几条简单规则，让它运行很久，结果出现了生物学。生命怎么能以这么糟糕的方式产生？复杂规则在哪里？”

真正的美恰恰在于，简单性能产生复杂性。生物学由简单进化规则产生了生命、生态系统和自然界的一切美。

神经网络也是如此。它们在内部创造出巨大的复杂性、结构和美，只是大多数人没有观察，也没有尝试理解，因为理解很困难。

我相信神经网络内部存在极其丰富的结构和深刻的美，只要我们愿意花时间去看见、去理解。

我也喜欢机制可解释性带来的感觉：我们仿佛瞥见并逐渐理解模型内部正在发生的魔法。

对我来说，这个问题几乎在主动呼唤人类回答。我很惊讶没有更多人被它吸引。

人类不知道怎样直接编写一个能完成这些任务的程序，却培育出了可以写作、翻译、理解图像、完成各种惊人工作的系统。只要有一点好奇心，就应该追问：人类为什么突然拥有了这些自己不会制造、却能做到这些事情的人工造物？

我喜欢那个画面：电路在架构的脚手架上，朝着目标函数的光生长。

它是我们培育出的有机之物，而我们根本不知道自己究竟培育出了什么。

谢谢你研究安全，也谢谢你珍视研究中发现的美。感谢你今天来交流，Chris，这场对话非常精彩。

也谢谢你花时间与我聊天。

感谢大家收听与 Chris Olah 的对话，以及之前与 Dario Amodei 和 Amanda Askell 的对话。欢迎通过节目简介中的赞助商支持本播客。

最后，以 Alan Watts 的一句话结束：“理解变化的唯一方式，是投入其中，随它一起移动，并加入这场舞蹈。”谢谢收听，希望下次再见。