---
id: "x2VHFgyawPE"
title: "走进 Anthropic CEO Dario Amodei 的内心"
channel: "Bloomberg Originals"
host: ["Emily Chang"]
guests: ["Dario Amodei"]
date: "2026-06-17"
updated: "2026-07-29"
duration: "1:10:04"
duration_seconds: 4204
source_type: "youtube"
youtube: "https://www.youtube.com/watch?v=x2VHFgyawPE"
canonical: "https://pod-exp.pages.dev/x2VHFgyawPE/"
transcript_jsonl: "https://pod-exp.pages.dev/x2VHFgyawPE/transcript.jsonl"
language: "zh-CN"
translation: true
translated_from: "en"
timestamp_precision: "block"
topics: ["人工智能","AI 安全","创业与经营"]
series: ["Dario Amodei","Anthropic"]
---

# 走进 Anthropic CEO Dario Amodei 的内心

> 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。

**内容提要：** Bloomberg Originals 的《The Circuit》主持人 Emily Chang 与 Anthropic CEO Dario Amodei 进行了一场超过一小时的深度访谈。两人从 Dario 的睡眠、压力、旧金山成长经历和离开 OpenAI 谈起，进入 Anthropic 的企业路线、Claude Code 的增长、算力瓶颈、与 OpenAI 的竞争，再转向更尖锐的问题：AI 对白领就业的冲击、Anthropic 与美国国防体系的合作边界、Palantir、军事 AI、所谓 “Mythos” 模型的网络安全能力、政府是否应接管前沿 AI、中国开源模型、AI 自我改进，以及 Dario 对“文明崩溃概率”和公众信任的回答。 这场访谈的核心不是某个单点爆料，而是 Dario 反复使用的一个判断框架：AI 不是突然跳变的奇点，而是一条“平滑指数曲线”。在他看来，成熟的反应既不是否认风险，也不是一夜之间恐慌或国有化，而……

## [0:07] 走进 Anthropic

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-01> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=7s>

**Emily Chang：** 你现在睡得怎么样？

**Dario Amodei：** 我从来不是那种睡很多的人。可以这么说，我正在学习一种艺术：在异常高压的时刻，想办法放松下来，也想办法睡过去。

**Emily Chang：** 一切都发展得太快了。从内部看，这是什么感觉？

**Dario Amodei：** 它有点像置身于一条指数曲线上。想象你坐在一艘飞船里，以接近光速的速度离开地球。按照狭义相对论的效果，你睡一觉醒来，地球上已经过去了两天，所以你一天里要处理两天的事情。然后你又睡一觉，因为飞船还在继续加速，地球上过去了三天。再下一天，外界又过去了四天。那种感觉就有点像这样。

**Emily Chang：** 那你上床睡觉时，会不会总是担心醒来后世界又变了？

**Dario Amodei：** 我们确实有足够多清晰而迫近的问题要处理，我每天都在处理这些问题，同时也在思考怎么做准备。但我不认为偏执，或者不断担心醒来后会发生什么，是有建设性的。我看过历史上那些处在极高压力情境中的人，他们必须学会理性应对，不能把不同危险之间的比例关系搞乱。

在“我不担心”和“天啊我们今天必须恐慌”之间来回摇摆，我认为这是不成熟决策的标志。真正成熟的决策是：我们不能忽视它，不能自满，而且风险确实正在越来越大；但我们也必须理性回应。就像外科医生做手术，或者军官执行军事行动一样，做影响很多人的决策时，必须理解风险，同时保持一种基本的冷静。

**Emily Chang：** 我儿子昨天还问我：“我能用你的 Claude 账号吗？”我说：“绝对不行，我需要我的 token。”你们在消费者市场也越来越常被看到。

**Dario Amodei：** 我们本来更想成为一家企业公司。但即便我们没有在消费者端投入那么多精力，它也开始跑得很快。

**Emily Chang：** 你现在处在 AI 宇宙的中心。这是什么感觉？

**Dario Amodei：** 有意思的是，我整个职业生涯，尤其是 Anthropic 的这段经历，都是在看一条平滑的指数曲线。你身处其中时的体验是：什么都没发生，什么都没发生，有一点点事情发生，然后突然“嗖”的一下，整个世界变得疯狂。这是世界的体验，也是公司规模相对于其他公司、相对于整个世界的体验。

所以我之前一直看着那条图线，心想：大概就在这个时间点附近，我们会成为收入和估值最高的 AI 公司之一。现在它确实发生了。从这个意义上说，我并不惊讶，因为图上就是一条平滑的线。但从另一个意义上说，当事情真正发生时，你会看到更多细节、更多颜色，它当然还是令人惊讶。

我们一直提醒自己关注同样的问题：怎样训练好的模型？怎样把它们放进好的产品里？怎样确保安全？怎样帮助人们，同时管理这项技术带来的社会风险？问题本身没有变，只是都被放在了更大的显微镜下面。

## [3:34] Dario 的成长背景

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-02> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=214s>

**Emily Chang：** 你在旧金山长大时是什么样的孩子？我知道你父亲做皮革手工，母亲在图书馆工作。这些经历怎么塑造了你？

**Dario Amodei：** 当时第一轮互联网革命就在我身边发生，但我完全没有兴趣。我感兴趣的是数学，是乱写乱画，是理解宇宙，是科幻小说。那基本就是我当时所处的氛围。我想我对世界有很强的好奇心。

**Emily Chang：** 你成长在技术中心，而今天旧金山又是 AI 的中心。这座城市有没有塑造你的世界观？

**Dario Amodei：** 有。我觉得这里那种不从众、个人主义、允许你“疯狂一点”的精神，可能确实对我有影响。你会听到一些故事，说在欧洲某些国家，甚至美国其他地方，换一种方式思考，或者有一套看起来疯狂的想法，会被劝阻，或者被认为很奇怪。

我对硅谷有很多批评，但我认为它有一个好处：它鼓励你去追求一个连贯的愿景和世界观，即使所有专家都反对你。也许它根本行不通，但如果它行得通，它有一种长尾性。你在某些矿脉里挖掘，也许会发现巨大的金矿。我觉得这种精神很重要。

**Emily Chang：** 2016 年，你、你妹妹 Daniela、她丈夫 Holden Karnofsky 曾经住在同一个合租屋里。你们当时在讨论什么？

**Dario Amodei：** 那大概是 Open Philanthropy Project 刚起步的时候，Holden 是负责人。我当时还是一名生物科学家，所以我会帮他们看一些全球发展中国家卫生、生物研究方面的事情，判断哪些方向更有前景，哪些方向可能没那么有前景。

## [5:51] 离开 OpenAI

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-03> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=351s>

**Emily Chang：** 你离开 OpenAI 的决定已经变成了硅谷传说。抛开外界叙事，真正发生了什么？你们的问题和分歧是什么？

**Dario Amodei：** 我简单说。建设强大技术时，会遇到很多困难问题，Anthropic 每天也在面对这些问题，我们也并不知道自己做的决定一定是对还是错。在安全问题上当然会有很多合理分歧，我们和他们之间也有过一些。但单纯有安全分歧，并不足以让人离开。在 Anthropic，大家也会不同意我，彼此之间也会有分歧。

真正让人难以继续的是：你感觉你不能信任某些人；你感觉他们说的价值观和真正的价值观不是一回事；你觉得他们不诚实；你觉得他们做这件事不是因为他们宣称的原因；你看到令人不安的行为模式和不诚实。这会让人很难继续为一家公司工作，也很难继续信任这家公司。

归根结底，如果你们没有相同愿景，也不信任对方，为什么还要争？解决方式就是：我们出去做我们的事，他们继续做他们的事。我完全接受我们按自己的方式做，他们按他们的方式做。最后谁在市场中获胜，谁在公众舆论中获胜，这些会比“谁为什么离开”的戏剧性故事更有说服力。

我们正在提供一个例子：怎样以我们认为负责任的方式部署这项技术。如果他们不同意，就应该提出他们的论证。我认为这就是我要说的全部。

## [7:43] 印度 AI 峰会上的握手风波

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-04> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=463s>

**Emily Chang：** 印度 AI 峰会上有一幕，你和 Sam Altman 看起来拒绝在台上牵手。发生了什么？

**Dario Amodei：** 那次峰会非常混乱。我们都是最后一刻上台，他们又改变了大家站的位置，然后拍照，接着突然命令所有人牵手。你如果参加过这类峰会，就知道——我不是特别批评印度，而是说所有这种有国家元首出席的国际峰会，都非常混乱。

**Emily Chang：** 可其他人都牵手了。来吧。

**Dario Amodei：** 我不知道该怎么跟你解释。Narendra Modi 突然站在那里让所有人牵手。

**Emily Chang：** 好吧。Sam 和 Elon 在互相起诉，你也不喜欢 Sam。如果正在建设世界上最重要技术的人，连台上牵手都做不到，我们怎么相信你们会在生存风险上合作？

**Dario Amodei：** 建造这项技术的人，在能力、质量和可信度上差异很大。把行业概括成“所有人都互不信任”并不准确。我认识开发 Gemini 的 Demis Hassabis 已经 15 年了。Gemini 和 Claude 是竞争产品，但我们合作过很多问题；Anthropic 从 Google 购买算力，双方也经常交流安全思路。

我的看法是，行业内确实有一些参与者比另一些更可信，Anthropic 之外也有我信任的人。更可信的参与者需要联合起来，让不可信的参与者不得不采用相同标准。有些人不会主动做正确的事，但当行业多数都在做正确的事时，剩下的人就没有多少选择，只能跟上。

这里既有“胡萝卜”，也有隐含的“棍子”。胡萝卜是向上的竞赛：Demis 做出 AlphaFold，我们也想在生物学上做出新东西；我们做可解释性研究，他们也启动可解释性研究。这甚至不只是竞争，而是看到对方做了很酷的事，就想继续推进。棍子则是：如果一批公司做了正确的事，其他公司不跟进就会显得很糟。它们有时会不情愿地跟上，同时又试图声称自己在做不同的事，或者暗示 Anthropic 有什么阴险动机。但我认为，这就是让行业合作、让标准整体提高的现实路径。

## [10:45] 企业市场与开发者路线

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-05> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=645s>

**Emily Chang：** 你押注了代码和企业市场。Claude Code 很火，企业端也很火。你为什么做这个选择？这是价值观决定，还是商业决定？

**Dario Amodei：** 当我们创办 Anthropic 时，最基础、最重要的事始终是把这件事做对。但训练前沿模型非常昂贵，它需要成为一家公司，也需要商业模式。接下来就必须问：商业模式会不会妨碍价值观？我从其他公司学到的是，如果选择了一个与价值观根本冲突的商业模式，最后往往只能背叛价值观，或者变得无关紧要，陷入两难。因此，最好从一开始就选择与价值观相容的商业模式。

消费互联网和社交媒体会激励参与度，甚至激励成瘾。AI 视频里出现的低质内容也是类似问题：广告模式希望最大化用户盯着屏幕的分钟数。企业市场则更接近我们希望 AI 实现的正面用途。治愈过去无法治愈的疾病，要与生物科技、制药公司和学术研究机构合作；让能源更便宜、更高效，要与能源企业合作；教育、发展中国家的健康，以及推动经济增长，也大多要通过企业或非营利组织来实现。

企业还非常重视信任和长期关系。消费产品有时可以依赖噱头，企业合作则要求双方多年履约：我们兑现承诺，客户也兑现承诺，并在长期中建立信任。这与我们希望以积极、安全的方式部署模型高度协同。并不是说企业路线没有冲突或艰难选择，但冲突会少得多。

**Emily Chang：** 开发者下午就能从 Claude 切到 ChatGPT 或 Gemini。这个行业真的可能有长期领先优势吗？一个严肃竞争对手要复制你们做的东西，需要多久？

**Dario Amodei：** 模型质量是最重要的东西。我们目前在模型质量上领先很多。产品确实会有一些惯性，但我从来没有依赖“用户被锁住、不会切换”。你必须持续拥有更好的模型和更好的产品。至少在录制这场访谈时，我们的增长率没有拐头，反而还在上升。所以我认为，能力和产品质量仍然是最关键的。

**Emily Chang：** Claude Cowork 发布后，一夜之间有 2850 亿美元市值蒸发，交易员把它叫作“SaaS 末日”（SaaSpocalypse）。如果 AI 按这个速度进步，传统软件会被替代多少，速度会有多快？

**Dario Amodei：** 没有人能精确预测，否则他就能在市场上赚到巨额财富，而且永远正确。但可以确定的是，传统软件公司有很多护城河，其中一些会消失，另一些会保留。单纯“能快速写出复杂软件”这条护城河肯定会消失；如果你的防御只是“这套复杂软件别人写不出来”，那很难守住。

但客户关系、行业运作经验和独特领域知识仍然重要，还可能出现新的护城河。我的建议是：不要自满，也不要忽视变化；列出自己的所有护城河，清楚哪些会消失，哪些会相对变得更重要，并寻找新的护城河。能灵活调整的人会过得不错；继续欺骗自己、认为过去有效的东西永远有效的人，会非常难受。

## [16:17] 软件行业会变大，但会有输家

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-06> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=977s>

**Emily Chang：** AI 会杀死 SaaS 吗？

**Dario Amodei：** 这取决于你怎样定义 SaaS。我猜软件行业整体会变大，而不是变小，但会出现一些大输家。AI 让整个蛋糕变大；现有公司在相对意义上可能变小，有些公司市值会下降，适应不当的甚至会倒闭。

当 AI 能做的事情增长十倍时，现有行业即便增长 1.5 倍，相对于整个蛋糕也会缩小。那些不适应、把头埋进沙子里、不去识别自己剩余护城河的公司会很艰难。但这不等于整个软件行业会萎缩。

## [17:24] 大科技公司的资金与控制权

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-07> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1044s>

**Emily Chang：** 给你们提供资金的公司都有自己的议程，它们既是伙伴也是竞争对手。你们有巨大的商业里程碑和融资条件。到底谁在掌舵？

**Dario Amodei：** 我们有很多时候都非常公开地表达了自己的观点。比如我一直强调需要对出口到中国的芯片实施管制。我这么说，是因为我认为如果中国在这项技术上领先，会对美国、对全球民主状态、对世界很糟糕。

如果这些投资者或合作伙伴真的在控制我们，我们就不会这样说。我们在一些问题上的立场，显然不是所有商业伙伴都会喜欢。我们有自己的治理结构，有自己的原则，也有长期利益信托（Long-Term Benefit Trust）这样的机制，确保公司不是只由普通股东利益驱动。

合作关系很重要，融资也很重要，但这不等于别人替我们做决定。大家都是成年人，可以在一件事上合作，同时在另一件事上分歧。合作伙伴从交易中获得的利益并不比我们少。

**Emily Chang：** Bloomberg 报道称，你们的估值已经高于 OpenAI。一个成立五年的创业公司，估值接近一万亿美元。你怎么理解这个数字？既然你们在算力上更克制、盈利路径也更快，为什么还需要筹这么多钱？

**Dario Amodei：** 算力投入正在非常快地爬升。企业基本面很好，与一年后需要三倍、四倍甚至更多算力可以同时成立；我不提供精确数字，但算力爬坡非常快。我们完全预期收入增长会达到或超过算力增长。

融资是用来缓冲这个“未知锥体”的。它只稀释很小一部分股权，是完全理性的做法。筹钱并不意味着业务基本面有问题；从逻辑上说，它完全可以与强劲基本面同时存在，甚至恰好说明相反的情况。

## [19:30] 算力瓶颈

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-08> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1170s>

**Emily Chang：** 用户在抱怨稳定性、token 用完等问题。你说过其他公司在基础设施上有点 “YOLO”。你们真的有足够算力吗，还是也在追赶？

**Dario Amodei：** 算力有时会变成一种营销话术。把时间尺度放到几个月以上，我们能够获得大量算力。我不认为我们按任何合理标准都买少了；我们的规划本来就是算力每年增长十倍。

但 2026 年第一季度发生的增长超出了这个规划：收入在一个季度内增长超过三倍，而不是年化三倍。三的四次方大约是 80，也就是按那个季度速度年化会达到约 80 倍。为 80 倍年增长预先购买算力并不理性，因为如果最后只有十倍增长，你就会多出八倍闲置资源。

因此，我们经历的是局部、极端的需求爆发，不可能永远持续；否则年底收入会到达地球上任何公司都难以想象的数字。但短时间内确实会出现“增长速度超过所有预期”的情况。你们已经看到我们与 Google、Amazon 的算力协议，之后还可以做更多。这个市场是流动的：只要你能高效利用算力，而且确实有需求，就能获得算力，只是可能需要一两个月。

## [21:16] 超越 OpenAI

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-09> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1276s>

**Emily Chang：** 超过你的宿敌，感觉好吗？

**Dario Amodei：** 我们面前还有很多困难挑战。我们一直谈“向上的竞赛”（race to the top）：我们希望把其他公司也拉向更好的安全标准和更负责任的做法。我认为我们已经看到了这种效果。有些公司不承认他们被我们拉动了，有些公司一边攻击我们，一边复制我们。但这种拉动是有价值的。

所以，不管是在商业上还是在安全标准上，成为领先公司都有价值，因为它能让你设置标杆。我们希望未来能做更多这类事情。

**Emily Chang：** 但赢总会让人有一点开心吧？

**Dario Amodei：** 我们当然是在努力成功。我们不是要失败。我也不认为应该关闭这项技术，或者完全不建设它。我们生活在自由企业制度中，追求成功没有错。

真正重要的不是为了击败竞争对手而击败竞争对手，而是领先能让我们把整个生态往更高标准拉。我们当然希望成功，也不主张停止建设技术；我们身处自由企业制度，追求成功本身没有错，但必须同时减轻模型风险。

**Emily Chang：** Anthropic 历史上的大部分时间里都是弱者。规模还小时，站在道德高地也许比较容易。到了今天这个规模，坚持价值观有多难？

**Dario Amodei：** 我花了很多时间思考这个问题。公司每到一个新规模，就会出现新的失败方式：可能失去商业上取胜的意志，也可能失去核心价值观。我两方面都担心，因为它们其实互相促进。我们能做出好模型，正是我们能够有效坚持价值观的基础。

最大的危险未必是我、联合创始人或公司领导层改变价值观，而是公司人员构成增长得太快。我大概有一半时间都在向公司解释 Anthropic 的文化和运作方式。高速扩张时，我们会从大型科技公司招聘很多人；如果不明确告诉他们 Anthropic 怎么做事，他们就会自然复制原公司唯一熟悉的做法。

所以，保存文化是一场持续的斗争和挑战，也是我和 Daniela 最优先的事项之一。我们知道，从长期看，这就是 Anthropic 的核心。

## [24:08] 产品速度

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-10> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1448s>

**Emily Chang：** 你们发布产品又多又快，是怎么做到的？

**Dario Amodei：** 我会说有两个原因。第一，我们是一家高度统一的公司，有统一的文化。公司变大了，但仍然非常高效，大家仍然在同一页上。文化和组织上的统一，是最大的因素。

第二个因素是 Claude 本身。我们现在也在用 Claude 帮助开发自己的产品。它帮助我们写代码、测试、整理信息、提高工程效率。我们希望用自己的产品来加速自己的产品开发，这种反馈循环会越来越强。

## [24:55] AI 带来的发现

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-11> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1495s>

**Emily Chang：** 你看到过哪些最疯狂的 AI 用例？

**Dario Amodei：** 我看到最惊人的一些东西来自生物学和医学。包括 Daniela 在内，我见过一些案例，Claude 诊断出了很多很厉害的医生漏掉的医学问题。在生物学方面，模型开始在药物设计、计算化学等任务上表现得出奇地好。

我以前是生物学家，所以看到这些时会想：这真的很难，需要大量训练，而 Claude 正在变得擅长。这是 AI 会带来巨大收益的领域。生活会变得更好，人类体验的质量也会提高。

我说的可能是一整个世纪的科学进步、医学进步，以及“身而为人是什么感受”的进步。回到 1900 年，想想当时人们会因多少原因早逝、承受多少痛苦和物质匮乏，而今天我们已经不必面对其中许多问题；再想象把另一个百年的进步压缩进来。如果我们能度过眼前阶段——我认为我们能，而且我越来越乐观——世界会好得多。

## [26:13] Dario 的写作方式

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-12> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1573s>

**Emily Chang：** 我知道你很爱写作，也以长文著称。你会用 Claude 帮你写吗？

**Dario Amodei：** 会。但我还没有到直接允许 Claude 写出的文字进入我的文章的程度，因为我的风格很具体，我对这个有点挑剔。我基本上用 Claude 来帮我头脑风暴、思考主题、找可以引用的材料。它起到的是支持作用。

我不知道 Claude 离“写得比我更好”还有多远。现在还没到，但我认为这肯定会到来。

**Emily Chang：** 我也喜欢写作。写作会迫使你和想法搏斗，其中有很多批判性思考。如果我们让 Claude 替我们写，会不会失去这些？

**Dario Amodei：** 我有点担心这一点。事实上，这也是我坚持自己写的一半原因。写作当然是为了外部读者，很多人会读我写的东西；但它同样是为了澄清我自己的思考，让我知道下一步该做什么，也在我和其他人之间创造一个共同参照点。

我们还在摸索：怎样使用 AI，同时保留写作本身带来的这些好处。我现在的做法大概做到了这一点：用 Claude 做研究，帮助我组织自己的想法。但如果完全端到端地让它“写一篇关于 AI 风险的文章”，首先它不会写出我真正想的东西；其次，我也会失去写作带来的思考收益。

随着模型变强，也许会有办法更直接地使用它们，同时仍保留这些收益。但那会很微妙，不会是一个简单答案。我们需要慢慢弄清楚。

## [28:10] AI 与劳动力市场

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-13> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1690s>

**Emily Chang：** 你一直非常直接地谈工作流失。你曾说 AI 可能在未来一到五年内消灭一半入门级白领岗位。那是一年前说的。AI 发展得非常快。现在还是 50%，还是更高？

**Dario Amodei：** 我一直说的是：我不知道会发生什么，但这是一个量级，用来表达事情可能疯狂到什么程度。那些原始片段经常被剪成三秒钟的断章取义。完整说法一直包括：我们需要回应，需要政策，需要解决方案。

我谈过 token tax，谈过和企业合作帮助员工调整，谈过再培训项目——虽然我对再培训有些怀疑，但也应该纳入组合。我也谈过宏观经济政策。从一开始我就在谈解决方案。但人类心理里有一种倾向，就是只截取“末日要来了”的三秒钟。

我的信息绝不是“末日来了”。我的信息是：这是我们应该提前看到、应该担心、也应该积极应对的事情。我仍然很担心，担心的量级没有变。我们现在看到，AI 确实在提高人的生产力。但这通常只是一个中间阶段。

我在《技术的青春期》（Adolescence of Technology）里写过：如果你自动化了一个工作的 90%，那么人类在剩下 10% 上会变得十倍高效，因为他们被十倍杠杆化了。但最终自动化会接近 100%。接下来的问题就是：那人们要去做什么？长期我真的不确定，但会有适应过程。

以 Anthropic 内部的软件工程师为例，我们正在经历这种转变。现在 AI 让软件工程师更高效，即使 AI 写了全部或几乎全部代码，它仍然提高人的生产力。但我们也开始看到某些任务，AI 可能不只是提高人的效率，而是更适合直接完成。

另一边，我们对什么有更多需求？比如 forward deployed engineer，或者 applied AI solutions architect，这类岗位把技术工作和与客户沟通结合在一起。因为客户很多，公司增长很快，所以需求很大。是不是每个纯软件工程师都能无缝转到这种岗位？不是。它不是一对一的替换。但这展示了一个味道：会有巨大扰动，同时经济也会调整。哪一边胜出，我不知道。

正因为不知道，才必须提前警告。这让我们能制定政策：既包括 Anthropic 内部的做法，也包括全世界宏观层面的政策。我们希望发表经过认真思考的观点，不说那些我们自己都不相信会去做的话，不说半生不熟的话，而是认真思考这些问题到底该怎么办。

**Emily Chang：** 你们发布过一张图，展示潜在的岗位冲击，比如销售、金融，哪些岗位会消失，谁会被替代，会产生哪些新岗位。那到底哪些工作会消失？

**Dario Amodei：** 没有人确定知道，因为经济本身是不可预测的，有点像股票市场，是去中心化过程。你很难提前知道一个工作中哪些部分人类仍然能做。

但大体上，任何入门级白领岗位都有潜在冲击。银行、金融、销售，都会先经历 AI 提高生产力的阶段，然后可能进入 AI 能完整完成工作的阶段。到那时我们必须想：人还能做什么？我们需要提前规划。

我们现在和企业客户谈的时候，已经能看到他们面临选择：是节省成本，也就是用更少资源做同样的事情，往往意味着少招人；还是用同样资源做更多事情？

## [32:28] 正和增长、工作转移与社会冲击

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-14> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=1948s>

**Dario Amodei：** 只要可能，我们都会推动客户选择后者：用相同资源做更多事情，维持同样数量、甚至更多员工，并开展新的工作，把技术引向正和结果。

我们手里有一个有利因素：蛋糕会变大很多。既然蛋糕会变大，理论上会有地方让人去。问题在于能不能足够快地找到这些地方。这是匹配问题，也是扰动规模问题。它会很大，这正是我在警告的事情。

**Emily Chang：** 展开说说。五年后你醒来，美国是什么样？那些人都在做什么？如果真的有那么多失业，这不就是革命的起点吗？

**Dario Amodei：** 这正是我们想避免的结果。绝对是我们想避免的结果。我能想到几个方向，但没有一个是保证的。

第一是物理世界。机器人革命也会发生，但它比纯 AI 发展慢很多。当任何信息处理都变得容易时，限制可能会转移到物理世界：建造、制造、部署、维修、运营。我们可能需要更多人在现实世界里生产和建设东西。

第二是以人为中心的工作。我听过很多故事，说 AI 发现了医生没发现的东西，但在重要问题上，人们仍然想和人交谈。也许 AI 能做更好的客服，但很多人仍然希望和人类交流。所以那些由人际关系驱动的工作会很重要。

第三，人类会在某种程度上指挥 AI。AI 的行动最终要符合某些人的价值和意图。这里肯定会有人的角色，只是我不知道这个角色是薄还是厚，很难说。

**Emily Chang：** 你这些说法遭到很多反驳。Jensen Huang 说你把任务和工作混为一谈。也有人说这是一种有利于 Anthropic 的“末日营销”。

**Dario Amodei：** 我想非常清楚地反驳。关于工作流失风险，以及我们可以采取哪些措施，Anthropic 提出了很多想法。我们有经济研究资助，有经济指数。我在《技术的青春期》里谈了从税收、宏观经济政策到新工作形态的多种应对方式。我花了好几页解释任务和工作之间的区别，解释为什么这一次和以往不同，也列出了从私人慈善到政府行动的六类措施。

我谈问题，也谈解决方案。但社交媒体——我很厌恶社交媒体作为一个类别——会拿一年前的三秒片段传播。人们不读文章，或者利用社交媒体那种三秒钟反应机制。把我这些认真写过的东西说成廉价营销，本身才是廉价营销。这是懒惰，是不愿面对严肃思想工作的表现。

我认为这是硅谷病的一部分：陷入三秒钟社交媒体世界，只回应剪辑出来的东西，或者以为只需要回应剪辑。我觉得这非常危险。我们没有成熟讨论，而是有人懒惰地看一个三秒片段就说“哦，Dario 是这个意思”。这很蠢，也很不严肃。每当有人这么说，我都会更少认真看待他们。

## [36:42] 与五角大楼的僵局

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-15> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=2202s>

**Emily Chang：** 世界领先 AI 公司之一已经深度嵌入美国国家安全的许多方面，包括军事行动。Anthropic 和五角大楼围绕 AI 军事保障措施的僵局正在升级。你从 Caltech 时代起就长期持反战立场，但 Anthropic 又是最早与美国国防部签约、让模型进入美国作战所用机密网络的 AI 公司之一。怎么解释？

**Dario Amodei：** 世界会变化。看到俄罗斯入侵乌克兰，看到中国入侵台湾的风险，我担心一个复兴中的威权集团变得非常 aggressive，而我们必须保护自己。这是我已经相信一段时间、并继续相信的事情。

所以跨越不同政府，虽然我不会同意任何一届政府的每项政策，但我们总体上支持这类防御能力。我们不想要一个中国和俄罗斯能够用 AI 分析所有情报、用 AI 攻击台湾和乌克兰，而我们无法防御的世界。

这就是我们和政府合作的原因。我们当然不是为了钱。和政府网络打交道非常麻烦，即使不考虑法律战，上政府网络也是巨大麻烦，而且钱并不多。所以我们做这件事，是因为我们在乎。

正因为我们在乎，就必须对技术使用设限。我在《技术的青春期》里的表述是：我们应该以所有不破坏自身价值观的方式使用这项技术。我们的红线是大规模监控和完全自主武器。我认为这些会破坏我们的价值观。如果民主国家为了赢而做这些事，那就不值得赢。

这就是我看到的平衡，也是我们采取的立场。它同时解释了为什么我们是第一批与国防部合作的公司之一，也解释了为什么当其他公司愿意做某些事情时，我们不会做。

我认为你必须选择立场并坚持立场。有些公司从“我们绝不和政府做任何事”，突然摇摆到“我们和政府做所有事”。我不理解。你应该选择原则，然后坚持。

**Emily Chang：** 你们自 2024 年以来一直和 Palantir 合作。Palantir 的技术被 ICE、警察部门、加沙相关场景使用。Claude 是否也被用于其他监控？

**Dario Amodei：** 我们不和 ICE 合作，不通过 Palantir，也不通过任何其他人。我认为我们也不和 CBP 合作，也不认为我们在加沙有合作。我们非常谨慎地限定合作范围，只做我们相信的事情。

**Emily Chang：** 你画了红线，总统把你们排除在联邦政府之外，五角大楼把你们列为供应链风险。OpenAI 跳进来，签了你们不愿签的合同。这场斗争怎样才算赢？

**Dario Amodei：** 对一家私人公司来说，这不是一场“要赢”的斗争。Anthropic 不是把这看成输赢。我甚至不想叫它斗争，更像是一场关于政府如何适当使用 AI 的辩论。

AI 是一种新兴技术。我们还不理解它在哪些方面可靠或不可靠，也不理解它在哪些方面促进或破坏我们的价值。所以我认为重要的是树立先例：哪些用例我们认为好，坦率说大多数用例都是好的；哪些用例我们担心。

当然，合同能做到的有限。如果别人签了不尊重同样红线的合同，你阻止不了。但我们做的事提高了社会对这个问题的意识。现在国会里有严肃的两党努力，试图禁止我们担心的一些用例，并设置护栏。这个努力如果能让国家更认真地思考这项技术的适当使用，那就算取得了进展。

**Emily Chang：** 有人说 Anthropic 由一个意识形态狂热者管理，不应该拥有——

**Dario Amodei：** 那不是我的问题。我的问题是 AI 决策在军事中应当如何使用。

**Emily Chang：** 你介意被称为“意识形态疯子”或“一群左翼疯子”吗？

**Dario Amodei：** 我被叫过更难听的。人们可以随便怎么叫我或 Anthropic。真正重要的只有两件事：我们作为一家公司是成功的；我们坚持自己的价值观。某种意义上，我的生活很简单，因为当你只努力做这两件事时，你总知道自己站在哪里。

**Emily Chang：** 一位美国官员说，在 LLM 帮助下，美军每天可打击目标从 1000 个增加到 5000 个。这意味着 Claude 能帮助更快杀死更多人。你对此感到舒服吗？

**Dario Amodei：** 这里有两件事。第一，美国在军事上更有效率。我支持这种能力。我认为这种能力更强不会导致战争，而会威慑战争。你其实是在问：你是否相信这个国家？你是否希望这个国家在世界舞台上成为更强而不是更弱的行动者？我希望。我是爱国者。

第二个问题是，美国政府的某些具体政策我支持还是反对。显然有些我支持，有些我不支持。但这不由我决定。如果我们提供一种技术，国防部也提出过这一点，而我们同意：我们不能说你可以把它用于这个军事行动，但不能用于那个军事行动。我私下可能认为某个行动合理，另一个行动是坏主意，但我们不能按具体行动逐项拒绝技术。政策必须留给军事决策者。

我们能做的是设定高层边界：对我们来说，阻止那些看起来和我们的价值、国家价值不一致的用例，同时促进我们认为能维护这些价值的用例。这就是我们的思路。

## [43:30] AI 战争

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-16> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=2610s>

**Emily Chang：** Bloomberg 报道称，Claude 被美国军方在伊朗战争中通过 Palantir 的 Maven Smart System 用于 AI 辅助目标定位。2 月，一枚美国导弹据称击中伊朗一所女校，造成 150 多人死亡，其中多数是儿童。Claude 在那次打击中发挥了作用吗？

**Dario Amodei：** 我们无法接触到这些信息，也不知道这些模型到底是怎么被使用的。战争中的错误显然非常可怕，这是非常可怕的事情。

如果这还不能说明为什么我们必须为自己不支持的用例划线，那我不知道什么能说明。我们愿意冒着公司未来的风险，去限制这些模型的使用。你提到的这个用例甚至不一定违反我们的红线。我们担心的是，如果是那些确实违反红线的用例，规模可能会严重得多。

总体上，我认为这些模型的使用在净效应上是合适的、好的。但即使在最好的时候，军事决策者也会犯可怕错误，而我也不知道现在是不是最好的时候。

我们可以讨论几件事。第一，设置红线，防止那些更可能导致这类问题的模型使用。如果我们允许完全自主武器——而现在几乎每家其他公司似乎都在允许这种方向——那就完全不同了。这里看到的是 Claude 辅助，但最终由人做决定。做出最终决定的是人，不是 Claude。想象一个世界，不是 Claude，因为我们没有允许，但可能是别人的 AI 模型直接做决定，人类从未看过。这就是我们要反对的。

还有一个更广泛的问题。我不认为采购合同是解决方式，但这是美国人民的利益问题，不是我作为技术供应商的利益问题：我们的军事决策者必须可靠运行，必须明智选择行动，必须避免这类错误。

从公民角度、也从技术供应商角度，这都令我担忧。政府也大量使用 Microsoft Excel。你不可能现实地说，Excel 可以用于这个军事行动，但不能用于那个军事行动。希望这能让你理解我们的思路。

**Emily Chang：** 这所学校有网站，谷歌搜索就能找到。Claude 或他们使用的 AI 难道不该发现这一点吗？这是否说明，在战争中把技术当捷径，会带来更可怕的问题？

**Dario Amodei：** 我没有相关的机密信息。但我们建立的原则，也是我认为这里遵守的原则，是由人做最终决定。我不知道 Claude 或其他 AI 起了什么作用。但如果这不能说明为什么“人类最终决策”如此重要，我不知道还有什么能说明。

**Emily Chang：** AI 战争更可能阻止第三次世界大战，阻止美中战争；还是更可能造成它？

**Dario Amodei：** 总体上，我认为它更可能阻止战争。但如果对使用方式没有限制，它也可能更容易导致战争。你看过《奇爱博士》（Dr. Strangelove）吧？里面的设定是有一个末日装置，一旦它认为核武器正在被发射，就会自动发射核武器。那会出什么问题？

这又回到致命、完全自主武器的问题。我认为冲突发生的方式常常是双方互相误判、互相跳起来。当我们对这项技术没有适当监督时，这类事故就更可能发生。

## [47:41] 情报优势与战争威慑

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-17> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=2861s>

**Dario Amodei：** 但如果 AI 被适当使用，甚至不必用于作战，只用于情报收集——比如我们能预测对台湾的入侵，或者乌克兰方向的新动向——对手如果知道我们掌握他们的一切行动，就会三思。更强的情报能力可以威慑冲突，更强的响应能力也可以威慑冲突。我仍然相信这些。

**Emily Chang：** Anthropic 几乎每周都在登上新闻头条。

## [48:19] Mythos

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-18> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=2899s>

**Emily Chang：** Anthropic 几乎每周都在上头条，尤其是围绕 Mythos。它是 Anthropic 最新、最强大的模型，能够自主走完网络杀伤链的所有环节。你说 Mythos 太强，不能向公众发布。它最让你惊讶的是什么？

**Dario Amodei：** 最让我惊讶的是，模型在发现漏洞方面一直在提升，更重要的是，它们能把漏洞转化成 exploit。人们常谈发现漏洞，但很少谈把漏洞变成可利用攻击，而 Mythos 在这方面非常强。

我们看到一次巨大跃升，幅度特别大。我们几乎没有提示早期拿到模型的一些公司，他们自己就说：这像超级武器；使用它应该要持枪执照；请不要发布。要求我们不要发布的呼声，来自我们给模型使用的那些公司。它们发现了太多关键漏洞，也发现这些关键漏洞具备可利用性，所以它们反过来要求我们不要发布。

当然，为了避免社交媒体世界里的扭曲，我要说明：目标不是把它永远锁起来。我们正在逐步把它开放给越来越多的人。最终我们认为 Mythos 应该面向更广泛用户发布，但必须配合强网络安全防护。

问题在于，今天的网络安全防护还不够。我们在 Opus 4.7 上发布了一些防护，Opus 4.7 是一个好的网络模型，但比 Mythos 弱很多。那些防护可能被 jailbreak。我们担心有些公司认为这已经足够，因为它有时确实有效；但我们都知道，这些分类器可以被越狱或绕过。我们自己的测试，以及我们对其他公司防护的评估，都显示这些防御还不够强。这就是我们等待的原因：要等防御达到我们真正有信心的程度。

**Emily Chang：** 这件事遭到很多反击。有研究者说，他们用更便宜的开源模型复制了类似能力。有人说 OpenAI 已经有这些能力。你怎么回应“这只是大型公关操作”的说法？

**Dario Amodei：** “可以用开源模型复制”这个说法完全不真实。Mythos 做的是看完整个代码库，然后找到问题。有人在 Twitter 上说，如果你把一个开源模型指向 Mythos 找到的那一行代码，它也能发现同样问题。但那不是问题本身。真正的问题不是“给你针，你能不能认出针”；真正的问题是在干草堆里找到针。

最终测试是实践。我们去公司、去开源仓库，发现了 Firefox 中 271 个新漏洞，也在私营公司中发现了许多尚未修复或无法披露的漏洞。以前的模型没有找到那 271 个漏洞。所以要看真实工作流，而不是把 Mythos 已经找到的那一行拿出来，再让另一个模型识别。

**Emily Chang：** 那些说这是营销的人呢？

**Dario Amodei：** 我们因为不发布这个模型，在商业上遭受了巨大损失。这个模型极大加速了 Anthropic 内部的研究、生产和下一代模型。如果我们发布，它也会在外部世界产生同样效果。不发布它严重伤害了我们的商业利益。

**Emily Chang：** 如果它能帮助防守者，也能帮助攻击者。我们还能防守任何东西吗？

**Dario Amodei：** 我们先把 Mythos 给防守者，而不是攻击者，原因就是修补所有漏洞。我不知道随着模型变强，会不会有越来越多漏洞被发现，但漏洞总数是有限的。可以把它想象成一个表面，上面有有限数量的洞。你把洞都补上，这个表面就很难被攻击。同时，如果代码本身也是用强模型写的，它也会变得更难发现缺陷、更难入侵。

所以我希望，在六个月或一年之后，我们会拥有一个比过去安全得多的互联网生态。我们正努力走向那个世界，也在尽力把 Mythos 开放给新的网络防御者。我们一直和政府沟通，也非常尊重他们的建议。他们在放慢我们开放 Mythos 的速度，因为他们担心反情报风险。我认为这是合理的。

这里所有严肃的人都明白，存在真实权衡。我们看到很多来自 Twitter 和其他 AI 公司的攻击。你看看他们说的东西，再看看他们做的事情，就会发现他们并不严肃，没有认真面对我们面前的严肃权衡。

每天都有客户打电话给我说想要 Mythos 的访问权限，也有国家打电话给我说想要访问权限；同时，美国政府和我的安全团队说：等等，这里有风险。我不是说哪一边完全正确。我认为答案在中间。双方都有合理观点，但这里有真实挑战，我们需要作为一个社会共同面对，而不是把它说成廉价营销，也不是用廉价营销来反向定位自己。那只显示出惊人的缺乏庄重和成熟。我们需要共同面对这个时刻。

**Emily Chang：** 你是否已经不得不做一些自己并不完全舒服的权衡？

**Dario Amodei：** Anthropic 的整个历史都是权衡。理想世界里，你也许会希望在发布第一个聊天机器人之前，花几年研究每一种可能出错的方式。我们确实推迟了 Claude 的初始发布，但只是几个月。

所以一切都是权衡。光谱两端的极端做法都完全疯狂。现在我们处在我称为商业领先的位置，我和 Daniela 实际上正在尽我们所能，把指针进一步推向谨慎。Mythos 的发布策略就是这样。如果你不是领先者，很难做这样的事。所以我认为未来你会看到更多类似的事情。

## [55:15] 是否应国有化 AI

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-19> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3315s>

**Emily Chang：** 有一种观点是：为什么政府不接管你们？为什么让一家私人公司控制这么强大的技术？

**Dario Amodei：** 这是一个非常严肃的问题，我也有同样担忧。我不认为政府应该直接接管我们，但我会这样说。

历史上每一种强大技术，要么由政府建造，要么起源于政府。核武器显然最初由政府建造，之后也基本由政府建造。即便是互联网、GPS、手机，很多研发也来自实验室、联邦实验室和大学。AI 是第一项真正由私营部门建设、政府没有严肃参与且后期才进入的技术。

我认为这是危险且不稳定的局面。它不是我会选择的局面。但现实中没有真正替代方案。这项技术可以被建造，我们的对手在建造，它有经济价值，所以它会被建造。问题不是私营部门在做，而是政府没有做。

我们需要思考对权力的制衡。AI 公司权力需要制衡。我们有 Long-Term Benefit Trust，它基本上是一个能任命多数董事、也能罢免多数董事的机构。如果沿着治理链条看，它本质上有权解雇我。我们正在引入一点点公共治理元素：你要对某些不仅仅持有公司股票的人负责。这非常重要，而且无论公司未来发生什么，这个结构都会继续存在。我们也鼓励其他公司建立类似结构。

在政府侧，也需要制衡。国会已经有一些努力，试图制定红线。我真的认为立法和司法部门需要发挥作用。因为我害怕公司拥有这项技术，也害怕政府拥有这项技术。公司需要对政府形成制衡，政府也需要对公司形成制衡。

我们需要基本监管：发布前测试、强制发布前测试、模型测试和审计。这件事很有讽刺意味。硅谷有一群人，一开始连技术透明度、出口管制都反对，说这会灾难性地毁掉我们创造技术的潜力，会扼杀创新；然后他们一看到第一个真实危险，就立刻开始谈国有化，说政府应该接管。

拜托，你们从极端反监管——别人看你一眼都是摧毁行业——摇摆到完全共产主义式的“政府应该全部拿走”。我们需要更明智、更温和的方法。我们一直支持这样的路径，因为我们理解这项技术的力量。我们没有恐慌，也没有否认。我们看到的是平滑的指数曲线，并且在适当地回应。

## [58:58] 重返白宫

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-20> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3538s>

**Emily Chang：** 你回白宫访问怎么样？

**Dario Amodei：** 我们总是尽力和政府里能合作的人合作。我们的做法很简单：我们有一套原则，我们遵循这些原则，然后希望对方也是理性的。

坦率说，政府非常认真地对待 Mythos。我们和财政部长 Bessent、白宫幕僚长 Susie Wiles 有过很好的对话。我认为他们真正理解了这些风险的性质。Mythos 帮助他们更具体地感受到风险在哪里。

当然，和任何政府一样，有些部门我们合作顺畅，也理解问题；有些部门更难合作。我认为这很正常，任何政府都会这样。我们只能尽力在其中导航。

## [59:49] 中国

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-21> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3589s>

**Emily Chang：** 你早年曾在百度的硅谷办公室工作。你对中国的观点也很清楚。现在中国有很强的开源模型，美国公司也在免费使用它们。这是威胁吗？

**Dario Amodei：** 我们在这项技术上看到的一点是，模型智能水平有很高溢价。人们很少会偏好使用智能水平更低的模型。当然，有一个繁荣生态系统，也有很多问题比那些需要前沿模型的问题容易得多。

但仍然是指数曲线。远离前沿的模型也许有类似 2023、2024 年模型的经济价值，但我们每年有十倍增长。我们发现，前沿上的价值总是远远大于远离前沿的价值。

我觉得这是以前那个产品时代的人不太理解的。作为一个过去没有经营过公司、也没有特别思考过社交媒体产品时代的人，我有点像那个世界的外来者。我感觉很多人的产品直觉是错的。他们有各种产品经验法则，但“每年十倍”的智能指数增长会打破这些法则。智能是如此巨大的因素，会压过其他一切。我们一遍又一遍看到，价值在前沿。

我真正担心的是一些落后模型的风险。比如我们现在有 Mythos 级别的网络能力。12 个月后，我们可能会有强得多的网络能力，但 Mythos 级别的能力也许已经可以被任何人下载。希望到那时我们已经修补了所有东西。我不认为我们能完全阻止这一点，但这是严重问题。

**Emily Chang：** 你在百度看到的东西塑造了你对中国的看法吗？

**Dario Amodei：** 没有太多。我在那里工作了一年，可能更多学到的是语音识别等技术。也许唯一让我担心的是，我们获取语音识别数据的方式。有人当时用一种不祥的口吻说：“在中国我们不在乎隐私，所以我们有这些语音识别数据。”

但除此之外，我的担忧主要是地缘政治。最让我担心的是我们看到的事情：对维吾尔人的做法，对批评声音的压制，甚至在美国也会发生；还有香港发生的事。中共能够伸进美国商业网络并压制批评。这是一个威权国家，而且是高科技威权国家。

当我看到这种东西和 AI 结合时，你真的会得到一个像《1984》甚至更糟的反乌托邦。我的重点是防止这种情况发生。我认为我们有机会防止它。AI 有机会成为一种亲民主技术，让人们更自由，兑现“人人享有平等正义”的承诺。但它也可能走向相反方向。走向哪边，取决于 AI 公司、政府以及我们所有人的行动。所以我认为我们有责任。

## [1:03:24] 递归式自我改进

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-22> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3804s>

**Emily Chang：** 你所在领域的人会谈到一个时刻：AI 足够好，可以改进自己；改进后的版本又继续改进自己，如此循环。一些 Anthropic 研究员认为这个时刻已经很近。它还有多远？

**Dario Amodei：** 我不认为这是一个时间点。我认为这是一个连续过程。我们已经在某些方面看到它了：AI 能提出下一代 AI 的架构建议。

一年前，我们看到 AI 大概带来 10% 到 15% 的全要素生产率提升。现在可能已经到 20% 或 30%。它可能也在翻倍。和所有指数曲线上的事情一样，没有一个突然的时刻叫“AI 改进自己”或“失控”或“变得不安全”。我们面对的是一个加速的指数曲线，在曲线上的每个点，我们都必须评估：这是该放慢的时候吗？这是该对技术施加更多控制的时候吗？我认为这类控制会越来越必要。

理解这一切的罗塞塔石碑，仍然是平滑指数曲线。那些原本反对所有 AI 监管的人，一看到某个东西就想国有化，这是一个反面教材。那些曾经轻视 AI 能力的人，突然又说“天啊，它在自我改进，失控了，我们必须全部关掉”，这也是反面教材。

在极端反应之间摇摆，对这项技术毫无帮助。正确而明智的回应是：我们不恐慌。我们的反制措施会随着技术力量的增长而平滑升级。如果你看到某人有这种疯狂摇摆反应，那说明他们被打了个措手不及，也说明他们并不严肃。

## [1:05:08] Dario 最喜欢的书

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-23> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3908s>

**Emily Chang：** 我知道你最喜欢的书之一是《原子弹秘史》（The Making of the Atomic Bomb）。

**Dario Amodei：** 是的。

**Emily Chang：** 你觉得自己和 Oppenheimer 有相似之处吗？

**Dario Amodei：** 我最认同的人物其实是 Leo Szilard。他最早基本提出了链式反应可能性的想法。

我的看法是，我们不会靠那些比真人还大的传奇人格，或者试图站在一切中心的人物，来度过这件事。这里需要权力平衡。很多强大行动者都有自己的利益，只有在各处都存在制衡的情况下，事情才可能对所有人有好结果。所以某种意义上，我其实把 Oppenheimer 看成一个失败案例，是我们不应该重演的东西。

## [1:05:49] 文明崩溃

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-24> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=3949s>

**Emily Chang：** 你说过文明崩溃的概率大概是 10% 到 25%。这不是一个小数字。有没有一种场景，是 Anthropic 建造的东西导致了崩溃？

**Dario Amodei：** 我当然希望不是。我的看法是，我们采取的行动是在降低这个概率，而不是提高它。这个概率来自一个非常直接的配方：这项技术本身、世界上许多国家的存在、经济中许多公司的存在，以及新公司不断出现。如果空缺不被填补，别人也会填补。这就是我们所处的困境。

我们正在努力降低那个概率。我认为我们降低的幅度远大于提高的幅度。但这项技术的内在性质就是不可预测。所以我们会在发布前尽力测试很多东西。今天发布的模型并不危险，至少除了网络安全方面，我不认为它们真的危险。然后我们迭代、学习。

我们有大量防御机制。公司内部有一半工作都在尽可能降低风险。但风险永远不会是零。可以打个比方：假设有一堆航空公司，你说我要做一家更安全的航空公司。它可以比其他航空公司安全十倍；但如果有人问你能不能保证你的飞机永远不会坠毁，你怎么可能保证？

**Emily Chang：** 可如果一架飞机有 25% 的坠毁概率，你不会上那架飞机。

**Dario Amodei：** 对。25% 太高了。我们的目标就是把这个概率降得低得多。

## [1:07:33] 信任

<https://pod-exp.pages.dev/x2VHFgyawPE/#chapter-25> · YouTube <https://www.youtube.com/watch?v=x2VHFgyawPE&t=4053s>

**Emily Chang：** 你们正在建造极其强大的东西，并且会从中获得巨大收益。我们为什么应该信任你？

**Dario Amodei：** 我的看法是，当任何公司刚开始时，尤其考虑到过去几年硅谷整体的行为，如果你对我不了解、对 Anthropic 也不了解，从不信任出发是理性的。我认为硅谷已经失去了世界很多信任，必须重新赢回来。

我们想传达的信息是：我们确实不同。但这必须通过我们实际做的事情来赢得。你可以同意，也可以不同意，但我们确实为自己的价值观站了出来。Mythos 这件事在商业上严重限制了我们，因为我们没有把这个非常强大的模型放出去。在它之前还有很多更小的事情。

我们在中国问题上也说到做到，切断了模型访问。没人要求我们这样做，也没人命令我们这样做。那让我们损失了几亿美元，而当时几亿美元还是我们收入中相当重要的一部分。Claude 2 的推迟发布也是类似例子。我们有很长的历史。

我们不完美，会犯错。组织总是有功能失调的地方，我们也总是在努力修复它们，让它们更好运行。会有很多小错误，很多事情会出问题。但基本上，我们对怎样做正确的事有一个诚实而认真的图景，并且正在努力执行这个图景。

我会请人们看整体历史，然后问：把这段历史加起来，关于 Anthropic 的哪种假设最符合事实？每个人必须自己决定。但我认为最符合的假设是：我们是真心在努力做正确的事情。

**Emily Chang：** 那我们就在指数曲线的另一边见了？

**Dario Amodei：** 希望如此。

**Emily Chang：** 你一直想当好莱坞明星，对吧？

**Dario Amodei：** CEO 这份工作有一件让我意外的事：你得经常化妆。这可不在我的预期清单上。

**Emily Chang：** 只是扑一点粉而已。
