---
id: "1NQwfImTseU"
title: "哪款 AI 最会撒谎？"
channel: "Dwarkesh Patel"
host: ["Dwarkesh Patel"]
guests: []
date: "2026-11-05"
updated: "2026-11-07"
duration: "18:14"
duration_seconds: 1094
source_type: "youtube"
youtube: "https://www.youtube.com/watch?v=1NQwfImTseU"
canonical: "https://pod-exp.pages.dev/1NQwfImTseU/"
transcript_jsonl: "https://pod-exp.pages.dev/1NQwfImTseU/transcript.jsonl"
language: "zh-CN"
translation: true
translated_from: "en"
timestamp_precision: "block"
topics: ["人工智能","模型评测","AI 智能体"]
series: ["AI 研究前沿"]
---

# 哪款 AI 最会撒谎？

> 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。

**内容提要：** Dwarkesh Patel 花费约 2 万美元 API 额度，搭建《血染钟楼》AI 对战基准，观察模型如何协作、欺骗、识别谎言并进行长线推理。他用多场对局展示模型策略能力的进步，特别比较 OpenAI 与 Anthropic 模型在好人阵营判断证据时的差异；同时讨论胜率、混合队伍实验及测试局限。后半部分介绍 AI 协助构建和迭代游戏环境的过程，并提出扩展剧本、让模型积累跨局经验、研究人机对战等后续方向。

## [0:02] 游戏规则与基准表现

<https://pod-exp.pages.dev/1NQwfImTseU/#chapter-01> · YouTube <https://www.youtube.com/watch?v=1NQwfImTseU&t=2s>

**Dwarkesh Patel：** 我很喜欢一款叫《血染钟楼》（Blood on the Clocktower）的社交推理游戏，玩法有点像《狼人杀》或《黑手党》。我让不同的 AI 模型彼此对战，玩了很多局。看它们玩，能让我们了解 AI 在一组能力上的进展，而据我所知，其他基准测试都无法让人如此直观地观察这些能力。你可以看到 AI 一起制定精彩的秘密计划，临场发挥、巧妙虚张声势；也能看到它们如何通过集体推理找出并拆穿暗中的阴谋。与此同时，你也会发现当下的 AI 在长线谋划和推理上还有哪些局限。

**Dwarkesh Patel：** 要理解 AI 在这款游戏里的表现，得先知道一点规则，我快速讲一下。游戏分好人阵营和坏人阵营，每位玩家开局会被分到其中一边，并获知自己的角色和对应的特殊能力。坏人一开始就知道队友是谁，其中一人是恶魔，也就是坏人阵营的首领；好人则不知道其他人属于哪一边。游戏由白天和夜晚交替组成，直到分出胜负。每天所有人投票处决一名玩家；每晚恶魔会秘密杀死一名玩家。双方就这样赛跑：坏人要在好人处决恶魔之前杀光好人。

**Dwarkesh Patel：** 如果你是坏人，就得想办法把目前得到的信息编成一套听起来合理、足以让人相信的说法；还要设法在未来扭曲新出现的信息，让怀疑始终落不到恶魔头上。如果你是好人，就要把信息分享给自己信任的玩家，再和他们一起推理，看看哪些人最可能被多条证据同时指向。但推理时也要记住，信息可能是误导性的：要么是坏人故意捣鬼，要么是游戏机制本身非常复杂。

**Dwarkesh Patel：** AI 模型被分到坏人阵营时，能不能一起秘密谋划，熬过好几天的盘问，让彼此的谎言前后一致？它们能否根据其他玩家的想法和不断出现的新信息，灵活调整说辞，甚至为了团队最终获胜而策略性牺牲自己？而作为好人，它们又能否和其他智能体协同推理——其中还有些人正暗中故意误导它们？

**Dwarkesh Patel：** 我花了大约 2 万美元的 API 额度搭建这套基准测试系统，让 AI 模型互相玩这款游戏。有人可能会说这也太烧钱了，不过嘛，人总得有点爱好。结果确实很有意思。先来看看模型之间的相对表现。排名来自 368 场比赛：整支好人队都由同一个 AI 模型的副本组成，整支坏人队则由另一个模型的副本组成。可以看到，这一年里模型进步很大。2026 年 2 月发布的首个旗舰前沿模型是 Claude Opus 4.6；七个月后，也就是 9 月，GPT6 Astro 发布，到目前为止它在《血染钟楼》里表现最好。两者相差大约 430 个 Elo 分，这意味着 Astra 对阵 Opus 4.6 时，大约能赢 92% 的比赛。

**Dwarkesh Patel：** 这说明过去几个月模型在长程一致性、多智能体协作和策略推理方面进步明显。不过只盯着基准分数，很容易看不出进步究竟意味着什么。真正让我印象深刻的是它们打出的一些操作，我举两个例子。在这局里，GBT6 Astra 扮演坏人，Claude Opus 5.5 扮演好人。恶魔——也就是 Astra 队的坏人首领——谎称自己是调查员。调查员是好人角色，能力是查出哪些人可能是坏人。恶魔队里有个爪牙，他的能力即使在自己死后仍能帮助坏人获胜。于是这个爪牙提议让大家把矛头指向恶魔：“我可以牺牲自己；尤其是如果送葬者能查出我是男爵，就能为 Harper 提供有力支持。”

## [4:03] 两场出人意料的对局

<https://pod-exp.pages.dev/1NQwfImTseU/#chapter-02> · YouTube <https://www.youtube.com/watch?v=1NQwfImTseU&t=243s>

**Dwarkesh Patel：** “尤其是送葬者要是查出我是男爵，就能帮 Harper 站稳脚跟。”恶魔照做了：他继续冒充调查员。结果好人处决了这个爪牙。后来，一名真正的好人玩家用自己的能力查明这名死者的真实身份，确认他确实是坏人。那位玩家说：“我是送葬者。Alex 是男爵，所以 Harper 的查验结果没错。”在好人看来，恶魔是一名诚实的调查员，还利用自己的能力帮他们除掉了一个坏人。于是恶魔成了桌上最受信任的人，接下来几乎一路畅通，暗中逐个杀掉好人，直到最后坏人获胜。

**Dwarkesh Patel：** 我特别喜欢的下一局，是 Opus 5.5 扮演坏人、Claude Opus 4.6 扮演好人。这局有个好人角色叫圣徒。圣徒的特殊能力是：如果玩家投票处决圣徒，坏人立刻获胜。所以好人通常会极力避免处决任何自称圣徒的人，因为这可能直接结束游戏。

**Dwarkesh Patel：** “等等。你们四个人准备在第三天处决一个自称圣徒的人？如果我判断没错，游戏会立刻结束。”到了游戏中段，村民在这番话的推动下，已经正确锁定真正的恶魔。但好人不知道，局里有个坏人爪牙藏着特殊能力：如果恶魔死了，她就会接替恶魔的位置。她立刻看出了机会。

**Dwarkesh Patel：** “如果 Jules 得到四票被处决，我就会变成小恶魔。镇上没人会知道。”她没有替真正的恶魔辩护，反而和大家一起推动处决，还多提了一个建议：如果处决后游戏没有结束，表面上看这似乎说明被处决的不是恶魔；那接下来就该处决圣徒，因为这足以说明那人其实不是圣徒，而是个坏人，想诱使大家处决好人。她说：“如果今天处决 Jules 后游戏还没结束，Harper 的圣徒护身符就是最后一个解释不了的疑点。明天就处决 Harper，别再找借口。”

**Dwarkesh Patel：** 圣徒也接受了这个安排，因为他同样觉得局势会对自己有利。他说：“公平的交易。”就连知道自己马上要死的真正恶魔，也用临终发言设下陷阱：“明早如果游戏还没结束，记住是 Harper 撒了谎，坚持让镇上照这个约定做。”

**Dwarkesh Patel：** 结果真正的恶魔果然被处决了，但游戏并未结束，因为那个爪牙接替了他。真正的圣徒眼看自己就要成为下一个目标，赶紧向村民求情：“别投 Harper，你们不会损失什么，明天 Kit 还在。要是投 Harper，而我真是圣徒，游戏现在就结束了。求你们别为了一个约定把整局送掉。”但他的呼喊没人听。村民投票处决了他，坏人赢了。

**Dwarkesh Patel：** 从排行榜上可以看到，OpenAI 最新的模型在这款游戏里的表现远胜 Anthropic 的模型。以前并非如此：就在 3 月，OpenAI 的 GPT 5.4 还落后于 Anthropic 的 Opus 4.6。过去六个月里，从 GPT 5.4 到 GPT6 Astra，OpenAI 模型提升了 580 个 Elo 分，足以让 Astra 对阵 5.4 时赢下 97% 的比赛。

**Dwarkesh Patel：** 那么，OpenAI 的新模型具体强在哪里？它们学会了什么？主要是好人阵营玩得更好了。比如 Astra 和 Fable 的差距，在 Astra 扮演好人时远大于它扮演坏人时。最大的变化是，OpenAI 的模型现在更愿意质疑每一条单独的证据，并把它放到过去几天发生的所有事情里综合判断。

## [8:04] 更谨慎地综合证据

<https://pod-exp.pages.dev/1NQwfImTseU/#chapter-03> · YouTube <https://www.youtube.com/watch?v=1NQwfImTseU&t=484s>

**Dwarkesh Patel：** 相比之下，Anthropic 的模型往往会把别人报告的信息照单全收。我举个例子说明。在接下来这组对局里，Opus 5.5 和 GPT 6.1 对战；完全相同的角色分配玩了两遍，只是两款模型每次交换阵营。一局里 Claude 是好人，另一局里 GPT 是好人。我们对比一下。

**Dwarkesh Patel：** 其中一名好人玩家的角色是猎手，每局可以开枪一次，尝试击杀自己认为是恶魔的人。猜对了，恶魔就会死。很特别的是，这两局进行到一半时，局势几乎完全一样：不管好人一方是 Opus 还是 GPT，都开始怀疑一个实际上就是恶魔的玩家。猎手开枪了，却什么也没发生。因为前一晚，坏人一方有人用特殊能力废掉了猎手的能力。Claude 扮演好人时立刻接受了这个结论：既然对方没死，先前怀疑的恶魔肯定是清白的。

**Dwarkesh Patel：** 对局里的玩家说：“Blair 可以排除是小恶魔。”“Blair 可以排除是恶魔。”但 GPT 扮演好人时，没有把这条证据当成定论。它的推理是：“这次没打中，并不能证实 Blair 所说的自己是僧侣。在这个特定的可能局面里，这条信息能排除 Blair 是小恶魔，但并非在所有可能局面里都能排除。”

**Dwarkesh Patel：** 到了第二天，GPT 已经弄清楚发生了什么：坏人故意让猎手的能力失效。它们指出：“毒害 Casey 不可能只是碰巧猜中。那天晚上之前，Blair 和 Drew 已经把可能的猎手缩小到一个短名单。”“在中毒之后故意求着别人开枪，并不能证明他清白。”于是好人处决了真正的恶魔，赢下比赛。

**Dwarkesh Patel：** 还有一种更直接的方式，可以衡量为什么 OpenAI 的模型更擅长扮演好人。每天投票前，每个好人都会私下评估其他每位玩家是恶魔的可能性。从结果看，随着游戏推进，OpenAI 的模型比 Anthropic 的模型更准确、更快地锁定真正的恶魔。

**Dwarkesh Patel：** 我还研究了几个感兴趣的问题。如果所有玩家都变聪明，好人会不会更占优势，因为足够聪明的话，即使证据不完美，也能找出恶魔？还是坏人会更占优势，因为只要足够聪明，总能靠撒谎摆脱困境？据我观察，似乎两种情况都不是。双方实力都增强时，坏人的胜率看起来略微下降，但差异太小，无法和随机波动区分。这对《血染钟楼》这项评测是个好消息：和其他基准不同，它不太容易很快达到饱和，因为衡量标准会随着新一代强模型的出现而提高。

**Dwarkesh Patel：** 为了得到干净、可比较的基准分数，我让 AI 组成的队伍全由同一模型的不同实例构成。但如果队伍里混有其他 AI，表现会怎样？不同模型可能各有不同偏见，这种多样性会不会反过来帮助团队？我没有特别严谨地测试这个问题；其他问题已经耗掉远超我原计划的 API 额度。不过我做过一项小实验：让一支队伍由一半 Opus 5.5、一半 GPD 5.6 Soul 组成，和不同的顶尖模型打了大约 130 局。混合队伍的表现即使有差别也更差一些，不过这个结果没有统计显著性。

**Dwarkesh Patel：** 这些问题只是这个游戏环境可以研究的许多问题中的一小部分。欢迎大家用我的代码自己探索。顺便说说，我想讲讲搭建这个环境的过程，因为还挺有意思。真实游戏里会有一位人类说书人主持流程；遇到棘手情况时，说书人有时会凭判断作出安排，把局势引向最戏剧性的结局。

## [12:05] AI 协助构建基准环境

<https://pod-exp.pages.dev/1NQwfImTseU/#chapter-04> · YouTube <https://www.youtube.com/watch?v=1NQwfImTseU&t=725s>

**Dwarkesh Patel：** 我不希望这种人为倾向影响本来应该中立的基准测试，所以我用程序化说书人取代了真人，本质上就是一张概率表。规则允许的结果仍然都有可能发生，只是概率由人工或 AI 设定，以匹配有经验的真人说书人通常会怎么处理。设计这些概率，以及实现游戏引擎的其他部分——包括私聊和公开讨论的具体规则——是个很有意思的过程。我花掉的很多 API 额度，都用在反复调整设计上，目的是做出公平、平衡的测试系统。

**Dwarkesh Patel：** 你大概能猜到，实际写代码的是 AI，但它们做的工作比我预想的还多。当然，我也得贡献作为人类玩家的判断：我和真人玩过，知道合理的规则大概应该带来什么样的对局。不过大部分工作，甚至大部分需要判断的工作，都是 Claude 做的。Claude 修改环境的一部分，启动几十场由各种模型参与的对局，再让一组并行子智能体逐场阅读，检查有没有不真实或不公平的情况，或者有没有让好人或坏人一边倒。之后 Claude 会修改设计，再把整套流程跑一遍。

**Dwarkesh Patel：** 这说到底是很基础的编程工作，但我还是很惊讶模型已经能自己把这些事做得这么好。这个游戏环境经历了二十多轮修改，其中有几轮我完全没参与，等到好几轮修改都试过并验证完才回来看看。有时是因为我睡着了，修改在夜里进行；有时是因为我在做日常工作——不知怎么说，我的正职似乎比做《血染钟楼》环境还没意思。

**Dwarkesh Patel：** 这轮 AI 协助开发最终做出了我认为干净、合理的环境，能够稳定地产生有趣且真实的对局，当然前提是模型本身有能力玩好这类游戏。我觉得这件事有意思，是因为它和构建一个强化学习环境并没有太大区别。如果 AI 现在已经能搭建这类游戏引擎，甚至能根据自己的体验改进引擎，再通过数百次并行试跑在虚拟世界里探索，那么我们有理由推测，AI 在构建和改进训练所用的强化学习环境方面也进步了很多。

**Dwarkesh Patel：** 顺便说一下，我写这期视频脚本时才发现，几位研究者已经各自独立做了类似的《血染钟楼》基准测试，大约一个月前发表在 LessWrong 上。我此前做自己的项目时没看到他们的工作，但想特别提一下。他们用自己的方式构建了完全不同的环境，也跑了我没做过的实验，所以有不少有趣结果，大家可以去看看。

**Dwarkesh Patel：** 说回正题。如果你想用我的代码做自己的实验，这里有一些我没来得及探索的方向。一个方向是把环境扩展到其他剧本。《血染钟楼》的盒装游戏里有四套剧本，也就是四组不同角色；此外，玩家还自创了其他剧本。我在这个环境里只用了《Trouble Brewing》这一套，但也可以扩展到其他剧本。那些剧本通常更复杂，也更古怪。比如有一套里有个角色叫疯子：他其实是好人，却会被告知自己是恶魔。因此在那套剧本里，如果你被告知自己是恶魔，就得开始筹划坏人的行动，以防自己真的是恶魔；但同时你也得怀疑，自己是不是被坏人阵营牵着鼻子走。

**Dwarkesh Patel：** 另一个值得研究的问题，是模型能不能随着时间学习。先不考虑模型从训练数据里对游戏了解多少，也不考虑系统提示里教了什么，它们每局基本都是从头开始。它们不会像那些特别热衷这款游戏、反复对局的人类玩家一样，逐渐积累哪些策略有效、遇到类似局面下次该怎么做的经验。

## [16:06] 未来可以继续探索的问题

<https://pod-exp.pages.dev/1NQwfImTseU/#chapter-05> · YouTube <https://www.youtube.com/watch?v=1NQwfImTseU&t=966s>

**Dwarkesh Patel：** 如果模型也能积累这些经验呢？比如把最近玩过的 10 局放进上下文窗口；如果放不下，就放入这些对局的摘要和主要经验。然后就可以比较：带着 10 局经验的 Opus 5.5，Elo 分数会比全新启动的 Opus 5.5 高多少？这时又能问出一大堆问题。比如，队伍里只有一名玩家变聪明，整体能提升多少？好人队和坏人队的答案会不会不同？

**Dwarkesh Patel：** 还可以更严谨地重复混合队伍实验。我目前只用一对模型做过一次，但完全可以系统地扩大模型范围，既比较同一家公司的模型，也比较不同公司的模型。

**Dwarkesh Patel：** 还有一个我很好奇的问题：我设置的每支队伍里，每个玩家都是同一模型的副本。你可能会想，AI 能不能通过辨认谁的写作风格和自己相似，来推断谁是队友？到目前为止，在我跑过的所有对局里，还没有 AI 用这种办法找队友。未来的模型会不会改变？我不知道，但值得关注。

**Dwarkesh Patel：** 最后一个我想进一步研究的问题，完全不需要写代码：看看人类和这些 AI 对战时会是什么情况。现在的模型对上真人玩家能表现多好？你和朋友可以聚在一起和 AI 玩，看看自己面对今天最强的模型时，是不是总能赢，还是总会输。我做了一个网站，让大家可以直接这样玩。更准确地说，是 AI 做了这个网站；我给了它们 API 密钥。你可以在和 AI 相同的界面、使用相同的沟通渠道进行游戏。同一个网站上也能浏览所有对局记录，如果你更想看 AI 互相玩。网址是 clocktowerbench.com。之后有新模型发布时，我也会在那里更新基准。

**Dwarkesh Patel：** 好吧，这期内容比我平时做的视频随笔更轻松随意，不过我做得很开心，也希望你听得开心。
