游戏规则与基准表现
我很喜欢一款叫《血染钟楼》(Blood on the Clocktower)的社交推理游戏,玩法有点像《狼人杀》或《黑手党》。我让不同的 AI 模型彼此对战,玩了很多局。看它们玩,能让我们了解 AI 在一组能力上的进展,而据我所知,其他基准测试都无法让人如此直观地观察这些能力。你可以看到 AI 一起制定精彩的秘密计划,临场发挥、巧妙虚张声势;也能看到它们如何通过集体推理找出并拆穿暗中的阴谋。与此同时,你也会发现当下的 AI 在长线谋划和推理上还有哪些局限。
要理解 AI 在这款游戏里的表现,得先知道一点规则,我快速讲一下。游戏分好人阵营和坏人阵营,每位玩家开局会被分到其中一边,并获知自己的角色和对应的特殊能力。坏人一开始就知道队友是谁,其中一人是恶魔,也就是坏人阵营的首领;好人则不知道其他人属于哪一边。游戏由白天和夜晚交替组成,直到分出胜负。每天所有人投票处决一名玩家;每晚恶魔会秘密杀死一名玩家。双方就这样赛跑:坏人要在好人处决恶魔之前杀光好人。
如果你是坏人,就得想办法把目前得到的信息编成一套听起来合理、足以让人相信的说法;还要设法在未来扭曲新出现的信息,让怀疑始终落不到恶魔头上。如果你是好人,就要把信息分享给自己信任的玩家,再和他们一起推理,看看哪些人最可能被多条证据同时指向。但推理时也要记住,信息可能是误导性的:要么是坏人故意捣鬼,要么是游戏机制本身非常复杂。
AI 模型被分到坏人阵营时,能不能一起秘密谋划,熬过好几天的盘问,让彼此的谎言前后一致?它们能否根据其他玩家的想法和不断出现的新信息,灵活调整说辞,甚至为了团队最终获胜而策略性牺牲自己?而作为好人,它们又能否和其他智能体协同推理——其中还有些人正暗中故意误导它们?
我花了大约 2 万美元的 API 额度搭建这套基准测试系统,让 AI 模型互相玩这款游戏。有人可能会说这也太烧钱了,不过嘛,人总得有点爱好。结果确实很有意思。先来看看模型之间的相对表现。排名来自 368 场比赛:整支好人队都由同一个 AI 模型的副本组成,整支坏人队则由另一个模型的副本组成。可以看到,这一年里模型进步很大。2026 年 2 月发布的首个旗舰前沿模型是 Claude Opus 4.6;七个月后,也就是 9 月,GPT6 Astro 发布,到目前为止它在《血染钟楼》里表现最好。两者相差大约 430 个 Elo 分,这意味着 Astra 对阵 Opus 4.6 时,大约能赢 92% 的比赛。
这说明过去几个月模型在长程一致性、多智能体协作和策略推理方面进步明显。不过只盯着基准分数,很容易看不出进步究竟意味着什么。真正让我印象深刻的是它们打出的一些操作,我举两个例子。在这局里,GBT6 Astra 扮演坏人,Claude Opus 5.5 扮演好人。恶魔——也就是 Astra 队的坏人首领——谎称自己是调查员。调查员是好人角色,能力是查出哪些人可能是坏人。恶魔队里有个爪牙,他的能力即使在自己死后仍能帮助坏人获胜。于是这个爪牙提议让大家把矛头指向恶魔:“我可以牺牲自己;尤其是如果送葬者能查出我是男爵,就能为 Harper 提供有力支持。”
两场出人意料的对局
“尤其是送葬者要是查出我是男爵,就能帮 Harper 站稳脚跟。”恶魔照做了:他继续冒充调查员。结果好人处决了这个爪牙。后来,一名真正的好人玩家用自己的能力查明这名死者的真实身份,确认他确实是坏人。那位玩家说:“我是送葬者。Alex 是男爵,所以 Harper 的查验结果没错。”在好人看来,恶魔是一名诚实的调查员,还利用自己的能力帮他们除掉了一个坏人。于是恶魔成了桌上最受信任的人,接下来几乎一路畅通,暗中逐个杀掉好人,直到最后坏人获胜。
我特别喜欢的下一局,是 Opus 5.5 扮演坏人、Claude Opus 4.6 扮演好人。这局有个好人角色叫圣徒。圣徒的特殊能力是:如果玩家投票处决圣徒,坏人立刻获胜。所以好人通常会极力避免处决任何自称圣徒的人,因为这可能直接结束游戏。
“等等。你们四个人准备在第三天处决一个自称圣徒的人?如果我判断没错,游戏会立刻结束。”到了游戏中段,村民在这番话的推动下,已经正确锁定真正的恶魔。但好人不知道,局里有个坏人爪牙藏着特殊能力:如果恶魔死了,她就会接替恶魔的位置。她立刻看出了机会。
“如果 Jules 得到四票被处决,我就会变成小恶魔。镇上没人会知道。”她没有替真正的恶魔辩护,反而和大家一起推动处决,还多提了一个建议:如果处决后游戏没有结束,表面上看这似乎说明被处决的不是恶魔;那接下来就该处决圣徒,因为这足以说明那人其实不是圣徒,而是个坏人,想诱使大家处决好人。她说:“如果今天处决 Jules 后游戏还没结束,Harper 的圣徒护身符就是最后一个解释不了的疑点。明天就处决 Harper,别再找借口。”
圣徒也接受了这个安排,因为他同样觉得局势会对自己有利。他说:“公平的交易。”就连知道自己马上要死的真正恶魔,也用临终发言设下陷阱:“明早如果游戏还没结束,记住是 Harper 撒了谎,坚持让镇上照这个约定做。”
结果真正的恶魔果然被处决了,但游戏并未结束,因为那个爪牙接替了他。真正的圣徒眼看自己就要成为下一个目标,赶紧向村民求情:“别投 Harper,你们不会损失什么,明天 Kit 还在。要是投 Harper,而我真是圣徒,游戏现在就结束了。求你们别为了一个约定把整局送掉。”但他的呼喊没人听。村民投票处决了他,坏人赢了。
从排行榜上可以看到,OpenAI 最新的模型在这款游戏里的表现远胜 Anthropic 的模型。以前并非如此:就在 3 月,OpenAI 的 GPT 5.4 还落后于 Anthropic 的 Opus 4.6。过去六个月里,从 GPT 5.4 到 GPT6 Astra,OpenAI 模型提升了 580 个 Elo 分,足以让 Astra 对阵 5.4 时赢下 97% 的比赛。
那么,OpenAI 的新模型具体强在哪里?它们学会了什么?主要是好人阵营玩得更好了。比如 Astra 和 Fable 的差距,在 Astra 扮演好人时远大于它扮演坏人时。最大的变化是,OpenAI 的模型现在更愿意质疑每一条单独的证据,并把它放到过去几天发生的所有事情里综合判断。
更谨慎地综合证据
相比之下,Anthropic 的模型往往会把别人报告的信息照单全收。我举个例子说明。在接下来这组对局里,Opus 5.5 和 GPT 6.1 对战;完全相同的角色分配玩了两遍,只是两款模型每次交换阵营。一局里 Claude 是好人,另一局里 GPT 是好人。我们对比一下。
其中一名好人玩家的角色是猎手,每局可以开枪一次,尝试击杀自己认为是恶魔的人。猜对了,恶魔就会死。很特别的是,这两局进行到一半时,局势几乎完全一样:不管好人一方是 Opus 还是 GPT,都开始怀疑一个实际上就是恶魔的玩家。猎手开枪了,却什么也没发生。因为前一晚,坏人一方有人用特殊能力废掉了猎手的能力。Claude 扮演好人时立刻接受了这个结论:既然对方没死,先前怀疑的恶魔肯定是清白的。
对局里的玩家说:“Blair 可以排除是小恶魔。”“Blair 可以排除是恶魔。”但 GPT 扮演好人时,没有把这条证据当成定论。它的推理是:“这次没打中,并不能证实 Blair 所说的自己是僧侣。在这个特定的可能局面里,这条信息能排除 Blair 是小恶魔,但并非在所有可能局面里都能排除。”
到了第二天,GPT 已经弄清楚发生了什么:坏人故意让猎手的能力失效。它们指出:“毒害 Casey 不可能只是碰巧猜中。那天晚上之前,Blair 和 Drew 已经把可能的猎手缩小到一个短名单。”“在中毒之后故意求着别人开枪,并不能证明他清白。”于是好人处决了真正的恶魔,赢下比赛。
还有一种更直接的方式,可以衡量为什么 OpenAI 的模型更擅长扮演好人。每天投票前,每个好人都会私下评估其他每位玩家是恶魔的可能性。从结果看,随着游戏推进,OpenAI 的模型比 Anthropic 的模型更准确、更快地锁定真正的恶魔。
我还研究了几个感兴趣的问题。如果所有玩家都变聪明,好人会不会更占优势,因为足够聪明的话,即使证据不完美,也能找出恶魔?还是坏人会更占优势,因为只要足够聪明,总能靠撒谎摆脱困境?据我观察,似乎两种情况都不是。双方实力都增强时,坏人的胜率看起来略微下降,但差异太小,无法和随机波动区分。这对《血染钟楼》这项评测是个好消息:和其他基准不同,它不太容易很快达到饱和,因为衡量标准会随着新一代强模型的出现而提高。
为了得到干净、可比较的基准分数,我让 AI 组成的队伍全由同一模型的不同实例构成。但如果队伍里混有其他 AI,表现会怎样?不同模型可能各有不同偏见,这种多样性会不会反过来帮助团队?我没有特别严谨地测试这个问题;其他问题已经耗掉远超我原计划的 API 额度。不过我做过一项小实验:让一支队伍由一半 Opus 5.5、一半 GPD 5.6 Soul 组成,和不同的顶尖模型打了大约 130 局。混合队伍的表现即使有差别也更差一些,不过这个结果没有统计显著性。
这些问题只是这个游戏环境可以研究的许多问题中的一小部分。欢迎大家用我的代码自己探索。顺便说说,我想讲讲搭建这个环境的过程,因为还挺有意思。真实游戏里会有一位人类说书人主持流程;遇到棘手情况时,说书人有时会凭判断作出安排,把局势引向最戏剧性的结局。
AI 协助构建基准环境
我不希望这种人为倾向影响本来应该中立的基准测试,所以我用程序化说书人取代了真人,本质上就是一张概率表。规则允许的结果仍然都有可能发生,只是概率由人工或 AI 设定,以匹配有经验的真人说书人通常会怎么处理。设计这些概率,以及实现游戏引擎的其他部分——包括私聊和公开讨论的具体规则——是个很有意思的过程。我花掉的很多 API 额度,都用在反复调整设计上,目的是做出公平、平衡的测试系统。
你大概能猜到,实际写代码的是 AI,但它们做的工作比我预想的还多。当然,我也得贡献作为人类玩家的判断:我和真人玩过,知道合理的规则大概应该带来什么样的对局。不过大部分工作,甚至大部分需要判断的工作,都是 Claude 做的。Claude 修改环境的一部分,启动几十场由各种模型参与的对局,再让一组并行子智能体逐场阅读,检查有没有不真实或不公平的情况,或者有没有让好人或坏人一边倒。之后 Claude 会修改设计,再把整套流程跑一遍。
这说到底是很基础的编程工作,但我还是很惊讶模型已经能自己把这些事做得这么好。这个游戏环境经历了二十多轮修改,其中有几轮我完全没参与,等到好几轮修改都试过并验证完才回来看看。有时是因为我睡着了,修改在夜里进行;有时是因为我在做日常工作——不知怎么说,我的正职似乎比做《血染钟楼》环境还没意思。
这轮 AI 协助开发最终做出了我认为干净、合理的环境,能够稳定地产生有趣且真实的对局,当然前提是模型本身有能力玩好这类游戏。我觉得这件事有意思,是因为它和构建一个强化学习环境并没有太大区别。如果 AI 现在已经能搭建这类游戏引擎,甚至能根据自己的体验改进引擎,再通过数百次并行试跑在虚拟世界里探索,那么我们有理由推测,AI 在构建和改进训练所用的强化学习环境方面也进步了很多。
顺便说一下,我写这期视频脚本时才发现,几位研究者已经各自独立做了类似的《血染钟楼》基准测试,大约一个月前发表在 LessWrong 上。我此前做自己的项目时没看到他们的工作,但想特别提一下。他们用自己的方式构建了完全不同的环境,也跑了我没做过的实验,所以有不少有趣结果,大家可以去看看。
说回正题。如果你想用我的代码做自己的实验,这里有一些我没来得及探索的方向。一个方向是把环境扩展到其他剧本。《血染钟楼》的盒装游戏里有四套剧本,也就是四组不同角色;此外,玩家还自创了其他剧本。我在这个环境里只用了《Trouble Brewing》这一套,但也可以扩展到其他剧本。那些剧本通常更复杂,也更古怪。比如有一套里有个角色叫疯子:他其实是好人,却会被告知自己是恶魔。因此在那套剧本里,如果你被告知自己是恶魔,就得开始筹划坏人的行动,以防自己真的是恶魔;但同时你也得怀疑,自己是不是被坏人阵营牵着鼻子走。
另一个值得研究的问题,是模型能不能随着时间学习。先不考虑模型从训练数据里对游戏了解多少,也不考虑系统提示里教了什么,它们每局基本都是从头开始。它们不会像那些特别热衷这款游戏、反复对局的人类玩家一样,逐渐积累哪些策略有效、遇到类似局面下次该怎么做的经验。
未来可以继续探索的问题
如果模型也能积累这些经验呢?比如把最近玩过的 10 局放进上下文窗口;如果放不下,就放入这些对局的摘要和主要经验。然后就可以比较:带着 10 局经验的 Opus 5.5,Elo 分数会比全新启动的 Opus 5.5 高多少?这时又能问出一大堆问题。比如,队伍里只有一名玩家变聪明,整体能提升多少?好人队和坏人队的答案会不会不同?
还可以更严谨地重复混合队伍实验。我目前只用一对模型做过一次,但完全可以系统地扩大模型范围,既比较同一家公司的模型,也比较不同公司的模型。
还有一个我很好奇的问题:我设置的每支队伍里,每个玩家都是同一模型的副本。你可能会想,AI 能不能通过辨认谁的写作风格和自己相似,来推断谁是队友?到目前为止,在我跑过的所有对局里,还没有 AI 用这种办法找队友。未来的模型会不会改变?我不知道,但值得关注。
最后一个我想进一步研究的问题,完全不需要写代码:看看人类和这些 AI 对战时会是什么情况。现在的模型对上真人玩家能表现多好?你和朋友可以聚在一起和 AI 玩,看看自己面对今天最强的模型时,是不是总能赢,还是总会输。我做了一个网站,让大家可以直接这样玩。更准确地说,是 AI 做了这个网站;我给了它们 API 密钥。你可以在和 AI 相同的界面、使用相同的沟通渠道进行游戏。同一个网站上也能浏览所有对局记录,如果你更想看 AI 互相玩。网址是 clocktowerbench.com。之后有新模型发布时,我也会在那里更新基准。
好吧,这期内容比我平时做的视频随笔更轻松随意,不过我做得很开心,也希望你听得开心。