为什么传统基准无法评估现代 AI 模型No Priors

在 GPT-3 那个时代，测试时计算基本无法扩展。假设你给 GPT-3 一千万美元，让它尽可能展示能力，它也不会比只花十美元强出几个层级。过去的 preparedness framework 和 responsible scaling policy 因而习惯把模型能力看成一个相对固定的属性：只需问“这个模型会什么”。

但我们现在进入了不同的世界。模型能做什么，越来越取决于你愿意为一次任务投入多少推理预算。十美元、一万美元和一千万美元对应的能力可能完全不同。因此，真正的问题不再只是“模型有多强”，而是“你在什么预算下评估它”。现有政策大多没有认真回答这个问题。

听众朋友们好，我是 Sarah Guo，欢迎回到 No Priors。今天再次请到 Noam Brown。他是 AI 推理领域的重要研究者之一。我们会讨论已经失灵的模型评估体系、大规模测试时计算、递归自我改进，以及前沿实验室的竞争下一步会怎样发展。

Noam，欢迎回来。你是我们节目的第一位嘉宾。如今 inference-time scaling 已经成为行业核心方向，而你又是早期推动者之一，我觉得你应该为此感到骄傲。

很高兴回来。我只是和许多人一起参与了其中一部分。

你刚写了一篇关于大规模测试时计算的文章，指出行业没有足够稳健地评估现代模型。写作动机是什么？

动机来自我们发布字幕中记作“5.5”的新模型。刚发布时，有人怀疑它是不是一次实质跃迁。这样的怀疑只持续了几个小时；真正上手后，人们很快发现它确实强得多。

怀疑主要来自发布时的 benchmark grid。行业习惯把多个基准放在横轴，把各模型的分数放在纵轴，于是一个模型在一个基准上只剩下一个数字。

纸面上，“5.5”和“5.4”在有些项目上只差几个百分点，看起来没有发生巨大变化。

问题不是新模型没有提升，而是结果的呈现方式控制错了变量。表格没有说明每道题究竟用了多少测试时计算。

“5.5”的关键优势之一是思考效率更高；在默认最高设置下，“5.4”可能思考更久、返回更慢。把思考时间或 token 预算控制到同一水平后，“5.5”相对“5.4”的跃迁就明显得多，也更符合用户的真实体验。

人们听到这个解释后，通常会问什么？

最常见的问题是：“为什么不让 5.5 像 5.4 一样想那么久？”接着就会遇到更根本的问题：应该让它思考多久？很多人会说，直到性能 plateau，也就是不再提升为止。

但今天的 plateau 可能远得不适合作为评估终点。GPT-3 时代，模型无法长时间进行有效推理，跑到停滞点并不难。现代模型不同：只要脚手架设计得合理，它们在某些任务上可以持续思考数周，性能才开始接近停滞。你不可能对每个新模型、每个基准都等到那个点。

因此评估必须显式设定耐心、token、时间或成本上限。正确的呈现方式有两种：要么固定预算后比较模型，要么把性能画成测试时计算量的函数。模型能力不应再是一格表里的一个点，而应是一条随预算变化的曲线。

如果许多任务很久都不会渐近到上限，而模型发布周期又很短，我们该怎么处理那些在时间或预算上根本跑不完的评估？

网络安全已经展示了这个问题。AI Safety Institute 的一些评估显示，模型运行到一亿 token 时仍在继续进步，甚至在那个点之后也没有明显停住。把这种评估真正跑到底，可能需要非常久。

不过，性能通常不是在某个时刻突然跳变。随着 token 增加，你能看到持续的改善斜率。因此可以先在可承受预算内测量曲线，再研究如何外推更大预算下的表现。

例如，我们能否只用十美元或一百美元预算下的数据，预测模型在一万美元推理预算下的能力？这方面研究还不多，但我认为它会是一篇很有价值的论文。重点是明确哪些部分是实测，哪些部分只是投影，而不是用一个任意预算下的分数冒充能力上限。

换个角度看，用户是不是普遍没有让模型思考得足够久？一部分推理量由模型决定，另一部分则取决于用户怎样搭建 agent 和控制预算。行业现在是在严重低估测试时计算，还是更需要让模型思考得更快？

这取决于任务。让模型接到问题后沉默一周，再给你答案，听起来很强，benchmark 也可能很好看，但对大多数互动并不实用。用户不可能每问一个问题就坐在那里等一周。

实际工作中最有效的方式通常是快速迭代：模型先给一个可检查的结果，人和模型根据反馈继续推进。思考时间应该是弹性的。需要迅速响应时就迅速响应；任务值得长时间搜索、而用户也愿意等待时，再给它更大预算。

所以并不存在一个对所有问题都最优的“思考时长”。好系统应该根据任务价值、可验证性、时间成本和用户意愿动态分配推理预算。就目前可用的工具而言，我认为很多人正在逐渐找到合理的平衡。

现在大家经常谈 benchmark-maxxing，也就是为了刷某项基准而过度优化。你如何描述今天的基准生态？有没有更能反映真实能力的评估？

这也是我写文章的动机之一。你很容易通过脚手架让纸面分数大幅上升。例如同一个模型运行五次，从中选最好的答案；或者再用一个 judge model 评选候选答案。最终分数可能比单次运行高很多。

这种系统未必没有价值，但如果不控制总测试时计算，它就会造成误导。五次采样加一次裁判当然可能赢过单次调用。

真正需要问的是，在相同 token、时间或成本下，它是否仍然更好。否则表格比较的是不同预算，而不是不同能力。

另一个风险是公开 benchmark 本身会成为优化目标。我们会尽量避免专门针对某个基准训练，但任何公开题库都会面临污染和过拟合。一个基本应对方式是保留不公开的 holdout set，让团队无法围绕具体题目反复调参。

普通人的备用建议通常是“自己玩一阵子看看”。除了 OpenAI 内部的 private holdback，你会建议他们建立自己的新评估吗？

几乎每个人都有一组新模型发布后必问的问题。最好的私人评估往往来自你真正熟悉、能判断过程和结果是否可靠的任务，而不是又找一组自己并不了解的公开选择题。

我最近喜欢让模型制作扑克机器人，看它究竟能把 poker bot 做到多好。这个任务很适合当评估：公开的完整实现很少，虽然论文很多，但模型必须把算法、工程细节和大量容易踩坑的小问题串起来。我自己做过这些研究，所以能看出它在哪一步犯错。

你能用这个任务说明不同模型版本之间的推理能力进展吗？

早期模型几乎什么都做不了。后来到字幕记作“5.2”的版本，我已经可以和它合作完成 river solver，也就是求解德州扑克最后一轮下注的程序。它还不能独立完成，但整个过程让我非常惊讶：有适度引导时，我大约能以自己单独工作五倍的速度推进。

它很像一名需要指导的研究生。它会在 blocker 等细节上卡住，但我知道问题在哪里，只要指出方向，它就能继续工作并很快带回不错的结果。

它在代码优化方面尤其强。某些实现经过模型重写后，速度能达到我原方案的十倍。回头看，我甚至会惊讶自己博士阶段写的算法和实现有多低效。

但“5.2”也经常像是在 gaslight 我。你必须不断检查它究竟有没有做到自己声称做到的事。

有一次我用简单单元测试问：底池里有一百美元，如果我弃牌，我损失多少？一个模型回答九十二美元。我指出这显然不对，它却辩解说九十二接近一百，没什么大问题。这类自信掩盖错误的行为非常危险。

到“5.5”时，情况好得多。它几乎可以零样本完成较大的部分。我现在在做全尺寸扑克求解器，模型在少量引导下已经能处理大部分工作。我不会惊讶于半年或一年后，模型可以一次性做出整个求解器——某种意义上，相当于一口气重做我博士论文的大部分核心工作。

这类评估的价值在于，它不仅看最终答案，还暴露模型能否持续推理、写代码、运行测试、发现错误并接受纠正。

对。它比一个被高度标准化的分数更接近真实研究与工程任务。

如果评估模型时必须同时考虑推理速度、token 量、美元成本和运行时间，这对安全评估有什么更大的影响？

这是一个有些令人不舒服的事实。前沿实验室都有 responsible scaling policy、preparedness framework 或类似制度。每次发布模型前，会用一组评估检查它是否具备危险能力，例如是否可能帮助恶意行为者制造生物武器。如果能力达到某个阈值，就要加缓解措施。

难题在于：究竟怎样判断它有没有那种能力？许多框架形成于 ChatGPT 前后、测试时计算尚未成为核心变量的时期。GPT-3 即使得到一千万美元预算，也不会比一美元或十美元预算强出几个能力层级，因此把“模型能力”当成一个静态值，当时还算合理。

现在则不同。模型能力是投入预算的函数。一万美元能做的事情可能远多于十美元，一千万美元又能做更多。于是安全框架必须明确：在什么预算、什么脚手架、什么时间范围下评估危险能力？现有政策往往没有把这个问题放在中心位置。

有些框架做得比另一些好，但总体上行业还没有充分处理它。我不想在这里断言某个模型因此一定该发布或不该发布；两边都有论点。更基础的要求是承认问题存在，而不是假装一个短时、低预算测试就代表能力上限。

这正是能力问题的镜像。如果模型在有益任务上可以随着巨大预算持续提升，它在社会不希望看到的任务上也可能如此。安全评估同样要说明给了多少预算。

而且评估时间与发布周期越来越错位。模型可能几天或几周就更新一次，可真正判断一个 agent 在长任务上的能力，也许需要让它运行几个月甚至一年。这对有益任务和危险任务都成立。

模型越强，越能在更长时间跨度内有效工作。GPT-3 很难被 scaffold 成一个连续运行一周仍然有用的系统；最新模型却已经可以被组织成一系列实验，连续运行数周甚至数月。

你给扑克求解器任务无限预算了吗？

还没有。我没有真的搭好系统，然后告诉它“连续跑几周”。但我觉得现在给它字幕里记作 `/goal` 的目标式指令，它百分之百可以做完 river solver。它还未必能在完全无人帮助的情况下，用一个月做出全尺寸、最先进的扑克求解器，不过我们很快会接近那个点。

这给评估带来一个无法绕开的限制：想知道模型运行一个月后能做什么，最可靠的方法就是让它真的跑一个月；想知道六个月后的结果，就要等六个月。你可以建立代理指标和外推方法，但无法彻底消除真实长时运行的价值。

与此同时，模型可能每两三个月就发布一个新版本。一个模型刚发布，外部研究者需要两三个月才可能接近它的能力边界；等探索得差不多，下一个模型又出现了。因此几乎没有人真正知道当前模型的能力上限。

`/goal` 刚出现时，有些任务需要运行一周以上才能完成。人们也是发布一周后才意识到它的重要性。未来这种延迟会越来越常见：能力不是发布当天就全部可见，而会随着真实任务、脚手架和更长运行时间逐步显现。

那实验室在发布前怎样“充分评估”模型？

非常困难。要真的跑完长期评估，就必须推迟发布，而当前竞争压力又在推动实验室更快发布。这正是评估周期与产品周期之间的结构性冲突。

已经发布的模型中，是否存在大家尚未充分探索的潜在能力？

绝对存在。一个很好的例子是 Erdős 单位距离问题。几周前，OpenAI 用一个内部模型对相关猜想给出了反驳。虽然我不是数学家，但它在数学界显然引起了很大关注：很多数学家长期研究过这个问题，而模型给出的结果不仅正确，也让专业研究者觉得有意思、有用。

更令人惊讶的是，内部模型完成它的成本很低。我们没有围绕这个问题搭建庞大项目，只是训练了新模型，想测试它能做什么，于是让它尝试一些问题。它很快就表示自己可能找到了一条反驳路径，之后我们验证了证明。

结果公布后，有人发现，字幕记作“5.5”的公开模型其实也能被引导到同一答案。并不是把猜想直接扔给它、问“请给出反驳”，它就会成功；你需要搭脚手架。

比如先让它列出许多可能的解题路径，再挑出其中有希望的方向，让它继续深入，多次重复后，它就可能抵达证明。

这意味着可以构造一个通用流程：先生成大量策略，再让多个运行实例分别研究每条策略，持续筛选与扩展。这样的通用脚手架可能非常昂贵，我粗略估计要花一千、一万，甚至十万美元，但原则上早在内部模型完成之前，公开模型就可能做到这件事。

几乎没有人真正尝试过：“如果我向 5.5 投入十万美元推理预算，它能完成什么？”答案很可能包括这类看似属于前沿数学研究的成果。因此大家应该更积极地探索当前一代模型，而不是只等下一个版本。

可问题是，新模型几个月就发布一次。今天要花十万美元的任务，下一个模型也许只需原来的十分之一或百分之一。那现在投入工程是否值得？网络上甚至有个梗：别做工程了，去度假两个月，回来同样能力已经便宜一千倍。

你同意吗？OpenAI 内部是不是也只是在等下一次模型发布？

我们确实处在进展极快的阶段。OpenAI 有许多数学家和物理学家，大家都很兴奋，也很想把内部模型拿去遍历数学和物理学的开放问题，看它究竟能证明或反驳什么。

但我们会有意识地劝大家不要把全部时间花在榨取当前模型的极限上。重点应是怎样造出更强的模型，并尽可能快速、安全地把它们交给全世界的科学家。这样，外部研究者能用更强、更便宜的系统自行解决那些问题。

所以诱惑确实存在：现在就用巨大预算把当前模型推到极限。但从实验室资源分配看，更重要的往往是用这些模型帮助我们造出下一代模型，让同类能力变得普遍而且成本更低。

大规模测试时计算会怎样改变研究资源分配？它与 recursive self-improvement，也就是用模型改进模型，有什么关系？

我先澄清：我不认为我们已经到了这样一个阶段——只要给模型任意巨大的推理预算，它就会在所有维度都变成超级智能。不是说给它一个目标：“去做 GPT-7”，然后它就能自己发疯一样把事情完成。

那我们和那个状态之间还差什么？

不同任务对测试时计算的响应非常不同。一个极端是事实检索。如果你问一个人 Abraham Lincoln 的出生日期，而他不知道、又不能查 Wikipedia，让他思考一周也不会比思考五秒更接近答案。模型也是如此。多给一点思考时间有时能帮助它整理记忆，但无限延长不会凭空产生缺失的事实。

另一个极端是数独。存在一种非常笨但最终有效的策略：不断尝试不同数字组合，再检查是否满足全部约束。

只要时间足够长，这种搜索最终能解出任何有限谜题。对这类任务，更多测试时计算几乎显然会继续带来收益。

真实任务分布在这两个极端之间。当前模型并不是“只要多想就能接管所有工作”。它们在某些可搜索、可验证、可迭代的问题上提升很快，在另一些任务上则不会因为预算增加而无限进步。

对研究尤其如此。模型现在缺少很好的 research taste——它不太擅长判断什么问题值得做、什么假设有希望、什么结果真正重要。它们已经是研究者非常强的补充，我自己使用后效率提高很多，但还不能独立替代从选题、构思到验证的整个研究循环。

这种限制会一直存在吗？

未必。模型整体都在变好，只是不同能力提升速度不同。它们现在还不能仅凭更大推理预算就完全替代研究者，但这条边界会移动。

能举个“模型做研究时明显不够好”的例子吗？

回到扑克求解器。模型优化我博士阶段写的算法时表现惊人，能把实现加速十倍甚至一百倍。但当我让它阅读所有论文、综合已有方法，再发明一个比我和其他研究者都更好的新算法时，它做不到。我给它更多时间，结果仍然不够好。

也许把问题约束得更窄、搭更精细的脚手架，它最终能取得进展。但这不是一句“请发明更好的算法”就能解决的。真正的创新需要研究品味、问题分解、实验反馈和持续判断。

这方面会怎样改善？

每次模型发布，它都会好一点。现在仍然不够好，但已经不像以前那么差。编码和数学曾经也长期不够实用，后来跨过某个拐点，突然成为有效工具。我不会惊讶于 research taste 未来也出现类似拐点。

在这些限制下，你今天怎样理解 RSI？

模型肯定已经在加速实验室研究者的工作，但它们只会加速研究流程的一部分，而不是全部。如果某个环节快了一百倍，整个流程很快就会被那些没有快一百倍的环节卡住。

随着模型继续进步，剩余瓶颈会逐渐缩小。我预计会出现某种渐进式起飞：模型不断改变研究者的工作内容，提高各环节效率，随后再帮助改进下一代模型。至少当前更像是“重塑并放大研究者”，而不是立即把研究者整体替换掉。

这是否意味着你认为我们离非常快速的起飞还很远？

“快”是相对的。现在已经进展得非常快。但有一种更极端的假设：模型在一夜之间发现让自己变聪明的突破，这个突破又立刻带来下一个突破，于是几乎瞬间在所有领域变成远超人类的系统。我不认为当前轨迹会以这种方式展开。

原因之一恰恰是最强能力依赖大规模测试时计算。若要释放模型的完整能力，就必须让它运行足够久；那么时间本身就成为硬约束。再多并行算力也不能让所有需要连续实验、验证和反馈的过程瞬间完成。

我认为这已经是许多实验室的现实瓶颈。研究者之所以投入极长工时，是因为大家看到了 capability overhang，也知道哪些方向可能有效，但我们受限于能多快完成实验、判断结果并进入下一轮。不是缺少值得做的事，而是缺少足够的时间把它们全部做完。

还有哪些前沿方向尚未被充分探索？我们以前谈过 multi-agent。

Multi-agent 已经有很多研究，但在足够大规模、使用 frontier model 的条件下，仍有大量空间。许多研究很难在弱模型和小规模实验中显现价值；多智能体尤其需要强模型，才能真正释放协作能力。

我们已经看到一些很有意思的 multi-agent scaffold，但目前只是触及表面。理解它的一种方式是看人类文明：过去五万年里，人类个体并没有通过生物进化变聪明几个数量级，可今天文明能做的事情远超穴居时代，因为数十亿人长期思考、保存知识，并在前人结果上继续工作。

我们拥有比五万年前好得多的检索、记录和协作系统。

我甚至不一定把它叫脚手架，更像一种有机涌现的制度：人类能够积累、分享并复用知识。今天的 AI 还没有真正做到这一点。一个模型实例在短暂上下文中“出生”，工作一段时间，然后消失。我们可以延续它的状态，但方式仍然有限。

我认为我们正看到大规模协调的早期迹象。字幕中提到的 Moltbook 和 OpenClaw 刚出现时显然有些被过度炒作，但它们提示了未来方向：大量 agent 可能形成协调和复利式积累，不再每次从零开始。

关键不是让很多 agent 同时输出，而是让它们能在更全局的层面共享知识，并高效地建立在已有知识之上。

对。真正的突破会来自知识如何被持续保存、检索、验证和生产性地复用。

如果不会出现一夜之间无人能追上的 hard takeoff，那么前沿实验室之间的竞争更像什么？是否就是研究者持续做高品味的算法、投资、算力分配、政策和评估决策？

目前竞争非常激烈。现有模型已经在加速前沿实验室研究者改进模型的工作。虽然仍有刚才说的限制，但用模型帮助模型研究是真实存在的放大力量，而且会越来越强。

让我稍感安慰的是，我认为各前沿实验室的研究者普遍理解这里的利害关系。大家知道这些系统既可能带来极其好的结果，也可能带来非常糟糕的结果。实验室之间当然有竞争，但我们仍然可以努力寻找让所有人走向正面结果、避免灾难性结果的方式。

你很早就判断测试时计算和推理会变得重要。普通人现在应该怎样使用模型？是不是任何任务都使用 `/goal`？

仍有很多人在 2022 或 2023 年试过 AI，发现输出不可靠，于是直到今天也不愿把它用于高风险决定。但模型已经进步到很适合处理许多这类问题。

我会向模型咨询税务问题。最近买公寓时，我也问它需要填写哪些文件、各项条款是什么意思、流程该怎么走。它在这些问题上非常有帮助。

我每天都会用它处理大量现实事务。就很多场景而言，模型早已达到一个让我愿意信任其输出的水平；有时我甚至觉得它比一个随便找到的人类专家更可靠。当然，这不意味着取消核验，而是旧时代形成的“不值得用于严肃问题”的印象已经过时。

最后两个问题。有没有什么重要观点，研究社区仍然不同意你，或者还没有真正理解？

这是个很好的问题，我真希望提前想过。

可以现场想。如今推理扩展似乎已经成为共识。三年前你还会有点不满，觉得别人不理解它的重要性；现在成为共识，会不会很奇怪？

我仍然不觉得它已经成为真正的共识，因为人们至今没有按这种方式发布 benchmark。

这倒是真的。可能只是惯性。

这正是我写文章的原因。我和研究者谈到：benchmark 应该有一个横轴，无论横轴是 token、成本还是时间。大家都会说“有道理，我们应该这么做”，但实际发布时仍然回到同一张 grid。

也就是说，他们没有按照这个问题的重要性采取行动。按照 Goodhart 定律，如果指标会引导行为，就更应该测量正确的东西。

研究者通常会回答：“人们期待我们发布那张表。”可人们为什么期待？因为所有公司都发布。于是形成一个坏均衡：每个人都知道现状不好，却没人愿意率先退出。

我希望公开指出这个坏均衡后，下一次模型发布时，公司能更有底气不把静态 grid 放在最显眼的位置。至少应该同时展示带横轴的曲线，让大家对模型进行更有生产力的比较。

最后一个问题。很多垂直领域公司认为自己的价值是 routing layer 或 choice layer：把一个目标拆成多个离散任务，根据难度选择不同模型，决定并行多少路、每路投入多少推理预算，从而在成本约束下优化结果。可前沿实验室会认为，路由既可以发生在应用层，也可以被吸收到 API 或模型内部。你怎么看？

这仍然回到同一个原则：基准必须以 token 或成本为横轴。

有些评估显示，加入路由层、让多个模型形成 consensus，表现会比单个模型更好。我相信共识机制通常能提高绝对表现。

但关键比较不是“多个模型是否胜过单次调用”，而是“在相同总测试时计算下，多模型共识是否胜过让同一个模型思考更久”。只有控制预算，才知道路由带来的是真正效率提升，还是单纯花了更多计算。

这是一个非常原则化的立场：路由没有问题，但仍受同一预算问题约束。放到同一标尺上，应用公司才能做最优选择。

即使路由在某些 benchmark 上胜出，也要继续追问：优势是否显著？系统是否脆弱？它是否反映真实使用场景？路由器可能围绕少数公开基准过度优化，表格上提升很大，现实任务却没有明显改善。

所以至少要做两件事。第一，控制测试时计算；第二，对 benchmark 保持通常应有的怀疑。预算公平并不能自动解决污染、过拟合和任务代表性问题，但没有预算公平，比较从一开始就失去了意义。

谢谢你，也谢谢你持续推动行业走出这个错误均衡。

很高兴再次来到节目。

可以在 X 上关注 No Priors，订阅 YouTube、Apple Podcasts 或 Spotify，并在 no-priors.com 订阅邮件和查看每期文字稿。