开场
我们开始吧。谢谢大家来参加。我叫 Lance,是 Anthropic 的技术团队成员。今天我想分享一些非常简单的方法,帮大家把前沿模型用得更好。我们通常会觉得成本和质量只能二选一:想要更好的表现,就得花更多钱;想降低成本,就得牺牲性能。每次评测里,不同模型会形成一条帕累托前沿。你可以想象 Fable 在曲线最右边,然后是 Opus、Sonnet 和 Haiku。
你可能还没用到前沿水平
我今天想讲的是,很多时候你的应用其实并没有处在这条前沿上,而是落在前沿以内。原因可能只是一些小小的配置问题,接下来我会告诉大家怎么修。我们已经反复看到,一些非常简单的调整,就能同时提升表现、降低许多客户的成本。今天我先讲五个主题,然后留时间互动。幻灯片用不了一小时,差得远呢。问答其实有意思多了。
检查你的提示词
第一件事,检查提示词。这个点很重要:提示词和代码一样,会积累技术债。回想前几代模型,我们常会写“think step by step”,让它反复核验、再检查一遍、尽可能周全。有时还会准备草稿区,告诉智能体该怎么思考、在哪儿思考。
现在不需要这些了。前沿模型很擅长思考,也知道什么时候该思考;不用再告诉它该做什么、怎么检查自己的工作,它们自然会核验,也不需要你提醒它认真思考。它们本来就很认真。更糟的是,这些做法会增加成本,有时还会降低表现,我稍后会简单谈谈原因。
还有一个有意思的变化:早期模型没那么擅长遵循指令,提示词里即使有相互矛盾的规则,它也可能忽略其中一条,所以看起来还能用。但前沿模型经常会被矛盾规则搞糊涂。
如果你手头有代码想检查,现在就能做一件很简单的事。在 Claude Code 里可以运行 `checkup prompt audit`,也可以运行 `Claude API prompt audit`。这是 Claude Code 里的两个不同技能,但它们会调用同一套底层代码。`checkup` 通常用来检查 Claude Code 自身的配置,比如 Claude Code 里的技能和提示词;Claude API 技能则是 Claude Code 中另一个独立技能,面向使用我们 API 的代码。两个命令遵循同一个原则,最终也会调用同一个底层技能,只是入口不同。
这些技能会检查 Claude Code 工作目录中的代码,包括技能、工具和提示词,找出这些反模式并替你移除。这个工具现在很受欢迎,Anthropic 内部很多人都在用,在 Twitter 上也挺流行。它很简单,而且常常能同时改善成本和性能。
提示词审计能省下什么
这里举个例子。这是我做的一个合成评测,内容是客户支持工单,大约 50 条。我从 Opus 4.8 开始,模拟迁移到 Opus 5.5;过程中逐项加入反模式并测量结果。图中间的点,是把基准测试里所有反模式的影响取平均。
重点在这里:从 Opus 4.8 迁移到 Opus 5.5 后,如果一开始还带着这些反模式,成本确实有所下降,性能也略有提升,图上就是往左、往上走了一点。在这基础上再跑一次 prompt audit,性能和成本又进一步改善,原因有好几个。这个命令会移除那些核验仪式和“增强指令”,它们会让 Opus 5.5 白白消耗过多 token。
所以这个简单命令通常能减少 token 用量、节省成本;如果提示词里的矛盾让前沿模型困惑,也能提升表现。我很推荐这个命令。Anthropic 内部广泛使用,很多客户也觉得很有帮助。运行起来很简单:凡是通过 API 使用模型的代码都能检查,Claude Code 自身的配置也可以检查,确保提示词适合前沿模型。这是第一点。
用好提示缓存
第二点,确保你在使用提示缓存。很多用户可能已经很熟悉了,但我还是想把这件事讲清楚。比如智能体会跨多轮运行,每一轮只增加一点内容,像一次工具调用;但上下文里有很多内容会在各轮重复出现,你不该为它们重复付费。这就是提示缓存的用处。
提示缓存的价格大约是基础 token 的十分之一,因此便宜很多。不同模型会有些差异,我记得现在大概是十分之一,具体价格可以查定价页面。总之它便宜得多,也快得多。所以多轮应用里要充分使用提示缓存。
问题是缓存要求前缀严格匹配,哪怕前缀只改了一个字节,缓存也会失效。构建智能体或多轮应用时,要小心别破坏缓存。这是关键。
如果你用 Claude API,Claude Console 提供了很好的诊断信息,可以查看应用的提示缓存命中率,这项指标非常值得跟踪。比如 Claude Code 会非常认真地追踪命中率,因为这显然关系到应用的经济性。你用 Claude API 构建应用时,也应该确保充分利用缓存。
一般来说,提示词可以这样组织:系统指令和工具属于所有会话都能全局缓存的部分;Claude MD 记忆按项目缓存;会话状态属于单次会话;消息则每轮递增。这就是提示词的组织思路。
关键是,在 Claude Code 里运行这个检查。如果你的项目通过 API 调用模型,就检查一下自己是否正确使用了提示缓存。它会运行诊断,找出改进机会,帮你重新组织提示词,以提高缓存命中率。这才是重点。
成本最多可降 72%
这是个挺有意思的尝试。我和 Claude AI 团队的一些同事,把这个命令用在一批采用默认运行框架的内部基准测试上。我们发现,只运行这个命令,成本最高能降 72%,性能没有明显变化,因为其中一些评测框架没有正确使用提示缓存。
这个命令很简单,可以在你的 API 代码里运行,找出节省成本的机会,比如有没有用好提示缓存。它还会检查其他方面,稍后我会讲到,比如 effort 设置和提示词本身;但它尤其会检查缓存,确保命中率够高。
再次强调,优化提示缓存并不会损失性能,基本上等于白捡成本节省。所以,尤其是用 API 构建应用时,一定要认真、有效地利用缓存。
设计 Claude 能持续优化的评测
接下来讲一些其他基本原则。前面说了提示缓存,也说了把提示词调整好,可以用 prompt audit 来检查。现在谈谈使用前沿模型时另外几件很重要的事。
Claude,尤其是前沿版 Claude,很擅长自我修正。如果你给它一套结构良好的评测,它就能围绕这套评测不断爬坡优化,稍后我会细讲。关键是评测要设计得好,要让 Claude 有路可爬。我们花了很多时间思考怎样设计评测,确保 Claude 能够成功地完成评测和爬坡优化。
好的评测通常有几个基本特征。这些是基础原则,不是什么 Anthropic 独有的东西,但值得快速回顾。图里有几条曲线,横轴大致是每次尝试使用的 token 数,也就是投入的思考量;纵轴是分数。最上面是前沿模型,中间是中型模型,下面是小模型,可以分别想成 Opus、Sonnet、Haiku。
一般来说,模型升级后,评测表现应该提高;增加思考量后,表现也应该提高。前沿模型还应该有继续改进的空间,不能已经饱和;不同运行之间的方差也应该较低。这些原则很简单,但确实很重要。
我看到不少很流行的评测也有这个问题:里面有许多含糊不清的任务,实际上封死了前沿模型继续提高的空间。你花了很多 token 在评测上爬坡,后来发现里面有一堆无论如何都解不了的模糊案例。看起来好像还有 20% 的提升空间,可没有哪个模型真的能做到。这样一来,你可能在一套实际上已饱和的评测上耗费很多 token 持续优化。所以把评测设计好非常重要。
可以试试 `Claude API build eval` 这个命令。它不会限定你的数据放在哪儿;你用什么追踪方案都行,把数据指给它就好。它是 Claude Code 里的一个技能,会运用刚才讲的原则,帮你测试评测并做合理性检查。
你可以告诉它要解决什么问题、关心什么、原始数据在哪里,比如要处理哪些调用轨迹。这个命令会带着你一步步构建评测集,展示数据和评测内容,并和你一起检查评分器及其标准是否合理。它会依据我们的一些最佳实践,引导你完成评测构建;我们也有一篇不错的博客文章介绍这些内容,我之后会分享。
持续优化,但别过拟合
这和爬坡优化配合得很好。只要你做出一套在前沿仍有提升空间、方差低、并且会随思考量和模型规模按预期扩展的评测,就可以在上面持续优化。前沿版 Claude 很擅长爬坡:它能自主查看评测、自主改进,不需要你一直介入。只要评测做得好,Claude 就能在上面爬坡。
不过这里有很多地方可能出错,尤其容易对评测本身过拟合。一个典型例子是,基准任务有特定需求,只在这些任务里才会遇到。比如其中一项需要 OCR,于是你为了通过评测,给运行框架加了 OCR 工具;但生产环境里根本没有这类问题。结果就是对评测分布过拟合,优化结果无法用于生产。这种情况很常见。评测样例里某些独特措辞也可能造成类似问题。
又比如,爬坡时提示词可能逐渐针对评测分布的细节做了优化,却不适用于测试分布。过拟合是爬坡过程中一个主要风险。想象一下,你花了大量 token 优化某套评测,分数看起来漂亮,放到生产环境却毫无提升。你投入了很多钱和精力,最后发现成果不能用于生产,因为只是对评测分布过拟合了。
可以试试 Claude Code 里的 `Claude API hill climb` 命令。你搭好评测后,它就能替你进行爬坡优化。它通过一些技巧来应对过拟合,当然并不完美,你必须仔细审查、参与其中,并弄清楚到底发生了什么。不过它可以帮上忙。
具体流程是,它会把评测拆成训练集和测试集,这是统计学里的经典做法。爬坡时它只看训练集,只根据训练集中的失败来决定要改什么。每一轮它都看不到测试集,但会分别检查训练集和测试集上的表现变化。这能提供一个较早的过拟合信号:如果训练集在进步、测试集却停滞,就说明“可能过拟合了”。
它还会做一些更细致的检查,确保爬坡时并非只是在评测分布上过拟合,而是在以能用于生产的方式持续优化。当然,前提是你先把评测分布设计好;这正是前面构建评测阶段可以解决的问题。
实例:把一项技能从 66% 优化上去
我来分享几个自己用过的具体例子。第一个就是 Claude API 技能本身。回过头说,它是 Claude Code 里的一个技能,让 Claude 全面了解我们的 API,也就是 SDK 和 API;它的回答必须以我们的文档为依据。
所以我根据文档做了一套评测集,测试这个技能。刚开始它对评测问题的表现不太好,正确率只有 66%。于是我搭了一个爬坡循环,让 Claude Code 能访问技能文本和文档,再让它迭代地查看评测失败,找出技能为什么曲解了文档里的内容。这里有各种小技巧,以后可以再详细聊。
重点是,在这个例子里,Claude 能自主找到合适的技能文本,大幅提升评测表现。下面的博客链接里我也谈到了这件事。这个例子很好地说明:评测范围明确,待修改的对象很简单——就是一个技能;再加上自主爬坡循环,系统就能显著改善表现。
只要这样搭好系统,评测范围仔细界定、修改对象又容易动手,Claude 就能快速迭代,大幅提高性能。这种方法适用于提示词,也适用于技能。简单、基于文本的对象,非常适合这种爬坡优化流程。
用爬坡优化降成本:成本下降 90%
还有个挺有意思的技巧,很多客户都喜欢:爬坡优化也可以用来降成本。我给这个爬坡命令加了相关指引。如果你告诉它要降低成本,它就会寻找一种配置:性能至少持平,同时肯定能降成本。它会搜索 effort、模型和提示词等选项。
还是用刚才那套客户支持基准测试举例。我从 Opus 4.8 high 和一版基线提示词开始,告诉爬坡工具降低成本。它会搜索不同的模型与 effort 组合,每一轮都挑出能继续降成本、又不损害表现的方案。
这个例子里它先换成 Opus 5 low,性能大幅提升,成本小幅降低。接着它尝试 Haiku 5 low,表现略有下降,但成本降了很多。之后它决定调整提示词,把性能又拉了回来。最后,爬坡工具自主完成了成本降低 90%、表现还明显提高的优化。
如果你有一套评测,可以让爬坡工具在性能不变的前提下,通过调整 effort、模型选择和提示词,大幅降低成本。这是它的另一个很好的用途。
而且即使评测已经饱和,这种方法仍然有用。你可以说:“评测饱和就饱和吧,我不在乎性能,只想降低成本。”然后要求爬坡工具保持表现不变、尽可能压低成本。它可以搜索不同配置,往往会找到很有意思的方案。
比如大家通常会觉得,用更强的模型、降低 effort,可能比用较弱模型、提高 effort 更便宜,表现也更好。这就像让更聪明的人少花点力气,也能更准确地抓住目标、更有效地解决问题。这样实际用掉的 token 更少,成本也就更低。这是我们观察到的一条普遍规律,也已经融入这个爬坡技能。又一个好用的技巧。
为运行数天的智能体搭建框架
我很快就开始回答问题,最后先补充几句。这算是呼应了今天上午听到的智能体相关内容,我想再强调一点:要充分释放前沿模型的能力,就得设计好运行框架,让它能最大限度发挥最新 Claude 模型的优势。
回看过去几年,横轴是时间,纵轴是人类完成一项任务所需的时长。你们可能见过这些基准曲线。回想一下,Claude Opus 3 只能自主工作大约 4 分钟。在那个阶段,能做的产品非常有限,基本就是自动补全或聊天。
到 2025 年,模型的能力增强了,能完成相当于人类一两个小时的工作。Claude Code 在 2025 年显然也取得了很大的进展。现在我们似乎正在进入一个新阶段,模型能处理相当于一两天工作量的任务。我觉得这已经超出了 METR 当前能测量的范围。
当模型能完成相当于数天的工作时,需要什么样的运行框架?考虑因素会变化很多,因为我们希望模型能长时间自主工作。那怎么确保它们安全、可靠?这里的考量会大不一样。
Managed Agents:把大脑和双手分开
这也是我们新推出的 API 之一 Claude Managed Agents 背后的动机。它的原则很简单:把大脑和双手解耦。我四月写过一篇工程博客介绍这个想法。
你可以把智能体运行框架看作大脑,把沙盒看作双手:运行框架在沙盒里写代码、执行操作。两者应该分开。特别是当运行框架或沙盒崩溃时,系统应该能够恢复。想象一下,你让智能体通宵工作,半夜沙盒崩溃了,那会非常恼人:状态、会话日志,全都丢了。
我们设计系统时,考虑的是 Claude 会长时间持续工作,所以必须能恢复。会话日志是一个独立对象,与运行框架和沙盒分离,而且只追加、不覆盖,可以用于恢复。运行框架或沙盒崩溃,都能从日志恢复。沙盒也可以恢复:一个沙盒崩溃后,可以启动新的;运行框架崩溃后,也可以通过编排器启动新的。
另一个重点是安全。Managed Agents 有个重要设计:Claude 永远不会直接拿到机密信息。机密保存在保险库里,也就是图顶部看到的工具箱中。保险库让 Claude 可以调用 API 密钥或其他机密,但看不到它们本身。毕竟,如果一个智能体要连续工作好几天,直接把敏感机密交给它,多少有些让人不安。所以安全是我们设计 Managed Agents 时非常重要的考量。
智能体能连续运行数小时、数天,甚至很快可能数周时,可靠性和安全就变得更加重要。今天上午你们可能已经听过相关内容。我最近和 CJ 发布了一篇博客,演示了一个用于定期更新上下文的自动化智能体。它能访问你指定的不同信息源,再把更新写入 Slack。这是个很简单、但高度可定制的自动化例子,也展示了这些基础组件如何协同:定时部署、运行在 Anthropic 基础设施上、安全存储机密,还有记忆功能。它是一个很好的端到端示例。
最后再说一次,你可以在 Claude Code 里运行 `Claude API magic sandbox`,再把博客链接给它。它会为你启动教程和示例,你就可以直接上手玩。这里的重点是……
回顾
有很多方法可以搭建合适的运行框架,充分释放前沿模型的能力。提示词审计很重要;尤其是在构建长时间运行的智能体时,要有效利用提示缓存,控制成本。还要考虑为长任务设计运行框架,确保可靠和安全;评测设计和爬坡优化也很重要。
把这些都结合起来,就可以给智能体一个任务,比如一套评测,让它长时间运行、持续优化。你早上回来时,可能会发现评测表现已经显著提高。这就是我现在看到很多同事的工作方式:大家把更多时间花在评测设计上,明确指定 Claude 能够有效爬坡的任务,同时确保智能体执行时高度安全,能可靠地完成长时间任务。
看看时间,我想接下来直接进入问答,互动起来更有意思。这里有我的社交媒体账号。感谢大家花时间聆听。
问答:评测设计能自动化到什么程度?(上)
好,就从那儿开始。(笑声)这是个很好的问题:评测设计有多大程度可以自动化?我最近在 Twitter 上和 Hamel 交流过,他对评测很有见地。他对我们那个技能提过一个意见:它应该先带用户看数据。我同意,之后会对技能做些小调整。
回到评测设计,Claude 可以在构建评测时帮上很大忙。比如他举的例子里,是一个客户支持应用,有一批调用轨迹。首先要问:这里有哪些失败案例?哪些应该纳入评测集?Claude 很擅长从离线日志里扫描问题,像在线评估器那样指出可能出错的案例。
之后,让 Claude 先把原始数据呈现给你看也很重要。我准备把这一步加到技能里,相关 PR 已经开了。目前 Claude 会直接分析数据、构建评测,再把评测展示给你。我认为在中间加一个阶段,让你先检查数据,会很有帮助。不过,Claude 先给数据加注释、告诉你可以重点看什么,也很重要。所以我觉得让 Claude 协助评测设计并扫描数据,再由人来检查,是一种很好的结合。
检查完之后,你可以把合适的例子纳入评测集。我认为人在这个流程中仍然很重要,但 Claude 能提供不少帮助。
关于有人类反馈的爬坡优化:爬坡只需要一套评测,以及某种能让 Claude 判断好坏的信号。如果你把人类反馈转化成评测信号,那么完全可以基于这种评测结构做爬坡。
这也是个好问题:爬坡优化最好从什么对象开始?我之前展示过要修改的对象。我自己试过不少。文本很适合,尤其是提示词和技能,因为它们是明确的修改对象,而且我们知道它们会显著影响模型行为。因此修改范围受到约束,而且它通常和你评估的输出高度相关。
举例来说,我对技能做爬坡优化时,测试内容直接取自技能,所以两者之间的关联很明确。相比之下,我也试过对智能体运行框架做爬坡,但结果更难解释。你修改的是框架代码,每轮改动的差异更大,容易混淆;你可能改了很多东西,却和正在测量的输出信号没有关系。
这当然也做得到,人们确实在运行框架上做了不少爬坡优化。但我觉得会更棘手。提示词、技能这类文本是很好的起点,因为它们和模型行为的关联很清楚,也容易修改。
不过要小心:提示词很容易过拟合,我自己很多次爬坡优化都遇到过。即便做了训练集、测试集拆分等正则措施,提示词也很容易被 Claude 调整成一种只适合评测、不代表生产环境的形式。所以必须非常谨慎。它是个不错的起点,但要留意过拟合。
问答:评测设计能自动化到什么程度?(下)
好,接下来是“把提示词变成技能”。它们算是互补的。你是不是想问:比如走完某个标准操作流程后,什么时候该把它整理成技能?这问题挺有意思。我觉得 Claude 很擅长判断。你可以完成一个工作流程后直接问 Claude:“把这个做成一个技能。”我经常这么做。Claude 通常能发现你在重复做某件事,并建议把它变成技能。我的建议就是让 Claude 来做,直接告诉它:“把这个变成技能。”
通常在评测场景里,我已经有一个定义好的技能,可能只是一些模板式的起始文本,然后我会让 Claude 改进技能文本,让它在这套评测中表现更好。这是我常用的方式:先有一个技能模板作为起点,我也确定这件事应该做成技能。比如 Claude API 技能,它可以看作对我们文档的提炼:想了解某个主题,就去某个页面;想了解另一个主题,就去另一个页面。它一开始有不少细节问题和缺陷,所以评测表现不高。但我有一个起点,Claude 就能在这个基础上修改。
所以做技能时,通常先从某个基线开始,哪怕只是很粗糙的默认版本,也要给 Claude 一个可以开始改进的东西。这就是我通常会采用的方式。
问答:如何评估开放式任务(上)
对于标准比较开放的领域,我觉得启发式评估器通常更合适。当然,如果能定义一个确定性的好坏判定,那最好不过;但像迷宫这类问题就不适用。我发现,结构良好的评分标准可以给出比较一致的评分。
首先,评分标准要让你自己作为人类能够理解。比如要给一段文本判好坏,你应该能看着标准,自己判断这段文本。第二,不要用随意的分数尺度。我经常看到有人要求从 0 到 5 打分,这太模糊了。标准要清楚、简单,最好是二元分类:好或不好。若要评估多个方面,可以设置多个二元分类器。最糟糕的是让 Claude 从 1 到 10 评分,噪声会非常大。
还可以做几项合理性检查:用不同模型来评分,比如 Sonnet、Opus 和 Fable。如果它们按你的标准评分却意见不一,这是个坏信号。再做多次重复运行,确保方差低、评分稳定。如果这些都做到,对于那些难以用明确规则判断的文本回答,LLM 作为裁判配合结构良好的评分标准,效果可以很好。
有人提到成对比较,这确实是个好办法。人和模型通常都更容易比较两个成品,而不是直接给一个成品打分。比如说“我更喜欢这个网页”,比“这个网页应该得 0 到 5 分中的几分”容易得多。如果问题允许,成对比较可以有效处理更模糊的评分。
这也回到刚才的问题:要仔细看数据。我说的“分布”,主要是指从某些案例中抽样组成评测集,并确保这些案例能代表你在生产环境里真正关心的内容。
这里有个值得注意的问题,叫对抗式抽样。选取案例时,如果只挑某一类模型失败的具体案例,就可能出问题。模型的能力是锯齿状的:Sonnet 5 做不了的例子,Opus 5 也许全都能解决,因为不同模型的强弱分布不一样,一个模型能力上的某个短板,换另一个模型可能就不存在了。
所以更好的做法是,根据第一性原理、你自己的判断,以及对生产数据的观察,选出困难或有意思的案例纳入评测;不要完全根据某个特定模型的失败来抽样。否则评测分布可能会沿着一个模型能力曲线的谷底塑形,升级模型后就不再有代表性。
有人问能不能用分桶评测,而不只是二元分类。我刚才说得有点过于绝对了,当然可以用。但一般来说,我看到有人把尺度弄得太复杂:设计了一个 0 到 10 的随意尺度,评分规则不清楚,甚至小模型都分辨不了。只要你的尺度经过认真设计,当然可以使用;关键是……
问答:如何评估开放式任务(续)
只要评分尺度满足我们刚才说的条件,就完全没问题:方差低、不同模型评分可复现,人类评分者也能区分不同等级。二元分类只是简化问题的一个捷径。评分时通常希望用更小、更便宜的模型,所以未必想让 Fable 来做评分,具体也取决于你对成本有多敏感。这些只是建议,设计得好的多类别分类当然也可以。
还有人问,什么类型的问题值得做评测:个人用途也要做,还是只为生产级应用做?我觉得要看任务的重要性。如果是个人任务,但你觉得它很重要,完全可以做评测;这因人而异。我个人没有给很多个人自动化任务专门做评测。
举个例子,如果有人在金融行业,把个人工作流程的一部分自动化了,但质量特别重要,比如输出要对外分享,那即使是自己做的自动化,也绝对应该做评测。如果只是我的个人助理,比如我自己做了个帮我管理日历的应用,那我可能会做,也可能不做,要看具体情况。但如果这对工作很重要,涉及对外提供的成果,或者任务本身很敏感,那即使是个人智能体,也应该做评测。
有人问我更支持 LangChain 还是其他方案。我在 Anthropic 之前确实在 LangChain 工作过,但我不能替任何一方背书。我就不回答这个问题了(笑)。我用过很多方案。如果规模比较小,你当然可以自己搭,不一定需要复杂的可观测性系统。我们会给技能加一个简单的数据查看器。Claude 很擅长构建界面和可视化工具;如果你有很特别的数据想查看,它可以很轻松、成本也不高地帮你搭一个合适的应用。
还有个关键点:爬坡优化并不保证一定收敛。我见过很多次爬坡工具陷入停滞。我们在爬坡工具里加了一个后备流程,细节可以看博客:如果连续几轮卡住,它会把剩下的失败案例聚类,尝试找出问题。
常见情况是,人们没有先运行构建评测的命令,也没有认真构建评测集,就直接运行爬坡工具。它检查评测后可能会发现案例有歧义。比如最后那 20% 的失败,全是评分器有问题,或者指令含糊不清。这非常常见。工具卡住并不一定是 Claude 做不到,而可能是评测结构本身很差。爬坡技能会尝试替你找出这些问题。
我之前讲的那个爬坡例子,第二阶段也曾卡住。它于是把评测案例聚类,检查失败原因,发现了一批模糊案例,然后重写了这些案例。它可以替你做这件事,但这种情况很常见,绝不能假定爬坡一定会收敛。通常问题出在评测失败或配置不当。
我很尊重 DSPy 团队、Omar 和他的同事们。这其实是 Claude Code 内置的一个技能,而且是开源的。你可以把技能拿去放进其他环境,也许能和 DSPy 一起用。它只是一些依照这些原则搭建爬坡循环的通用指引。我没用过 DSPy,不清楚它的细节和结构,但这套技能指引可能兼容。如果你想在 DSPy 里实现或运行这套流程,技能是开源的。
问答:开放式任务评分与 effort 设置
这个技能是 Claude Code 内置的,而且也是开源的。你可以把它拿出来,放到其他环境里;如果愿意,也可以试试和 DSPy 一起用。它只是一些按照这些原则搭建爬坡循环的通用简单指引,所以可能兼容 DSPy。我没用过 DSPy,不清楚它具体怎么组织,但这套技能指引也许能配合使用。想在 DSPy 里实现或运行这套方法的话,这个技能是开源的。
有人问怎么选择 effort。对,这确实是个老问题。effort 让人困惑吧?我自己也觉得不好理解,确实不太直观。
如果你有一套评测,爬坡工具完全可以替你尝试配置 effort。我知道,准备一套评测并不容易,也不是每个问题都适用;但如果你已经有评测,它就能搜索不同的模型和 effort 配置。它遵循一个很简单的原则:……
问答:为什么强模型低 effort 反而更便宜(上)
原则很简单:通常更强的模型配低 effort,效率更高、用的 token 更少,所以比弱模型配高 effort 更便宜。这往往确实如此。爬坡工具会先尝试不同模型的低 effort 配置,持续搜索,直到发现性能低于基线为止。
图里没展示这个结果,但我试过 Haiku 4.5;现在我们有了好不少的 Haiku 5.5。Haiku 4.5 配低 effort 时,性能明显退步,所以我们把这个数据点排除了。如果你有评测,爬坡优化是搜索合适模型与 effort 组合的好办法。
如果没有评测,更通用的 effort 建议就比较棘手、微妙。我一般建议先尝试更强的模型配低 effort,比如 Opus 5.5 low。更好的模型配低 effort,往往比弱模型配高 effort 更省 token,也更便宜。这是我最想留下的重点。
有人问是不是不该用 medium。我建议从 low 开始,需要的话随时可以调高。我喜欢“非常聪明的模型,但别让它太费劲”这个组合,它往往是成本和表现的甜蜜点。当然可以调高 effort,但很多人一上来就选 max,这会消耗大量 token。通常更明智的做法,是从一个较小但更聪明的模型、低 effort 开始,再按需要往上调。
我们在博客里谈过这件事。我现在没网,打不开页面,直接讲吧。effort 基本上是在告诉 Claude 要思考多深入:low 就是别想得那么用力,级别越高就是让它想得越深。这也是为什么,基础智能更强的模型配低 effort,有时会比基础 token 价格更便宜的弱模型配高 effort 更省 token。比如 Sonnet 5 high 会花很多 token 思考;更聪明的模型用 low effort 时,思考 token 更少,但起点的智能水平更高。这就是背后的直觉。
有人问爬坡优化的预算怎么设。运行这个技能时,它会询问预算,并追踪你分配给每轮爬坡的额度。当然,token 消耗过大确实可能发生,这又回到经典问题:评测设计必须做好。假如评测最后 20% 的问题根本无解,你可能会烧掉海量 token,去解决那些实际上无法解决的题目。
关于构建评测时人和 Claude 如何协作,我认为人仍然负责引导目标:我们究竟要评估什么,为什么重要?这里需要人的判断力。你真正想看到什么样的答案?
举个例子,Hamel 公开试用了我们的 build eval 技能。假设这是一个客户支持应用:哪些方面重要?你在意什么?这些都可以由人来引导 Claude。目标清楚以后,Claude 就能查看原始调用轨迹,找出应用可能在哪些地方没有达到目标。我觉得这是一种很好的协作方式。查看数据在这个过程中很有帮助……
问答:为什么强模型低 effort 反而更便宜(续)
Claude 可以帮你梳理数据:“我看了这些记录,这些案例看起来有问题。”这就像在线评估器:想象你有一个追踪系统和一个在线评估器,它会根据客户满意度评分,标出有问题的调用轨迹。你告诉 Claude 或评估器自己在意什么、想检查什么;它查看数据,挑出一批可疑案例。然后你审查这些案例、理解情况,再让它根据这些案例构建评测。这通常是 Claude 和人合作构建评测的一种很好方式。
有人问谁负责构建评测。我觉得要看问题本身和产品由谁负责,并没有严格按团队划分;产品负责人通常会承担这件事。特别是有了这类技能,构建评测和爬坡优化变得更容易,更多人就能实际参与评测设计。Anthropic 内部很多不同岗位的人都在构建评测,因为 Claude 可以深度参与并提供很多帮助。
构建评测运行器等繁琐工作,Claude 都能处理。所以关键还是前面谈到的:由人的判断来引导流程——我究竟关心什么?许多不同岗位的人都能提供这样的方向。
我想想有没有合适的例子……想到了:生成式 UI 的评测。有些情况会用成对裁判,对配置 A 和配置 B 做比较,判断哪种生成式 UI 更好。评分器进行成对比较,再把许多轮结果汇总起来,可能用类似 Elo 的分数表示。这是我见过的生成式 UI 成对评估案例。
我现在想不起更多例子,但大家一直在用 LLM 作裁判,比如评估检索任务、写作任务;也可以给调用轨迹分类,判断好坏。这非常常见。
爬坡优化的很多动机,其实来自自动化研究。模型越来越强,也越来越擅长自我修正。只要给它一个结构良好的问题,它就能持续爬坡。Karpathy 的例子就是一个不错的案例,虽然我记不清具体问题了。我认为这类设置可以用于许多不同的目标,比如降低损失值。关键是目标清楚、可验证,Claude 能查看目标并据此爬坡。
我还有其他自动化研究的例子,刚才没展示。这个命令主要是为基于评测的爬坡设计的,也就是有评测集和训练/测试拆分的场景。自动化研究更像是生成一个产物,再对其评分,比如观察损失值。不过,用同样的直觉稍微修改一下,应该也能很容易地适配自动化研究。重点是,当模型有一个明确、可验证、可衡量的目标,并能据此决定下一步时,它们非常擅长长时间自主工作和解决问题。这背后的直觉是相同的。
问答:强模型低 effort 更省成本(续)
有人问能不能把爬坡优化扩展到自动化研究。方法上只是问题如何表述的差别。自动化研究最初更关注设计网络,比如解决一个有可验证目标的问题,像损失值。爬坡流程其实很相似:Claude 做实验、测量损失、查看结果,然后调整方案、继续尝试。循环本身一样,只是应用到了另一个领域。
你完全可以拿这个技能来试。比如给它 nanoGPT 仓库,让 Claude 自己想办法适配。如果你感兴趣,直接试就行。核心流程和直觉相同:模型很擅长自我修正和爬坡优化。
我在刚才的例子里同时考虑成本和表现,相当于对两个目标联合优化。你可以把多目标告诉 Claude,它通常会同时衡量这些目标并加以权衡,这是可行的。
有人问我试过的目标数量上限。我没有把目标推得特别多。通常看成本和表现,速度也可以算第三个维度;成本、表现、速度这三项一起衡量,感觉挺合理。目标越多,爬坡过程就越难,因为 Claude 要在多个目标之间平衡。不过还是做得到。也可以考虑一次只改一个因素,按顺序逐项优化。
有人问刚才那个提示词审计技能适用于哪些模型。这是我提到的所有方法里最简单、也常常非常有效的一项,先做简单的事就好。技能里的通用指引也适用于这个问题。
它对模型的划分不是特别精确。这些反模式是已知的,最新的前沿模型,比如 5.5 系列,确定已经不需要它们。但要往回追溯到哪一代模型还适用,就没那么清楚。我做过一些测试,大概到 Opus 4.5 左右,这些做法开始没那么必要;具体边界比较模糊,我也不能准确指出哪一代模型一定该删掉哪些东西。不过如果你迁移到最新模型,比如 Opus 5.5,就直接做提示词审计。最新的前沿模型肯定不需要这些旧模式。
有人提醒技能里也有按模型区分的注意事项。是的,它会考虑这一点。比如 Haiku 可能没那么自主,也许还需要多一点提示增强;我不确定这是否正确,只是举个可能性。技能里确实有一些针对不同模型的指引,会根据你正在使用的模型,判断哪些反模式已经不需要了。这是个很好的补充。
还有人问 effort 是不是硬性的 token 上限。不是,我应该把这点说清楚:它不是硬上限,而是在告诉 Claude 为解决问题投入多少思考。即使设置成很高的 effort,给它一个简单问题,它也不会毫无节制地花大量 token 反复验证。
问答:强模型低 effort 更省成本(续)
Claude 会判断不同问题需要多少思考,所以我也没有能直接证明这一点的评测。effort 更像是在告诉 Claude 应该多努力地思考。真正会拉开差距的是更难的问题,比如前沿级编程题:设置 extra high 或 max effort,可能会比 medium 或 low 消耗多得多的 token,但结果未必有明显差异,因为 Claude 会花更多精力核验答案。所以在前沿难题上,不同 effort 的 token 支出差异可能很大,需要更谨慎。
有人问,这种做法和训练的关系如何。可以把模型看作拿到一个奖励或目标,然后尝试修改系统,以改善这个目标。从理念上说,这和训练有相似之处。我们也借用了训练中常用的一些原则,比如训练集、测试集拆分。
有意思的是,这些是模型部署后的运行时修改。模型已经上线后,你仍然可以修改提示词或技能,在自己的具体领域应用一些训练时使用的原则。这就是大致思路。
有人问 Claude 是否知道自己正在被评测。对,这确实是个问题,我们也发表过不少相关内容。在训练的不同阶段,这当然是一个担忧。对于我们现在讨论的场景,我觉得它也可能是问题,但更大的实际风险通常是过拟合。Claude 也许知道自己在被评估,但它会根据给定的评测分布去优化目标。
经典情况是,它找到一些提示词技巧或调整方式,能显著提高评测分数,却不适用于生产环境。我经常看到这种情况。未必是 Claude 知道自己被测之后表现出什么意外行为;更常见的原因是你给了它提示词,它就找到办法把提示词调整到能让分数上升。我们用训练集、测试集拆分等方法来做正则化。所以,对这个场景来说,过拟合是更实际的担忧。当然,模型是否意识到自己在被评测,是一个更广泛的现象,我们也在一些研究博客里讨论过。
有人问有用的最小评测集多大、训练集和测试集应该怎么拆。我没有深入研究过这个问题。坦率地说,直接问 Claude 就好。设置评测、运行命令时,Claude 有一些启发式方法,会根据你要测量的信号来判断评测集需要多大。技能里也有相关指引,你可以和 Claude 一起调整。
我没有具体研究过不同评测集规模的细节。我更担心的是过拟合和方差。如果样本特别少,它们真的能代表你关心的事情吗?这时更容易过拟合,也可能带来更大的噪声……
问答:强模型低 effort 更省成本(续)
小样本不一定能代表你在生产环境里真正关心的情况,更容易被过拟合,噪声也可能更大。总之,样本特别少时,这些都是会遇到的问题。
问答:如何对超长任务做爬坡优化(上)
有人问,怎样对持续时间特别长的任务做爬坡优化。这也正是我为什么通常建议先从提示词这类简单对象入手,因为它们修改起来很快。你说得对,有些场景里的改动本身就需要很长时间,这会让爬坡困难得多,因为每轮任务耗时更长。
这就回到最后提到的运行框架设计。如果要做持续很久的爬坡优化,你需要能稳定运行数小时甚至数天的框架。我们内部已经有这样的基础设施,比如 Managed Agents。这样做基础设施投入更大,也更难,因为会遇到基础设施故障,而且需要等很久才能看到效果信号,但确实可行。
有人提到单轮和多轮评测。构建智能体时,通常需要多轮评测。Claude 可以帮你做,尤其是 build eval 命令:把一批调用轨迹交给它,它能帮你挑选适合纳入评测集的轨迹。
评分方式有很多种思路。评估器可以看完整的轨迹过程,也可以只看智能体的最终结果。build eval 命令提供了不少指导。如果你关注某个特定智能体,把调用轨迹交给这个命令,它应该能有效地帮你设计评测。你也可以明确告诉它自己需要多轮评测,以及正在考虑什么方案。
有人问上下文工程中,哪些做法真正能提升可靠性、哪些技巧被过度吹捧。我认为一个关键思路是递归语言模型(RLM);我以前提过,论文里也提过。我觉得 RLM 的想法很好,我们在这里也采用了类似思路。
对于上下文工程的可靠性,一个很重要的做法是把大脑和双手分开:让上下文对象独立于运行框架。运行框架可以查询这个独立存在的上下文对象。这样有很多好处,首先是上下文总能恢复。
另一种做法是只保留消息历史,压缩上下文时,被压缩掉的内容就彻底消失;如果没像这里这样备份,就再也找不回来。我很喜欢这种架构,它有利于上下文工程的可靠性,也符合 RLM 工作倡导的思路:把上下文对象和模型分开,并通过不同机制让模型查询上下文对象。
在我们的系统里,运行框架通过不同工具查询会话日志。我觉得这是个很好的架构,也是我发现有助于可靠性和可恢复性的一个技巧。构建长时间运行的智能体时,很难预先知道以后哪些信息会重要。压缩上下文时,你不一定知道之后是否还要回头查询被总结掉的内容。如果它像这样保存在独立对象里,就随时都能查回来。RLM 的工作在这方面很有启发。
问答:如何对超长任务做爬坡优化(续)
这也是我们为什么要花很多时间设计好的评测。模型本身有随机性,而且很多工作场景的结果并不容易验证;并不是所有任务都是编程题,智能体还会处理更依赖判断、更开放式的输出。
在这些场景里,必须认真设计评测,给 Claude 一个能够持续优化的目标。刚才谈到的验证器设计、清晰的目标、明确的评分尺度、多个模型都能验证结果、低方差,这些在设计任务时都非常重要。
正如这场演讲的主题,要充分释放前沿模型的能力,就得在前期投入大量时间,设计一套很好的评测。如果你让模型去优化一套结构很差的评测,它不会有进展;这不是模型的错,而是你没把评测想清楚,里面可能有不可能完成或含糊不清的案例。所以核心信息之一是:前期要认真投入评测设计,为前沿模型创造成功条件,真正释放它们的能力。这也是演讲标题的由来。
时间可能差不多了,大家大概也累了。我昨晚刚参加完婚礼,所以自己也很累,时间确实挺巧。不过很高兴来到这里,今天的问题都很好。我们再回答一个问题吧。
有人问,模型一直变强,应该如何调整评测来跟上?简单说,随着模型越来越强,评测分数也应该提高,就像图里展示的那样。如果没有提高,我会回头检查评测设计是否合理。
确实,我们经常看到模型很快就把评测做满了,所以需要不断开发新的、更难的评测跟上模型进步。要设计出真正能挑战今天最强模型的评测,其实很难,比如 Fable 和 Opus 5.5。设计能够测试最强模型能力的好评测,是一个持续不断的挑战。
如果你几年前做过一套评测,模型变强后,分数应该持续上升。如果没有,我会怀疑评测本身有问题。这是我的重点。
我也看到一些调用追踪和相关公司在这方面做了很有意思的工作。一种常见流程是:智能体部署后生成调用轨迹,在线评估器查看并评分;分数较低的轨迹被放进离线评测集;然后在这套评测上做爬坡优化,再不断重复。这是很合理、也很好的模式。
这种流程会针对生产环境中失败的案例持续优化。等这些案例都能通过,就把它们加入回归测试。整个循环继续进行,直到生产环境中的失败很少。这是组织评测循环的一种好方法。LangChain、Riza、Braintrust 等公司都提供了这类外层循环的产品,看起来相当有效。
难点在于在线评估器如何定义:你怎么知道生产环境里的“好”是什么?哪些案例应该纳入离线评测集?这并不容易。这个领域现在有很多产品在做,我没有密切跟踪各家追踪和可观测性公司的最新进展,但据我了解,这是它们非常活跃的产品开发方向。挺有意思的。
问答:如何对超长任务做爬坡优化(结束)
好,那我们就让大家先回去了。很高兴见到各位,欢迎随时通过各种渠道联系我。谢谢大家抽时间参加。