---
id: "ys6YQ2yfBpM"
title: "你的旧提示词正在让 Claude 变差——Lance Martin（Anthropic）"
channel: "AI Engineer"
host: []
guests: ["Lance Martin"]
date: "2026-11-06"
updated: "2026-11-07"
duration: "1:04:02"
duration_seconds: 3842
source_type: "youtube"
youtube: "https://www.youtube.com/watch?v=ys6YQ2yfBpM"
canonical: "https://pod-exp.pages.dev/ys6YQ2yfBpM/"
transcript_jsonl: "https://pod-exp.pages.dev/ys6YQ2yfBpM/transcript.jsonl"
language: "zh-CN"
translation: true
translated_from: "en"
timestamp_precision: "block"
topics: ["AI 基础设施","AI 智能体","模型评测","AI 研究"]
series: ["Anthropic"]
---

# 你的旧提示词正在让 Claude 变差——Lance Martin（Anthropic）

> 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。

**内容提要：** Lance Martin 分享了如何让前沿模型发挥得更好，同时改善成本和质量：清理旧提示词里的过时指令与矛盾规则，正确使用提示缓存，并设计有提升空间、评分稳定且贴近生产环境的评测。Claude 可以围绕评测自主爬坡，但要防止对样例过拟合；在评测支持下，也能搜索更省钱的模型与 effort 组合。他还谈到长时间运行的智能体需要可恢复的会话日志、彼此解耦的运行框架与沙盒，以及对机密信息的安全管理。问答继续讨论开放式任务评分、人工判断、评测集规模、自动化研究和多轮智能体评测。

## [0:14] 开场

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-01> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=14s>

**Lance Martin：** 我们开始吧。谢谢大家来参加。我叫 Lance，是 Anthropic 的技术团队成员。今天我想分享一些非常简单的方法，帮大家把前沿模型用得更好。我们通常会觉得成本和质量只能二选一：想要更好的表现，就得花更多钱；想降低成本，就得牺牲性能。每次评测里，不同模型会形成一条帕累托前沿。你可以想象 Fable 在曲线最右边，然后是 Opus、Sonnet 和 Haiku。

## [0:29] 你可能还没用到前沿水平

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-02> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=29s>

**Lance Martin：** 我今天想讲的是，很多时候你的应用其实并没有处在这条前沿上，而是落在前沿以内。原因可能只是一些小小的配置问题，接下来我会告诉大家怎么修。我们已经反复看到，一些非常简单的调整，就能同时提升表现、降低许多客户的成本。今天我先讲五个主题，然后留时间互动。幻灯片用不了一小时，差得远呢。问答其实有意思多了。

## [1:32] 检查你的提示词

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-03> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=92s>

**Lance Martin：** 第一件事，检查提示词。这个点很重要：提示词和代码一样，会积累技术债。回想前几代模型，我们常会写“think step by step”，让它反复核验、再检查一遍、尽可能周全。有时还会准备草稿区，告诉智能体该怎么思考、在哪儿思考。

现在不需要这些了。前沿模型很擅长思考，也知道什么时候该思考；不用再告诉它该做什么、怎么检查自己的工作，它们自然会核验，也不需要你提醒它认真思考。它们本来就很认真。更糟的是，这些做法会增加成本，有时还会降低表现，我稍后会简单谈谈原因。

还有一个有意思的变化：早期模型没那么擅长遵循指令，提示词里即使有相互矛盾的规则，它也可能忽略其中一条，所以看起来还能用。但前沿模型经常会被矛盾规则搞糊涂。

如果你手头有代码想检查，现在就能做一件很简单的事。在 Claude Code 里可以运行 `checkup prompt audit`，也可以运行 `Claude API prompt audit`。这是 Claude Code 里的两个不同技能，但它们会调用同一套底层代码。`checkup` 通常用来检查 Claude Code 自身的配置，比如 Claude Code 里的技能和提示词；Claude API 技能则是 Claude Code 中另一个独立技能，面向使用我们 API 的代码。两个命令遵循同一个原则，最终也会调用同一个底层技能，只是入口不同。

这些技能会检查 Claude Code 工作目录中的代码，包括技能、工具和提示词，找出这些反模式并替你移除。这个工具现在很受欢迎，Anthropic 内部很多人都在用，在 Twitter 上也挺流行。它很简单，而且常常能同时改善成本和性能。

## [3:49] 提示词审计能省下什么

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-04> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=229s>

**Lance Martin：** 这里举个例子。这是我做的一个合成评测，内容是客户支持工单，大约 50 条。我从 Opus 4.8 开始，模拟迁移到 Opus 5.5；过程中逐项加入反模式并测量结果。图中间的点，是把基准测试里所有反模式的影响取平均。

重点在这里：从 Opus 4.8 迁移到 Opus 5.5 后，如果一开始还带着这些反模式，成本确实有所下降，性能也略有提升，图上就是往左、往上走了一点。在这基础上再跑一次 prompt audit，性能和成本又进一步改善，原因有好几个。这个命令会移除那些核验仪式和“增强指令”，它们会让 Opus 5.5 白白消耗过多 token。

所以这个简单命令通常能减少 token 用量、节省成本；如果提示词里的矛盾让前沿模型困惑，也能提升表现。我很推荐这个命令。Anthropic 内部广泛使用，很多客户也觉得很有帮助。运行起来很简单：凡是通过 API 使用模型的代码都能检查，Claude Code 自身的配置也可以检查，确保提示词适合前沿模型。这是第一点。

## [5:30] 用好提示缓存

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-05> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=330s>

**Lance Martin：** 第二点，确保你在使用提示缓存。很多用户可能已经很熟悉了，但我还是想把这件事讲清楚。比如智能体会跨多轮运行，每一轮只增加一点内容，像一次工具调用；但上下文里有很多内容会在各轮重复出现，你不该为它们重复付费。这就是提示缓存的用处。

提示缓存的价格大约是基础 token 的十分之一，因此便宜很多。不同模型会有些差异，我记得现在大概是十分之一，具体价格可以查定价页面。总之它便宜得多，也快得多。所以多轮应用里要充分使用提示缓存。

问题是缓存要求前缀严格匹配，哪怕前缀只改了一个字节，缓存也会失效。构建智能体或多轮应用时，要小心别破坏缓存。这是关键。

如果你用 Claude API，Claude Console 提供了很好的诊断信息，可以查看应用的提示缓存命中率，这项指标非常值得跟踪。比如 Claude Code 会非常认真地追踪命中率，因为这显然关系到应用的经济性。你用 Claude API 构建应用时，也应该确保充分利用缓存。

一般来说，提示词可以这样组织：系统指令和工具属于所有会话都能全局缓存的部分；Claude MD 记忆按项目缓存；会话状态属于单次会话；消息则每轮递增。这就是提示词的组织思路。

关键是，在 Claude Code 里运行这个检查。如果你的项目通过 API 调用模型，就检查一下自己是否正确使用了提示缓存。它会运行诊断，找出改进机会，帮你重新组织提示词，以提高缓存命中率。这才是重点。

## [7:43] 成本最多可降 72%

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-06> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=463s>

**Lance Martin：** 这是个挺有意思的尝试。我和 Claude AI 团队的一些同事，把这个命令用在一批采用默认运行框架的内部基准测试上。我们发现，只运行这个命令，成本最高能降 72%，性能没有明显变化，因为其中一些评测框架没有正确使用提示缓存。

这个命令很简单，可以在你的 API 代码里运行，找出节省成本的机会，比如有没有用好提示缓存。它还会检查其他方面，稍后我会讲到，比如 effort 设置和提示词本身；但它尤其会检查缓存，确保命中率够高。

再次强调，优化提示缓存并不会损失性能，基本上等于白捡成本节省。所以，尤其是用 API 构建应用时，一定要认真、有效地利用缓存。

## [8:46] 设计 Claude 能持续优化的评测

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-07> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=526s>

**Lance Martin：** 接下来讲一些其他基本原则。前面说了提示缓存，也说了把提示词调整好，可以用 prompt audit 来检查。现在谈谈使用前沿模型时另外几件很重要的事。

Claude，尤其是前沿版 Claude，很擅长自我修正。如果你给它一套结构良好的评测，它就能围绕这套评测不断爬坡优化，稍后我会细讲。关键是评测要设计得好，要让 Claude 有路可爬。我们花了很多时间思考怎样设计评测，确保 Claude 能够成功地完成评测和爬坡优化。

好的评测通常有几个基本特征。这些是基础原则，不是什么 Anthropic 独有的东西，但值得快速回顾。图里有几条曲线，横轴大致是每次尝试使用的 token 数，也就是投入的思考量；纵轴是分数。最上面是前沿模型，中间是中型模型，下面是小模型，可以分别想成 Opus、Sonnet、Haiku。

一般来说，模型升级后，评测表现应该提高；增加思考量后，表现也应该提高。前沿模型还应该有继续改进的空间，不能已经饱和；不同运行之间的方差也应该较低。这些原则很简单，但确实很重要。

我看到不少很流行的评测也有这个问题：里面有许多含糊不清的任务，实际上封死了前沿模型继续提高的空间。你花了很多 token 在评测上爬坡，后来发现里面有一堆无论如何都解不了的模糊案例。看起来好像还有 20% 的提升空间，可没有哪个模型真的能做到。这样一来，你可能在一套实际上已饱和的评测上耗费很多 token 持续优化。所以把评测设计好非常重要。

可以试试 `Claude API build eval` 这个命令。它不会限定你的数据放在哪儿；你用什么追踪方案都行，把数据指给它就好。它是 Claude Code 里的一个技能，会运用刚才讲的原则，帮你测试评测并做合理性检查。

你可以告诉它要解决什么问题、关心什么、原始数据在哪里，比如要处理哪些调用轨迹。这个命令会带着你一步步构建评测集，展示数据和评测内容，并和你一起检查评分器及其标准是否合理。它会依据我们的一些最佳实践，引导你完成评测构建；我们也有一篇不错的博客文章介绍这些内容，我之后会分享。

## [11:47] 持续优化，但别过拟合

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-08> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=707s>

**Lance Martin：** 这和爬坡优化配合得很好。只要你做出一套在前沿仍有提升空间、方差低、并且会随思考量和模型规模按预期扩展的评测，就可以在上面持续优化。前沿版 Claude 很擅长爬坡：它能自主查看评测、自主改进，不需要你一直介入。只要评测做得好，Claude 就能在上面爬坡。

不过这里有很多地方可能出错，尤其容易对评测本身过拟合。一个典型例子是，基准任务有特定需求，只在这些任务里才会遇到。比如其中一项需要 OCR，于是你为了通过评测，给运行框架加了 OCR 工具；但生产环境里根本没有这类问题。结果就是对评测分布过拟合，优化结果无法用于生产。这种情况很常见。评测样例里某些独特措辞也可能造成类似问题。

又比如，爬坡时提示词可能逐渐针对评测分布的细节做了优化，却不适用于测试分布。过拟合是爬坡过程中一个主要风险。想象一下，你花了大量 token 优化某套评测，分数看起来漂亮，放到生产环境却毫无提升。你投入了很多钱和精力，最后发现成果不能用于生产，因为只是对评测分布过拟合了。

可以试试 Claude Code 里的 `Claude API hill climb` 命令。你搭好评测后，它就能替你进行爬坡优化。它通过一些技巧来应对过拟合，当然并不完美，你必须仔细审查、参与其中，并弄清楚到底发生了什么。不过它可以帮上忙。

具体流程是，它会把评测拆成训练集和测试集，这是统计学里的经典做法。爬坡时它只看训练集，只根据训练集中的失败来决定要改什么。每一轮它都看不到测试集，但会分别检查训练集和测试集上的表现变化。这能提供一个较早的过拟合信号：如果训练集在进步、测试集却停滞，就说明“可能过拟合了”。

它还会做一些更细致的检查，确保爬坡时并非只是在评测分布上过拟合，而是在以能用于生产的方式持续优化。当然，前提是你先把评测分布设计好；这正是前面构建评测阶段可以解决的问题。

## [14:58] 实例：把一项技能从 66% 优化上去

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-09> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=898s>

**Lance Martin：** 我来分享几个自己用过的具体例子。第一个就是 Claude API 技能本身。回过头说，它是 Claude Code 里的一个技能，让 Claude 全面了解我们的 API，也就是 SDK 和 API；它的回答必须以我们的文档为依据。

所以我根据文档做了一套评测集，测试这个技能。刚开始它对评测问题的表现不太好，正确率只有 66%。于是我搭了一个爬坡循环，让 Claude Code 能访问技能文本和文档，再让它迭代地查看评测失败，找出技能为什么曲解了文档里的内容。这里有各种小技巧，以后可以再详细聊。

重点是，在这个例子里，Claude 能自主找到合适的技能文本，大幅提升评测表现。下面的博客链接里我也谈到了这件事。这个例子很好地说明：评测范围明确，待修改的对象很简单——就是一个技能；再加上自主爬坡循环，系统就能显著改善表现。

只要这样搭好系统，评测范围仔细界定、修改对象又容易动手，Claude 就能快速迭代，大幅提高性能。这种方法适用于提示词，也适用于技能。简单、基于文本的对象，非常适合这种爬坡优化流程。

## [16:30] 用爬坡优化降成本：成本下降 90%

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-10> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=990s>

**Lance Martin：** 还有个挺有意思的技巧，很多客户都喜欢：爬坡优化也可以用来降成本。我给这个爬坡命令加了相关指引。如果你告诉它要降低成本，它就会寻找一种配置：性能至少持平，同时肯定能降成本。它会搜索 effort、模型和提示词等选项。

还是用刚才那套客户支持基准测试举例。我从 Opus 4.8 high 和一版基线提示词开始，告诉爬坡工具降低成本。它会搜索不同的模型与 effort 组合，每一轮都挑出能继续降成本、又不损害表现的方案。

这个例子里它先换成 Opus 5 low，性能大幅提升，成本小幅降低。接着它尝试 Haiku 5 low，表现略有下降，但成本降了很多。之后它决定调整提示词，把性能又拉了回来。最后，爬坡工具自主完成了成本降低 90%、表现还明显提高的优化。

如果你有一套评测，可以让爬坡工具在性能不变的前提下，通过调整 effort、模型选择和提示词，大幅降低成本。这是它的另一个很好的用途。

而且即使评测已经饱和，这种方法仍然有用。你可以说：“评测饱和就饱和吧，我不在乎性能，只想降低成本。”然后要求爬坡工具保持表现不变、尽可能压低成本。它可以搜索不同配置，往往会找到很有意思的方案。

比如大家通常会觉得，用更强的模型、降低 effort，可能比用较弱模型、提高 effort 更便宜，表现也更好。这就像让更聪明的人少花点力气，也能更准确地抓住目标、更有效地解决问题。这样实际用掉的 token 更少，成本也就更低。这是我们观察到的一条普遍规律，也已经融入这个爬坡技能。又一个好用的技巧。

## [18:53] 为运行数天的智能体搭建框架

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-11> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1133s>

**Lance Martin：** 我很快就开始回答问题，最后先补充几句。这算是呼应了今天上午听到的智能体相关内容，我想再强调一点：要充分释放前沿模型的能力，就得设计好运行框架，让它能最大限度发挥最新 Claude 模型的优势。

回看过去几年，横轴是时间，纵轴是人类完成一项任务所需的时长。你们可能见过这些基准曲线。回想一下，Claude Opus 3 只能自主工作大约 4 分钟。在那个阶段，能做的产品非常有限，基本就是自动补全或聊天。

到 2025 年，模型的能力增强了，能完成相当于人类一两个小时的工作。Claude Code 在 2025 年显然也取得了很大的进展。现在我们似乎正在进入一个新阶段，模型能处理相当于一两天工作量的任务。我觉得这已经超出了 METR 当前能测量的范围。

当模型能完成相当于数天的工作时，需要什么样的运行框架？考虑因素会变化很多，因为我们希望模型能长时间自主工作。那怎么确保它们安全、可靠？这里的考量会大不一样。

## [20:21] Managed Agents：把大脑和双手分开

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-12> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1221s>

**Lance Martin：** 这也是我们新推出的 API 之一 Claude Managed Agents 背后的动机。它的原则很简单：把大脑和双手解耦。我四月写过一篇工程博客介绍这个想法。

你可以把智能体运行框架看作大脑，把沙盒看作双手：运行框架在沙盒里写代码、执行操作。两者应该分开。特别是当运行框架或沙盒崩溃时，系统应该能够恢复。想象一下，你让智能体通宵工作，半夜沙盒崩溃了，那会非常恼人：状态、会话日志，全都丢了。

我们设计系统时，考虑的是 Claude 会长时间持续工作，所以必须能恢复。会话日志是一个独立对象，与运行框架和沙盒分离，而且只追加、不覆盖，可以用于恢复。运行框架或沙盒崩溃，都能从日志恢复。沙盒也可以恢复：一个沙盒崩溃后，可以启动新的；运行框架崩溃后，也可以通过编排器启动新的。

另一个重点是安全。Managed Agents 有个重要设计：Claude 永远不会直接拿到机密信息。机密保存在保险库里，也就是图顶部看到的工具箱中。保险库让 Claude 可以调用 API 密钥或其他机密，但看不到它们本身。毕竟，如果一个智能体要连续工作好几天，直接把敏感机密交给它，多少有些让人不安。所以安全是我们设计 Managed Agents 时非常重要的考量。

智能体能连续运行数小时、数天，甚至很快可能数周时，可靠性和安全就变得更加重要。今天上午你们可能已经听过相关内容。我最近和 CJ 发布了一篇博客，演示了一个用于定期更新上下文的自动化智能体。它能访问你指定的不同信息源，再把更新写入 Slack。这是个很简单、但高度可定制的自动化例子，也展示了这些基础组件如何协同：定时部署、运行在 Anthropic 基础设施上、安全存储机密，还有记忆功能。它是一个很好的端到端示例。

最后再说一次，你可以在 Claude Code 里运行 `Claude API magic sandbox`，再把博客链接给它。它会为你启动教程和示例，你就可以直接上手玩。这里的重点是……

## [23:06] 回顾

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-13> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1386s>

**Lance Martin：** 有很多方法可以搭建合适的运行框架，充分释放前沿模型的能力。提示词审计很重要；尤其是在构建长时间运行的智能体时，要有效利用提示缓存，控制成本。还要考虑为长任务设计运行框架，确保可靠和安全；评测设计和爬坡优化也很重要。

把这些都结合起来，就可以给智能体一个任务，比如一套评测，让它长时间运行、持续优化。你早上回来时，可能会发现评测表现已经显著提高。这就是我现在看到很多同事的工作方式：大家把更多时间花在评测设计上，明确指定 Claude 能够有效爬坡的任务，同时确保智能体执行时高度安全，能可靠地完成长时间任务。

看看时间，我想接下来直接进入问答，互动起来更有意思。这里有我的社交媒体账号。感谢大家花时间聆听。

## [24:27] 问答：评测设计能自动化到什么程度？（上）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-14> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1467s>

**Lance Martin：** 好，就从那儿开始。（笑声）这是个很好的问题：评测设计有多大程度可以自动化？我最近在 Twitter 上和 Hamel 交流过，他对评测很有见地。他对我们那个技能提过一个意见：它应该先带用户看数据。我同意，之后会对技能做些小调整。

回到评测设计，Claude 可以在构建评测时帮上很大忙。比如他举的例子里，是一个客户支持应用，有一批调用轨迹。首先要问：这里有哪些失败案例？哪些应该纳入评测集？Claude 很擅长从离线日志里扫描问题，像在线评估器那样指出可能出错的案例。

之后，让 Claude 先把原始数据呈现给你看也很重要。我准备把这一步加到技能里，相关 PR 已经开了。目前 Claude 会直接分析数据、构建评测，再把评测展示给你。我认为在中间加一个阶段，让你先检查数据，会很有帮助。不过，Claude 先给数据加注释、告诉你可以重点看什么，也很重要。所以我觉得让 Claude 协助评测设计并扫描数据，再由人来检查，是一种很好的结合。

检查完之后，你可以把合适的例子纳入评测集。我认为人在这个流程中仍然很重要，但 Claude 能提供不少帮助。

**Lance Martin：** 关于有人类反馈的爬坡优化：爬坡只需要一套评测，以及某种能让 Claude 判断好坏的信号。如果你把人类反馈转化成评测信号，那么完全可以基于这种评测结构做爬坡。

**Lance Martin：** 这也是个好问题：爬坡优化最好从什么对象开始？我之前展示过要修改的对象。我自己试过不少。文本很适合，尤其是提示词和技能，因为它们是明确的修改对象，而且我们知道它们会显著影响模型行为。因此修改范围受到约束，而且它通常和你评估的输出高度相关。

举例来说，我对技能做爬坡优化时，测试内容直接取自技能，所以两者之间的关联很明确。相比之下，我也试过对智能体运行框架做爬坡，但结果更难解释。你修改的是框架代码，每轮改动的差异更大，容易混淆；你可能改了很多东西，却和正在测量的输出信号没有关系。

这当然也做得到，人们确实在运行框架上做了不少爬坡优化。但我觉得会更棘手。提示词、技能这类文本是很好的起点，因为它们和模型行为的关联很清楚，也容易修改。

不过要小心：提示词很容易过拟合，我自己很多次爬坡优化都遇到过。即便做了训练集、测试集拆分等正则措施，提示词也很容易被 Claude 调整成一种只适合评测、不代表生产环境的形式。所以必须非常谨慎。它是个不错的起点，但要留意过拟合。

## [28:27] 问答：评测设计能自动化到什么程度？（下）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-15> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1707s>

**Lance Martin：** 好，接下来是“把提示词变成技能”。它们算是互补的。你是不是想问：比如走完某个标准操作流程后，什么时候该把它整理成技能？这问题挺有意思。我觉得 Claude 很擅长判断。你可以完成一个工作流程后直接问 Claude：“把这个做成一个技能。”我经常这么做。Claude 通常能发现你在重复做某件事，并建议把它变成技能。我的建议就是让 Claude 来做，直接告诉它：“把这个变成技能。”

通常在评测场景里，我已经有一个定义好的技能，可能只是一些模板式的起始文本，然后我会让 Claude 改进技能文本，让它在这套评测中表现更好。这是我常用的方式：先有一个技能模板作为起点，我也确定这件事应该做成技能。比如 Claude API 技能，它可以看作对我们文档的提炼：想了解某个主题，就去某个页面；想了解另一个主题，就去另一个页面。它一开始有不少细节问题和缺陷，所以评测表现不高。但我有一个起点，Claude 就能在这个基础上修改。

所以做技能时，通常先从某个基线开始，哪怕只是很粗糙的默认版本，也要给 Claude 一个可以开始改进的东西。这就是我通常会采用的方式。

## [30:04] 问答：如何评估开放式任务（上）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-16> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=1804s>

**Lance Martin：** 对于标准比较开放的领域，我觉得启发式评估器通常更合适。当然，如果能定义一个确定性的好坏判定，那最好不过；但像迷宫这类问题就不适用。我发现，结构良好的评分标准可以给出比较一致的评分。

首先，评分标准要让你自己作为人类能够理解。比如要给一段文本判好坏，你应该能看着标准，自己判断这段文本。第二，不要用随意的分数尺度。我经常看到有人要求从 0 到 5 打分，这太模糊了。标准要清楚、简单，最好是二元分类：好或不好。若要评估多个方面，可以设置多个二元分类器。最糟糕的是让 Claude 从 1 到 10 评分，噪声会非常大。

还可以做几项合理性检查：用不同模型来评分，比如 Sonnet、Opus 和 Fable。如果它们按你的标准评分却意见不一，这是个坏信号。再做多次重复运行，确保方差低、评分稳定。如果这些都做到，对于那些难以用明确规则判断的文本回答，LLM 作为裁判配合结构良好的评分标准，效果可以很好。

有人提到成对比较，这确实是个好办法。人和模型通常都更容易比较两个成品，而不是直接给一个成品打分。比如说“我更喜欢这个网页”，比“这个网页应该得 0 到 5 分中的几分”容易得多。如果问题允许，成对比较可以有效处理更模糊的评分。

这也回到刚才的问题：要仔细看数据。我说的“分布”，主要是指从某些案例中抽样组成评测集，并确保这些案例能代表你在生产环境里真正关心的内容。

这里有个值得注意的问题，叫对抗式抽样。选取案例时，如果只挑某一类模型失败的具体案例，就可能出问题。模型的能力是锯齿状的：Sonnet 5 做不了的例子，Opus 5 也许全都能解决，因为不同模型的强弱分布不一样，一个模型能力上的某个短板，换另一个模型可能就不存在了。

所以更好的做法是，根据第一性原理、你自己的判断，以及对生产数据的观察，选出困难或有意思的案例纳入评测；不要完全根据某个特定模型的失败来抽样。否则评测分布可能会沿着一个模型能力曲线的谷底塑形，升级模型后就不再有代表性。

有人问能不能用分桶评测，而不只是二元分类。我刚才说得有点过于绝对了，当然可以用。但一般来说，我看到有人把尺度弄得太复杂：设计了一个 0 到 10 的随意尺度，评分规则不清楚，甚至小模型都分辨不了。只要你的尺度经过认真设计，当然可以使用；关键是……

## [34:04] 问答：如何评估开放式任务（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-17> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=2044s>

**Lance Martin：** 只要评分尺度满足我们刚才说的条件，就完全没问题：方差低、不同模型评分可复现，人类评分者也能区分不同等级。二元分类只是简化问题的一个捷径。评分时通常希望用更小、更便宜的模型，所以未必想让 Fable 来做评分，具体也取决于你对成本有多敏感。这些只是建议，设计得好的多类别分类当然也可以。

还有人问，什么类型的问题值得做评测：个人用途也要做，还是只为生产级应用做？我觉得要看任务的重要性。如果是个人任务，但你觉得它很重要，完全可以做评测；这因人而异。我个人没有给很多个人自动化任务专门做评测。

举个例子，如果有人在金融行业，把个人工作流程的一部分自动化了，但质量特别重要，比如输出要对外分享，那即使是自己做的自动化，也绝对应该做评测。如果只是我的个人助理，比如我自己做了个帮我管理日历的应用，那我可能会做，也可能不做，要看具体情况。但如果这对工作很重要，涉及对外提供的成果，或者任务本身很敏感，那即使是个人智能体，也应该做评测。

**Lance Martin：** 有人问我更支持 LangChain 还是其他方案。我在 Anthropic 之前确实在 LangChain 工作过，但我不能替任何一方背书。我就不回答这个问题了（笑）。我用过很多方案。如果规模比较小，你当然可以自己搭，不一定需要复杂的可观测性系统。我们会给技能加一个简单的数据查看器。Claude 很擅长构建界面和可视化工具；如果你有很特别的数据想查看，它可以很轻松、成本也不高地帮你搭一个合适的应用。

**Lance Martin：** 还有个关键点：爬坡优化并不保证一定收敛。我见过很多次爬坡工具陷入停滞。我们在爬坡工具里加了一个后备流程，细节可以看博客：如果连续几轮卡住，它会把剩下的失败案例聚类，尝试找出问题。

常见情况是，人们没有先运行构建评测的命令，也没有认真构建评测集，就直接运行爬坡工具。它检查评测后可能会发现案例有歧义。比如最后那 20% 的失败，全是评分器有问题，或者指令含糊不清。这非常常见。工具卡住并不一定是 Claude 做不到，而可能是评测结构本身很差。爬坡技能会尝试替你找出这些问题。

我之前讲的那个爬坡例子，第二阶段也曾卡住。它于是把评测案例聚类，检查失败原因，发现了一批模糊案例，然后重写了这些案例。它可以替你做这件事，但这种情况很常见，绝不能假定爬坡一定会收敛。通常问题出在评测失败或配置不当。

**Lance Martin：** 我很尊重 DSPy 团队、Omar 和他的同事们。这其实是 Claude Code 内置的一个技能，而且是开源的。你可以把技能拿去放进其他环境，也许能和 DSPy 一起用。它只是一些依照这些原则搭建爬坡循环的通用指引。我没用过 DSPy，不清楚它的细节和结构，但这套技能指引可能兼容。如果你想在 DSPy 里实现或运行这套流程，技能是开源的。

## [38:07] 问答：开放式任务评分与 effort 设置

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-18> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=2287s>

**Lance Martin：** 这个技能是 Claude Code 内置的，而且也是开源的。你可以把它拿出来，放到其他环境里；如果愿意，也可以试试和 DSPy 一起用。它只是一些按照这些原则搭建爬坡循环的通用简单指引，所以可能兼容 DSPy。我没用过 DSPy，不清楚它具体怎么组织，但这套技能指引也许能配合使用。想在 DSPy 里实现或运行这套方法的话，这个技能是开源的。

**Lance Martin：** 有人问怎么选择 effort。对，这确实是个老问题。effort 让人困惑吧？我自己也觉得不好理解，确实不太直观。

如果你有一套评测，爬坡工具完全可以替你尝试配置 effort。我知道，准备一套评测并不容易，也不是每个问题都适用；但如果你已经有评测，它就能搜索不同的模型和 effort 配置。它遵循一个很简单的原则：……

## [39:24] 问答：为什么强模型低 effort 反而更便宜（上）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-19> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=2364s>

**Lance Martin：** 原则很简单：通常更强的模型配低 effort，效率更高、用的 token 更少，所以比弱模型配高 effort 更便宜。这往往确实如此。爬坡工具会先尝试不同模型的低 effort 配置，持续搜索，直到发现性能低于基线为止。

图里没展示这个结果，但我试过 Haiku 4.5；现在我们有了好不少的 Haiku 5.5。Haiku 4.5 配低 effort 时，性能明显退步，所以我们把这个数据点排除了。如果你有评测，爬坡优化是搜索合适模型与 effort 组合的好办法。

如果没有评测，更通用的 effort 建议就比较棘手、微妙。我一般建议先尝试更强的模型配低 effort，比如 Opus 5.5 low。更好的模型配低 effort，往往比弱模型配高 effort 更省 token，也更便宜。这是我最想留下的重点。

有人问是不是不该用 medium。我建议从 low 开始，需要的话随时可以调高。我喜欢“非常聪明的模型，但别让它太费劲”这个组合，它往往是成本和表现的甜蜜点。当然可以调高 effort，但很多人一上来就选 max，这会消耗大量 token。通常更明智的做法，是从一个较小但更聪明的模型、低 effort 开始，再按需要往上调。

我们在博客里谈过这件事。我现在没网，打不开页面，直接讲吧。effort 基本上是在告诉 Claude 要思考多深入：low 就是别想得那么用力，级别越高就是让它想得越深。这也是为什么，基础智能更强的模型配低 effort，有时会比基础 token 价格更便宜的弱模型配高 effort 更省 token。比如 Sonnet 5 high 会花很多 token 思考；更聪明的模型用 low effort 时，思考 token 更少，但起点的智能水平更高。这就是背后的直觉。

**Lance Martin：** 有人问爬坡优化的预算怎么设。运行这个技能时，它会询问预算，并追踪你分配给每轮爬坡的额度。当然，token 消耗过大确实可能发生，这又回到经典问题：评测设计必须做好。假如评测最后 20% 的问题根本无解，你可能会烧掉海量 token，去解决那些实际上无法解决的题目。

**Lance Martin：** 关于构建评测时人和 Claude 如何协作，我认为人仍然负责引导目标：我们究竟要评估什么，为什么重要？这里需要人的判断力。你真正想看到什么样的答案？

举个例子，Hamel 公开试用了我们的 build eval 技能。假设这是一个客户支持应用：哪些方面重要？你在意什么？这些都可以由人来引导 Claude。目标清楚以后，Claude 就能查看原始调用轨迹，找出应用可能在哪些地方没有达到目标。我觉得这是一种很好的协作方式。查看数据在这个过程中很有帮助……

## [43:25] 问答：为什么强模型低 effort 反而更便宜（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-20> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=2605s>

**Lance Martin：** Claude 可以帮你梳理数据：“我看了这些记录，这些案例看起来有问题。”这就像在线评估器：想象你有一个追踪系统和一个在线评估器，它会根据客户满意度评分，标出有问题的调用轨迹。你告诉 Claude 或评估器自己在意什么、想检查什么；它查看数据，挑出一批可疑案例。然后你审查这些案例、理解情况，再让它根据这些案例构建评测。这通常是 Claude 和人合作构建评测的一种很好方式。

有人问谁负责构建评测。我觉得要看问题本身和产品由谁负责，并没有严格按团队划分；产品负责人通常会承担这件事。特别是有了这类技能，构建评测和爬坡优化变得更容易，更多人就能实际参与评测设计。Anthropic 内部很多不同岗位的人都在构建评测，因为 Claude 可以深度参与并提供很多帮助。

构建评测运行器等繁琐工作，Claude 都能处理。所以关键还是前面谈到的：由人的判断来引导流程——我究竟关心什么？许多不同岗位的人都能提供这样的方向。

我想想有没有合适的例子……想到了：生成式 UI 的评测。有些情况会用成对裁判，对配置 A 和配置 B 做比较，判断哪种生成式 UI 更好。评分器进行成对比较，再把许多轮结果汇总起来，可能用类似 Elo 的分数表示。这是我见过的生成式 UI 成对评估案例。

我现在想不起更多例子，但大家一直在用 LLM 作裁判，比如评估检索任务、写作任务；也可以给调用轨迹分类，判断好坏。这非常常见。

爬坡优化的很多动机，其实来自自动化研究。模型越来越强，也越来越擅长自我修正。只要给它一个结构良好的问题，它就能持续爬坡。Karpathy 的例子就是一个不错的案例，虽然我记不清具体问题了。我认为这类设置可以用于许多不同的目标，比如降低损失值。关键是目标清楚、可验证，Claude 能查看目标并据此爬坡。

我还有其他自动化研究的例子，刚才没展示。这个命令主要是为基于评测的爬坡设计的，也就是有评测集和训练/测试拆分的场景。自动化研究更像是生成一个产物，再对其评分，比如观察损失值。不过，用同样的直觉稍微修改一下，应该也能很容易地适配自动化研究。重点是，当模型有一个明确、可验证、可衡量的目标，并能据此决定下一步时，它们非常擅长长时间自主工作和解决问题。这背后的直觉是相同的。

## [47:26] 问答：强模型低 effort 更省成本（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-21> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=2846s>

**Lance Martin：** 有人问能不能把爬坡优化扩展到自动化研究。方法上只是问题如何表述的差别。自动化研究最初更关注设计网络，比如解决一个有可验证目标的问题，像损失值。爬坡流程其实很相似：Claude 做实验、测量损失、查看结果，然后调整方案、继续尝试。循环本身一样，只是应用到了另一个领域。

你完全可以拿这个技能来试。比如给它 nanoGPT 仓库，让 Claude 自己想办法适配。如果你感兴趣，直接试就行。核心流程和直觉相同：模型很擅长自我修正和爬坡优化。

我在刚才的例子里同时考虑成本和表现，相当于对两个目标联合优化。你可以把多目标告诉 Claude，它通常会同时衡量这些目标并加以权衡，这是可行的。

有人问我试过的目标数量上限。我没有把目标推得特别多。通常看成本和表现，速度也可以算第三个维度；成本、表现、速度这三项一起衡量，感觉挺合理。目标越多，爬坡过程就越难，因为 Claude 要在多个目标之间平衡。不过还是做得到。也可以考虑一次只改一个因素，按顺序逐项优化。

**Lance Martin：** 有人问刚才那个提示词审计技能适用于哪些模型。这是我提到的所有方法里最简单、也常常非常有效的一项，先做简单的事就好。技能里的通用指引也适用于这个问题。

它对模型的划分不是特别精确。这些反模式是已知的，最新的前沿模型，比如 5.5 系列，确定已经不需要它们。但要往回追溯到哪一代模型还适用，就没那么清楚。我做过一些测试，大概到 Opus 4.5 左右，这些做法开始没那么必要；具体边界比较模糊，我也不能准确指出哪一代模型一定该删掉哪些东西。不过如果你迁移到最新模型，比如 Opus 5.5，就直接做提示词审计。最新的前沿模型肯定不需要这些旧模式。

有人提醒技能里也有按模型区分的注意事项。是的，它会考虑这一点。比如 Haiku 可能没那么自主，也许还需要多一点提示增强；我不确定这是否正确，只是举个可能性。技能里确实有一些针对不同模型的指引，会根据你正在使用的模型，判断哪些反模式已经不需要了。这是个很好的补充。

**Lance Martin：** 还有人问 effort 是不是硬性的 token 上限。不是，我应该把这点说清楚：它不是硬上限，而是在告诉 Claude 为解决问题投入多少思考。即使设置成很高的 effort，给它一个简单问题，它也不会毫无节制地花大量 token 反复验证。

## [51:27] 问答：强模型低 effort 更省成本（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-22> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=3087s>

**Lance Martin：** Claude 会判断不同问题需要多少思考，所以我也没有能直接证明这一点的评测。effort 更像是在告诉 Claude 应该多努力地思考。真正会拉开差距的是更难的问题，比如前沿级编程题：设置 extra high 或 max effort，可能会比 medium 或 low 消耗多得多的 token，但结果未必有明显差异，因为 Claude 会花更多精力核验答案。所以在前沿难题上，不同 effort 的 token 支出差异可能很大，需要更谨慎。

**Lance Martin：** 有人问，这种做法和训练的关系如何。可以把模型看作拿到一个奖励或目标，然后尝试修改系统，以改善这个目标。从理念上说，这和训练有相似之处。我们也借用了训练中常用的一些原则，比如训练集、测试集拆分。

有意思的是，这些是模型部署后的运行时修改。模型已经上线后，你仍然可以修改提示词或技能，在自己的具体领域应用一些训练时使用的原则。这就是大致思路。

有人问 Claude 是否知道自己正在被评测。对，这确实是个问题，我们也发表过不少相关内容。在训练的不同阶段，这当然是一个担忧。对于我们现在讨论的场景，我觉得它也可能是问题，但更大的实际风险通常是过拟合。Claude 也许知道自己在被评估，但它会根据给定的评测分布去优化目标。

经典情况是，它找到一些提示词技巧或调整方式，能显著提高评测分数，却不适用于生产环境。我经常看到这种情况。未必是 Claude 知道自己被测之后表现出什么意外行为；更常见的原因是你给了它提示词，它就找到办法把提示词调整到能让分数上升。我们用训练集、测试集拆分等方法来做正则化。所以，对这个场景来说，过拟合是更实际的担忧。当然，模型是否意识到自己在被评测，是一个更广泛的现象，我们也在一些研究博客里讨论过。

**Lance Martin：** 有人问有用的最小评测集多大、训练集和测试集应该怎么拆。我没有深入研究过这个问题。坦率地说，直接问 Claude 就好。设置评测、运行命令时，Claude 有一些启发式方法，会根据你要测量的信号来判断评测集需要多大。技能里也有相关指引，你可以和 Claude 一起调整。

我没有具体研究过不同评测集规模的细节。我更担心的是过拟合和方差。如果样本特别少，它们真的能代表你关心的事情吗？这时更容易过拟合，也可能带来更大的噪声……

## [55:27] 问答：强模型低 effort 更省成本（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-23> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=3327s>

**Lance Martin：** 小样本不一定能代表你在生产环境里真正关心的情况，更容易被过拟合，噪声也可能更大。总之，样本特别少时，这些都是会遇到的问题。

## [55:41] 问答：如何对超长任务做爬坡优化（上）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-24> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=3341s>

**Lance Martin：** 有人问，怎样对持续时间特别长的任务做爬坡优化。这也正是我为什么通常建议先从提示词这类简单对象入手，因为它们修改起来很快。你说得对，有些场景里的改动本身就需要很长时间，这会让爬坡困难得多，因为每轮任务耗时更长。

这就回到最后提到的运行框架设计。如果要做持续很久的爬坡优化，你需要能稳定运行数小时甚至数天的框架。我们内部已经有这样的基础设施，比如 Managed Agents。这样做基础设施投入更大，也更难，因为会遇到基础设施故障，而且需要等很久才能看到效果信号，但确实可行。

有人提到单轮和多轮评测。构建智能体时，通常需要多轮评测。Claude 可以帮你做，尤其是 build eval 命令：把一批调用轨迹交给它，它能帮你挑选适合纳入评测集的轨迹。

评分方式有很多种思路。评估器可以看完整的轨迹过程，也可以只看智能体的最终结果。build eval 命令提供了不少指导。如果你关注某个特定智能体，把调用轨迹交给这个命令，它应该能有效地帮你设计评测。你也可以明确告诉它自己需要多轮评测，以及正在考虑什么方案。

有人问上下文工程中，哪些做法真正能提升可靠性、哪些技巧被过度吹捧。我认为一个关键思路是递归语言模型（RLM）；我以前提过，论文里也提过。我觉得 RLM 的想法很好，我们在这里也采用了类似思路。

对于上下文工程的可靠性，一个很重要的做法是把大脑和双手分开：让上下文对象独立于运行框架。运行框架可以查询这个独立存在的上下文对象。这样有很多好处，首先是上下文总能恢复。

另一种做法是只保留消息历史，压缩上下文时，被压缩掉的内容就彻底消失；如果没像这里这样备份，就再也找不回来。我很喜欢这种架构，它有利于上下文工程的可靠性，也符合 RLM 工作倡导的思路：把上下文对象和模型分开，并通过不同机制让模型查询上下文对象。

在我们的系统里，运行框架通过不同工具查询会话日志。我觉得这是个很好的架构，也是我发现有助于可靠性和可恢复性的一个技巧。构建长时间运行的智能体时，很难预先知道以后哪些信息会重要。压缩上下文时，你不一定知道之后是否还要回头查询被总结掉的内容。如果它像这样保存在独立对象里，就随时都能查回来。RLM 的工作在这方面很有启发。

## [59:43] 问答：如何对超长任务做爬坡优化（续）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-25> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=3583s>

**Lance Martin：** 这也是我们为什么要花很多时间设计好的评测。模型本身有随机性，而且很多工作场景的结果并不容易验证；并不是所有任务都是编程题，智能体还会处理更依赖判断、更开放式的输出。

在这些场景里，必须认真设计评测，给 Claude 一个能够持续优化的目标。刚才谈到的验证器设计、清晰的目标、明确的评分尺度、多个模型都能验证结果、低方差，这些在设计任务时都非常重要。

正如这场演讲的主题，要充分释放前沿模型的能力，就得在前期投入大量时间，设计一套很好的评测。如果你让模型去优化一套结构很差的评测，它不会有进展；这不是模型的错，而是你没把评测想清楚，里面可能有不可能完成或含糊不清的案例。所以核心信息之一是：前期要认真投入评测设计，为前沿模型创造成功条件，真正释放它们的能力。这也是演讲标题的由来。

时间可能差不多了，大家大概也累了。我昨晚刚参加完婚礼，所以自己也很累，时间确实挺巧。不过很高兴来到这里，今天的问题都很好。我们再回答一个问题吧。

**Lance Martin：** 有人问，模型一直变强，应该如何调整评测来跟上？简单说，随着模型越来越强，评测分数也应该提高，就像图里展示的那样。如果没有提高，我会回头检查评测设计是否合理。

确实，我们经常看到模型很快就把评测做满了，所以需要不断开发新的、更难的评测跟上模型进步。要设计出真正能挑战今天最强模型的评测，其实很难，比如 Fable 和 Opus 5.5。设计能够测试最强模型能力的好评测，是一个持续不断的挑战。

如果你几年前做过一套评测，模型变强后，分数应该持续上升。如果没有，我会怀疑评测本身有问题。这是我的重点。

我也看到一些调用追踪和相关公司在这方面做了很有意思的工作。一种常见流程是：智能体部署后生成调用轨迹，在线评估器查看并评分；分数较低的轨迹被放进离线评测集；然后在这套评测上做爬坡优化，再不断重复。这是很合理、也很好的模式。

这种流程会针对生产环境中失败的案例持续优化。等这些案例都能通过，就把它们加入回归测试。整个循环继续进行，直到生产环境中的失败很少。这是组织评测循环的一种好方法。LangChain、Riza、Braintrust 等公司都提供了这类外层循环的产品，看起来相当有效。

难点在于在线评估器如何定义：你怎么知道生产环境里的“好”是什么？哪些案例应该纳入离线评测集？这并不容易。这个领域现在有很多产品在做，我没有密切跟踪各家追踪和可观测性公司的最新进展，但据我了解，这是它们非常活跃的产品开发方向。挺有意思的。

## [1:03:46] 问答：如何对超长任务做爬坡优化（结束）

<https://pod-exp.pages.dev/ys6YQ2yfBpM/#chapter-26> · YouTube <https://www.youtube.com/watch?v=ys6YQ2yfBpM&t=3826s>

**Lance Martin：** 好，那我们就让大家先回去了。很高兴见到各位，欢迎随时通过各种渠道联系我。谢谢大家抽时间参加。
