FIELD NOTES 首页 / AI Engineer
AI Engineer播出 2026.11.0731:228 章约 16 分钟读完整理于 2026.11.08

如何以低 70% 的成本获得前沿编程表现——Nouha Dziri,Cohere

Cohere 研究科学家 Nouha Dziri 分享了如何设计编程智能体团队,让额外算力真正转化为任务表现。团队能比单个智能体多拿近 10 分,但成本也可能高出数倍。她通过 ProgramBench 和 Commit0 实验说明,关键不是盲目增加智能体,而是识别任务瓶颈:黑箱逆向工程需要并行探索,软件实现任务则可能更受实现能力限制。研究还发现,强主智能体搭配便宜工作智能体可以接近全强模型团队的表现,同时显著降低成本;大量同伴沟通并未带来更多奖励。最后,她讨论了大规模智能体团队的自组织、沟通机制与安全问题。

01 0:02 1,027 字

开场:如何降低多智能体编程成本

Nouha Dziri

大家好,我叫 Nouha,是 Cohere 的高级研究科学家、Mila 的产业界副成员,也是艾伦人工智能研究所的兼职首席研究员。今天很高兴和大家聊聊怎样优化智能体团队,以低 70% 的成本获得前沿编程表现。这项工作是在 Cohere 完成的。

传统上,提升智能体推理时表现有两种办法。第一,让它想得更久,也就是沿着更长的推理链顺序增加算力。第二,多采样:并行运行许多彼此独立的尝试,再把结果汇总起来。

但智能体接手的任务越来越长,可能要浏览大型代码仓库、编辑代码,还要花好几个小时调试自己的工作。这时上下文窗口可能会被塞满;运行越久,等待时间也越长。多采样也解决不了这个问题,因为每次尝试都仍然要独自完成整个任务。

那如果把工作拆开呢?由主智能体保留整体任务,再把子任务分派出去。每个工作智能体都从全新的上下文开始,可以读文件、跑测试、查日志,最后只把精简的结果交回来。这样主智能体能掌握全局;如果任务可以拆解,而且各智能体能处理互不依赖的部分,完成速度就可能更快。

这是一种扩展推理时算力的新方式:团队协作。把任务交给一组编程智能体,让它们替你完成。不过,扩大团队的成本很快就会变得很高。智能体越多,token 预算就越可能暴涨,这也带来一个更难的问题:团队到底该怎样组织和协调,才能让智能体有效合作?

这正是我们想回答的问题:怎样编排团队,既提高效果,也提高效率?效果好,意味着解决更多任务、拿到更高奖励;效率高,则意味着达到目标时不会把预算烧光。

既然现在的模型能力已经很强,我就在想:如果把一道极具挑战性的编程任务交给一群智能体,看看它们能做成什么样,会怎样?我们原本以为它们会自动形成清晰的小组、妥善拆分工作、共同搭建、顺畅沟通并做好协调。但实际情况并非如此。智能体更愿意自己解决任务,各自跑开去构建自己的版本。即使我们要求它们沟通,它们谈论的内容很多时候并不重要,有时还会互相妨碍。它们也更倾向于把消息发给主智能体。

于是我们开始琢磨,怎样设计团队才能同时提高奖励、降低成本,最好还能缩短延迟。我们希望弄清楚多智能体框架应该是什么样。团队设计有很多选择,每一种都会影响表现和成本。

首先是组织方式:团队该怎么搭?谁来领导?工作进行到哪个阶段才让工作智能体加入——规划、实施,还是验证?第二是沟通:智能体应该彼此直接交流,还是只向主智能体汇报?第三是团队规模:配几个工作智能体才划算,一个、两个、十六个,还是一百个?第四是模型:该用什么模型、各自承担什么角色?

02 4:02 988 字

团队设计与实验框架

Nouha Dziri

便宜的模型能不能在某些角色里完成同样的工作?最后还有软件工程流程本身:我们应该把更多工作智能体分配到规划、实现还是验证?

我们把团队设计看作一个算力分配问题,关注的是:相对于单个智能体,多花一美元能换来多少奖励?从单智能体出发,推理时多投入的下一美元,应该放在哪里才能得到最多奖励?这是我们要回答的问题。我们把效率定义为多个因素的函数:工作智能体介入的阶段——实现、规划、验证,或同时参与多个阶段;工作智能体所用的模型能力强弱;工作智能体的数量;以及主智能体所用的模型等。

为了回答这个问题,我们把多智能体框架设计成自上而下的层级结构,刻意保持框架精简。主智能体会根据任务动态决定团队规模,以及由谁做什么。我们让框架的每个部分都可以单独调整,这样每次只改变一个设计选择、其他条件保持不变,就能观察它如何影响奖励和成本。

更具体地说,编程智能体团队通过 Bash 工具在共享工作区里操作。主智能体接收任务,再通过一个叫作“委派智能体”的工具分派工作。工作智能体只看到自己的子任务,完成后向主智能体汇报;它们也可以彼此直接沟通。主智能体可以根据任务决定只启动一个实现智能体,或者启动一个验证智能体等。

主智能体还会决定启动多少工作智能体、如何组合和汇总结果,也可以恢复或终止某个工作智能体,或介入监督。例如发现错误时,可以告诉工作智能体哪里做错了、需要修正什么。

你可能会问:“其他工作智能体在干活时,主智能体做什么?”我们测试了两种方式。一种叫阻塞式主智能体:分派子任务后就等着,直到每个工作智能体都汇报,中间不做别的。另一种是异步主智能体:它会继续工作,同时接收其他工作智能体陆续返回的结果,也可以监督它们、给出反馈。

我们用一个叫 ProgramBench 的基准测试来评估。它本质上是逆向工程任务:智能体从一个空工作区开始,只拿到原始程序的可执行文件,可以运行但不能读取源代码,还会收到一些文档。它需要通过探测程序来发现接口、边界情况和行为,再写出表现相同的新实现。

这些任务极具挑战性,范围包括 SQLite、PHP 解释器等。比如在官方排行榜上,针对 FFmpeg 任务,表现最好的模型也只通过了 10% 的测试。这些测试用的已经是前沿模型,因此它们很有挑战性,也适合用来研究我们的团队设计。

那么,团队能不能胜过单个智能体?答案是能,但成本会达到单智能体的四到七倍。图里可以看到……

03 8:04 1,003 字信息密度高

提示词如何改变团队表现

Nouha Dziri

使用精简提示词时,由阻塞式主智能体带领的团队比单个智能体高出将近 10 个百分点,但成本大约是后者的四到七倍。阻塞式主智能体表现更好,不过成本更高,完成所需时间也更长。

我们发现,异步主智能体不知道什么时候该等:工作智能体还在探索时,它就根据自己的猜测开始构建。等工作智能体的发现终于返回,它已经往前走了;于是它要么忽略这些结果,要么回头重做。有时工作智能体还在运行,主智能体就认定任务已经完成、准备提交,工作智能体的成果因此白白丢掉。阻塞式主智能体不会遇到这个问题,因为它会等工作智能体汇报,再整合成果并提交。

接下来我想强调提示词是否精简。我前面提到,早期实验用的是一个精简提示词。这个问题非常关键:智能体怎样工作,取决于我们给它的提示和指令;基本上,我们让它做什么,它就会照着做。最初我们尽量把提示写得很短,只告诉主智能体任务是什么、应该创建子工作智能体、向它们说明任务,并告诉它们可以用哪些工具。我们这样做,是想观察智能体自行工作的表现:它们需要很多指导吗,还是简单提示就够了?

后来我们也试了非常详细的提示,明确规定模型该怎么做、不同工作线是什么、应该遵循什么计划。我们告诉它要委派工作,贯穿整个实现过程创建智能体,从探索和规划到实现;还要创建对抗性工作智能体来验证任务等。效果确实好很多。和精简提示相比,单个智能体只靠改进指令就提高了将近六个百分点。提示会提醒它们不要互相妨碍、应该把文件写进指定目录等。这需要大量指导和提示词调优,但并不理想,因为我们花了太多时间调提示;这些智能体本应足够聪明,能自己弄清楚怎么做。

详细提示让异步和阻塞式团队的表现都提升了,异步主智能体也追了上来。只要告诉主智能体如何协调,它就知道什么时候应该等待,从而解决了前面提到的问题。不过团队虽然比单个智能体做得更好,成本还是非常高,达到单智能体的六到七倍。

于是我们想:既然团队能够胜过单个智能体,却要花更多钱,如果团队是增加推理时算力的一种新方式,下一美元应该投在哪里?能否优化智能体配置,在获得很高奖励的同时大幅降低成本?

为回答这个问题,我们使用同一个主智能体,但只让工作智能体参与软件工程流程中的一个阶段。第一个设置里,工作智能体只负责规划和探索。主智能体把任务交给它们,各自去探测那个二进制程序,弄清楚该采用什么方案,再把计划汇报给主智能体;实现和验证则由主智能体负责。第二种设置是让工作智能体负责实现,主智能体……

04 12:05 964 字

把工作智能体放在流程的瓶颈处

Nouha Dziri

第二种设置里,工作智能体负责实现,主智能体负责制定计划、拆分工作并分派给它们。它们完成实现后,把代码交回主智能体,由主智能体自行验证。

第三种设置里,主智能体同时负责规划和实现;工作智能体负责最后的验证阶段,再把结果交回主智能体,由它决定是否提交。

我们想知道额外的智能体究竟放在哪里回报最高。结果显示,在 ProgramBench 上,把额外智能体投入规划阶段最划算。先看使用精简提示的单智能体,再看采用 PIV(规划、实现、验证)详细提示的单智能体,表现已经有一轮提升;用详细提示的团队又进一步提高了表现。但如果把更多智能体分配去做规划,表现几乎能赶上 PIV,同时成本只有一半左右。

所以,额外智能体在规划阶段回报最高,也就是在任务的瓶颈处投入资源。这个基准只给智能体一个黑箱可执行程序,它必须先弄清程序的行为,再详细规划要先实现什么,因此规划就是瓶颈。我们还计算了前面提到的平均效率:在规划上多投入一美元带来的奖励,几乎是投入实现或验证阶段的 1.6 倍。

反过来,在实现或验证阶段增加智能体数量并没有明显帮助,只是抬高了成本,表现仍和单智能体差不多,不值得。ProgramBench 只提供黑箱可执行文件,因此真正的瓶颈是探索发现。多个规划智能体可以并行探测程序,带来很大收益。

这也解释了为什么规划阶段的工作智能体有回报,而实现或验证阶段没有。ProgramBench 会提供二进制程序和文档;在动手写代码之前,必须先弄清楚程序究竟怎么运行,所以发现过程才是真正的瓶颈。

也可以从上下文的角度理解:单个智能体独自在自己的上下文里探索文件、探测程序,仍可能漏掉边界情况。相比之下,多个工作智能体从各自全新的上下文出发,分别探索程序的不同部分,再把精简报告交给主智能体。这样主智能体能学到比独自探索更多的信息。

为了更清楚地解释这一现象,我们分析了数据,绘制了主智能体在不同阶段委派工作的情况:规划、实现、验证,以及覆盖所有阶段的设置。图里的每一行代表一次运行,时间从左往右。黄色表示规划,蓝色表示实现,绿色表示验证;每个点表示主智能体向工作智能体派发了一项工作。

在规划指导的设置里,所有委派都集中在最开始、写代码之前。工作智能体先去探索并汇报,然后主智能体再开始构建。而在完整的 PIV 指导下,工作智能体会持续参与不同阶段的工作。

05 16:08 929 字

只在早期探索时集中委派

Nouha Dziri

完整 PIV 指导下,工作智能体的分配起初也会有一波高峰,但主智能体之后会一路持续委派。又多花了 830 次调用,却没有带来任何收益,只增加成本。成本大约到了 500 美元,表现却没有提高。规划阶段的奖励相同,但我们测得每次调用带来的奖励是 2.4 倍。真正有效的是早期集中进行一轮探索,而不是从头到尾不停委派。

为什么实现阶段的工作智能体效果不佳?首先,前面说过,瓶颈在规划。如果规划没做好,后面就很难成功。只有主智能体负责探索时,它发现所有边界情况、摸清整个二进制程序的能力有限,基础就不扎实。之后每个工作智能体只拿到一小块任务,看不到全局,各自实现功能时就会出错;而且它们还是在薄弱的基础上继续构建。

你可能会问,为什么不给工作智能体更多上下文?我们试过。但上下文更多后,它们反而不守各自任务的边界,会兴致勃勃地额外添加没人要求的功能,互相妨碍。另一个问题是,它们本该通过沟通商量谁负责什么,避免冲突和重复工作,但它们并没有这样做。它们各自埋头干活,84% 的消息直接发给主智能体,没人知道其他人正在做什么。有时主智能体会不堪重负,也没法把问题所在清楚地传达给其他工作智能体。

当实现不完全正确时,主智能体就得弥补差距,处理重复工作、把各部分拼接起来。结果是延迟上升、奖励下降,而且成本也更高。

到目前为止我讲的是 ProgramBench,我们也在 Commit0 上做了实验。结果不一样,团队层级和资源分配也会因任务而异。ProgramBench 的瓶颈在规划,所以增加规划智能体很有帮助;但 Commit0 不是这样。Commit0 给了代码骨架,文档和单元测试对工作智能体都是已知的,计划基本上已经摆在眼前。要提高奖励,瓶颈在实现:代码得写对。把实现阶段的智能体数量翻倍,带来了最大的提升。这里我就不展示具体结果了,论文附录里有。

结论是,应该把更多智能体分配到当前任务的软件工程瓶颈阶段。既然规划已经让我们以一半成本拿到了相同奖励,我们还想知道能否进一步降本。为此我们做了一些实验,研究 GPT-5.6 的三个模型:Luna、Terra 和 Sol,它们的能力和成本依次升高。问题是,让最强的 Sol 继续担任主智能体、让便宜模型担任工作智能体会怎样?

06 20:10 920 字

强主智能体搭配便宜工作智能体

Nouha Dziri

前面那个 P 设置全部用 Sol 模型;主智能体会动态决定团队规模,平均启动五个智能体。现在,我们从 PIV 改成把更多智能体放到规划阶段。把 Sol 子智能体换成便宜的 Luna 后,表现几乎不变,成本却降低了 60%。表现略微下降了一点,但相较单智能体,我们仍然提高了奖励,同时降低了成本。

反过来,主智能体能不能也用便宜的?我们把从便宜到昂贵的主智能体依次设为 Luna、Terra、Sol。可以看到,模型能力越强,表现越好,成本也越高。那同质团队会怎样,比如 Luna 搭 Luna、Terra 搭 Terra?随着模型能力增强,结果也按预期变好。但我们发现,强主智能体 Sol 搭配 Luna 工作智能体,表现可以和 Sol 加 Sol 一样,成本却低得多。

反过来,便宜的工作智能体无法弥补较弱主智能体的不足。可以这么说:主智能体决定表现上限,工作智能体决定价格。Terra 搭配 Luna 工作智能体的表现,仍像 Sol 单独工作一样,大约是 51% 对 57%。这也和 Meta 最近关于推理的研究相符:他们提到,更好的控制器能提升同一组工作智能体所能达到的效果。

前面由主智能体自行决定要启动多少工作智能体,平均是五个。现在我们想自己控制各阶段的智能体数量,于是固定团队规模。我们选用 Sol 主智能体和 Luna 规划智能体,因为这种组合的奖励与成本关系最好,并把规划智能体数量从两个增加到十六个。

十六个规划智能体的团队,比全部用 Sol 做规划的团队便宜 38%;比 PIV 设置中每个阶段都安排工作智能体的方案便宜 70%。由于预算限制,我们没法继续增加智能体数量,但效果似乎还在持续上升。当然最终会有上限,不过这个做法确实有效。好消息是,成本并没有比五个 Sol 全部投入规划的团队更高。

我们也试了扩大实现或验证团队,都没有帮助。正如前面看到的,向这些阶段增加智能体没有收益,原因包括基础不牢等因素。

最后一个问题是智能体如何沟通。我们给每个智能体一个发送消息的工具,让它可以联系共享沙箱里的任何其他智能体。我们想了解它们是直接沟通,还是经由主智能体沟通,以及沟通会让表现变好还是变差。我们观察消息具体流向来回答这个问题:

07 24:12 1,063 字信息密度高

智能体之间的沟通到底有没有用

Nouha Dziri

84% 的消息都从工作智能体发给主智能体。工作智能体彼此之间的消息非常少,每项任务不到一条。即使它们可以互相交谈,实际行为仍像层级组织:做好自己那一块,再向上汇报;主智能体再把信息转给对应的子智能体。所有模型都呈现出这个规律:主智能体和工作智能体交谈的次数远多于工作智能体彼此交谈的次数,Claude Opus 4.7 也是如此。我们还在 Gemini 等模型上做了实验。

我们也想知道,工作智能体之间增加沟通能不能提高奖励。实验里没有发现它有帮助,我来解释原因。先看图左侧,大约一半 Luna 消息根本没送达,因为格式不正确,被框架拒绝了。中间的图显示,Sol 发出的消息文本量大约是 Luna 的三到四倍。采用 PIV 指导时,能力更强的团队总体会发更多消息,主智能体也更积极地引导工作智能体。模型能力越强,消息往往也越多。

但右侧的图显示,话多不等于奖励高。Sol 和 Terra 加上消息功能,结果基本没有变化,差别落在噪声范围内;Luna 团队的得分反而下降了四到七分,看起来沟通让它们分心了。我们发现,消息大多只是把状态汇报给主智能体,而主智能体本来就会收到每个工作智能体的结果,所以这些沟通只是额外开销,没有重要内容需要讨论。

不过我想说清楚:我不是说智能体之间的消息沟通没有必要,也不是说不该做。我认为它是必要的。智能体数量扩大后,它们应该能高效协作;团队成员不能总是通过经理来交流。这种现象可能也来自我们搭建的框架和任务本身:主智能体把工作拆分开,确保每个子任务彼此独立,再直接交给工作智能体。它们不知道共享沙箱里还有哪些智能体。我们虽然给它们互相发消息的工具,却没有让它们看到其他成员的存在,因此要额外费劲才能联系;也许只要多一点提示,告诉它们可以互相找人,就能鼓励它们发现“这个智能体在做类似的事”,或者“我需要帮忙,去找另一个智能体”。这部分留待未来研究。

我们还想知道,其他前沿模型会不会领导团队。我们用相同框架和工具测试了另外五个模型家族,包括转写中提到的 Opus 4.8、4.7、4.5,以及 Gemini 系列。观察到的情况是:5.6 团队经常委派,奖励最多提高七分;Claude 的表现也类似,奖励提高近六分;但 Opus 4.7 很少委派,收益很小。Haiku 和 Gemini 虽然像 5.6 一样积极委派,却没有获得提升。

这里的结论是,有两件事必须做好:主智能体要选择委派——这关系到由谁完成什么工作;而且它还必须真正利用工作智能体返回的成果,并在合适的任务阶段进行委派。

接下来是三点总结……

08 28:13 781 字

总结与未来方向

Nouha Dziri

有三点值得记住。第一,团队现在是一种扩展推理时算力的新方式,但代价是成本会高出数倍。我们的奖励最高提高了 10 分,这当然很好,但仍然非常昂贵。我们尽力优化智能体团队,也取得了一些成效,不过还有很多工作要做。核心结论是:把智能体放在哪里,比放多少个更重要。要找到瓶颈,并在那里扩充团队。这才是最关键的。最后,团队里不必人人都很强:强主智能体搭配便宜的工作智能体,只需一小部分成本,就能接近前沿模型的表现。

接下来有哪些问题?我们非常期待继续研究这些开放问题。第一是层级组织和自组织之间如何取舍。我们的工作在主智能体—工作智能体的层级结构中最多测试了 16 个工作智能体;但如果团队有几千个智能体,该如何组织、沟通和分配算力?给定任务、预算和截止时间后,智能体能否自己设计团队?我们认为可以,但还需要仔细研究。

第二,我们认为需要探索其他沟通方式。正如我提到的,我们观察到 84% 的消息从工作智能体发给主智能体,工作智能体彼此之间只有 4%。如果编程项目规模不断扩大,超过单个主智能体的处理能力,团队能否形成有效沟通?这种能力会自然出现,还是需要训练?主智能体又该如何根据任务调整?不能每来一个任务,就花大量时间优化提示词、给主智能体写非常详尽的指令;主智能体应该能根据任务自己决定怎样组织团队。

最后是多智能体安全与安保。我怎么强调都不为过,尤其考虑到 Penny Lane 事件。现在有些智能体团队可以在完全无人监督的情况下全天候自主运行,而且能力很强。我们面对的不再只是单个智能体,而是智能体团队,甚至智能体蜂群。关键问题是:如何保护我们的系统和基础设施?我们必须尽快找出让这些模型与人类目标保持一致的方法。

最后,谢谢大家听到这里。特别感谢本文第一作者 Kenan 和 Daniel 的辛勤工作。想了解更多,请通过屏幕上的二维码查看论文和博客。非常感谢大家收听。