百万 AI Engineer 订阅者特别节目
今天这期很特别,我们的 AI Engineer YouTube 频道订阅者突破了一百万。还没关注的话,欢迎去订阅。今天的嘉宾是 Mihail Eric,他在斯坦福教《现代软件开发者》,这门课最近因为涵盖了几乎所有 AI 原生开发实践而火了;他同时也是 Monaco 的 AI 负责人。所以他既教书,也亲自做实践。下周来参加 AI CODE Summit 的朋友们,我们会一起庆祝过去一年编程领域取得的巨大进展。我很期待聊聊如何对抗“AI 垃圾代码”(slop)、System 1 模型,以及怎样把目标定得更高,对代码里的各种东西做大规模重写。现在做 AI 工程师从来没有这么令人兴奋过。一百万 AI 工程师只是个开始。我们进入访谈吧。好,我们现在在演播室里。
Mihail Eric 与斯坦福 CS146S
我们现在和 Mihail Eric 在演播室。他是斯坦福的兼职教授,也是 Monaco 的 AI 负责人,欢迎你。
谢谢,很高兴来这里。
你的课引起了我们的注意,你们正在第三次更新……哦,是第二次开课吧?斯坦福的 CS146S《现代软件开发者》。现在进入职场的这代初级开发者、初级工程师,应该会是第一批真正经历这场转变的人。我看了课程大纲,发现里面讲的几乎就是我们一直在聊的内容。所以我时不时会请像你这样涉猎很广的人来,一项一项聊,把每个领域的最新进展讲给大家听。你也会对所有嘉宾这么做吧?
当然。
说说这门课的来历吧。你当初为什么想开设 CS146S?
这是第二次开课,我去年秋天第一次教。那是 2025 年秋天,还在 Opus 4.5 之前。其实早在那之前,这门课就酝酿了一年左右。大概 2024 年 11 月,我看到编程智能体领域发生了很多事。那时的智能体还比较早期,但开发者的工作方式、完成工作的速度,已经有了很大的变化。网上关于具体方法的内容还只是零散的博客文章和资料。如果想认真学会怎么做,信息并不成体系。我就想,能不能围绕这些内容设计一套更正式的课程?
我本科毕业于斯坦福,一直梦想着有一天能回来教点东西,把自己受过的教育传递下去。我也一直很关注教育。我找朋友 Chip 聊了聊,她也教过一门课,应该是《机器学习系统设计》。我问她课程设计过程是什么样的,从她的课程构思里得到很多启发。之后我把想法整理成课程方案,花了大约九到十个月,从 2024 年秋天一直到 2025 年年中后期,提交委员会审批、论证这门课为什么应该开设。最后在 2025 年秋天第一次开课,反响很好,学生很感兴趣,甚至有一篇《商业内幕》的文章专门写了这门课。
今年变化很大,尤其是自主编程智能体的发展,达到了以前没有见过的程度。所以我觉得该重新开一次课、更新内容了,于是就有了现在这门课。
同时你还是 Monaco 的 AI 负责人,这家公司最近也很受关注。
是的,我们最近确实挺受关注的,做得也很开心。
我很喜欢你不仅教课,也是一线实践者;你们在 Monaco 显然也在落地这些东西。和去年相比,今年的课程有哪些原则或观察发生了变化?
变化非常多。回想去年的课程,当时编程智能体已经出现,但行业还处在一个阶段:有公司分别针对软件开发生命周期(SDLC)的各个环节做智能体,有的做代码审查,有的做规格设计,还有的做其他环节。当然,有些公司现在还在,但去年更像是一次广泛的巡礼,介绍编程智能体能用在哪些地方。课程更多是让大家先接触这些工具,像是带大家走一遍“AI 正在改变你对 SDLC 的所有认识”。
今年则有些原则逐渐成形了:要非常仔细地做上下文工程;面对复杂任务,要认真考虑设计和架构。我的课不是给编程初学者上的,也不能替代传统计算机科学教育。
Mihail Eric 与斯坦福 CS146S(续)
这里讲的不是算法课;事实上,很多基础课程是学我这门课的先修要求。不过,如果你已经打好了基础,接下来就要学会把这些原则用到真实的生产环境里。我觉得现在已经到了这个阶段。在 Monaco,我们面对的是规模很大的代码库;我也会帮很多公司思考大型代码库的设计等问题。所以这更像是一门面向实践者的课程:学生毕业、进入职场之后,怎样成为最高效的团队成员。
初级工程师现在需要学什么
你说自己很重视教育。我觉得大学阶段的学生正处在一个挺有意思的位置。你有什么建议?现在还应该学计算机科学吗?只用 Cloud Code 和 Codex 就够了吗?我很想听听你的看法。
学生们的焦虑很大,这大概不难想象。我这次想传达的是,焦虑依然存在,去年也有。但我想说明,训练有素的 AI 原生工程师——我知道“AI 原生”这个词现在很热门,我们可以之后具体聊聊它指哪些能力——可能会成为任何公司最有用的人才之一。这也是我在开学第一周第一堂课上说的:我真的相信每家公司都需要你,但门槛已经高得多了。你刚毕业进入第一份工作,光达到谷歌 L3 这样的初级职级标准还不够;你通常得做到接近资深工程师的水平。问题是,我们怎样才能更快达到那里?
我想说的是,软件工程的基础仍然重要。你得理解软件系统如何构建,以及其中的权衡。除此之外,人类应该把价值放在更重要的判断上,其他实现细节则可以更多交给工具处理。
嗯,这是我以前说过的话,听起来可能有点挑衅,像是故意说狠话,但我其实确实有点相信:大多数学生可能要吃苦头了,其中一些人会特别有价值。这在斯坦福学生里当然不太受欢迎。斯坦福的孩子大概没问题,但美国其他地方的学生会怎样?
对,这确实是个悬而未决的问题。
情况挺奇怪的,我觉得很多教育体系变化得很慢。我也很好奇……
你怎么决定一门课的课程内容要更新到哪个时间点?你教的是斯坦福的《现代软件开发者》,而这一切都在变化。
说白了,你就把做编程智能体的人请来讲课。
对啊,就让他们当嘉宾,挺有意思的。
这确实是个有趣的嘉宾。
哈哈,是啊。说到请嘉宾,去年也是有意这么设计的。我作为一线实践者参与其中,平时就在做这些事,在 Monaco 设计、构建系统,也经历过很多类似场景。但我不想声称自己现在就有所有答案,那样太自大了。所以课程一直是这样安排的:先分享一个实践者从工作中、从和业内很多人交流中汇总出的经验;再请真正站在前沿的人来,讲讲他们看到的、甚至超出这些经验的东西,以及他们对未来的判断。这就是为什么课程会请嘉宾。
我觉得让学生直接听业内大人物、真正做这些事的人讲,影响很大。学生可以当面提问,也可能想去实习或找工作,所以嘉宾讲座确实有价值。
我想他说的是……我换个说法。我们也采访过一位教 Coachella 课程的人,对吧?那种课是把一堆业内名人请来。可你这里不只是请名人,你还会真的做出东西,比如用两百行代码写出 Cloud Code。没有人会特地来告诉你应该这么做,也不会有人专门来给你讲这个;但如果你想在一个框架里教基础知识、让学生真正理解它并能动手实践,那这类做法就很重要。
没错,没错。
初级工程师现在需要学什么(续)
对。我觉得这类内容需要把握平衡。正如你说的,很多东西还没有完全定型;这既是课程刻意保留的特点,也可能算个缺点。课程里很大一部分确实和去年不同,所以整个课程一直在动态演进。但我至少想讲清楚,有些东西我相信会持续有效。即使编程智能体越来越聪明、提示方法也变了,我们仍然得弄清楚该怎么和它们合作。不过,Boris 肯定也知道一些我不知道的东西,所以也应该请他来分享经验。
我注意到一个挺有意思的……
开源维护者评审学生代码
我注意到这次有很大一部分内容是做开源贡献。
对。
你们为什么这么安排?
这其实是我最自豪、也最兴奋的部分之一。现在课程第二周快开始了。我花了今年夏天的大部分时间和这些非常友善的开源合作伙伴沟通,让他们对这件事感兴趣。去年我教这门课时有九个作业,最后还有一个开放式的综合项目。九个作业基本都是我设计的教学练习,比如给学生一个代码库,让他们用 AI 代码审查工具提交审查,再分析审查做得好不好。这种练习确实有教学价值,但我觉得对很多人来说太容易了,直接一次性让智能体做完就行。我觉得现在再这么教帮助不大。
我周二问了学生们,发现他们几乎没人再手写代码了,大家都在用编程智能体。这些学生是斯坦福的大二、大三学生。
你会调查他们吗?比如用哪些工具、各自的使用占比?
你是说具体工具吗?我还没调查,这个建议不错,我会去问。
那我说得尖锐一点,斯坦福是不是偏爱某些工具?
不是,我是说学校这边……大多数供应商都有教育计划。
对,他们给学生的方案确实很慷慨。
所以学生在上课前可能就有 Claude、Cursor,或 Cognition 的许可。我还争取到额外资源,不想让大家被每月 20 美元的订阅费卡住。如果你想把 token 用到极限、看看工具能做到什么,就应该放手试。除了和合作方沟通,我还给学生争取到了额外额度;Factory 和 Cognition 也参与进来,OpenAI 的人也参与其中。
我最担心的是,大家都说下一代学生“完了”,他们可能真的会被落下。导师指导是让所有人一起进步、避免鸿沟扩大的重要环节。已经在行业里工作、经历过智能体出现前后变化的资深工程师,一旦采用智能体就会变得特别厉害;而新人却可能不知道接下来该怎么办。
所以我想让学生去处理复杂、庞大的代码库,和一些我认为最优秀的 AI 原生项目合作。这些项目要么专注于 AI,要么本身就是编程智能体,或者是在为智能体构建工具。我希望学生真正参与这些项目,把贡献代码纳入作业。他们会和维护者交流,接受代码评审,也会得到帮助,逐渐建立对优质软件的心智模型。这样就能把真正的软件设计经验传给学生,而大多数学生没有机会经历这些。当然,表现好的学生也可能因此被项目团队看中、招募过去。
说句公道话,我要是不说肯定会被骂。我觉得你说学生“完了”或者“起飞了”,是为了戏剧效果故意摆出两个极端。不过,偶尔把话说到极端也挺有意思。
是啊。那我们要不要具体聊课程内容?还是你还想从宏观上问点什么?
没有,这些都很有帮助,基本都聊到了。
开源维护者评审学生代码(续)
好。我还有些关于学生使用工具和最佳实践的宏观问题。你支持他们把这些工具当作个人导师吗?我猜学生们也会听这期节目。深入课程之前,你对学生使用工具有什么建议?你刚才说自己重视教育。老师和教授该怎么用这些工具,学生又该怎样用,才能真正学到东西,而不是把作业丢进去,让它一次性全部做完?
对。我觉得我还是会保留一些……
十周课程大纲导览
好,那我们从头到尾快速过一遍十周课程,再深入展开。
好。
我们从编程智能体的内部机制开始。你会教学生自己写一个 Claude Code 的克隆版,而且现在相关内容已经开源了,这很有帮助。
第一周讲 harness 的内部机制,比如从零构建一个编码智能体。第二周开始讨论如何在规模化场景下做上下文工程,而不只是普通提示。我们也会讲工具设计和 MCP。MCP 曾经受到不少批评,但我仍然支持它。我在实际工作中经常看到它。它已经成为一个存在了一段时间的标准,我认为还会继续存在,所以第二周会讨论如何有效设计工具。
第三周讲技能(skills):如何从单一用途的工具扩展到流程和程序;这也会引出智能体自动化。第四周讲定制智能体的基础,包括智能体配置文件,例如 `AGENTS.md`、`CLAUDE.md`、hooks 和子智能体。现代 harness 里有很多机制,可以服务于不同目的,我想让学生都接触到。
第五周是让代码库为智能体做好准备。这是我最喜欢的主题之一,也特别适合未来要在工业界处理大型代码库的人。什么样的仓库能被智能体有效读取和使用?我们会讨论服务边界的设计权衡、文档、可验证性等。
第六周讲智能体时代的代码审查。这和第五周的智能体就绪代码库相衔接。代码审查正变成一个瓶颈,很多学生可能还没经历过;虽然有些硕士生已经在业界工作,但大多数人还没见过。如今使用代码智能体的人都在面对这个新瓶颈。我们要讨论怎么缓解它,有哪些机制,以及如何把可验证性等能力纳入代码审查流程。
第七周讲安全。自主系统会采取大量行动,过去一年里我们看到很多东西遭到攻击,包括 Vercel 这样的核心软件,以及整个 LLM 网关领域。我想花时间讲新的攻击面,以及怎样降低风险。
第八周讲后台智能体:怎样让智能体在产品和服务的不同环节运行,而不仅仅是在传统 IDE 里。它们可以由代码库或仓库里的事件触发,可以在 CI/CD 期间启动,也可以响应事件,比如类似 SRE 的机器人。过去一年里,很多公司开始发布相关实践文章,例如 Ramp Inspect、Spotify 的方案和 Stripe Minions。我希望学生了解这些公司如何构建这类系统。
十周课程大纲导览(续)
第九周讨论团队层面的基础设施,从 LLM 网关到 MCP 门户,也就是规模化的 MCP,以及不断变化的团队角色。这部分比较偏软性。大家常说“人人都是构建者”,我想再深入一点:哪些工作正在被吸收?哪些角色正在变化或新出现?以前不存在的角色有哪些?学生应该培养什么样的可持续技能?这里会讨论很多团队协作层面的事。
课程最后逐渐走向“软件工厂”这个主题,现在很多人都在关注它。假如我们开始建软件工厂,人类还会在哪里?新的瓶颈是什么?哪些环节会有意保留人工参与,比如确定意图、建立可验证系统?如果最终 80% 或 90% 的代码都由智能体驱动,人类会融入其中的哪个环节?这就是第十周要讨论的问题。
十周安排得挺扎实。有些模式比其他模式成熟得多,我觉得大家需要知道,这些内容并不是都已经成为定论。
没错。这些主题都值得关注、值得了解。我们知道问题在哪里,但不一定知道答案。
对。我也很好奇,你觉得哪些东西还没定型?比如“软件工厂”到底是指完全黑灯的工厂,还是只关一部分灯、仍有人工参与的工厂?我觉得这里有不同程度。最前沿的人,比如 Warp 和 Factory,既在建软件工厂,也把它们作为服务出售。但他们自己也只说,其中大概三成多的贡献是真正由智能体全自动完成的。最终会变成什么样,很难说。
也有人曾经把“黑灯工厂”推得很远,后来又出来说自己错了。大家要记得,人们当时大概是真心相信自己的判断,但他们有权改变主意,而且确实会改变。
Boris 最近也发过推文,说自己经常判断错。大家把他当成创造了 Claude Code 的人,就把他说的话奉为圣旨,但他有时候也会改变看法。
对,这完全没问题。这不是政治,我们还是科学家、工程师。我不想教条地看待这些事,只希望大家去试验。我认为实验本身也是一条原则。你得愿意动手试。有时候大家会问:“事情这么多,我怎么跟得上?”其实很简单,每天花十分钟尝试点新东西。以前你用老方法解决问题,现在有了新工具或新框架,就拿同一个问题试试看。光是这样,就能弥补很大一部分差距。
对。我想提一下,你的课程里有一周讲 Cognition 的代码审查。
我确实和 Silas 一起做过 Devin Review。
我觉得挺不错的。这些东西很难做基准评测,虽然有 ReviewBench,但没人用;从定性体验来看,Devin Review 确实不错。
我们自己也用你们的产品,所以 Monaco 确实用 Devin。Sus 去年也来讲过课,他特别聪明。我们试过很多代码审查工具,最后在很多使用场景里都选了 Devin。
现在除了模型本身,你们也许会想要 Walden。
对,我也和 Walden 聊过。我还想提一下 Factory。他们一直在做智能体就绪度,也构建了相关的信号工具。你们用过吗?有什么看法?
十周课程大纲导览(续)
我们也在做自己的智能体就绪度工具。Eno 也很棒,他们很早就开始做这件事了。他在 AI Engineer 的演讲里把方法总结出来,我忘了具体是哪一年,但那场演讲非常精彩,也算是走在时代前面。我觉得要找人来讲这个主题,他是最合适的人选,我很想给他这个机会。
有意思的是,我在 COG 的时候也在聊这个,我们说得形成一些看法。结果那周 Factory 就把完整产品发布出来了,我心想:好吧,你们赢了。
大家对这些东西的看法其实差不多,问题只是要不要把它做成仪表盘。
对,就是做成仪表盘。
不过,从营销角度看,他们抓住 Radius 报告这个机会做得很好。我经常会向别人推荐,让他们自己也跑一跑这类报告。当然,现在已经有开源版本了,但这些原则确实很重要。
编程智能体的循环、工具与 harness
好,要不要按主题一项一项聊?
可以。
好。第一项,你重点讲 Claude Code,但也有开源项目 Pi 作为赞助方,这是怎么回事?
这个可能听起来有点像宣传,但我想强调:我并不是在给任何工具背书。我觉得用“推荐某个工具”的方式来教这类内容不对,因为工具会来来去去。坦白说,去年开课的时候,Claude Code 还没这么火,也没被广泛接受。Boris 当时在 Twitter 上只有四千个粉丝,现在已经多得多了。Claude Code 后来才真正崭露头角。
我们请 Boris 和 Cat 上节目时也低估了 Claude Code。当时它才上线两个月,我只用过一次,一次查询就花了五十美分,我当时想:谁会用这个?
它有一段时间还在 beta 阶段。不过他们在模型还没准备好时就开始构建,这一点做得很好。大家总说要为模型未来的能力构建产品。
他们的想法很有野心。那时候模型还没那么强,你还感受不到未来会是什么样。
是的。Boris 去年做演讲时,我记得有一页幻灯片写着“为六个月后的模型构建”。那时是去年十月。如果他知道半年后 Opus 会进步到什么程度,这个判断就很有道理了。Opus 的进步是个重要的突破,也可能是今年课程改动这么大的原因之一。智能体自主能力一直在竞赛,大家都在做可以长时间运行的智能体编程任务。
但回到重点,我不是在推荐 Claude Code。我当然会用它,也会用其他工具。我更想讨论:现代编程 harness 应该是什么样。我今年早些时候写过一篇文章,讲了类似的原则。简单说,掌握入门算法的知识,就足以定义一个能完成编码智能体大部分工作的循环。当然还有很多额外功能,比如子智能体、MCP 等,但如果你想做一个能对话、能直接编辑文件、能完成相当复杂任务的智能体,不需要超过两百行代码。
我做教育时,常常想把所谓的“秘诀”剥开,让大家看到核心原理。学生需要学的是概念,不是某个产品的神秘诀窍。斯坦福有门 106B 课程,教入门算法;掌握那门课的内容,就能做出这样的东西。就是这么回事。
既然你已经教过这门课,学生对从头构建智能体这件事有什么反应?他们会质疑什么、问什么?
你是问这个概念本身,还是一般情况?
就是从头构建,再做成你为 Pi 做的那种东西。
对。学生并没有反对这个想法。我觉得大多数人其实是工具的消费者,他们只是使用现有产品。课程作业里,他们很少有机会把工具一层层拆开。本周我们讲 harness,周二第一堂课先讲课程安排,然后进入第一段真正的课程内容:两百行左右的 harness。昨天我们继续往下看,拿 Claude Code 配合代理工具拦截请求。
编程智能体的循环、工具与 harness(续)
代理工具可以拦截请求和响应,让我们看到里面发生什么。我拿两天前才发布的 Opus 4.5,拦截了它的请求,把具体过程给学生看:这里是提示词、系统提示词、规划提示词、压缩提示词。我们逐一过了一遍,现在学生能理解一个真正先进的 harness 是怎么工作的。
这样就有三个层次:很多学生只是使用产品;然后看一个在循环里运行的基础智能体;最后看真正的产品。我喜欢你还给博客文章录了视频演示。学生的水平差距大吗?有些人已经是重度用户;对熟悉智能体的人来说,有些内容可能很简单。课堂上怎么平衡?是面向平均水平吗?
课程本身会筛选出感兴趣的人。课程内容已经公开好几周了,我几周前宣布了,但可能一两个月前就有人能找到。学生如果不感兴趣,就不会来上课。我发现来听课的当然有学生,也有很多斯坦福其他院系的博士后,跨学科的兴趣很浓。有些人来自病理学、医学等领域,也有非计算机科学的工程专业学生,想接触这些内容。还有不少商学院的研究生和 MBA,他们可能想学会怎么做事,不必依赖技术联合创始人,或者有别的动机。
顺便说,如果有人还没做过 MITM 代理实验,应该试试。
会让你很惊讶。Claude Code 的系统提示词是所有编程智能体里最长的,大约两万个 token。
是的,不过他们后来把长度缩短了 80%。
对,但之后又会增加、再删减、再增加。
就像跷跷板。
对。有意思的是,里面有些内容其实用不上。
有时候,它也会透露工具内部是怎么工作的。你在里面发现过什么特别有意思的东西吗?
我昨天讲这件事时提到,Claude Code 早期有个特别有意思、也可能让它迅速流行起来的原因:它追求简单。他们很早就主张少数工具做更多事,更多使用 SQL、Bash 这类强大、用途广的“瑞士军刀”工具,让它们成为能力的重要来源。我觉得他们做得很好,这也是它后来受欢迎的原因之一。
我展示系统提示词时,得提醒学生:两个月前的提示词可能已经不一样了。如今它变得简单了。以前写在系统提示词里的内容,比如怎么用 Git、怎么设任务,现在不一定还放在那里;模型可能已经在权重里学会了这些能力。很多经验已经被融进模型本身。这就带来模型和 harness 之间如何权衡的问题:公司应该投资什么?想提升自己的能力边界,又该投资什么?整个社区一直在这两者之间来回摆动。
不必责怪他们先把系统提示词写得很长,后来又删掉。模型能力也在变化。早期的弱模型需要示例,告诉它什么是好、什么是坏;后来当然就可以把这些内容删掉。这也是学习过程。如果你在本地用较弱的编程模型,可能还是得加上这些示例。
编程智能体的循环、工具与 harness(续)
没错。随着模型变强,还有一个有意思的问题:加入这些例子会不会限制模型?什么时候该把过度约束拿掉?怎样逐步移除它们?这也是学习的一部分。
大型代码库的上下文工程
如果要向更广泛的听众介绍这部分,你觉得哪些内容最值得他们知道?
这就像把整门课压缩成一小时。
对,基本就是把所有内容压缩成这一小时。
也可以把它当作课程预告。想听更多的话,明年秋天来报名。
这差不多是这门课的 Quibi 版:比预告片长,却又短得不够上一整门课。等你下次开课,内容又会变了。
确实。好,我想强调的是,即使在行业里,我面试时也发现很少有人超越普通提示。大家就是对模型说“帮我把这事做了”。随着模型变强,这当然能带你走一段路。但如果你进过 Google 这类有大型代码库的公司,就会发现,如何把上下文交给模型需要更仔细地思考。
我们得掌握一些原则和方法。我说的 RAPID 框架,和 Dex 的 RPI 大体类似:先研究,再提出方案或规格,然后实施,最后通过测试等方式把它们串起来。尤其是进入陌生代码库、要把智能体理解庞大代码库所需的信息注入上下文时,研究阶段很有价值。研究之后,智能体可以提出几个不同的解决方案,再让人类参与,决定采用哪一种。然后再进入计划阶段,也就是规格。
简单说,处理数百万行代码的大型代码库时,有一套可扩展的方法,不能只靠普通提示。我想强调的是,如果你要去这些大型代码库工作,就应该使用更完善的流程。
关于上下文工程,你还想补充什么?我现在觉得最奇怪的问题之一,是拆分子智能体时,应该让它继承主线程的全部上下文,还是不继承。对此大家意见不一。有时候你又希望它把研究结果压缩后放回主线程,这种做法现在还挺笨拙的,我也不喜欢自己正在用的任何方案,所以我没有答案。
当你要把任务分发给多个智能体时,不只是准备一个大规格、走一遍 RPI 流程就行了。现在不再是一个智能体干活,而是要分散任务,并确保每个智能体都有合适的上下文和指导。比如让一个审查智能体检查其他智能体的工作,你就得保证它拿到足够的信息。
然后你总会不断扩充这些智能体之间的约定:觉得它们上下文不够,于是不断塞更多内容。结果它们又可能对你很久以前随口说的一句评论过度拟合,把那句话当成铁律,做出很蠢的错误,因为你当时根本不是那个意思。这大概就是上下文的多智能体管理吧。
大型代码库的上下文工程(续)
对,完全是这样。这部分可能更像艺术,而不完全是科学。正如你说的,我们要把探索、子任务分发,以及最后的汇总和压缩结合起来。也要注意什么时候该刷新上下文、什么时候上下文已经太臃肿了。Dex 提出过“愚蠢区”(dumb zone)的概念,提醒大家留意这个问题。
他很会给这些东西起名字,也会画些小图。
对,那些小图很有用。你为什么请他来?
他确实对课程影响很大。他是个非常出色的思想者。我觉得那些图也特别有帮助。
我再给想深入了解的人补充些线索。看看关于上下文工程的最佳实践,比如子智能体上下文是否继承。Claude Managed Agents 有一种会话隔离、不继承上下文的做法。推理模型出现之前、智能体还不能长时间运行时,这曾是很热门的话题。那时上下文窗口比较短,大家会非常珍惜有限的上下文。LangChain 写过不少关于上下文工程的文章,这些内容都值得了解。
这也是很适合做研究的领域。AI Engineer 上有研究展示过 Claude Code 系统提示词的变化,研究者对比了改动,并把改动与性能变化联系起来,尝试逆向分析。还有研究探讨上下文窗口管理会怎样影响后续表现。这些论文可能不算最出色,但很容易读,也能写成不错的博客文章。想研究这个方向的人可以很容易入门,值得试试。
让你真正理解 diff 的技能
这是个很好的补充。Agent Skills、CLAUDE.md 之类的东西……
对,这些都可以看成是从单一的函数式工具调用、比如 MCP,向外扩展:先是和第三方服务交互,再进一步把一组重复执行的动作整理成流程,最后写成 `SKILL.md` 这样的技能文件。我想让学生练习把这些流程正式记录下来。我还会介绍一些挺好用的技能,比如 Matt Pocock 的 Grilling;从教学角度,我也喜欢 Geoffrey Litt 的“解释 diff”技能。讲代码审查时,这尤其有意思,因为关键在于理解代码。
理解代码。
没错,你必须理解代码。我不知道你们用过没有:把你提交的代码 diff 交给技能,它会生成改动的可视化表示,让你快速浏览、弄清核心变化。更棒的是,最后还有一组小测验,检查你是否真的理解这些改动。我觉得这种互动很有帮助。我喜欢这个领域里几篇博客文章,其中一篇的意思是:关掉大脑、停止思考从来不是好主意。这些技能会迫使你动脑子。很多人用编程智能体时却想让自己什么也不管,只要说“给我做个应用”,就希望它读懂心思、不用说明也能全做对。
对,而且很多这类技能其实会说:“不,请多问我几个问题。”
我觉得大家不太习惯它输出这么多东西。你可能只输入一句提示,就得到几万行代码和完整结构。
还像是在炫耀自己的生产力。
但更重要的是,你得知道自己在做什么。你很容易和实际工作脱节、失去掌控。你应该多花时间想清楚自己到底在做什么。现在写代码、把事情做出来比以前容易多了。
对,理解这件事已经没有借口了。
抱歉,你说的 Web 技能是什么?
就是和网页交互的技能,也就是 computer use。
对,类似这种。还有别的类型吗?
主要是从网上抓取信息。我不确定有没有专门的最佳实践。
这部分更像是我挑选的一些案例和演示。我记得有个案例可能来自 Vercel,或者是浏览器相关的。我得回去看完整阅读材料,才能确认是哪一个网站。它可能是基于浏览器的。
你还记得这个吗?
记得。我刚才还在想是不是漏掉什么了。这似乎是 Skills 社区很重要的一部分,挺有启发的。
我觉得他们做了某种东西,因为他们显然是基于浏览器……
他们喜欢浏览器,对。我记得他们有个不错的网站,展示了一些很有意思的能力。
CLI 也挺有意思。你的很多学生第一次用终端或 CLI 吗?还是现在这很普遍?
我觉得不是第一次。去年有些学生大概还记得自己亲手敲代码的日子,但现在大多数学生都接触过 Claude Code 了。
我很好奇,现在有多少人只用桌面应用。Claude Code 有桌面版,Codex 也是;Codex 现在主要就是个应用。很多普通用户不太愿意进 CLI、用终端。
我只是随口一提。
让你真正理解 diff 的技能(续)
我觉得技能还有另一种形态:一组互相引用的技能,组合成一个技能包。
就像插件,对吧?
对,类似插件。我在 AI Engineer 上也专门讲过怎么编写技能,这本身就是一门手艺。
现在很多人只是在消费技能。像 Matt Pocock 这样的网红会说:“这个技能能解决你所有问题。”但其实你应该自己写技能。
是的,自己随便写的技能往往很糟。把技能写好也需要技巧。
没错。Swyx 写技能有什么诀窍?
我有个公开的技能仓库。之前有一阵子我什么都想做成技能,简直有点走火入魔。
别给我们看技能本身,讲讲怎么写好技能。
对。我甚至有一个“精简技能”的技能。Claude Code 和 Codex 都有创建技能的技能,我就用自己的精简工具把它们生成的内容压短,因为默认生成的技能会把所有不足都写下来。
所以你每次生成技能之后都会用它来删减?
对,差不多就是这样。
这挺麻烦的,有时生成的内容虽然有不少废话,但里面也有有用的部分,还得一点点筛出来。
对。即使是废话,也是智能体使用的语言,所以这些内容有时也有意义。
明白了。每个人都有自己的办法。我最开始会先试用技能几次,凭感觉检查效果,再把自己的偏好提炼成技能:哪些做法我喜欢、哪些不喜欢。之后慢慢调整,再把流程自动化。
但问题是,技能会在你没预料的时候触发。你可能只为了修一个问题写了技能,后来换了完全不同的项目,它却又触发了。那是因为触发条件写得不好,像是“只要发生某事就调用我”。你以为写得挺好,换个项目就莫名其妙被触发。有人会不断加技能,但像 Eugene Yen 这样的人就很讲究数量,会定期清理,没用的技能每隔几周就删掉。
对。
这在技能生态里是个大问题。我猜 Anthropic 里有些非常聪明的人其实希望技能最终消失。
这说法不太受欢迎,他们不会公开这么讲。但现在有点杂乱,我也能看出自己写的技能有些很乱。它不像大家原本想象中的 AGI,结果变成每个人都堆着一大堆 Markdown 文件。
我觉得有一部分是维护的问题。
很多人根本不看自己的 Markdown 文件。他们只想通过对话说出需求、创建技能、使用它、看结果。有些东西即使不看 Markdown 文件也能发挥作用,别把事情弄得太复杂。你可以直接说:“看看我们最近五次是怎么做的,帮我做成一个技能。”然后在聊天里不断迭代,也能获得很多价值。
让你真正理解 diff 的技能(续)
还有另一种看法:技能可以是智能体随时运行的流程,比如代码审查。但在 Devin 这种系统里,技能也可以编码团队的最佳实践,再交给代码审查智能体,让它按团队定义的 API 和服务边界来评审。这是在表达组织层面的知识,不只是某个随手写的指令,也不必每次都重新写提示。我觉得这种用途可能比那些零散流程更持久。
Monaco.com 争议与飞机横幅
我刚才搜了“Monaco AI skills”,结果出来的全是那个国家。
那是我们迟早要打败的对手。我们会在 AEO(答案引擎优化)上赢过他们。
你们能不能直接把那个国家买下来?
我们差点要买国家了……没有啦。不过我们买下 monaco.com 这个域名时,确实惹了点麻烦,还被他们起诉了。这件事是公开的,他们不喜欢,但现在是我们赢了。
那我们就把这段播出去。原本我还想说这事挺敏感,但你们赢了。
是的。
所以你们才会让飞机在天上拉着旗子飞吗?
对,那就像庆祝胜利,是我们的胜利。
在旧金山的朋友抬头看看。音频听众看不到,我们在 YouTube 上展示了画面:你们会让飞机绕城飞。我觉得你们现在还是少数会定期这么做的公司之一。Sam Blond 想出这招的,一天六千美元。我不确定这会直接让我去搜 Monaco 是什么公司,不过你们的广告就是“Monaco,$X”这样的数字。
对。
这个数字会引起对话。广告的目的就是让人问“Monaco 到底是什么?”当然,这也可以讨论。营销的目的不就是吸引注意力吗?有时候活动上会有人认出我:“你们就是那些放飞机的公司,广告牌上写着很大的数字,比如 1.93 亿之类的。”然后他们会问:“你们到底做什么?”也许这就是目的:让人有个破冰的话题。
我记得你刚才进门时也说“啊,是那些飞机”。
对,这就自然引出“你们做什么”。我曾参与决定 Devin 广告牌上写什么,我们在文案上花了太多时间。也许直接写个“Devin”就够了,虽然听上去很傻。
Sam 上周还发了篇文章。他算是我们公司的营销高手。飞机广告其实还有些背景,总之 Sam 的态度是:他没有所有答案,大家得去尝试。我们做了很多实验,效果好就继续。我们当时也不知道会不会火成这样,但既然效果出来了,说明这是个好点子。
对。保持简洁,从小处开始,再做大,比一开始铺很大、后来缩小容易。
对,从小做到大容易多了。
而且一天六千美元,关键是试试看。
比广告牌便宜多了。
对,还挺好玩,也没什么坏处。
不过我们也在想,怎么才能比飞机更厉害?一架不够,那就两架。
两架、三架!
或者直接上火箭。我也想过,希望某天能实现。下一次 SpaceX 发射时,也许让火箭上写着 Monaco。
要让火箭开始跑起来。我们得和 SpaceX 的朋友们打好关系。
好,我很乐意。
既然我们在聊 Monaco,要不要讲讲公司?还是留到最后?
可以聊一聊,正好作为不同话题之间的过渡。
Monaco 为销售团队做什么
你来决定。我们刚才提到 Monaco,既然说了“Monaco 到底是什么”,却不解释就有点吊人胃口。你介绍一下吧。
我尽量讲清楚。首先,这是那个国家——那是一个很小的国家。
对,这就是我喜欢的 Monaco。继续。
我们是一家总部在旧金山的 B 轮公司,正在打造一个一体化销售平台。平台里原生集成了智能体,让它们处理各种事情,尤其是人不喜欢做、但智能体很适合做的事,而且出错更少。这样销售人员和团队就能专注于人类擅长的事,比如成交。
所以 Marc Benioff 大概不喜欢你们。
可能吧。
不过,他本人也很 AI 原生,非常积极地推动智能体。
那你们做了什么,是他没做或做不了的?
我们创业时一开始并没有瞄准企业客户。我们想做一体化平台,就必须和一批客户一起迭代、陪着他们成长。把客户从 Salesforce 挖过来很难;但如果在他们还用 Google 表格追踪销售管线时就接触他们,给他们一个更 AI 原生的解决方案,就有机会和客户一起成长。这有点像 YC 公司先卖给同一批创业公司,再逐渐往更大客户市场走的模式。
我认为我们是最好的、至少也是最好的创业公司销售平台之一。现在客户主要是早期创业公司,从种子轮到 A 轮为主。如今我们开始往更大规模的市场拓展。过去一年半做一体化平台的过程中,我们学到了很多。
而你是 AI 负责人。
没错。
你们做了哪些很酷的 AI 产品?
我们为销售场景自建了一套智能体 harness。我们借鉴 Codex、Claude 等编程 harness,再构建面向销售的定制工具和工作流,服务于 GTM(市场进入)场景。这套系统几乎支撑 Monaco 平台上的所有功能:评估 TAM(总体潜在市场)、评分和定义 ICP(理想客户画像)、跟踪销售管线变化,以及替销售人员处理一些琐事,比如更新会议前的备注、更新摘要等。我们用智能体支持这些工作流,很多功能开箱即用。既有长时间运行的智能体,也有一些短周期智能体,按不同的 GTM 场景来用。
这是基于基础模型做的垂直领域产品。你们会自己训练模型吗?
这是个好问题。很多垂直 AI 公司一开始都会把前沿模型当作第三方服务来用,看看能做到什么,因为它们处于最前沿。过去一周 Harvey 关于毛利率从正 50% 到负 50% 的讨论也是一个例子。不管具体数字怎样,有意思的是,做到一定规模后,成本就值得认真考虑了:能不能用开放权重模型做得更快?我觉得 AI 团队的一部分目标会是后训练这些模型、搭建环境,用强化学习等方式继续优化。我们现在大概处于这个阶段。
Monaco 为销售团队做什么(续)
很有意思。我把这套做法叫作“智能体实验室打法”:先从用户需求出发,模型怎么选都行,先把产品做出来;有了用户基础之后,再逐步补上自有模型能力。模型实验室的路线刚好相反:先大规模预训练,再去找用户。
对,这种分工应该是有用的。Monaco 就在收入和 GTM 这一侧。
没错。你们既要为客户服务,又要和模型实验室竞争,这挺有意思的。
对。
我稍微涉猎过这些领域。我觉得一个难题是数据丰富化(enrichment)。我花了很多时间做 SEO、研究等方面的数据丰富化,对你们来说这应该是核心能力吧?模型在这方面做得好吗?你们有喜欢合作的供应商吗?
是的。我们很早就开始用 Parallel,我觉得他们做得很强。
所以是通用搜索?不是 ZoomInfo 那类公司?
对,不是。我们用 Parallel,也用 Exa,都值得一提。
能比较一下它们吗?
它们都是朋友、我们都喜欢。今天我保持中立,当个“瑞士”。除此之外,我们也会自己做数据丰富化。对我们来说,最有价值的软件系统之一就是自己的“世界数据库”:里面有经过丰富化的公司、账户和联系人数据。这样我们在为客户建立 ICP 时,就能掌握最新信息,知道此刻该联系哪家公司的哪些人。
我认为我们非常擅长创造需求,能帮助客户增加预约会议的数量,而且能找到合适时机联系买家。比如你要联系销售副总裁,如果对方五年来都在同一家公司,现在不是最佳时机。但如果他刚从一家公司跳到另一家公司,刚进入新岗位,就更可能愿意采购新的销售平台。换工作就是个信号。你可以检测对方的 LinkedIn 信息变化,判断是否该在这个时间点联系他。
你们把多少专业知识放进模型和 harness 里?哪些是模型通用最佳实践就能做到的,哪些来自你们的领域经验?两者显然都有价值。是不是主要靠集成,让事情可靠地在一个平台里完成?还是你们还嵌入了外界不知道的专业知识?
没有领域经验的话,产品很容易变成可替代品。当然,一体化本身也有很大价值。销售领域大多数公司过去都是做单点工具,像 YC 的“先切一个细分市场、再逐步拓展”打法。但我们从一开始就想做一体化平台,所以我们在隐身模式待了一年多,专心构建产品。一体化本身很有价值,但真正厉害的是,我们现在有一支世界级的 GTM 团队在卖 Monaco。
Monaco 为销售团队做什么(续)
同一支 GTM 团队里还有负责部署客户的客户经理——我说的是人类销售人员,他们像顾问一样帮助客户上手、构建智能体工作流,并指导他们走过整个销售和 GTM 生命周期。所以答案不仅是我们有一体化平台,也包括我们有这些人。我们招来了不少以前在 Brex 等公司做 GTM 的优秀人才,把他们的经验编码进平台里。
你和一般的 AI 负责人说起这些事很不一样,因为你以前也是创始人,对吧?你习惯从这种角度思考,这对你的职责很重要。
很好。我觉得关于 Monaco 我们已经讲得差不多了。随着公司发展,我们还可以再聊。
当然。接下来我们可以把话题转回……
Monaco 的工程团队内部
我们可以接着聊 Monaco 内部的编程方式、智能体原生开发和现代软件开发。你教课时可能会尽量介绍整个领域的情况,但在 Monaco 内部,你们会不会对不同选择更有倾向?
我们从第一天起就在投入编程智能体,已经积累了很多经验,也踩过一些坑。最近我们开始更多分享这些经验,可以看看我们的博客。比如我们花了很多时间评估供应商,最后决定自己构建不少东西。
以后台智能体平台为例,我们有个自己的 Ramp Inspect 类似产品,叫 Monicoder,构建在 Coder.com 平台上,用来扩展工程团队的生产力。
Coder.com?
对。我们根据自己的需求做了调整,很多智能体开发都在上面进行。它在隔离开发环境、扩展到多智能体、运行长周期智能体编程任务方面设计得很好。感谢 John Tracy 和团队构建了它。
此外,我们还自己做了一个 Slack 机器人,叫 HAL。它兼具 AI 助手、客户成功和 QA 工程师的角色。它住在 Slack 里,既能帮我们调试问题、提交修复的 PR,也能让销售人员询问产品怎么用、追查问题原因。我们还得让 HAL 根据交流对象调整“性格”,面对销售人员和开发者时方式不同。过去一年左右,我们陆续构建了这类系统。感谢 Yuna 开发 HAL,也感谢 John Tracy。
买来学习,建好留下
所以你们自己做了很多东西。
是的。
但你们也会用其他工具。
会。那怎么判断该买还是该自己做?
我觉得有个通用原则:先说反了,是“买来学习,建好留下”。通常是先买来用,搞清楚需求,再决定自己构建。早期我们还在摸索,代码审查就是一个例子。我们认真考察了各种代码审查平台,现在仍在用 Devin,因为它的系统确实有价值。感谢 Cognition 团队。
我们也试过一些 SRE 工具和现成的后台智能体平台。但结合我们自己的基础设施和云平台,自己在内部构建更合理。当然我们不教条,如果有新产品出来,我们也会重新评估。通常是觉得市场上还没有成熟产品,我们才会自己做。
代码审查挺有代表性。一年多前我们调研过一大批工具。
比如 CodeRabbit?
对,还有 CodeRabbit、Graphite(后来被收购之前),以及 Ellipsis,YC 的公司。我们试过不少,产品还行,但那时还没有好到能马上派上用场,所以暂时搁置了。后来我们又重新试了 Devin,感谢 Silas 去年在课上的演讲;有人告诉我产品进步很大。我们试完后感觉确实不错,大家也自发地开始用。
纯粹凭感觉?
有一部分是,不过第一次评估时不只是凭感觉。那时我们没有选任何供应商,因为没有特别满意的。我分析了 PR,按类型做了图表,看看工具解决了什么问题,以及它的冗长程度、评论频率和实际价值之间的权衡。这次评估是有统计依据的。第二次我本来没打算强推 AI 代码工具,但同事们自发地说 Devin 不错,想加入使用。于是大家陆续开始用了。
这是我们仍然依赖供应商的一个例子。以后会怎样还不知道;其他产品当时都没成熟到我们愿意采用。
所以 Devin 还没差到需要你们把它换掉、自建一个。
对,没错。
很有意思。那 Devin 这次表现不错。我其实已经不怎么参与了,只是顾问,不过从外面听到这些反馈很有意思。公司内部有时会有信息泡沫,在 Slack 上大家只分享好消息。但你没有利益牵涉,就可以选最好的工具。
如果你想要 Slack 的免费额度,也可以提;没人会拒绝。
我觉得 Silas 会帮你安排。
好。你的实际经验也影响了教学工作,我们之后可以继续聊这些。我觉得这种亲身经历很有价值。
让代码库适配智能体,打通值班闭环
我们刚才说到第四、第五周的内容相互衔接。
对,两周确实有些重叠。
你们在 Monaco 已经形成了哪些强烈看法?哪些事情建议大家先做?
第四周偏概念基础,介绍定制智能体的不同方式;第五周则把这些概念放到真实代码库里实践。我想特别提一下 Factory 团队和智能体就绪度报告的价值。
在我看来,智能体就绪的代码库是后续很多工作的先决条件和基础。大家一直对多智能体、让几十个智能体并行做各种事很兴奋,但要做好这些事,先得打好基础:代码库是否可验证、结构是否清晰、智能体是否能理解?智能体就绪度几乎是接下来四五周内容的第一块基石。之后到第八、九周,我会讨论 AI 软件团队、整体架构,以及如何为后台智能体和软件工厂搭基础。
你们在 Monaco 也提到 SRE 这一侧。要打通闭环,智能体不仅要读构建日志,最好还能读生产环境的分析数据。
没错。课程里没有明确写,但这是个很好的补充。我会把它加到后台智能体和软件工厂的两周内容里。通过触发器和事件来闭环,是软件工厂启动任务的两三种主要入口之一。
有意思的是,大家把它叫作“触发器”或“事件驱动”,虽然这只是技术实现方式。听起来好像太底层了。
不过触发器通常就是 cron 作业,说白了就是定时任务。
事件驱动很多时候也只是 cron 找到一个事件,然后叫作事件驱动。其实都是 cron。
对,也可能是 webhook 之类的。你说得没错。我是学计算机科学出身,所以很自然就用了这个技术术语。有没有哪些 AI SRE 公司给你留下印象?
Resolve 做得不错,Night Shift 在后台智能体方面也做得很好。他们有 Greylock 投资,我很看好他们。SRE 也是个很有意思的场景,这又牵涉到买还是自建。它最有价值的地方通常是服务依赖特别多、系统特别庞大,Kubernetes 和 Helm 配置散落各处。Resolve 在企业市场做得好,可能就是因为他们能面向 Ford、Walmart 这样的公司,梳理疯狂复杂的服务依赖。规模较小时通常还能自己搭,但企业客户那种复杂度就不一样了。
让代码库适配智能体,打通值班闭环(续)
没在这种规模工作过的人可能很难理解。我花了一段时间才意识到,有些企业拥有几万个代码仓库,仓库数量甚至比开发人员还多。公司里到底有哪些代码在运行,你可能都不知道;写代码的人早已不在公司了。这太荒唐了,而且可能还是个低风险系统。
太吓人了。你值班时遇到系统故障,原作者不在了,runbook 又过时了,你只能问“这到底怎么回事?”到了企业规模,这完全是另一种复杂程度。一个大学生可能一个仓库对应一个人,根本想象不到这种情况。可以让学生做个模拟:“这是你上班第一天,出了这个问题,你怎么办?”
对。Resolve 去年为课程设计过一个作业。他们建了一个沙盒,里面散布着很多各自运行的服务,还有一些服务故障。学生要用 Resolve 的智能体探查系统,扮演值班人员,找出到底发生了什么。
他们的网站挺有意思。
我好久没看了。
这个体验很互动。
对,他们现在很像 PagerDuty 了。
你刚才说 AI SRE 可能既太宽泛、也可能太狭窄。还有哪些细分方向?或者实际上更大的问题根本不是这个?这听众也很关心。
我觉得这取决于公司的规模。对大型企业来说,有不少问题的答案并不总是“再加更多智能体”。我和一定规模的公司交流时,发现真正卡住他们的常常是底层 DevOps、CI/CD 之类的问题。合并队列积压了,启动一个应用要等很久。原因是更基础的系统问题。再扔进去一个 SRE 机器人并不能解决这些问题,他们得先处理系统层面的瓶颈。
当代码审查成为瓶颈
这就引出合并队列,以及代码合并之后的事情。
对。这一段可以说是写给现代智能体代码审查的一封情书。去年到今年最大的变化之一,是代码审查突然明显变成了瓶颈。人们越来越深地使用 AI,代码生成速度也大幅提升,理论上每天能提交三十多个 PR。那接下来怎么办?是由人把关、按传统方式审查每一项吗?那样人就成了速度瓶颈;如果人必须逐项审查,规模化生成代码又有什么意义?还是说能找到中间路线:保留足够的人类参与,确保合并的代码可信,同时也能大规模合并,而不是放任一切?
我想讲的就是这个中间地带。如果你精心设计了智能体就绪度和可验证性,有一类问题就可以在一定比例的情况下自动批准。要做到这一点,设计和架构上必须满足什么条件?哪些改动仍然需要人仔细检查?即使要检查,也一定要逐行看代码吗?
这是我们今年最热门的话题之一。Latent Space 有客座作者计划,Aviator 的 Ankit 写了一篇关于如何消除代码审查的文章。他把审查看作最后的大关,并设计了几道关卡。
我看过这篇文章,整体上我觉得说得对。不过可能有两个瓶颈:代码审查,以及最上游的意图或需求本身。合并数量显然变多了,但审查数量并没有按同样的幅度增加。
对。Amplitude、Cloudflare 和 Augment 都写过很好的文章,介绍他们的 AI 代码审查系统如何设计。Cloudflare 规模不小,却在 AI 软件开发生命周期方面分享了很多有用内容。我们仍在寻找合适的界线:哪些改动可以自动批准,哪些不行?如果仍需要人来审查,究竟要看什么,是逐行看,还是结合规格来判断?另一个难题是规格能不能一直保持最新。
规格可能分散在多个地方,比如 Linear issue 和 PR 描述里。PR 描述可以用更精炼的方式说明整个实现;只要它是当前最能代表代码库状态的最新资料,我认为这就足够了。
当代码审查成为瓶颈(续)
我们会尽量把 PR 描述写得更充分。它不只是一个段落,而是对 PR 做了什么的完整规格,还会指出哪些文件、哪些行发生了变化。这样不只有高层摘要,也能看到代码结构和涉及的服务边界。我们在这上面投入不少。我刚才说“规格”时,是指功能或代码库的规格,而不是单个 PR 的规格。代码库的规格是所有 PR 的总和。如果 PR 的规格写错或漏掉了,就会出现代码库预期行为和这次 PR 实际行为之间的差异。
嗯。我自己也经常为这个问题烦恼。我试着让模型处理,但它们做得不太好。所以人类就成了“规格之神”:五周前我做过另一件事,现在你把它反过来了。
你看过 Basis 的文章吗?他们用 Git 跟踪不同文件工件,有些描述预期和意图,另一些是他们所说的代码“规范状态”(canonical state)。后者可能更接近你说的东西:必须在某个地方记录下隐含的知识和意图。这些内容都有版本控制,Basis 发现这对他们有用。
我正在找那篇文章。Basis 是那家会计公司,对吧?我们纽约的会议马上会请 Mitchell 来,可以和他聊聊。我喜欢他们在做这件事。我自己的方案可能还没准备好公开,甚至也不一定会发布:做一个东西来替代 Git,记录所有这些内容。
我叫它“程序数据库”。它能记录所有轨迹,把规格固化成我们能够忽略并保留下来的内容,也管理附属的技能。Git 只关注代码;我们还需要一个真实信息源,记录代码以外的一切,包括隐含假设、约束和意图等。
另外还得支持高度并发。Git 的设计会到处引入互斥锁,这很糟。
对,需要非常强的并发能力。你看过 Butler……以前的 CTO 是不是叫 Ian?
忘了名字了。
Scott,对,Scott。很多人都在探索这类东西。关键问题是:任务的理想表达形式究竟是什么?
获胜的可能不是我,大概是 Linear,毕竟任务都在那里。
他们显然决定变成一家编程智能体公司了。
对,只要你采用 Linear,它那里就有完整的信息源。
这倒是真的。我一直有个想法:很多公司都会变成某种编程智能体公司。只要是和企业软件互动、收集用户信息或产品洞察的公司,就能形成闭环。编程智能体的作用,是针对用户或客户遇到的问题采取行动,理想情况下修复产品的一部分。Linear 可以这么做,Amplitude 也能,因为它们都掌握用户数据和问题。再大胆一点,Decagon 或 Sierra 也可以做类似的事:发现问题,然后闭环解决。
安全、依赖与权限
好,我们先把代码库改造成智能体就绪,再做好代码审查。安全放在第七周,而不是第一周。
学生们肯定会问:“你的意思是安全不重要吗?”
我开玩笑的,因为我总说亚马逊的 Job Zero 就是安全,大家也总这么讲。
是的。
不过,安全评审是在最后做吗?
我在亚马逊时不记得有这说法,不过相信你。
这是 Andy Jassy 说的。
好,我明白了。我在杰夫·贝索斯时期待过一段时间,也经历了交接给 Andy 的阶段。安全去年就在课上讲,今年也一样。Isaac 去年也来讲过,我觉得他是很有思想的领导者。Semgrep 也挺有意思,他们在智能体出现前就已经存在,早期的开源仓库安全防护也比传统 SaaS 公司更早出现。他们很好地把产品拓展到这个新领域。
现在是个有意思的时期,越来越多攻击面浮出水面,AI 生成代码也更多了。我想强调的一点是依赖跟踪和供应链管理。你必须谨慎管理依赖、固定版本,不能随便跑一句 `npm install` 就以为供应链不会出问题。
所以最安全的代码库可能就是没有依赖的代码库。
对。你看了某个依赖,觉得实现不错,但还是想:“我自己写一个吧。”
这是把想法推到极端了。既然代码越来越便宜、容易写,为什么不所有东西都自己构建?这样最安全,因为你了解并控制每一部分,而不是依赖 Axios 之类的库。实际上有多少人会这么做还不好说,但这确实看起来最安全。
不过,这种说法也有危险:你只是自己犯错,而不是让其他人帮你发现错误。开源的意义之一,是“阳光是最好的消毒剂”。Linus 也讲过类似的道理。你自己维护的软件依赖,可能要很久才发现问题,因为只有自己的用户能报告;但开源项目全球有十万用户,总有人能发现问题,你就更敢依赖它。
对。我不想走极端,也不想把你绕进“什么都交给供应商”的说法里。
对,这个方向也有问题。
我确实认同其中一部分。不过这和我另一个想法有关:未来大多数、甚至所有开源仓库都会变成由智能体运行的软件工厂。那时候会发生什么?
看看 Warp 就是个例子。他们既做 Monaco 编码智能体,也销售软件工厂产品,但他们自己也把开源的 Warp 终端当作软件工厂来运行。这说明人可能仍会参与,但参与程度会越来越低。也许不会像过去那样,每个人都逐个审查所有变更。这样会让代码库更安全还是更脆弱?很难说。我认识的一些开源项目从业者也还在找那个稳定点。
安全、依赖与权限(续)
还有几个相关观点。安全的攻击面一直都很大。Vercel 的 Malta 提出过一个建议:把所有特别依赖 C、C++ 的软件改写成 Rust,速度更快、更安全,花费可能也不用六百万美元。
还有一个与“放缓前沿”有关的观点,来自模型实验室和开源社区:先慢下来,做 Daybreak、Glasswing 这类工作,确保大家都打好补丁,再让发展速度加快。这里似乎有个隐含信念:模型会解决所有安全问题。
但这还没有被证明。模型可能引入新的漏洞,只是换了一种漏洞。
对。我其实很希望有人能反驳我:“你说错了,模型明显更擅长安全。”
如果把问题推到极限:我们是否相信模型会产出完美的软件?如果能产出完美软件,那一切就结束了,我们可以回家去海滩上休息一辈子。
另一个问题是:模型发现漏洞是否足以让大家先打补丁,再推迟发布?还是说即使你给模型三个月测试,别人也可能再花六个月试图利用漏洞,问题仍然没解决?
对,完全可能。
我的担忧是,如果你选出一百家重点机构,让它们使用一个新造的网络安全模型,就相当于给我提供一百个攻击目标。它们可能很容易被攻破。
对,这超出我们能判断的范围。
现在聊安全特别有意思,也很热门。安全从业者也许很喜欢这波关注,因为他们通常没得到这么多关注。
这是真的吗?从创投角度看,我觉得大家一直很喜欢投资安全公司。
Wiz 之类的公司发展得很好。
说 Wiz 和 Socket 吧。我两天前还和一位 VC 聊过,他觉得过去五年里成功的安全公司就这两家。
那 Abnormal 呢?
我不确定从 VC 的角度算不算成功。
我是从商业表现来说。
有意思。这不是我该下的结论。这个行业有很多优秀公司,但确实很难做。对任何安全公司来说,最好的销售时机往往是刚发生重大安全事件之后;大家自然会想买安全产品。
是的。
我觉得大家应该了解基本的安全缓解措施。我认为代码扫描很重要,但我也想让大家记住,模型可能会引入人类不会写出的漏洞。如果你不检查这些漏洞,就会有问题。
更大的问题甚至不只是它会不会出错,而是你对写出来的代码了解得更少。
没错。先不说漏洞,模型平均而言可能更少犯错;问题是你甚至不知道自己正在发布什么。
安全、依赖与权限(续)
所以我们得想清楚怎么缓解风险,把安全评审纳入代码审查流程。我还想确认一个直觉:代码库各部分的重要性不一样。安全特别关键的部分,是数据存储、计费,还有认证和授权。把这些设为不可触碰的区域,其他部分就放手让智能体去做。
对,我完全同意。
而且有趣的是,如果你分不清 authentication 和 authorization,就应该去学。如果你从没看过 AWS IAM,也该去了解。这些都是基本概念。掌握了术语,你才能准确地给智能体下指令;没有这些概念,你就不知道该怎么表达。
完全同意。我会把它扩展到云平台的一些基础知识。曾经有家公司因为一个 DNS 问题发生了很严重的事故,你还记得是哪家吗?
DNS 事故太多了,得说具体点。
我知道,有一次特别出名……
出名的 DNS 事故很多。
好吧,你把它们列出来。
DNS 更多是可靠性、在线率问题。
对,安全事件更让人在意的是有没有损失资金、有没有泄露客户数据。DNS 的问题是服务在线率。
后台智能体与 Stripe Minions
SLA 之类的内容,还有后台智能体。你这一周的嘉宾不一定和主题完全对应,对吧?
对,第九周有些嘉宾是因为时间安排才放在那儿的。本来想让 Elad 在最后一周来,但时间没对上。第九周我可能不讲课,不过第十周会回到这些主题,所以安排有点错开。
第八周的嘉宾是 Rajesh,他在 Cloudflare 负责很多基础设施、开发者体验等工作。我之前就说过,他们在这方面做得很好。对于一家这么大、而且已经上市的公司来说,他们的采用速度很出色,相关内容也做得很好。
这一周讲的是异步后台智能体的各种用法。我会花不少时间讲 Stripe Minions、Spotify 的系统,以及 Ramp Inspect 等案例,看看后台智能体如何扩展到大规模。
他们的名字是 Tag Instinct……Muse?
对。与面向消费者的产品相比,我更关注软件团队如何大规模使用这些东西。
归根结底,它们底层都是编程智能体。
对,所有东西最后都是编程智能体。
Grokbot 就很有意思,表面上像消费级产品,底层其实是 Cursor。
对,他们就是 Cursor 团队。
我见过 Cursor 在后台运行,但以为它没有代码库集成。
有的。
我没用过那部分。我主要用它订 OpenTable 的位子。
对,这就是他们想做的事:面向消费者时可以做普通任务,但如果你会用,也能调用底层更强大的能力,因为它实际是 Cursor。
所有编程智能体大概都是这样。Claude Code、Claude Design、Codex 都是。你可能突然看到一个代码解释器窗口,只是随口问了个问题,但底层其实是编程智能体。
我自己在 Codex 里做 SEO 和 AEO。传统营销人员可能只是查查地址,但我会写各种脚本做复杂的事,还要存数据、可视化数据。只要有一项工作需要长期重复、有很多步骤或大量数据,很快就会发现需要代码库。
这个观点挺有意思。模型本身也喜欢构建代码库。
不过那也可能只是暂时的。
我想说的可能更多是界面:Grokbot 会不会给高级用户一个入口,让他们能看到底层代码?还是直接跳到 Cursor?你是这个意思吗?
正是如此。否则这就会蚕食 Cursor 的业务。如果 Grokbot 到头来就是 Cursor,那用户就不需要 Cursor 了。
但它们是同一个团队,所以目前他们不介意。底层就是 Grokbot。
我接受这个解释。表面上看起来不太技术化的用例,底层也可能是用代码设计和实现的。问题只是,对开发者来说,代码是否仍然是唯一入口?
我觉得这不只是开发者。普通营销人员使用 Claude Code,或者直接用 Claude 应用时,也可能已经在一个自己完全不知道的代码库里工作。
后台智能体与 Stripe Minions(续)
对。
MCP 门户与基础设施为何会融合
很好。说到 AI 原生团队,我们刚聊了模型网关、今天刚发布的路由专题,也聊到 MCP 门户。MCP 门户是我最不看好的部分。
你是说你不看好 MCP?
我看好 MCP。不是看好或看衰的问题,它现在已经是行业的一部分了。
大家前阵子还争论“MCP 回来了”还是“MCP 已死”,总喜欢走极端。
MCP 门户这门生意还没被证明。我曾考虑过创业做一个,也提议过要研究这个方向,后来就失去兴趣了。我对很多事都容易失去兴趣。你们课程里讲什么?
这一周主要讨论如何把这些原则扩展到团队规模,是我和很多 AI 原生团队负责人交流后设计的。我认为,MCP 门户只有在公司达到一定规模后才有意思:你需要一个统一入口来做治理、安全审计和成本优化。我很好奇你觉得它未来会怎么样,或者会不会消失。如果你相信有一个开放路由器,或某种统一入口来连接各种系统并治理它们,那 MCP 门户也可能继续存在。
我唯一想调整的是,这些功能最后会并入 LLM 网关。
所以它们会是同一个平台?
这点我可以接受。再往下看,它还会和授权、计费等事情合并。极端情况下,所有基础设施都会收敛到同一类问题:中间有个“万能盒子”,两边连接各种系统。这个万能盒子似乎什么都能解决,但前提是你真正理解它的职责。
把 MCP 门户和模型网关分开,就说明你还没有完全接受它们属于同一层问题。数据库查询也是如此。有些人把过滤、排序、推荐拆开,但它们也许本来就是同一个问题。把这些能力放在一层里,可以让它们相互依赖、相互协作;分成不同层,就做不到。
我不反对。我觉得把这些概念拆开讲更像教学安排;底层架构确实可以是那个“万能盒子”:一个入口,另一侧连接第三方、内部和自有系统。
我有一条比较大胆的推文,叫 M×M 到 M+ 的架构。做基础设施的人得明白,自己的工作就是造“万能盒子”,然后再把它拆开。你的问题要么是没有一个好盒子,要么是不喜欢别人的盒子,所以要把它拆开、自己造一个。
这说法很有意思,直到宇宙热寂都能这么讲。也可以说,做软件无非就是打包或拆包。关键是把真正应该放在一起的东西打包;随着时间推移,人们对哪些东西应该放在一起的看法也会变化。
MCP 门户与基础设施为何会融合(续)
所以这也引出另一个问题:Monaco 是不是该做得更聚焦,还是应该什么都做?对你们服务的创业公司来说,你们是在把东西打包到一起;从 Salesforce 那里抢市场份额时,又是在把 Salesforce 拆开。
对,挺有意思。这也能推广到整个垂直 AI 领域,还有打包与拆分的变化。Craigslist 上原本放在一起的服务,后来有了 Airbnb、Tinder 等独立产品。
今天我们刚发布了 OpenRouter 的专题。OpenRouter 很成功。很多人试图做网关,但没能像他们一样成功,因为 OpenRouter 只专注做网关。这就是一个反例:他们不认同路由层也应该负责运维。
因为 Arize 做运维、可观测性等,而 MCP 网关又是另一回事。
对,他们只做模型路由。我很乐意被证明错,因为他们说自己就是一个单点产品,只把这件事做好;这既是工程上的专注,也是营销上的清晰定位。
我觉得“一站式解决所有问题”在理念上很合理,但企业实践里,虽然大家都把这些归为基础设施或平台,实际却由不同团队负责技术栈的不同部分。要把 MCP 门户和模型网关合并,得有人推动建立一个统一端点,让两边接到一起。这很难让所有人达成一致。
所以很多时候,问题不在软件设计,而在组织政治和人的协作上。
这也符合康威定律:软件架构会反映组织架构。你最终会买到组织结构的映射。创业或做工具时,应该明确公司里谁最需要它;如果说“所有人都需要”,那就等于没有明确用户。
这个角度有意思。Latent Space 和 AI Engineer 也有意服务一类明确的软件工程师:真正关心 AI、愿意把它变成日常工作的人。我们就是为他们做内容。
没错。我们会讲数据库、安全,也讲它们各自的 AI 角度。
嗯。确实有道理,后面再看看。
构建软件工厂
对。我还想提一个未来越来越重要的岗位:平台工程师。
说说你的“业内往事”:如果你当年没有创业,你会想当平台工程师吗?
会。我想负责平台,因为平台工程师决定这些关键任务怎么做;应用层的人可以在平台上自由发挥。真正厉害的人会做平台。
现在平台团队负责云、开发者体验、安全运维等所有关键部分。凡是可能让公司成败的东西,都在平台这边;产品团队则去调 CSS……我不是说我不尊重做产品的人。
现在挺有意思的,好像大家什么都能做。
未来会怎样?
第九周和第十周会从大团队、编程智能体继续讲到软件工厂。我希望大家开始思考这样一种机器:一台机器负责制造另一台机器。人还会不会参与?今天看来,人的作用可能是确定意图、进行审查,或者检查系统本身。完全自动化的系统目前主要还卡在这两个环节——意图和审查。不过我猜,审查这个瓶颈会先被削弱。
我还希望学生亲自体验软件工厂。我们的开源合作伙伴 Warp 会提供一个运行中的工厂版本,学生可以直接为它做开发、贡献代码,让它持续运转。
就是在我们的工厂里工作。
对,正是这样。学生在里面会发现一些有意思的东西,再把经验带回来。
我不确定 Factory 本身是不是特别希望这么做,但感觉每个人都想建自己的工厂。
这是个好问题。他们当然有权销售自己的产品,但完整的软件工厂很难由一家厂商包办,系统复杂得很。
请替我把所有决定都做了。
这确实很复杂。我还没深入研究他们怎么做 GTM,但我猜只能一点点卖进去,再扩展。就像我们说过的打包与拆包,不可能一上来就把整座工厂摆到 Ford 这样的客户桌上。他们可能会先提供编码智能体,再帮客户部署一些后台智能体、接手部分 SRE 工作;之后如果配置都用代码管理,就可以再把它们整合起来。
OpenAI 有篇很有意思的博客,讲了 Ryan 团队花五个月做出一套内部工具,完全没有手写代码,称为“harness engineering”。他们经历了初期进展缓慢、随后卸载任务并做同行评审的过程。这是软件工厂的一种设想:让智能体尽可能负责编写代码,并思考怎样做好。
我认为这种模式肯定会出现。至于怎样销售这种东西,是另一个有意思的问题;但从理念上说,这会是未来的一种形态。
构建软件工厂(续)
对,这会是未来的一种形态。
开发者还要做什么?
除了软件工厂,我们还会谈开发者这个角色未来会变成什么样。大家会说品味、对系统和架构的理解,还有软件品味。我想更深入一点,试着回答这个问题。
这是你对 AI 软件工程下一步发展的看法吗?
软件工厂是战术层面的做法,但还有一个更大的问题:如果工厂全速运转、传送带不断产出代码,开发者的角色会如何演变?几周前,我和你、Dex、Jerry 在晚餐时谈过工厂。有个观点我很认同:抽象层级会不断提高,但仍需要有人——哪怕是公司的 CEO——理解系统的组成部分,从而判断方向、纠正偏差、设定指标。这个道理也适用于负责技术的人。有人称之为“智能体经理”,名字可能很时髦,但本质是理解产品需求和技术约束、贯通整个流程并做判断的人。
刚才坐在你这把椅子上的,是 Anthropic 的产品负责人和平台工程负责人。我问他们,什么时候两个岗位会合并。他们说“还没到时候”。既然 Anthropic 都还没到那一步,你也不必觉得马上就会发生。
好,好。那他们说还要多久吗?还是只说“还没到时候”?
只说还没到,但谁知道呢?我感觉他们已经有不少工作交叉:我在做她的事,她也在做我的事。
对学生来说,这也很重要。你说很多学生还是大二本科生,他们还有两三年可以规划未来。
我想得比较多的是工作循环的变化。以前你写提示词;后来你不再直接写提示词,而是写能生成提示词的提示词。
然后继续往更高一层递归。
对。这种递归、同心圆式的过程,既向外扩展,也向内深入,最终会构成软件工厂。你会逐步建设工厂,而不是一开始就从最顶层的目标往下拆。但将来大家也许会反过来,从“我的目标是什么”出发,再推导整个系统。现在这样做会产生很多 slop,不应该这么做;但总有一天可能会成为常态。
那我想问的是,人最终存在是为了什么?今天工程师的衡量指标可能是 PR 合并率、贡献率。两年后再看这个指标就很荒谬了。那人主要负责什么?
我不知道。
很多人马上就会说“赚钱”。
大家太快想到钱了。应该是在 PR 和钱之间的某种东西。
比如客户满意度、功能的 CSAT 分数?
那更像是产品决策,不完全是代码决策。
但如果工程师逐渐变成产品工程师、PM 工程师那样的混合角色,这也是一种答案。今天我会建议学生多花时间理解完整系统,而不只是工程拼图中的某一个部分。
开发者还要做什么?(续)
理解整个系统怎样串起来。这在实际中也会体现在学生的毕业项目上。我给他们的项目灵感有时会来自 YC 的创业公司需求清单。我会说:“去创办一家公司,做点有意思的东西。”
去年学生都做了什么?
做的东西很多。有一位学生来自工程学院,做了一个转换工具:解析包含 C 语言内存地址的手册,再把内容转成可以解释和可视化的代码,完全是针对他自己的领域需求。
还有一位设计师现在去了 Vercel。她做的东西是:拍一张设计笔记本的照片,就根据草图生成一个应用。她现场演示时,随便拍了几笔涂鸦,最后生成了一个完整的 Vercel 应用。我觉得她可能也因此去 Vercel 做相关工作。
很不错。Vercel 对设计工程师的要求很高。
是的,我记得她现在可能在做 Eve。
Eve 是你们的开源合作伙伴之一;他们让学生用 Eve 来构建项目。
对。这就是“元 harness”:harness 的 harness。你总能再往下一层。模型路由器会包装模型 API;如果你要在不同 harness 之间切换,也需要把 harness 包装起来。
同意。但学生也应该脚踏实地。前沿变化很快,可很多公司还只是用一次模型调用跑生产,或者刚开始给员工发 Cursor 许可。这样的公司比硅谷里的人想象的多得多。
品味很重要,多尝试。无论是每家公司自己做软件工厂,还是做帮助别人建工厂的工具,只要持续关注、亲自用这些工具、不断尝试,就会慢慢找到答案。
我完全同意。确实有很多公司还停留在 ChatGPT 提示聊天的阶段,或者刚拿到 Cursor 许可、开始给员工部署。这样的公司比硅谷里想象的多得多。学生能接触前沿工具,知道它们怎么用,等他们加入还没跟上前沿的公司时,就能成为更有意思、更有价值的贡献者。
从个人采用到团队自主
Steve Yegge 把这个过程称作“精神错乱”的几个阶段。他写了 Gas Town,后来还有 Gas City。Gas Town 最重要的成果大概就是造出了 Gas Town。你可以把它看成是在交付产品和承担责任,还是在玩 LLM。这个系统确实很复杂,也可能超前于时代;但他的营销和宣言也推动了大家采用它。他列出的阶段大方向是对的:先成为 ID 用户,再成为重度用户,然后使用多智能体,最后构建编排器。不过现在也许已经过时了,软件工厂还要更进一步。
我现在的雇主不想雇没有“经历过精神错乱并走出来”的人。我们付钱让员工经历这段过程,给他们薪水和 token;如果他们最后没有交付产品,反馈也传不到他们那里。所以我觉得学生应该经历这一过程,再带着自我认知回来。Steve 把自己的两年历程公开写了出来。
学生可能会用 Notion 图表、个人系统和各种优化,让自己觉得很高效,但最后什么都没交付。
Boris 提出的团队采用模型分成五个阶段:受控、辅助、并行、受监督的自主,以及 AI 原生。每个阶段从零开始编号,所以是五级。
我得再仔细读读。动态工作流也是如此:它们是一种子代理模式,你可以按需写一个 harness。
与其复制父代理,不如多写一些代码,把它作为子代理运行。Anthropic 把这种方式叫作“动态工作流”。我们在 Monaco 也做了一个版本,可以按需创建 harness,用于 GTM 等场景。
Boris 的模型讲的是团队采用,Anthropic 在尝试到达第四阶段,而他们现在的工作是团队 AI 采用。它和 Steve Yegge 讲的个人采用阶梯不是一回事。这个内容应该教给大家,它把整个问题总结得很好。
学生、开源项目与工程写作
这次聊得很开心。课程筹备了九个月,现在才到第一周结束,还有很多东西要做、要学。我很期待看到接下来会发生什么,尤其是和开源合作伙伴一起,让学生深入复杂代码库、真正动手构建东西。我会继续向大家更新进展。
明年你们还会再办一届。你需要给学生提供额度;开源社区的人想参与,也可以联系你。
当然。
额度真的重要。学生会想要吗?还是说他们不想花钱?
我们可以给他们一定数量的额度,也可以再提供资助或额外额度。
如果他们想放手做实验呢?你可以安排一次性的实验,让他们把规模扩展到一千多个代理。
对,这来自 Factory。
这种人很有价值。比如 Cursor 的 Wilson,他说自己要写一个浏览器。这种有雄心、又能执行的人非常值得招聘。
是的,学生应该学会有雄心。恕我直言,在今天,把照片变成应用已经不算有多大雄心;写一个浏览器才算,而且这样的项目其实还有很多。
这也是把整体门槛抬高。去年还要感谢上一届学生,但今年我们显然会期待更多,这正是能力水平在不断提升。去年课程还在教什么是提示、怎么做少样本提示;我不觉得现在大家还会特别关注这些。
我给学生一个第 11 周的额外建议:做基准,做评估。这能让你敲开每一家前沿实验室和顶尖智能体实验室的大门。写一篇有严谨性、讨论有意思问题的工程博客文章,也会有很大帮助。
好的工程博客文章要有严谨性。这里有不少基准和容易着手的题目。
深入一个问题,也能创造生意
工程文章写得好,往往是因为你深入研究了一件事。
这不只是打开职业机会,也能赚钱、创办公司。
SWE-bench 最初也是一个本科生项目。
对,是在普林斯顿做的。
太棒了。今天就聊到这里。