引言
我们很多产品理念其实来自 Apple。想想 2000 年代初，那时电脑能上网，手机能打电话。好像没人想到把两者合在一起，直到 Apple 提出：“如果把互联网放进一台可以随身带的设备里呢？”
把模型训练、评测和部署放在同一个地方，让每个人都能轻松完成；然后把模型重新部署到生产环境，收集新的使用轨迹，形成闭环。这会成为一种神奇的新范式，我觉得很快每家公司都会采用。
伪持续学习：纸质地图与 Google 地图
Ronak，谢谢你来做客。很高兴邀请到你。我们想聊聊你正在做的事情、你怎么看研究领域，以及你觉得未来会走向哪里。先从持续学习聊起吧。你们花了很多时间思考这个问题。你能给我们解释一下吗？你也说过，这个领域目前处在“伪持续学习”的阶段。什么才是真正的持续学习？我们怎么知道自己已经做到了？
这是个好问题。说到持续学习，我觉得人脑是一个很好的目标模型。从某种意义上说，人是真正的持续学习者：我们在线学习，不断更新、迭代。
我小时候家里经常开车出远门。那时候我们会去 AAA 拿一叠地图，请他们把路线标出来。上路以后，如果想改道，就得打电话给 AAA，或者亲自跑一趟门店。我觉得今天的智能体和 AI 就像那时的地图：能力很强，地图算法也不错，但只能在少数几个离线节点上获取；想调整路线，就得来一次大批量更新。
Trajectory 现在首先要做的，是让所有人都能使用这类能力，能够训练模型并按自己的需求定制它们。这有点像 MapQuest：虽然仍是离线的，但至少大家不用再跑去 AAA，也能自己规划路线。持续学习的最终形态则更像 Google 地图：每次开车、走过每条路线，系统都会更新，汇总学习最快路线和交通状况。这才是我希望抵达的世界。
我们需要新架构吗？Rich Sutton、David Silver 与缺失的一层
这个比喻很棒。最近我们请 Rich Sutton 和 David Silver 做客，他们都提到，靠今天的架构，持续学习恐怕还做不到。你怎么看？目前哪些可行、哪些不可行？进展到了哪一步？要实现持续学习，我们需要架构上的重大突破吗？
有意思的是，大家想起 Transformer 和大语言模型时，可能会想到 Andrej Karpathy 的 TinyGPT 视频：一层层堆叠注意力模块和 Transformer。很多大语言模型的扩展，也就是不断往上堆更多 Transformer。
但最近的一些论文已经在改变基础架构。比如 DeepSeek V4.1 Flash 的架构，对基础结构做了不少改动，加入了权重内部的快慢记忆，也让第 2 层和第 50 层之间建立跳跃连接。我认为这些架构变化已经在基础模型中发生，它们也会是持续学习的重要组成部分。
我认同架构层面的进步很关键。但我想做的是利用这些技术和研究，把它们真正接到现实世界里。归根结底，任何 AI 进步的价值，尤其是持续学习的价值，都要看人们实际上怎样使用模型。企业心里知道什么样的结果才算好，而整个闭环最难的一步，是把这个标准转化成模型的实际改进。我认为缺的就是这一层。
从一亿美元咨询式模型到产品：Windsurf 的 SWE-1 经验
那你们怎样把这些点连到现实世界？其中有多少能做成产品，有多少还得靠人手把手带着客户走完整个流程？
到目前为止，从数据走到智能一直很难，过去只有研究实验室做得到。你需要庞大的研究团队。最近几年，一些垂直领域公司也开始投入，组建大型研究团队。我之前在 Windsurf，我们当时训练了一个模型；Cursor 也做了 Composer。问题在于，这需要数亿美元的研发算力、规模很大的研究团队，还要投入大量时间。我们花了六到九个月，才真正训练出一个前沿模型，而且依赖的是一种手把手带着客户做的咨询模式。现在基本还是这个状态。
我觉得，一个好产品应该是把每家公司都在反复做的事情，打包进一个漂亮的界面：只留下客户关心的旋钮和控制杆，用来表达他们心里的“好”是什么样，其他复杂性都藏起来。这就是很好的产品界面。
你和联合创始人在 Windsurf 参与模型工作时，发现了什么可重复的规律，让你们意识到这里有产品可做？你们什么时候有了这个顿悟？
一部分原因是，我们在 Windsurf 用生产环境中的数据训练模型：观察产品里发生的编辑、重试，再从中学习。与此同时，我的联合创始人 Michael 曾在 DeepMind，参与 Gemini Robotics。他们也开始看到同样的机会：把机器人部署到现实世界，搭建持续学习基础设施，让机器人每天都能更新。Arjun 在 Apple 做 Vision Pro 时，也在思考怎样把艺术家的反馈用于多模态基础模型。
我们都在不同角度处理同一个大问题：怎样从现实世界获取反馈，再用它改进模型？但我们当时都在大型研究实验室。我逐渐意识到，持续学习会成为下一代学习范式，也想知道能不能在实验室里推动它。我很快发现，在 DeepMind，我们的核心工作是训练一个巨型模型，再把它分发给全世界。这显然是很成功的商业模式。但如果要把同一个模型针对一个客户单独定制，再只交付给那位客户——比如我们的平台为 Harvey 做的事——大型实验室就得为单一客户搭建大量基础设施。
Harvey：成本比前沿模型低六倍，自家基准从 4% 提升到 18%
能不能以 Harvey 为例，讲讲你们做了什么？
Harvey 之前一直建立在闭源前沿模型之上。他们做出了很棒的界面和产品，服务全球许多律所。但他们也意识到，自己积累了大量领域知识和细微经验，知道律所真正关心什么，也有三十年法律行业经验沉淀。使用前沿模型时，他们没法把这些数据真正用起来。
他们于是利用专业知识建立法律智能体基准。只要能够用自己的数据训练模型，就能掌握自己的发展方向。通过 Trajectory，Harvey 训练出一个成本低六倍的模型；在他们自己的基准上，开源模型的准确率从大约 4% 提升到了大约 18%。这还有很大提升空间，但他们现在有了研究实验室级别的能力。更好的是，模型成本比前沿模型低六倍，因此可以为任务投入更多 token。
为什么叫 Trajectory：工作的单位是任务，而不是 token
你们把公司叫 Trajectory，是因为它和持续学习有关吗？这个名字是怎么来的，又怎样体现你们正在做的事？
现在大家非常关注 token，很多人把 token 当作工作的计量单位。但我们和别人交流时，不会去数对方说了多少个字。和同事一起工作时，我们更多考虑的是一项任务，或者一段完整的轨迹；这才是我希望采用的工作单位。
在强化学习里，这基本相当于一次 rollout，也就是训练流程中实际执行的一段过程。持续学习的强化学习训练栈里有 rollout 引擎和训练器。在模拟环境中，rollout 引擎会执行许多模拟过程；而持续学习里的轨迹发生在现实世界。此时，rollout 引擎就是现实世界中的推理过程和 token，而轨迹就是正在发生、具有经济价值的任务。
我希望这种范式能普及，让我们用轨迹作为思考工作时的单位。对不了解强化学习的人来说，这个名字也很贴切：我们让企业拥有自己的发展路径，让它们真正成长起来。所以这个名字有双重含义。
持续学习的基础要素：轨迹、可重放环境与奖励
我喜欢把轨迹看作有经济价值的工作单位。你也几次提到“什么样才算好”，这听起来像评测或基准。持续学习的核心要素是什么？
Trajectory 的目标是把这些要素尽量精简到只剩下“什么样才算好”。不过现在企业仍需要好几个组件，我们的产品就是要尽可能容易地补上这些环节。
首先，企业需要记录生产环境里发生的所有轨迹。很多 AI 原生公司已经开始记录的不只是主智能体调用，也包括各个子智能体、产品里发生的事情，以及用户反馈。理想情况下，你会得到一条完整时间线，把这些事件都串起来、追踪起来。这是第一步。
现在大家怎么做？这些轨迹通常存在哪里？
我认为，持续学习的整个生态需要很多公司一起来建设基础设施。有些企业自己做，也有不少产品可以接入生产基础设施或智能体，记录这些轨迹，比如 LangChain、Braintrust、Raindrop 等。我们看到，很多 AI 原生公司会用这些产品先把记录这一步做好。
好，有了轨迹，接下来呢？
第二步是让轨迹可以重放。你需要一套基础设施：给定一段在生产环境见过的轨迹，怎样重放它来做评测、判断什么样才算好，或者用于训练。企业还得为此投入一些时间。我们的产品希望把这段流程接起来：你带来轨迹，再描述你需要的环境；用技术语言说，可能是一个 Dockerfile 或一组系统要求。之后就能重放整段轨迹。
第三步是实际修改模型的算法。这一步很难由企业自己完成，因为它涉及整套训练栈、损失函数、奖励函数等组件。你得把任务转化为模型的实际改进。这是我们一开始最想替用户抽象掉的部分。
Group Size 1 与元评分器：不靠环境或人工标注奖励训练
说到把其中一些环节抽象掉，目前已经抽象了哪些？下一步是什么？产品会怎样逐步成形？
目前用户主要要提供轨迹、奖励，以及对环境的一些描述。这里有两个需要大量人工投入的部分：一是构建能匹配真实生产环境的环境，但很多时候根本不可能做出完美环境；二是奖励。法律或投资银行的工作流程通常没有完美、可验证的奖励供模型训练。这正是我们研究团队重点推进的两个方向。
先说环境。GRPO 是目前主要的后训练算法之一。想象一个电子游戏角色在平台间跳跃，最后得到奖励。GRPO 要比较同一个任务、同一个游戏关卡的多次表现，因此需要把任务重复跑 8 次或 16 次，这些重复结果称为一个 group。但人不需要反复重放完全相同的环境；我们在现实世界里体验并完成一次任务就行。我们想修改 GRPO，让 group size 从 16 降到 1。我们已经取得不少进展：如果有一万条来自不同任务的轨迹，就能直接从每条轨迹的一次行为中学习。我们已经发布了相关博客。这种 Group Size 1 方法消除了环境以及构建环境所需基础设施的要求。
第二个方向是奖励。假设有一万条轨迹，通常需要逐条标注，说明哪些结果可验证、什么样才算好。这做得到，只是工作量很大。我们想减少把“好”的标准转化成训练信号所需的时间和劳动。比如从一万条轨迹里，聪明地挑出一百条有代表性的样本，让客户或用户为这百条密集地写出“好”的标准、评分准则或可验证条件。接着训练一个元评分器，从这一百条样本的行为中学习，并把学习结果推广到其余一万条。这样就能用一个简洁界面，把奖励信号传播到大量数据中。当然，这还不是理想的最终方案。理想情况下应该有一个可观测性界面，告诉你智能体擅长哪五件事、不擅长哪五件事，你圈出问题然后点击训练。这就是我们想实现的方向。
平台：一键训练、评测、部署，适合哪些团队
很棒。你们刚发布了一个产品来做其中一些事。能介绍一下它发布了什么、面向谁吗？
以前训练这些模型需要庞大的研究团队、大量时间和算力。我们想做一个最简单、最直观的界面，让大家训练模型，并按自己关心的目标定制模型。Trajectory 平台很简单：接入智能体轨迹，说明什么样才算好，然后通过一键训练界面输入几个智能体提示词；之后可以在同一个地方评测模型并部署。
产品理念很多来自 Apple。想想 2000 年代初，电脑可以上网，手机可以打电话。似乎没人想到把两者结合，直到 Apple 提出把互联网放到随身设备上。我们把训练、评测和部署放到一个地方，让每个人都能轻松使用；随后把模型重新部署到生产环境，收集新的轨迹，闭合学习环路。这会成为一种神奇的新范式，我觉得很快每家公司都会采用。
很棒。现在这个产品面向谁？理想客户是什么样的？
我们想让已经搭好智能体框架、在这方面投入很多的公司，轻松完成下一步：改进最有价值的部分，也就是模型。现在产品主要面向 AI 原生公司，比如 Harvey、Rogo；一些更大的公司，例如 NVIDIA，也已经在用。下一步我还想超越模型本身，覆盖智能体框架（harness）。模型能提高效率：如果模型反复见过某个任务一百次或一千次，它就能把任务做得更快、更便宜、更可靠。框架还能带来以前做不到的新能力。
很多正在采用 AI 的大公司，还没有针对子智能体优化框架，也没有把前沿模型 token 的最后一点价值挤出来。最终可能只有 10% 的任务需要用像 Fable 这样的前沿模型；另外 90% 的时候，可以智能路由到自己训练的模型，效率高得多，也能改善利润率。
Rogo 与智能密度
能讲讲你们合作过的客户吗？刚才提到 Harvey，再举一两个例子吧。
一个很有意思的例子是 Rogo。他们采用了一种我认为会成为未来方向的智能体模式。现在大家用智能体的方式通常是同步的：你给它提示，它去执行，然后回来。Rogo 感兴趣的不是那种长篇大论、吐出一堆废话的模型，而是简洁清晰的金融智能体：它把你关心的工作做好，也可以在后台自主处理一些事情，最后高效地给出结果。
对 Rogo 来说，“好”的标准里包括智能密度：模型完成同样任务时，效率要远高于前沿模型。他们有足够的数据做到这一点。通过 Trajectory，他们训练出一个模型，token 使用效率提高了好几倍，同时成本更低、速度更快，也能在他们关心的指标上持续提升。
下一步是什么：好奇心，以及持续学习为何更利于对齐
很棒。我们刚才聊了 Group Size 1 和 GRPO。接下来是什么？持续学习会走向哪里？
我们目前谈到的主要是帮助企业把自己对“好”的定义转化成模型改进。要实现真正的持续学习，让模型像人一样高效地从现实世界学习，还得让它们拥有内在的好奇心。我认为这是智能体通过持续学习自主成长所缺少的关键一环。现在的模型能完成任务，却不会积累经验，也不会真正了解现实世界。
比如我第一次拿到橄榄球时，可能完全不知道会发生什么。但反复扔上一百次之后，我就会形成一些经验法则。孩子会不断探索世界：看到足球、橄榄球，就会试着玩，从中建立心智模型，这让人变得非常聪明。智能体目前还做不到。我们一直在思考怎样量化好奇心。
强化学习里有个概念叫马尔可夫决策过程，可以把世界描述成一系列状态和动作。比如我手里拿着球，这是一个状态；我把球扔出去，是一个动作；接下来球落在哪里，又是下一个状态。现在的大语言模型很擅长直接从状态 0 跳到状态 1，因为它们是下一个 token 预测器。但中间缺了关键部分：从 S0 到 S1 的转移函数到底是什么？大语言模型目前没有办法把它编码下来。
人很清楚自己什么时候不知道世界的转移规律，并会主动去弄明白。我觉得这正是好奇心发挥作用的地方。如果能量化“我目前对世界哪些部分还不了解”，再让智能体去探索“做这项任务会发生什么”，建立自己的经验法则，我们就开始解决好奇心问题，让智能体能自主地持续学习。
怎样确保智能体的好奇心符合用户的目标？
这也是我热衷于持续学习的原因之一。目前研究似乎有两个方向：递归自我改进（RSI）和持续学习。两者都在研究智能体怎样从经验中学习，但做法不同。RSI 是把模型放进黑箱，让它成为最优秀的 AI 研究员，以便自己改进自己。这有点令人担忧，因为我们必须追问：这些模型和智能体真的会与人类对齐、把人类利益放在心上吗？
持续学习走的是另一条路：模型从经验中学习，尤其是从与人的真实互动中学习，并在用户交给它、真正想完成的任务上变得更好。关键是算法必须让人始终参与其中。我不希望未来这些智能体失控；我认为实现这一点的办法，就是沿着对齐的道路继续前进。
下一步是什么：好奇心，以及持续学习为何更利于对齐
这些智能体可能会失控。我认为，要避免这种局面，就得继续沿着对齐的道路走下去。
研究与产品并肩：产品构建者像园丁
你们在 Trajectory 把产品和研究结合起来，做了不少特别的事。能说说在这里做产品有什么不同吗？你们聚集了哪些人来实现它？
我们处在前沿研究和产品的交汇处：既要修改强化学习的核心算法，让模型能从现实世界学习，又要把它们打包成优雅、清晰的训练界面。研究团队里，有联合创始人参与过 Gemini 3 和 Gemini Robotics，也有人参与 OpenAI 的 GPT-4o，还有人在 MSL 建设 Muse 基础设施。产品团队里，有人在 Stripe 做过支付 SDK 的可扩展基础设施，也有 Netflix 最年轻的设计工程师。我觉得正是这些人的交汇，才会产生奇妙的东西。
通常公司的研究栈像是角落里一团乱麻的代码库，产品则做得比较完整。我们把训练代码库也做到了生产级别：有微服务、Kubernetes 扩缩容，训练器和 rollout 引擎的每个部分都能自动扩缩。设计工程师也经常发起训练，深入理解研究过程。这是个很有意思的地方。前沿编程智能体也让这一切成为可能。我们现在大部分时间都花在白板上讨论系统设计，真正的实现则交给一整队软件智能体去完成。
在这里做产品并不容易。在持续学习的世界里，产品构建者该扮演什么角色？
产品构建者要思考怎样利用现实世界中的轨迹和经验，让产品开始自主塑造和改进。Trajectory 现在从模型入手，之后还要让模型和智能体框架都能自我改进。随着产品越来越原生地使用 AI，框架会成为许多公司产品的主体。如果你能让框架和产品自我改进，就有机会推动整个公司自我改进。
到那时，产品和产品构建者会有点像园丁：植物会自己生长，你要做的是在地里立起支架，指明希望产品往哪个方向长。这会是个令人兴奋的世界。你可以把产品交给几百名用户，它就能自己成长；你只需把自己的品味注入公司的发展方向。我觉得这非常令人期待，企业现在就该朝这个方向开始建设。
为什么加入 Trajectory：从 1% 到 99% 的乐观愿景
对正在考虑“Trajectory 听起来是个不错的工作地点”的人，你们会怎么介绍？为什么有人会想加入 Trajectory？
我觉得有几个原因。首先，持续学习作为一种范式，会成为下一代学习范式。上一代那些巨型公司，比如 Google、Amazon、Facebook，其实都在做持续学习。推荐系统和广告系统会收集现实世界里的偏好，构建在线系统，使用得越多就学得越好。智能体还没有这样的能力，而这正是我想让 Trajectory 参与的方向。
我们从产品第一版开始，让训练模型变得很简单。但长远来看，我希望它成为一个庞大的推荐系统，让每个智能体都能贴合企业和每位用户的需求。这会是个非常令人兴奋的世界。当然，还有很多工作要做，生态里也不止 Trajectory 一家公司需要把事情做好。我们隔两条街有做沙箱的 Modal，为很多基础设施提供支持；再往前两条街，在旧金山还有 Thinking Machines。持续学习要落地，需要许多公司共同搭建基础设施，而产品界面会是很多令人兴奋的工作所在。
我们几个月前刚认识你时，你说过一个想法：基础模型实验室带来了充足的智能，每天在各行各业辛勤工作的人们则带来了充足的经验，但两者之间有一道很大的鸿沟。某种程度上，持续学习就是连接这道鸿沟、让人们积累的经验能被基础模型智能理解的方式。我觉得这个说法很优美。顺着这个问题，你对持续学习能带我们走向怎样的未来，最乐观的看法是什么？
我很喜欢这个问题。一个很好的例子是亚当·斯密的《国富论》。在 18 世纪，人们做的事情都差不多，一个工匠要从头到尾完成整个工作流程。斯密提出，丰裕的世界需要专业化：人们不该总是在不同任务间切换，而应专注做自己积累了经验的事情。
我觉得 AI 现在像是处在工业革命前，甚至像狩猎采集社会：大家不断重复相同的工作，只能去请教同一个技术“神谕”。我们需要走向专业化，不再只有一家厂商制造汽车或所有产品的每一个部件，而是让每个人都能定制智能体框架和模型的每个部分，这样才会进入丰裕时代。
企业里 AI 的采用率只有 1% 是有原因的：还有太多工作流程非常手动，本可以自动化，并通过投入生产的智能体提升智能水平。我的目标就是把这 1% 变成 99%，让我们真正能从如今散落在世界各处的经验中学习。
太棒了，谢谢你来做客。
为什么加入 Trajectory：从 1% 到 99% 的乐观愿景
谢谢你们邀请我来。