持续学习时代的 8 个预测Dwarkesh Patel

我在别处已经解释过，为什么我认为真正的持续学习（continual learning）是必要的。我不认为，如果 AI 被迫只能在一次会话到下一次会话之间写 Markdown 文件，它就能像人类一样胜任一整份工作。

举个直观的例子。想象学生学习吹萨克斯也是这种方式：第一个学生从没吹过萨克斯，他走进音乐厅，第一次尝试当然会失败，于是把出错的地方写成一大堆笔记。

下一个学生在音乐厅外等着。他进来后读完这些笔记；他同样从没吹过，所以当然也会搞砸，然后继续往笔记里添加内容。

音乐厅外仿佛有无穷多个学生，他们不断给下一个人留笔记。我不认为存在某种文字序列，能让后来的学生第一次拿起萨克斯就直接吹好。

到了某个时刻，你必须真的把相关经验积累进自己的大脑。我认为，我们希望 AI 从它被部署到的各种工作场所中真正获得的很多技能，也会是同样的情况。

好，那么一旦我们拥有真正的持续学习，会发生什么变化？

第一，我认为现在很多关于 AI 监管的提案，都假设流程是先训练一个模型，然后再部署它。于是，只要在模型部署前做一系列检查，我们就可以确保它不会帮助发动网络攻击，也不会做出什么疯狂的事情。

我不认为这个假设未来一定成立。这也是我担心现在就把某种安全监管制度锁死的众多原因之一——因为我们甚至不知道一年后要面对什么样的技术，更别说五年或十年后了。

如果模型每天都根据当天完成的数百万次工作会话而变得更好呢？如果真是这样，我们可能会把一种已经过时、甚至可能适得其反的 AI 威胁应对方式固定下来。

如果政府确实想对模型提供商进行某种安全评估，我认为按月或按季度做风险检查更合理，而不是试图挑出一个所谓的特殊时刻——训练已经结束、部署尚未开始——因为未来这很可能不再是一个有意义的独立类别。

第二，实验室做技术对齐（technical alignment）的方式大概也得彻底改变。现在很多研究关注的是：怎样确保一组冻结的权重在部署期间表现良好。

但据我所知，几乎没有多少研究在回答另一个问题：如果权重一直在更新，怎样保证 AI 系统永远不会被 jailbreak 攻破，也不会变成一个欺骗性或邪恶的人格？

如果 AI 还会把不同用户之间学到的东西汇总起来，我们又该怎样阻止用户向基础模型注入后门，或者注入某种恶意倾向？

从某种意义上说，这就是人类自己的“对齐问题”，对吧？人会以自我导向的方式成长。假如你有孩子——我没有孩子，但我想象事情大概是这样——他们会走出去，学习新东西。

有时他们会走偏。他们可能一下就被某种疯狂意识形态击中，吃错了药，变得超级古怪。

但你希望自己已经给了他们足够的常识和基本价值观，让他们能够以自我导向的方式成长为更好的人，而不会最终形成某些极其古怪的信念或厌世观念。

第三，AI 心智的多样性会增加。现在突出的“AI 心智”不到五种——这里我指的是那些同时服务数百万、数亿甚至数十亿用户的基础模型。

顺便说，它们彼此都相当相似，因为它们大体上是在同样的数据上训练出来的。

但如果 AI 是从经验中学习，而不同 AI 公司之间、甚至同一个 AI 模型的不同实例之间，经历都不一样，那么最终我们可能会看到大量差异化的 AI 心智出现。

我认为这总体上会是件好事。未来值得担心的一件事，是出现一个相当无聊、铁板一块的单一体（monolithic singleton）。

一个拥有持续学习的世界，希望会比我们如今看到的不同模型之间的模式坍缩（mode collapse）更有趣。

第四，当部署本身成为训练的一部分时，在 AI 竞赛中领先的回报会加速扩大。

如果你拥有最好的模型，而且更多人正在用你的 AI 做更复杂、更有用的工作，

那么他们就会给它大量反馈，而这些反馈可以被整合到单次会话窗口之外，于是你的模型会变得更聪明。第五，如果模型主要从部署中学习，那么实验室会承受很大压力，必须更早部署自己最聪明的模型。

据报道，Anthropic 从二月起就在内部使用 Mythos，但直到六月才把这个模型提供给公众。在真正持续学习的制度下，这种做法根本行不通。

你不可能在内部部署和外部部署之间留出四个月的时间差，同时还保持竞争力。因为某个竞争对手即使在发布当天推出的是一个更差的模型，也会因为获得真实世界经验而把模型变得更聪明。

第六，持续学习会为领先的 AI 实验室建立一道它们目前还没有的明确护城河。

很多人一直在问：“AI 实验室到底要怎么赚钱？”我也一直在问这个问题。我在播客里采访 Dario 时就问过他，他用云服务商做了类比。

他的意思是：你看，云服务商提供的许多服务其实没什么差异化，但它们照样赚取很高的利润率。

如果你看 Amazon 或 Google 的季度财报，就会注意到它们过得相当不错。但云业务利润率之所以这么高，是因为从一家云迁移到另一家云既耗时又昂贵。

现在，没有什么能阻止我先用 Codex 建一个软件仓库，再用 Cursor 继续做，然后用 Claude Code 收尾。

但一旦真正的持续学习到来，你使用的模型会在一次次会话中与你互动，并且真的越来越了解、越来越适应你，那么切换成本就会变得相当可观。

如果你想更换正在使用的 AI，本质上就像解雇一个已经积累了数月组织背景知识的员工，然后换成一个非常新、非常没有经验的新实习生，而你得从头重新训练他。

一旦形成这种锁定，模型提供商就可以要求相当丰厚的利润。抱歉——这里真的要强调“新实习生”里的“新”。

第七，企业当然会看懂这种动态，也会努力避免这样的锁定。

但如果摆在你面前的选择是：要么被某个模型提供商锁定，要么失去一个极其有价值的功能——你的模型能够从一次会话到下一次会话持续为你变得更好——那又怎么办？

如果真实使用最终成为模型改进的主要方式，那么 AI 实验室可能会补贴那些允许模型在其会话上训练的用户和企业。

如果你看看现在给编程产品新用户的各种优惠，其实这种事情已经在发生。这非常类似于 Google 为什么免费提供搜索。

反过来，实验室也可能说，任何拒绝让它们在会话上训练的企业，都不能使用最好的模型。

通过胡萝卜加大棒，实验室可以做很多事情，让用户同意 AI 从真实经验中学习。

当然，我这里略过了一个事实：更新某个用户自己的那套权重，与把所有这些不同的权重分叉重新汇总进主模型，并不是一回事；后者在技术上可能更具挑战性。

但假以时日，这个问题也会被解决。

第八，AI 训练本来就有很强的规模经济。昂贵的训练成本可以分摊到更多用户身上；一个证据是，实验室的收入增长速度远远快于它们的算力增长速度。

但持续学习还可能通过批处理（batching），给终端用户的推理带来规模经济。你可能看过我和 Reiner Pope 的那一期，我们详细讨论过这个问题。

如果每家公司的专有信息都需要完整的权重更新，而不是只存在低秩适配器（low-rank adapters）里，那么批处理会有巨大的优势。

粗略估算表明，对于像 DeepSeek v3 这样的稀疏模型，最优推理 batch size 可能超过 2400 条并发序列同时生成。

如果不这么做，你的算力就没有得到充分利用。如果你想理解原因，我再次强烈推荐那期和 Reiner 讨论推理经济学的节目。

总之，这里的关键是：一套给定的权重，只有在同时有数千条序列对它进行解码时，才能被高效地提供服务。

一家拥有大量员工和 agent 的大公司，这些人和 agent 同时在做许多不同类型的事情，因此可以非常高效地为属于这家公司的权重分叉（weight fork）提供推理服务。

相比之下，一个只以 batch size 1 运行的个人用户，其算力效率可能会差两个数量级以上。所以，提供个性化——

——权重的经济学强烈偏向大型组织。显然，等到持续学习真正可用时，还会有很多其他事情发生变化；而最重要的变化，很可能恰恰是那些现在最难提前预料的。

但上面这些变化，即使现在看来也已经相当清楚。

这段内容是我一篇博客文章的旁白版本，那篇文章我也发布在自己的网站上。可以去 dwarkesh.com 看看。

除此之外，我们下期播客再见。