和 OpenAI 研究负责人一起做饭：AGI、o1、Evals 与 Scaling LawsLatent Space

“对，我当时就想……”

“那个我知道。”

“这感觉就像 Corey——我现在的处境就是这样。干杯。”

大家好，欢迎来到 Latent Space 的 Cooking 系列。我们会邀请创始人和研究者来这里，真的让他们“下厨”。今天的嘉宾非常特别——OpenAI 首席研究官 Mark Chen。欢迎你，Mark。

谢谢你邀请我，Alan。

也谢谢你来。今天这顿饭的灵感，来自那个 Mark Zuckerberg 亲自做汤、试图吸引研究员的故事；据说作为回应，你也把汤带给了 OpenAI 的研究员。这是真的吗？真的发生过？有效吗？

这绝对是真的。我确实给我们自己的研究员带过汤。我觉得那多少让大家平静了一点，也确实起了作用；我认为最后我们占了上风。不过，在 AI 人才竞争这么疯狂的背景下，这仍然是个非常好笑的故事。

你平时多久做一次饭？你熟悉下厨吗？

我喜欢做饭，只是没有条件经常做。我几乎每晚都有工作晚餐。也许 AGI 之后，做饭会变成我的爱好。我一直开玩笑说，等这一切结束以后，我要去开一家面馆。

对，希望 AGI 之后面馆还存在。看一下我们面前这些食材，你大概能猜出今天要做什么吗？

也许是韩式豆腐汤？

没错。我们就是从你给研究员送汤的故事获得灵感，准备做韩式豆腐锅；另外我还会做虾。准备开始了吗？

开始吧，开始吧。

好。第一步先把蔬菜分开，再切好。先把带泥的根部切掉，然后把不同部分分开放。

这个我会。（笑）

好，就先放在那里。你处理食材的时候，我想问问你的背景。你以前做过交易员。Sam 去年四月好像还发过一条帖子，说如果你是高频交易员，应该考虑加入 OpenAI、一起造 AGI。你觉得交易和研究之间真的有联系吗？还是说交易只是另一个技术密集、竞争激烈、容易产出优秀人才的行业？

最重要的一点是，很多研究员刚开始时并没有接受过正规的机器学习或 AI 研究训练。我们一直相信，人可以在工作中被培养成研究员。真正困难的能力，是创造性地解决问题、跳出框架思考。你并不是非得有博士学位——当然，博士训练确实会带来有价值的技能。

至于交易，我不确定它是不是一种特别特殊的职业。我们招到过很优秀的数学家，也招到过很优秀的物理学家。交易有一个特点：它很难“作弊”。你没法欺骗现实世界，对吧？盈亏是非常硬的优化指标。这个行业还要求极强的细节意识，要进行非常残酷、非常彻底的优化，把系统里的每一点余量都榨出来。这些能力确实能迁移到研究工作中。

明白。那对于想进入研究领域、但没有博士学位的人，你认为他们应该培养哪些属性或能力，才能形成所谓的“研究品味”（research taste）？毕竟对他们来说，这个领域可能非常陌生。

我觉得“研究品味”有一点被高估了。它当然需要培养，但我发现最有效的方法其实就是复现。找一篇你真正敬佩的论文，尽可能完整地把它复现出来。

2018 年前后，有很多工作给我留下很深印象，比如 ResNet、PixelCNN。我从精确复现训练曲线这件事里学到了很多：努力达到论文暗示的训练损失、困惑度（perplexity）等具体数值。很多技巧论文里并不会明说，但当你往下多挖两层、真正把实验跑到同样的结果，就会把那些技巧学会。最早真正把我带进这个领域的一件事，也是——

嗯。

——AlphaGo 对阵李世石。那对很多人都是一个转折点，非常鼓舞人。于是我认真做的第一个大项目，就是试着把 DQN 跑起来。

嗯。

对。

没错。我记得其中一局的“第 37 手”非常疯狂。亲眼看着那一幕发生，再看后来整个领域的发展，以及今天研究走到的位置，冲击很大。

更疯狂的是，现在几乎每个领域都在出现自己的“第 37 手”。数学里有，计算机科学和编程里也有。今年年初，很多人突然醒过来，发现：“天啊，Agent 已经能在我的职业里工作了。”大家开始意识到，模型能够替他们完成真正有意义的长时程工作（long-horizon work）。

是的，非常震撼，我自己的工作里也已经在用。我们继续做饭，下一步很简单：切洋葱，把它切成丁。与此同时我想问，强化学习（RL）是不是会更难进入某些职业？编程相对容易，因为代码库和任务上下文大多可以直接获得；但像初级咨询顾问的工作，信息散落在很多地方，可能就更难。你怎么判断不同场景适合什么方法？

RL 传统上在主观性高、客观性低的领域会遇到更强的阻力。比如创意写作就是一个典型例子。

对。

你拿两篇创意写作作品给两位专家看，他们的评价可能完全相反。

是。

所以，越难评分的领域，RL 就越难直接发挥作用。现在很多人在研究怎样把 RL 用到这些场景中，但至少目前，RL 最容易起飞的还是存在“冷硬事实”的领域，比如数学和计算机科学——答案可以被证明为正确或错误。

这也引出了评测问题。随着模型越来越强，甚至把 IMO 题目这类基准做到了饱和——

对。

——我们该怎样评价“超人类智能”？当模型已经能做只有最顶尖 0.01% 人类才能做的事时，怎样把智能前沿继续往外推？

这确实很疯狂。我觉得关键越来越集中到模型如何与现实世界交互。过去我们思考怎样超越编程竞赛时，最初的方向之一就是转向真实世界的研究。现在模型已经很擅长发现新定理、推进硬科学前沿。

但到了今天，这甚至不再令人惊讶。我们几乎默认模型能解决极难问题、做出实质贡献，甚至在不同领域之间建立新颖而有洞察力的联系。因此，我们把协同编程（coding co-working）看作一种测试场：它可以检验模型能不能在高上下文、真实世界、长时程的环境里持续学习和工作。

明白。蔬菜已经切完了，下一步是煸炒。我们用这台电磁炉，把它打开，然后加热蔬菜。

好。

加一点油，把锅放到前面的炉头上。

这些炉子挺酷的。

倒一大勺油就行。很好。按一下，再转动旋钮，完美。等锅热起来，我们就把蔬菜放进去。趁这个时间聊研究：有没有一些被广泛接受、但你不同意的观点？比如“预训练已经死了”，或者“语言模型永远无法通向 AGI”。外界有很多还没有被验证的说法。作为 OpenAI 的研究负责人，你怎么看？

嗯。

比如刚才那些观点？

我坚定地相信指数式进展，也相信 scaling laws，所以我强烈不同意那些悲观论调。至于“预训练已死”，有趣的是，这种叙事只是在最近一两年传播得更广；但在大语言模型的发展史上，人们其实一直都这么说。

每隔一段时间，总有人说：“因为这个瓶颈，你不可能再继续扩展了。”可我们总能找到某种方法突破边界——可能是更好的工程，也可能是新的研究洞见。接下来仍然会是同样的故事：更谨慎的研究工程、更细致的数据工程、更精确的扩展方式，然后解锁下一阶段的规模增长。Scaling laws 已经跨越了接近十个数量级，没有理由认为它现在就会停止成立。

这是个很有力的观点。回顾那些帮助你们跨过扩展瓶颈的研究赌注，早期有没有某些具体想法，当时所有人都觉得它不可能成功？

推理（reasoning）就是最大的例子之一。我们第一次把这条路线的突破带给世界，是 o1。但要把它真正启动起来并不容易，因为当时大家生活在“预训练加后训练”的世界里，这套范式看起来已经非常有前途。

对。

所以，即使在 OpenAI 内部，也很自然会有人问：既然现有机器已经运转得很好，为什么还要做另一件事？最终要归功于 Jakub、Ilya，以及很多对这条路线有信念和远见的人，我们才真正开始大力推进。即便如此，要让整个公司把它当作根本性赌注，仍然需要大量协调和引导。

明白。

是。

你怎样培养激励研究员的能力？做很多赌注，必然有些不会成功；但你还要让团队相信，其中一些最终会产生幂律级别的影响。

OpenAI 很酷的一点是，研究环境很像一种精英 meritocracy。研究经理往往就是过去做出过最好研究的人。因此，很多方向引导可以自上而下发生：如果你的经理说，“我非常确信这是正确方向”，大家会认真对待。因为这个人的研究品味和执行力长期受到尊重，他现在对某个想法非常兴奋，本身就是重要信号。

但同时，OpenAI 也有很强的自下而上成分。我们愿意被说服、愿意承认自己错了。研究员可以拿着冷硬证据走进来。很多后来成为研究路线图核心部分的东西，一开始都不是管理层主动推动的，而是某个一线研究员对它有非常强的信念。这种情况也非常令人欣喜。

我听你最近的一次采访里说，OpenAI 内部研究路线图并没有因为模型进展或其他公司的动作而发生根本变化。你们多久重新评估一次？周围的一切都在变强，你们怎样保持主动，而不是随着竞争对手的新模型被动反应？

高层研究路线图应该保持稳定。人们需要一个可以依靠的框架，也需要看到我们正在建设什么、通向哪里。我很高兴我们在相当长时间里坚持了同一条主线。不过，执行细节当然会随时间变化：先做什么、后做什么很重要；不同方向投入多少资源很重要；一线具体采取哪些步骤也很重要。

我们会设置一些天然的时间点，强迫自己重新审视这些问题。一个例子就是分配算力的时候。

对。

这份工作的一部分，就是决定算力应该分给哪些项目。每次分配都是一次重新提问：我们真的把算力和人员投入到了优先级最高的赌注上吗？

能不能再解释一下“高层路线”和“执行细节”的区别？——对，我好像一直在往锅里加油。（笑）你说的高层路线，是不是宽泛到“AGI 是我们的北极星”，还是会更具体一些？

在最高层，我们有专注于预训练的组织，目标是让模型获得大量世界知识；我们也专注于 RL，教模型怎样用这些知识推理、怎样把一个个小洞见串起来；最后还有对齐与后训练。每个领域里，我们既会研究怎样扩展主线方法，也会寻找新的赌注——它们可能带来不同的扩展性质，或者让扩展速度变得更激进。

明白。

嗯。

我听说你们每一两个月会过一遍大约 300 个潜在研究项目。面对这么多优秀研究员提出的想法，你怎样磨炼判断力，决定哪些值得加倍投入、哪些不做？

核心是聚焦。外界可能听过一种说法：OpenAI 正在收紧研究赌注，同时让算力分配更有方向性。我不喜欢微观管理我的经理；重要的是赋予他们权力。但对于我们真正想做的大赌注，要直接给出大块算力。

这就是你说的“方向性分配”吗？

对。不过与此同时，也要给团队灵活的算力池，让他们可以自由投入自己相信的方向，或者对我们规定的配额做一些调整。大致做法是：每个组织只挑三到五个赌注接入主研究路线图，之后由经理和组织负责人自主推进。

明白。那在招聘新研究员时，有没有什么信号能让你判断：这个人有潜力成为研究员，并以某种独特方式影响组织？还是主要看他过去做过什么研究？

在一个人真正加入 OpenAI 之前，这很难判断，我是认真的。最优秀的研究经理长期和大量研究员共事后，会形成一种直觉：对方说的话、提出的想法，是否击中了你也会关注的点？他的直觉是否与你经过验证的直觉相匹配？这有点像一种“本能检查”。

但刚开始确实很难看清。通常工作六个月到一年以后，谁的成长轨迹最强、谁会产生很大影响，就会变得相当明显。看过许多人在 OpenAI 完成研究能力的发展后，你会逐渐知道不同的人在哪些方面最有活力、最有潜力。

还要强调，研究员不是同一种模子，影响力有很多类型。有些人拿到一个清晰想法，会比任何人都更快地把它实现出来；另一些人会提出近乎疯狂、甚至看起来“太疯狂”的想法，但仔细想又没有那么疯狂，并能说服你换一种方式看世界、开展完全不同的项目。产生影响的路径很多。

这很有帮助。那顶级工程师和顶级研究员有没有相似之处？人们常说，优秀工程师即使在小公司或创业公司，也能把一点点模糊想法一路带到生产环境。研究员是不是也应该从提出想法，一直做到它通过产品交付给最终用户？还是他们更专注于研究本身，不太考虑最后的设计和客户使用方式？

研究的特点是，前进道路往往并不清楚。区分研究员的关键，在于他有多大概率朝正确方向走，也就是你刚才说的“品味”。工程领域有一些可复用的模式：如果你要做某种产品，背后的工程原则通常相似。

研究稍有不同。你需要有好的研究品味，还要能说服别人相信这个方向有前景，最后再把它接入核心研究路线。

明白。

对。

好，蔬菜部分完成了，接下来要多任务并行。

好。

我们往锅里加水，先把汤底煮起来。右上角这个锅，把盖子拧开。我往这里倒一些，你那边也可以倒。汤在小火煮、蔬菜加进去的同时，我们在旁边做虾。

嗯。

我先把这里清一下。目前看起来不错，洋葱和蘑菇已经炒出颜色了。接下来聊一个很有意思的领域：评测（evals）。你有没有见过这样的情况——凭实际体验觉得模型非常好，但在正式基准上却表现很差？还是说二者高度相关，例如 SWE-bench Pro 分数很高，日常用它做编程任务的体验通常也会很好？

不，确实存在你说的现象。我们内部有个说法，不确定外界是否也这么叫：benchmark-maxing，或者说“刷基准”。模型可以过拟合某些特定分布，而这些分数并不能反映真正的泛化能力。

最简单的做法，就是拿一个基准，收集大量与其中题目极其相似的样本，再对这些样本过度训练。除此之外，另一个让人担忧的问题是：行业里真正公认、可作为黄金标准的基准太少了。

对。

我们确实处在一场评测危机中。那些大家熟悉的优秀评测——就像人们成长过程中参加的 SAT 之类考试——已经被模型完全做饱和了。我们必须找到新的、真正有效的模型基准。

Codex 这类工具有一个很大的好处：它们让评测可以快速迭代。一个人就能在很短时间内搭出质量很高的 eval。

嗯。

还有一点很有意思：把模型部署出去，本身就像在持续做评测。用户真正使用它时，你能看到模型在哪里失败。在数学、编程和软件工作中，通过广泛部署，你会逐渐知道它能处理多长的任务、在哪些地方会摔倒。

明白。现在把虾放进油里，先煎出一点颜色。沿着刚才的话题再追问：怎样同时做到基准分数好，又避免你说的 benchmark-maxing？你当然希望诚实、不“作弊”；但如果分数低于竞争对手，消费者可能只会想：“你分数不高，模型大概就不行。”这两个目标怎么平衡？

必须使用有代表性的评测组合，而不是依赖单一指标，并持续投资创建新的 eval。我们甚至有一种哲学：一项 eval 一旦公开到全世界，它基本就已经不再是一项好 eval 了。

另一个办法，是与外部组织合作创建评测。在一些很难的数学和科学评测上，我们和外部机构合作，由他们帮我们制定黄金标准。

还有一个重要原则：把创建 eval 的团队，与优化、训练模型的团队分开。

也就是和模型构建团队分开。

对。这样两边不会共享同一种激励。评测团队的目标，是设计出模型很难通过的测试。于是形成一种天然的对抗过程，避免组织自己骗自己。

对。

两个团队的激励反而会以更正确的方式对齐。

你自己也会参与评测方向的构思吗？包括决定哪些 eval 应该和第三方合作开发？

会。我和 Jakub 的很多工作，就是引导 eval 应该往哪里走。我们会发现某种能力缺口，或者确定一种我们想让模型获得的能力；反过来说，每一种能力都对应一项 eval。你必须有办法测量：模型是否真的被激发出了你想要的能力，而且做得足够好。因此这里需要大量方向引导；让所有人对 eval 达成一致，本身也是很艰难的工作。

这很合理。说到 Jakub，你以前采访里说他非常幽默。你们在研究判断上又非常一致，所以讨论很高效、能推动前沿。有没有什么以前没讲过的趣事？或者在他“很幽默”的另一面，有没有一些——

对。你刚才问有没有好笑的故事。Jakub 昨天刚给我讲了一个，我觉得特别好笑。某种意义上，我们两个人共同管理研究工作。听说有位研究员跑去对他说：“我现在感觉自己拥有一支大军，里面全是很笨的 IOI 金牌选手。”

Jakub 回答：“这听起来已经很像我现在的处境了。”（笑）他就是这么刻薄、讽刺，又非常好笑。

很棒。做这么重要、不断推进前沿的工作，办公室里还能有幽默感，确实能起到平衡作用。这也让我想到一个奇怪现象：模型可能在 IMO、IOI 这类顶级竞赛上表现非常好，却会在普通人轻易完成的日常任务上卡住。你怎么看这种情况？

对模型来说“直觉”的东西，往往并不是人类觉得直觉的东西。大家经常用“锯齿状前沿”（jagged frontier）来描述：由于模型看过的数据、以及我们更容易教会它的东西不同，有些任务它天然就很擅长。

嗯。

很多差异也归结为上下文。模型并没有人类自然拥有的全部背景。视觉当然也是一个例子——人类在生物层面就天然具备视觉系统。因此，模型和人类各自在某些锯齿状能力上更强。

另一方面，人类很自然地能从一次任务中吸取教训，再把教训应用到后续任务。让模型也具备这种跨任务学习能力，是现在很多 AI 研究者正在努力解决的问题。

对。说到上下文，一个最显而易见的办法是扩大上下文窗口、给模型更多示例。但即使窗口很大，也会出现信息膨胀，甚至人们说的“上下文腐烂”（context rot）。所以问题显然不只是把窗口做大，对吗？

没错。解决超长时程学习最标准、最直接的办法，就是朴素地扩大上下文窗口。这当然有道理，但“实现长上下文”和“把长上下文做好”是两件不同的事。针对此类能力，行业里已经有很多“干草堆里找针”（needle-in-a-haystack）式评测。

除此以外，也有不少工程和研究上的捷径。今天很多编程产品都有 compaction 功能：把关键洞见、当前工作状态等压缩保存。它绕开了原生长上下文所要求的那些极其困难、昂贵的底层能力。

明白。

很好。

现在进入最好玩的部分。先把火调小，再往锅里加一点油，然后用火焰炙烤虾，让味道更浓。

好。

我先在自己的锅里做一次，给你看效果。

这就是 one-shot learning。

对，名副其实。

等一下，我还没倒波本威士忌。先倒大约四分之一杯——不，用量再少一点。关火，把酒倒进去，然后点火。

太棒了。

很好。

好。

我觉得我会了。

轮到你的锅。倒大约八分之一杯，倒好以后我把喷枪给你。

好。

现在炉火是关着的。酒倒进去以后，再点火。

好的。

拿住喷枪，按这个按钮点燃。

好。

对，就是这样。很好，已经烧起来了。火焰有点淡，但没问题。现在可以重新开火，把剩下的酒精烧掉。

好，很好。

感觉怎么样？

已经基本把所有东西都煮起来了。

太好了。回到研究方向：现在还有很多“低垂果实”吗？也就是说，只优化已经实现工作中的某个小环节，就能得到很大提升；还是说接下来的研究必须是完全不同的新赌注？

这是个很好的问题。我觉得仍然存在新的赌注，但数量可能没有那么多。从某种意义上说，我们希望大家真的感到 AGI 已经临近。模型的能力越来越强，这是所有人都能看到的。

对。

如果认真推演这种能力的含义，我们正在越来越接近一个模型能够自己产生更多创新的世界。

也就是创新可以继续向外扩展。

对。如果模型能够进行自我维持的研究（self-sustaining research），那正是我们为研究工作设定的重大目标之一。

嗯。

因此，真正重要的问题是：在到达那个时间点之前，还有没有值得下注的大方向？

明白。

我认为窗口已经很小了，但我们仍在尝试一些相当重要的想法。

有些研究者说，要到达 AGI 还需要两三个突破，例如持续学习（continual learning）之类。你也认同这种看法吗？还是说并不需要再发明三个完全不同的范式，变化不会那么剧烈？

嗯，我不知道。我不确定自己会采用“还需要两三个突破”这种框架。持续学习更像是一项必须解锁的基础能力。

对。

可以尝试的技术非常多。对于哪些算“突破”、哪些不算，我也不确定该怎么划线。但很明显，我们正在朝球门踢很多次，我相当有把握其中一些会奏效。

很好。虾基本做好了。

太棒了。

要不要再做一次 flambé，让颜色更深一点？

来吧。

我把火调大一点，再拿些油。我们想煎出一点深色焦化层。你的锅已经有一些颜色了。希望这次还能拍到更好的火焰镜头。

好。酒还是倒同样多吗？

对，差不多同样的量。上次可能火力还不够。现在倒进去，按下按钮。

好。

来了。

火起来了。

这个质感不错。

对，也会增加一些风味。我来试试。

好，我们看看最后会是什么样子。已经进入收尾阶段了：虾都熟了，火也烧起来了。把剩余酒精稍微烧掉，然后把蔬菜放进汤里。

你的多任务能力让我印象很深。这其实也是模型需要进一步提高的一项能力：它应该能一边持续完成手头这样的一条任务线，一边同时和你交流。

对。这也让我想到一个问题：图像、音频、视频乃至文本，最终应该都放在同一个模型里，还是会分化成专门的音频模型、视频模型之类？

对研究实验室而言，把它们放在同一套体系下有很多优势。比如，你只需要维护一套基础设施栈。不要低估同时维护和扩展多套基础设施的成本。

如果核心研究都发生在同一个基础栈里，那么底层进展可以自然迁移到你想处理的任何模态或任务上。因此，我们有很强的倾向：尽量把系统维持在尽可能少的几种架构里。

明白，这很有道理。架构和基础设施成本往往是大家讨论多模态时没有充分考虑的因素。

还有一个最近经常出现、你刚才也提到过的词：vibe researcher。我们已经有 vibe coder 了。对于 vibe researching，你觉得最终状态是什么？研究者的主要价值，是凭研究品味提出正确想法，还是亲自完成后续实验和执行？

我们正在非常快地进入那个世界。在 OpenAI 和其他实验室里，越来越多工作已经以“编排”（orchestration）为中心：研究者提出想法，模型已经足够强，可以自己完成实现和执行。

提出想法和执行当然都重要，但价值分布正在发生变化：研究者可以提出大量想法，而模型负责具体执行和编排。我认为这会成为未来做研究的方式。

我们前面也说过，模型目前还不真正具备研究品味，所以仍然需要研究者提出想法。教会模型形成好的品味会很难。但在加速研究执行方面，模型已经带来了明确而可感知的收益。

你觉得模型的研究品味最终会和人类达到同等水平吗？

我认为会。看我们大约三年的路线图，最终目标就是让模型完成端到端研究。这里的一部分难题，正是让模型形成好的研究品味：你只需要指向一个通用 benchmark 或问题，它自己就能找到正确的解决路径。

明白。回到 OpenAI 里由人类开展的研究：如果一项研究赌注最终没有奏效，你们怎样做事后复盘？毕竟你们会下很多很大的赌注，其中一些必然失败。

我会说，这恰恰是 OpenAI 的 alpha 很重要的一部分。我们与其他实验室的一个区别，是愿意下很多高风险赌注；这也是我们长期能持续站在前沿的原因。但它必然意味着，有些赌注不会成功。

一个很困难、但必须接受的推论是：当一项赌注没有奏效时，你不能欺骗自己，继续相信它迟早会成功；你必须能够与它脱离。你要回头判断：这个想法当时为什么看起来有前景？后来为什么变得没有想象中重要？是出现了更好的方法，还是我们发现了别的事实？

即使技术路线没有被证明有效，那些工作也常常很有价值。失败者写下来的复盘尤其重要，因为这往往是一个很自然、很多人都会想到的方向；把失败路径记录清楚，可以让后来的人免受同样的痛苦。

这种对失败的积极看法，要怎样和绩效判断平衡？假设一位研究者连续下了很多赌注，却一个都没有成功。到某个时点，你还是会期待他真正作出有益贡献，而不能永远只做没有结果的探索，对吗？

从经验看，我确实见过这种情况。但我也见过好几次：一个人一项赌注接一项赌注地失败，就在所有人快到挫败边缘时，他突然做出一个“超级命中”（mega hit）。这种事情发生得足够多，所以关键还是看那些想法本身是否站得住脚。它们可以很有野心，但仍然必须是合理的。

有一类人就是专门在风险更高的前沿工作。他们只需要偶尔证明一次，整体投入就可能是划算的。这或许是一种很像交易员的世界观：看的是期望值。但归根结底，他们仍然需要创造价值。

很好。现在基本组装完成，只剩最后调味。先尝一下汤：如果不够咸就加酱油，如果太咸就加水稀释。来看看我们的最终成品怎么样。

挺不错的。

好吃吗？

我接受这个结果。我的这锅不错。

我的需要加一点水。能把水递给我吗？

当然。

整个过程感觉怎么样？

我觉得这像一次“学生蒸馏”（student distillation）。你显然比我更擅长做这个。

不不不。（笑）我觉得你做得很好，尤其是虾和其他食材。闻起来很棒。更广泛地说，现在有哪些 AI 研究方向是被高估的，又有哪些是被低估的？

如果你仍然抱着“pre-training 已经死了”的世界观，那我会说，pre-training 绝对没有死，反而被低估了。

另一个被低估的方向，是产品、最终用途，以及如何把研究中建立的各种基础能力连接到现实世界真正的 agentic use cases。你不能一直在真空里构建技术，却不把它们和实际效用连接起来。

很好。现在可以正式试吃了。

来吧。

把这些移开，开始摆盘。你拿那边的盘子。虾看起来很好，其他东西也都在这里。我们就用这些锅盛。

好。

尝尝看。干杯。

干杯。

好像有一点甜，可能稍微太甜了。

对我来说没问题，我喜欢甜的东西。

味道不错。Sean，要不要过来尝尝我们的豆腐汤？

顺便说一句，闻起来真的非常香，只是观众闻不到。

我们假装你是一位正在争取晋升的研究员。

汤的质量会极大影响这次决定。

好。这里有勺子。

先说说这道菜的艺术指导是什么？

艺术指导是“模仿”。我认为模仿里也有伟大的艺术。

就是让他们自己 cook。

嗯，味道很强。我喜欢咸鲜和辣味组合在一起，再加上海鲜的风味，融合得不错。

很好。那我的这锅呢？

这锅的某种味道更突出。

所以谁赢了？

不不不，你应该先尝完再说。

不，你确实要选一个赢家。这就是 evals。

对，而且是昂贵的外部 evals。

我得说，这锅水似乎有点太多了。

我觉得也和锅有关，这是个大锅。

好吧，我还是会选这一锅。

好。

尽管你是我们的尊贵嘉宾，我还是想保持客观。它的浓度和风味更好。

所以我的水应该减半？

大概是。

明白。不过口味这件事很个人化，对吧？

对，品味非常个人化。你刚才提到——你经常做饭吗？

不不不。我只会几道菜，而且会严格照着菜谱一字不差地做。你要我稍微换一种做法，我就完全不知道该怎么办了。

GPT 可以告诉你怎么做。

说实话，我准备这次节目时确实问了 ChatGPT 好几次。

所以对你来说，那只是准备工作的一部分。

没问题。今天非常高兴请你来。你一直凭很强的研究品味引领很多前沿工作，看到你的研究进展也很令人振奋。希望你今天也玩得开心。

非常开心。谢谢你们。