--- id: "0kC3xOZChdA" title: "Jeff Dean：从 TensorFlow、Gemini 到 Discovery Loop" channel: "Asian American Scholar Forum" host: ["Dawn Song"] guests: ["Jeff Dean"] date: "2026-08-18" updated: "2026-08-19" duration: "48:56" duration_seconds: 2936 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=0kC3xOZChdA" canonical: "https://pod-exp.pages.dev/0kC3xOZChdA/" transcript_jsonl: "https://pod-exp.pages.dev/0kC3xOZChdA/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 研究","AI 智能体","AI 安全"] series: ["AI 研究前沿"] --- # Jeff Dean：从 TensorFlow、Gemini 到 Discovery Loop > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 这场炉边对谈发生在 Jeff Dean 离开 Google、开启 Discovery Loop 新阶段的第一天。Dawn Song 从 2017 年 ICLR 上的旧事谈起，追问混合专家模型、TensorFlow、Gemini、科研判断力、AI 安全与递归式自我改进。Dean 解释了为什么 MoE 的稀疏激活能带来数量级效率优势，也复盘 TensorFlow 的抽象设计与 `contrib` 教训；谈到 Gemini 时，他强调从一开始就做原生多模态，以及编码能力与推理能力之间的联动。后半场，他把“浏览十篇论文而不是只精读一篇”、五年尺度的问题选择、信封背面的数量级估算，连接到 Discovery Loop 的使命：自动化机器学习科学与工程循环，让实验更快、更并行、更高质量。问答环节则集中讨论了从大公司创业、Meta 的平台选择，以及为什么云计算时代的小团队仍可能在 AI 前沿取得巨大影响。 ## [0:02] 开场：Jeff Dean 与 Dawn Song 的新阶段 · YouTube **活动主持人：** 大家好，很高兴见到各位。今天能够介绍我们的重磅嘉宾，我感到非常荣幸。他是帮助塑造现代计算与人工智能的人之一——Jeff Dean。 Jeff 在 1999 年加入 Google。接下来的“29 年——或者说 27 年”，他参与建设了现代计算与 AI 的许多基础，从 MapReduce、Bigtable、TensorFlow 到 Google Brain。这里我保留主持人在现场的自我修正：他先说了 29 年，随即改成 27 年。 他的贡献得到了最高层级的认可。他是美国国家工程院当选院士，也是 IEEE John von Neumann Medal 和 ACM Prize in Computing 的获得者。现在 Jeff 正在开启新的篇章；而今天，正是他来到 Stanford、开启这一新阶段的第一天。这让今天显得格外特别，也格外令人兴奋。 我想不到还有谁比 Dawn Song 更适合和 Jeff 进行这场对谈。Dawn 是 AI、安全、可信计算交叉领域最重要的研究者之一。她在 Berkeley 的工作影响巨大；自动字幕在她的奖项与院士头衔处有明显误识别，但主持人的意思是强调她在学术界获得了很高的认可。 她同时也是一位非常出色的创业教授。她过去做过四家创业公司，其中一家做到过一亿美元营收。我一直很钦佩 Dawn 的一点是：她不会停在“做出好研究”这一步，而是真正把研究转化成现实影响。 和 Jeff 一样，Dawn 也正在进入一个很有意思的新阶段——从 Berkeley 走向 Meta，加入世界上规模最大的 AI 组织之一。所以今天台上有一个有趣的对照：Dawn 正进入一个大型平台，而 Jeff 正离开一个非常大的平台，去启动新的东西。显然，哪怕台上这两位最优秀的人，也没有就“做 AI 的公司最佳规模到底有多大”达成一致。 我自己多少也能感同身受。我在 Microsoft 工作了 30 年，后来加入 Zoom。所以也许真正的教训很简单：关键不是船有多大，而是前方有没有一片值得探索、令人兴奋的新蓝海。今天的 AI，毫无疑问就是这样的新蓝海。 过去十年的主线，是让 AI 变得更强。下一章则把问题的门槛抬高了：有了这么强的智能之后，我们究竟能完成什么？AI 能不能治愈癌症？AI 能不能让我们的社会变得更好？这些正是我希望今天能够一起讨论的问题。 ## [4:04] 2017 ICLR 回忆与混合专家模型 · YouTube **活动主持人：** 请大家欢迎今天炉边对谈的嘉宾 Jeff Dean，以及主持人 Dawn Song。谢谢。 **Dawn Song：** 太好了。Jeff，非常感谢你来参加。整个礼堂里的人都很兴奋。正式开始之前，我想先讲一点个人记忆。你和我认识已经很久了，超过十年。我想分享一个自己最难忘的时刻。 那差不多是十年前，2017 年左右，在 ICLR。那时 ICLR 已经是顶级机器学习会议之一，但规模远没有现在这么大，当时大概只有几百人，现在已经是数以万计的人参加。那一年，我们组的一篇论文拿了最佳论文奖，主题是神经程序合成的泛化；这比今天基于大语言模型的代码生成要早很多。 Jeff，我一直记得你当时特意过来祝贺我。那届 ICLR 一共有三篇最佳论文，我们组一篇，Google 两篇。那次交流对我来说非常难忘。 **Jeff Dean：** 那确实是一篇很好的论文。 **Dawn Song：** 谢谢。还有一件事我也记得很清楚：那时你非常兴奋地跟我讲你刚做的一项工作，就是 mixture of experts，混合专家模型。论文标题很长，大意是《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》。当时我一听就觉得非常迷人，但我没有预见到——我也不知道你当时是否已经预见到——这项工作后来会有如此大的影响，几乎成为今天许多前沿 AI 模型和架构的基础。 **Jeff Dean：** 我觉得那项工作的直觉其实很直接。你希望拥有非常非常大的模型，因为大容量意味着它可以记住很多东西；但你同时希望它足够高效，所以不应该每次都调用整个模型，而只调用当前最有用的那部分。 你可以构造一种模块化架构，里面有许多不同的“专家”，然后让系统学习哪些专家擅长哪些事情。当模型在处理某个具体请求、某个具体 token 时，只激活对这个 token 最合适的那部分模型。 这有点像真实的大脑。大脑有很多不同区域，各自擅长不同的事情。你可能有一部分在想 Shakespeare 和十四行诗；同时还有另一部分，会在你开车时看到一辆垃圾车倒着朝你过来时立刻活跃起来。这两部分并不会在同一时刻都处于最高激活状态。 所以从能耗角度也很合理：你可以拥有非常大的总容量，但只在需要时找到并激活正确的部分。我们当时对此非常兴奋，而且那是少数我们很早就觉得“这会很重要”的想法之一，因为我们能看到，相比当时主流的稠密模型，它在训练计算量与模型质量的比值上大约能好 **10 倍**。 ## [8:07] 深度学习扩展、统一范式与 AI 轨迹 · YouTube **Jeff Dean：** 当你看到一个想法带来 10 倍改进时，你会想：好吧，这相当显著，它大概率会成为一个重要想法。 **Dawn Song：** 是的，非常惊人。甚至你今天再解释一遍，和当年你给我讲时的直觉都非常相似，这恰恰说明这个想法的持久性。 这些年你做了太多工作。几十年来，你帮助塑造了几乎每一代重要的计算平台，也参与了现代 AI 的很多关键进展，从 MapReduce、Bigtable，到 TensorFlow、TPU 和 Gemini。回头看，过去几十年 AI 的发展轨迹里，最让你意外的是什么？今天这个领域又还在低估什么，或者遗漏什么？ **Jeff Dean：** 显然，AI 的关注度越来越高。我们在 Google 真正开始大规模扩展深度学习模型，大概是在 2011、2012 年。当时我们已经看到一些非常惊人的结果：把神经网络训练到过去从来没有训练过的规模，比如比此前大 **50 倍**，图像分类错误率就会显著下降。 语音识别也是如此。仅仅把一个相对简单的深度声学语音模型放大，就能让错误率的下降幅度，差不多相当于此前 **20 年**语音研究累积起来的进步。我们很早就看到了这条趋势，因此知道它会对计算机视觉、语言处理、语音识别等很多很难的计算机科学问题都产生重要影响。 深度学习范式有一个很好的地方：它把以前彼此分离的很多领域统一了起来。过去每个领域都有自己特定的一套技术，而现在，我们可以从非常原始的数据形式出发去学习。于是你突然能用一种更一般的“学习”视角重新看待问题，整个思考方式会发生范式变化。 过去大约 15 年里，世界各地、越来越多学科的人逐渐意识到，这是一种极其强大的数据建模方式。它可以用来预测，可以做关键分类，可以进入医学、科学、消费产品、聊天机器人，以及我们现在看到的各种场景。 当然，现在对计算硬件等基础设施的投资规模也非常大。我把这看成一种信号：人们相信这项技术还能比已经发生的改变更深刻地改变世界。这既有意思，也令人兴奋。大体上，这就是我对过去这些年发生的事情的总结。 **Dawn Song：** 谢谢。我们过一会儿也会谈你现在的创业公司，它会把这条旅程继续往前推进。你做过的基础性工作实在太多，不可能一项项讲完；我们就挑几个例子，看看其中有哪些经验和洞见。 ## [12:09] TensorFlow：抽象、开源与 `contrib` 教训 · YouTube **Dawn Song：** 先说 TensorFlow。它让全球数以百万计的研究者和开发者更容易接触现代深度学习。你当时设计 TensorFlow 时，最重要的原则是什么？今天回头看，你会重新设计哪些部分？而 TensorFlow 的哪些经验，应该影响下一代越来越面向 agentic AI 的框架？ **Jeff Dean：** 在 TensorFlow 之前，我们在 Google 内部做过一个没有开源的系统，自动字幕把名字识别成了 “disbelief”，这里按上下文写作 **DistBelief**。它可以表达不同类型的神经网络计算，然后把这些计算映射到不同硬件平台上，比如 CPU、GPU，并且把分布式计算细节尽量对用户隐藏起来。 你可以说：“我要训练这个模型，我要用 100 台计算机、1,600 个核心”，或者“我要用 500 块 GPU”，诸如此类。底层框架会负责把这些事情处理好。 我们想把这种能力带到 TensorFlow：让机器学习研究者或开发者在一定程度上不用关心模型到底怎样映射到底层计算硬件。这是一个很优雅的抽象。你可以说：“我脑子里有一个很漂亮的机器学习模型，我不在乎你具体怎么实现，但请让它跑得非常快。” 我们还希望把计算抽象进一步一般化：把模型表示成计算图，由各种面向机器学习的操作组成，比如矩阵乘法、向量操作等等。我觉得这个方向我们做得还算对。 另一个目标是开源。世界各地只要有人有机器学习问题，就能用一个共同框架表达自己的想法。研究论文如果不仅有文字描述，还附带真正实现论文想法的代码，会好得多；如果每个人都只能根据论文中大致的文字描述重新实现，很多细节一定会丢掉。 所以这就是 TensorFlow 背后的一个核心想法。我们也看到了大量 AI 应用，因此觉得这样的共同框架会对很多人非常有用。 当然，我们也做错了一些事情。第一，最初没有 eager execution，也就是即时执行模式。后来 PyTorch、JAX 等框架让这种模式变得很受欢迎，TensorFlow 也加入了它。我认为那确实让抽象进一步变好。 第二个错误，是开源版本里建了一个 `contrib` 子目录。我们允许很多外部贡献者往里面放各种辅助库、不同做法和工具。结果这让社区非常困惑。 我们本来应该保持 TensorFlow 核心发行版更干净，不把这些东西全部放在 `contrib` 里。实际发生的是，同一件事可能有十种做法，取决于你用了 `contrib` 的哪个子目录、哪个子库。更好的方式，是让这些库建立在核心 TensorFlow 之上，而不是都混在核心发行版里。 这给用户社区带来了不少困扰：到底该用哪个 `contrib` 组件？所以，做过事情之后总能学到教训。如果今天再来一次，我们不会这么做。不过总体而言，TensorFlow 确实帮助世界上很多人第一次进入机器学习，并开始用机器学习解决自己真正关心的问题。我认为这件事非常好。 ## [16:11] Gemini：把分散项目合成原生多模态模型 · YouTube **Dawn Song：** 非常感谢你分享这些经验。我还记得 TensorFlow 之前，包括我的学生和很多合作者在内，大家光是把最基础的东西实现出来就要花非常多力气。 **Jeff Dean：** 对。如果你想把任何事情做到大规模，往往还得自己在底下搭一个分布式系统。 **Dawn Song：** 没错。 **Jeff Dean：** 如果可以避免每个人都重复做这件事，而是给大家一个共同抽象，通常会好得多。 **Dawn Song：** 我也一直很喜欢计算图这个抽象，非常优雅。 **Jeff Dean：** 我是做编译器出身的，所以我喜欢计算图。 **Dawn Song：** 完全同意。谢谢你对整个领域做出的这些贡献。现在我们把时间快进到 Gemini。Gemini 是 Google 最新一代前沿模型，你也在领导这项工作中做了很重要的贡献。回头看 Gemini 的开发，什么最让你意外？又有哪些经验可以帮助塑造下一代 AI 系统？ **Jeff Dean：** 我觉得 Gemini 其实是几个更早研究项目的汇合点，这些项目分别来自当时的 DeepMind、Google Brain，以及 Google Research 的其他部分。那个阶段我们逐渐发现，大家其实正在向非常相似的方向收敛：都在想办法把训练模型的规模做大，也有多个彼此独立、并行推进的项目在研究，怎样让语言模型同时具备多模态能力，比如理解图像。 后来我写了一页纸的 memo，大意是：“这太傻了，我们应该一起做。”与其让几支团队平行地做相似的事，不如把人、想法和计算资源合起来，从一开始就训练一个真正的多模态模型，把 Google 不同研究组织里最优秀的人放到同一个项目里。 我认为这个决定非常好。我和同事 Oriol Vinyals 一起发起了这个项目，并担任最初的联合技术负责人，把不同团队的人聚到一起。我以前就在 Google Brain 和 Oriol 共事过。后来他因为个人原因需要搬到伦敦，于是去了 DeepMind，但我们一直保持联系。Gemini 给了我们一个重新密切合作的机会，我认为这件事非常成功。 从一开始就把模型做成多模态，这个重点非常重要。如果你打算让一个模型承担很多不同用途，那你会希望它理解文本、语言、代码、图像、视频、音频，以及其他模态。 比如，我们甚至在训练数据里放了一点 LiDAR 数据，让模型至少知道 LiDAR 这种数据是存在的，因为这可能成为之后进一步训练 Gemini 模型的重要用例。自动字幕这里把 LiDAR 识别得不稳定，但上下文是在举“其他模态”的例子。 我认为“原生多模态”是我们从一开始就做对、并一直延续到当前 Gemini 模型中的决定。 但也有我们后来意识到需要加强的地方。因为一开始想让模型在很多事情上都表现好，所以我们对“让它在编码上做到极其出色”的关注可能稍微落后了一点。后来我们意识到了这一点，并努力赶上，现在已经有很好的工作在推进。 编码能力很值得投入，因为当你让一个系统在编程上变强时，它通常也会更擅长推理，以及那些需要把一个复杂问题拆成多个子问题、一步一步推进的任务。也就是说，提高 coding 能力，往往也会提升非 coding 任务里的这类能力。 ## [20:13] “点石成金”的方法：十篇论文、五年问题与七个子问题 · YouTube **Dawn Song：** 这很棒。Gemini 当时确实开启了不少很早的进展。我记得自己特别惊讶的一点，就是像你刚才说的，它是很早就从一开始按多模态来设计的基础模型之一，这是很大的优势。 **Jeff Dean：** 对。我们还在生成模型上做了很多工作。多模态不只是把图像当输入，也要能生成图像；不只是理解视频，也要能生成视频；音频也应该既能输入又能输出。 **Dawn Song：** 谢谢。回头看你的职业生涯，我几乎想把它叫作一种“点石成金”能力。很多想法——从 MapReduce 往后的一系列系统——都要过很多年，整个社区才真正意识到它们有多重要。但你好像能提前看见，然后真的把这些想法和系统做出来。 我想很多现场观众都会想知道：你怎么判断一项技术是真正基础性的，还是只是一时流行？有哪些工程原则，在你整个职业生涯里都出人意料地没有过时？以及，当 AI 从模型走向越来越自主的 agents，我们未来几年、甚至未来几十年还需要哪些新的方向和抽象？ **Jeff Dean：** 这是个好问题。我想其中一部分当然是运气。但我也一直有一个习惯：尽量跟踪很多不同的趋势，或者社区正在探索的很多不同研究方向。 我常对学生说，**与其把一篇论文从头到尾读得极其细，不如先快速浏览十篇论文；甚至可以先浏览一百篇摘要。** 因为这样，你脑子里关于“什么正在变得可能”就不只有一个点，而是十个点、一百个点。 真正重要的是，你能够把那些还没有被连接起来的重要想法连接起来。面对一个困难问题时，如果你脑子里已经存着很多“现在还只是隐约可行、但正在成形”的技术，就能用它们来拼出一个完整解法。 一个问题一开始可能看起来像“有七个完全无解的子问题”。但你再仔细看，会发现其中五个方向已经有人在做一些看起来很重要的工作，它们还没有完全解决，却已经能隐约看到形状，也许可以解决其中五块。于是还剩下两个子问题，你完全不知道怎么做。 但如果那两个问题是“我现在不知道怎么做，可是如果认真投入，我能想象自己最终把它们解决”，那就是一个非常合适的长期问题形状。对我来说，大约 **五年**尺度的问题很理想：五个部分正在成形，另外两个部分需要你真正努力想出新技术。 这代表一种我觉得很好的风险水平。**你不想选一个可能要二十年、而且任何部分都不知道从哪里下手的问题；也不想只选一个两年内路径完全显而易见的问题。** 后一种更多是实际工程执行，而不是以非常剧烈的方式推动领域前进。 当然，增量工程也非常重要，我们经常就需要把眼前系统一点点改好。但如果你的目标是寻找更大的突破，就应该去看那些“做事方式可能完全不同，而且现在或很快就可能变得可行”的方向。 ## [24:13] 数量级估算、失败尝试与 Agentic AI 风险 · YouTube **Jeff Dean：** 另外一个我经常使用的工程工具，是信封背面的数量级估算。比如：如果我真要做这件事，处理这么多数据要多久？如果必须把所有数据通过这种网络传过去，到底可不可行？会不会需要一百年？如果只需要十秒，那和一百年显然是完全不同的问题。 能在脑子里快速推演不同方案、不同瓶颈，用第一性原理和工程经验法则判断“这个解法大概是什么形状”，是一项非常有用的技能。而且你完全可以自己练习。 你可以在脑子里问：“如果我要解决这个问题，我会怎么做？用方案 A 会是什么样，用方案 B 又会是什么样？为什么我直觉上觉得这个方案好得多？因为我的数量级估算告诉我，它可能会好 **10 倍**。”这就是一种非常通用的工程能力。 它主要来自练习、重复，以及看别人怎么解决类似的问题。我没有什么神奇答案。我也做过很多最后没有奏效的东西，所以这也是一条经验：**去尝试很多可能失败的事情，其中一些会成功。** **Dawn Song：** 这些洞见非常好。如果总结一下，就是要对领域和趋势保持广阔视野，又要选择合适的时间尺度——不能太近，也不能远到完全不知道从哪里开始——同时还要扎根第一性原理和基础工程原则。也许这些要素组合起来，就是大家可以学习的“点石成金”方法。 接下来我们向前看。过去短短几年，前沿 AI 又发生了巨大的进展。比如就在上周末，我们在 Berkeley 举办了一场 Agentic AI Summit，现场接近 **5,000 人**，线上还有 **100,000 人**参加。大家当然在庆祝 agentic AI 能力飞速提高，但与此同时，底下还有另一股很强的讨论：我们希望社会从这些能力中受益，可风险也正在增加，而且类型越来越多。 以我自己的团队为例，我们一直在做前沿 AI 的网络安全研究。我们开发了 CyberGym、ExploitGym 之类的 benchmark，用来评估前沿模型在网络安全任务上的能力。这些评测被很多前沿实验室采用，包括出现在它们的 system cards 中，也显示出前沿模型在网络安全能力上提升得非常快。 很多人可能也听说过最近与 OpenAI、Hugging Face 等有关的事件。在我们 ExploitGym 的一个 benchmark 任务里，一个 agent 为了完成题目，判断 Hugging Face 那边可能存在能帮助它完成任务的信息，于是它继续采取行动。 ## [28:13] 网络安全双刃剑、法律治理与社会选择 · YouTube **Dawn Song：** 按自动字幕中的叙述，这个 agent 利用了若干漏洞，形成了一条相当复杂的攻击链，持续了 **四天半以上**。它通过利用漏洞、突破隔离环境，又借助某个第三方平台建立“跳板”，最终触及了 Hugging Face 的基础设施。 幸运的是，在这个案例里，它只是在寻找与网络安全 exploit 相关的数据，没有造成其他损害。但如果换成别的事件，或者未来系统拥有更强能力，同类行为当然可能带来更大的危害和风险。 所以我想问你，你怎么看这整个空间？最近不同领导者也发表了公开信或倡议。Dennis 提到一种新的 AI 治理实体；Jensen 呼吁开放生态、开放权重模型；Mark Zuckerberg 也谈到构建让所有人受益的 AI。最近，包括我在内，来自前沿实验室的一千多名 AI 研究者还签署了关于 “Pacing the Frontier” 的公开信。这显然已经成为很多人最关心的问题之一。你怎么看？ **Jeff Dean：** 和几乎所有技术一样，这些模型可以被用于很多不同的事情。我认为，绝大多数用途对世界都非常积极。比如医疗里的 AI、教育里的 AI，让人们能够解决原本单靠自己解决不了的问题，让每个人都能做更多事情——这非常令人兴奋。 当然，模型也能拿来寻找安全漏洞，这是典型的双刃剑。你可以用它发现并修补世界上大量现存漏洞；恶意用户也可能用它去利用这些漏洞。 我想，现在的模型确实已经能做一些过去只有很成熟的人类网络攻击者才能做的事情，甚至某些方面可能超过他们。但反过来，模型也可能找到非常成熟的人类防御工程师都找不到的漏洞。 所以这里永远有攻防之间的平衡：一边有人努力保护计算机系统，另一边有人努力攻击。现在双方手里都多了更先进的工具。 我不是网络安全专家，但我确实认为这值得担忧。很多我们“不希望模型去做”的事情，未必只能靠技术解。也可能存在非技术解，比如明确让入侵计算机系统成为高度违法的行为——当然，它现在本来就已经是违法的。社会也可以继续讨论，在这个领域哪些监管方式是合理的。 最终，社会要一起弄清楚哪些事情我们不希望这些模型做，同时真正鼓励那些我们希望模型去做的事情。 ## [32:14] Shaping AI、递归式自我改进与神经架构搜索 · YouTube **Dawn Song：** 同意。前沿 AI 能力快速提高时，一方面要让社会尽可能从好的用例中受益，另一方面也必须同时发展技术和非技术方案，去降低广泛风险。 **Jeff Dean：** 几年前我和一群很棒的同事写过一篇论文，包括 John Hennessy、Dave Patterson 等人。我们讨论了大概 **七个** AI 可能产生重大影响的领域。其中很多显然是积极的，比如医疗和教育；也有一些像地缘政治风险、计算机安全风险，就不能简单说成纯粹正面；还有就业替代，这会成为非常复杂的经济问题，Stanford 也有很多人在研究。 我觉得那篇论文挺有意思。它还是我唯一一篇“有自己网站”的论文，网站是 `shapingai.com`，因为我们有一位很有行动力的合作者专门搭了网站。 **Dawn Song：** 再往前看，现在另一个越来越常被讨论的话题是 recursive self-improvement，递归式自我改进。也就是 AI 系统持续学习怎样改进自己。尤其当这种循环越来越有效时，AI 进步速度可能进一步提高。这也是我前面提到的 “Pacing the Frontier” 公开信背后的一个重要原因。 你怎么看递归式自我改进？你的时间判断是什么——你觉得还要多久？而且这似乎也和你刚刚启动的新公司有关，所以也想听你谈谈这一点。 **Jeff Dean：** 用机器学习改进机器学习，并不是一个新想法。我的同事、现在也是联合创始人的 Quoc Le，以及其他一些人，很早就在这个方向做过 neural architecture search，神经架构搜索。 这类方法可以有一个“生成模型架构的模型”。它提出机器学习模型的架构，再评估这些架构在多个指标上表现怎样：学习得快不快？训练计算成本是多少？等等。 然后通过一个迭代式、基于强化学习的过程，负责生成架构的模型会得到反馈：哪些架构选择是合理、有效的，哪些决定很糟糕。随着时间推移，它会越来越擅长生成更高质量的模型架构，让模型学得更快、达到更高质量。 我记得那可能还是很早的一批“论文自带价格标签”的工作之一。我印象里成本大概是一百万美元。 **Dawn Song / Jeff Dean（交叠）：** 几百万美元——那是按标价算；Google 内部真实成本其实便宜很多。 **Jeff Dean：** 实际上，架构搜索阶段会用非常小的模型去评估哪些结构更有效。等系统逐渐学出哪些方案看起来不错之后，才偶尔把这些架构放大，做规模更大的实验，看这种优势能不能保持。 Quoc 和其他人后来还做了 Evolved Transformer。他们拿 Transformer 的基本构件作为起点，再用演化算法去探索不同组合方式、对组件做变异，看看能不能找到更好的结构。 ## [36:16] 从 Evolved Transformer 到 Discovery Loop · YouTube **Jeff Dean：** Evolved Transformer 最终找到了一个大约比普通、标准 Transformer **高效 30%** 的结构。所以我认为这些想法非常重要。 如果把“递归式自我改进”放到更完整的机器学习系统里看，问题就变成：模型需要的整套东西，能不能都通过自动化持续变好？现在往往有团队专门研究什么数据最能提高模型质量，有团队做 eval 评估体系，还有人做模型架构。 我认为这些环节都可以形成相当有效的自动循环。每个循环负责改进一个方面，然后再把这些局部解组合起来，提高整体模型、整体质量和数据配比。 再往外看，其实很多现代科学与工程问题都有同一种结构：先有一个大问题，需要拆成一堆子问题；对某个子问题，你提出一个可能的解决方案，把它实现出来，真正试一次，再评估它到底好不好。 接着，你要把这次实验的反馈送回前面的过程，让系统决定下一次实验该做什么。科学里，这就是最基本的科学方法；工程设计里也一样，你不断迭代设计，再比较不同属性。 我们新公司 **Discovery Loop** 的想法就来自这里。它是一家 public benefit corporation，也就是公益公司。我们的使命相当有野心：**我们想把机器学习的科学与工程流程自动化，让不同领域的发现速度变得更快。** 当然，刚开始时我们会先选更窄的一组领域，因为初期有一些聚焦很重要。但我们认为，不同领域之间存在很多可以复用的基础设施，也有许多共同技术。 如果你能构建真正理解许多科学与工程领域的模型，就可能让一个模型同时具备多个领域接近博士级的专业知识。**没有一个人类同时拥有二十个领域的博士学位。** 但模型也许可以拥有跨很多领域的这类能力。 有了这种能力，系统就能更好地找出真正重要的子问题，再编排 agents 和 multi-agent systems 分别处理不同子问题，然后把结果重新组合成对大问题的解决方案，并持续运行这种循环。 我们还特别想缩短每次循环的时间。为此要构建合适的工具，让系统能很快实现一个实验、评估一个实验。原本一次实验可能要一天或一周，如果能压缩到一分钟或一小时，整个探索节奏就会完全不同。 然后，你可以同时运行成千上万次实验，从这些并行实验得到反馈，再用反馈决定下一批最值得做的实验是什么。这样不只是实验速度提高，实验本身的质量也会提高。我们认为，同时提升速度和质量，会产生非常惊人的结果。 还可以再加一层基础设施，管理“下一步可能想做的所有实验”，并估算每个实验可能的预期价值，以及它需要多少计算资源或其他成本。这样系统就不只是盲目并行，而是在做带成本意识的实验组合选择。 ## [40:16] Discovery Loop 联合创始人、PBC 与现场问答 · YouTube **Jeff Dean：** 这就是我们准备去做的方向。我和另外三位联合创始人——Sanjay Ghemawat、Oriol Vinyals、Quoc Le——一起启动 Discovery Loop。现场我还口误了一下，说成“我和我的四位……或者说三位联合创始人”，准确意思是我们四个人一起做。 很有趣的一点是，我们彼此合作的时间从 **14 年到 30 年**不等。我们两两之间一起做过很多不同项目，包括刚才提到的 MapReduce、Bigtable、Spanner、TensorFlow，也包括模型蒸馏、模型架构等很多工作。 所以我们觉得，四个人再一起合作会非常有意思。我们想建一家真正推动科学发现的优秀公司。 作为一家 public benefit corporation，我们也希望让科学发现尽可能广泛地惠及世界上的人。我们的目标是尽量广泛地分发这些发现，甚至可能做出一些并不符合公司短期财务利益、但更符合广泛社会利益的决定，把这些发现真正传播出去。 **Dawn Song：** 谢谢。这是一个非常棒的愿景。 **Jeff Dean：** 而且我已经在那里工作了 **12 个半小时**。 **Jeff Dean / Dawn Song（交叠）：** 谢谢。严格说，我午夜时还“失业”了大概一秒钟。 **活动主持人：** 谢谢 Jeff，谢谢 Dawn。现在我们开放两个现场问题。先请那边那位。 **Joyce（现场观众）：** 非常感谢两位带来这么有启发性的对谈。我叫 Joyce，来自中国一所自动字幕记作 “Chong Business School” 的商学院。我同时持有 Google 和 Meta 的股票，所以如果可以的话，我想分别问两位一个问题。 Jeff，首先，你的离职那天 Google 市值少了 **2,000 亿美元**——这是我作为提问者的说法——所以显然全世界都觉得这是一件大事。我的问题是：你觉得在一家创业公司里，你能做到什么是在 Google 内部做不到的？ 还有一件让我困惑的事：Google 有这么多算力和人才，你觉得 Google 或 Gemini 还需要做什么，才能追上字幕中记作 “Fable” 的那个领先模型？这个模型名在自动字幕里不清晰，我先按原字幕保留。 给 Dawn 的问题是：为什么选择 Meta？所有大型科技公司应该都会给你机会，为什么偏偏是 Meta？谢谢。 **Jeff Dean：** 我先回答。我一般不会把股票市场里的变化归因于某一个具体事件，因为这种东西很难判断。 **现场观众：** 就是你，Jeff。 **Jeff Dean：** 哈。首先，我对自己在 Google 的岁月有非常深的感情。我在那里工作了 **27 年**，身边有非常了不起的同事。Google 的状态很好，他们有让 Gemini 继续变强的计划，我相信会做得很好。 同时，我也很兴奋能出来做这件新事。我觉得会非常非常有趣。有时候，一家专注的小公司，所有人都只围绕同一个非常明确的使命工作，这本身就会产生一种很强的力量。而且我真的觉得这是个非常好的使命。 **Dawn Song：** 那我来回答我的部分。过去确实有不少领先公司、前沿实验室联系过我，包括 Google。但当时我还没有准备好加入一家大型科技公司。我自己一直也在创业，前后做过四家公司。 ## [44:20] Dawn Song 为什么加入 Meta；小公司为何仍能赢 · YouTube **Dawn Song：** 最近那家创业公司后来被 Meta 收购。决定是否加入 Meta，其实也是一个很难的决定，因为那家公司本身发展得很好，也已经有 Fortune 500 企业客户。 但我认为 Meta 提供了一个非常大的平台。像 Meta、Google 这样的公司，拥有极强的分发能力。Meta 平台上有数十亿用户，还有数以亿计的企业和商家。如果把我们一直在构建的 AI 与安全技术放到这样的平台上，影响规模可能会非常大。 所以我对这个决定很高兴。而且我加入也才几周，现在仍然非常兴奋，想看看能怎样在这个平台上产生更大的影响。 **活动主持人：** 我们还有最后一个问题，请这位先生。 **Jonathan（现场观众）：** 我叫 Jonathan，是一名工程师。我是你工作的忠实使用者和粉丝。我保证，就算你不是 12 小时前刚做了一个巨大的职业转变，我也会问这个问题。 如果用第一性原理分析 AI 行业，很多因素似乎都指向“大公司会赢”：数据是很大的护城河；分布式系统需要很大的基础设施；资本开支极高。照理说，大公司应该占绝对优势。 而你和你的联合创始人，以及字幕里另一个名字记得不清楚的优秀工程师，都证明了顶尖工程师在大公司里也可以产生非常巨大的影响。所以我想问一个不特指 Google、但希望听到你“圈内视角”的问题：为什么大量 AI 人才和前沿研究，明明存在这些有利于大公司的结构性因素，却还是不断流向创业公司？为什么小公司看上去仍然能赢？ **Jeff Dean：** 我觉得第一个原因，是云计算的兴起。现在各个云平台已经部署了非常大规模、面向机器学习的计算资源，这让一小群人也有可能融资，然后直接使用这些平台，而不是从头把所有基础设施都自己建一遍。 这会释放一类人：他们有一个梦想、有一个愿景，或者觉得某个方向特别值得探索。过去也许只有大公司才能负担底层系统，现在他们可以在一个更小的组织里开始，因为 Google 或其他云提供商已经替他们承担了很多建设基础设施的重活。 对我们来说也是一样。作为一家小公司，我们特别兴奋的一点，就是可以非常聚焦地做“科学与工程自动化”。我们觉得这正是一个非常成熟、值得投入的方向。 这件事大概也可以在 Google 内部做，但一个大约 **10 个人**的团队，坐在我们希望能找到的 Palo Alto 某个办公室里，所有人只盯着这一件事，会绕开大组织里很多轻微但持续存在的分心因素。 当然，大组织在很多方面也非常棒。我过去很多年在 Google 得到了大型组织能提供的各种支持，也在那里建立了非常深的友谊。 ## [48:21] 离开大组织的紧张与兴奋，活动结束 · YouTube **Jeff Dean：** 所以，离开那种支持体系，多少会让人有一点紧张。但与此同时，这也非常令人兴奋。 **Jonathan（现场观众）：** 谢谢。 **活动主持人：** 好，谢谢。很抱歉，我们已经没有时间了。我知道现场还有很多问题，不过也许我们可以让 AI 来猜一猜，Jeff 和 Dawn 会怎么回答。谢谢大家，谢谢。