AI 的分配、繁荣与制衡
Mark,上次我们聊的时候,是你给我打了电话。那是个周末——更有意思的是,你是通过眼镜打过来的。你当时背景里吵吗?你正准备去钓鱼,我本来没打算说出来,不过确实是周末。
降噪其实挺好的。
非常好。
对,确实很好。
不过那次你想谈的是你最近发的那篇文章——我不知道该叫论文还是宣言,就先叫“宣言”吧。它很长,内容很多。我想从这里开始,因为里面有很多大的想法,而且会连到我们今天真正要谈的主题。你为什么要写这么长一篇?里面真的塞了很多东西。(笑)
如果你准备投入这么多资源去建设 AI,我觉得就有责任让大家理解你的实验室代表什么、价值观是什么。AI 的机会非常多,但真实风险也很多,所以任何做这件事的人都应该有一套经过认真思考的理论:你正在做的工作,为什么会把世界带向一个更积极的未来。
有意思的是,不同实验室在这件事上的哲学并不一样。行业里已经形成了一些所谓“共识”,但我强烈不同意其中不少。我的看法是,要让未来对所有人都更好,路径不是把技术锁起来,而是尽可能广泛地分配技术。我们基于三个主要原则。第一,赋能个人一直是世界繁荣的来源,历史上也是如此。第二,AI 的主要用途会是发明新事物,而不是自动化现有事物。第三,未来安全的基础,应该是建立正确的制衡(checks and balances)和权力平衡,而不是限制谁能访问技术。
这几条与硅谷不少传统看法很不一样。很多人会说:“这项技术太强大了,所以必须限制,不能让太多人获得。”我反而更担心极少数实验室或少数人控制如此强大的东西。历史反复证明,把力量交给普通人之后,真正的进步往往不是来自既有权力或建制中心,而是来自边缘的人——那些一开始不被认真对待的人。当他们得到足够好的工具,可以把自己的想法验证出来时,力量会非常大。
西方社会之所以能形成相对平衡的治理,本身靠的就是一套制衡和权力平衡。我们社会里根深蒂固的一条原则就是,不希望一两个机构独占某种关键能力。拿最近的网络安全担忧来说,如果有人有一个能攻破系统的 AI,我认为最好的“解药”不是只有少数机构掌握防御模型,而是让每个人都有 AI,先把自己的系统加固。过去几十年的网络安全史也说明了这一点:开源软件因为任何人都可以查看和审查,反而常常形成更安全、更稳定的环境。这看起来有些反直觉——把能力放到更多人手里,安全性反而提高。
所以这是我真正相信的方向:广泛分配技术。这也会直接决定我们接下来做什么。显然,我们会做领先的 AI 模型。刚发布的 Muse Spark 1.3 已经很先进,不过它其实来自一个相对较小的预训练,内部代号叫 Avocado。
Muse、开源与“把能力交到个人手里”
好,我们待会儿一定要聊这些内部代号。
会聊到的。Watermelon 也快来了,那会是件大事。但如果说哪一个产品最能体现刚才那套愿景,我觉得就是我们正在推出的 Muse 个人代理。基本想法是:给世界上每个人一个能力很强的个人 agent,它能理解你的目标,并且 24/7 持续替你工作。另一个重要部分就是让技术真正进入人们手里。我们很支持开源,也非常在意这些巨大的机会不能只属于少数个人或公司。
本期节目由 Mercury 赞助。它是一种 AI-native banking,超过 30 万名创业者在使用,包括我。访问 mercury.com 可以了解更多。Mercury 是一家金融科技公司,不是银行,细节见节目说明。也感谢 Granola——这是给连续开会的人用的 AI 记事本,可以在你工作的各种场景运行,让你专注在真正重要的事情上。可以在 granola.ai/sources 试用,使用优惠码 sources 可获得三个月优惠。本期也由 Atlassian 的 Jira 赞助,它让团队和 agent 共享推进工作的上下文、协作与控制;可在 jira.com 免费试用。
关于 Muse Agent 我有很多问题,不过我想再停留在大图景一下。你刚刚说了很多。你担心的趋势——能力集中、少数实验室控制前沿模型——现实里主要靠什么来对抗?开源是核心答案吗?还是监管?或者两者都有?
我其实认为最重要的不是先谈开源或监管,而是把技术交到个人手里。从这个意义上说,Muse 这种个人 agent 甚至可能比“模型是否开源”更重要。现在开始出现一种情况:有些实验室训练出更先进的模型,却根本不发布。
对。
我觉得这相当危险。一个系统被公开出来、被大量人审视,本身就形成制衡。更重要的是,如果很多人能使用它,收益也可以广泛分布,而不是只让一两家实验室变得极其有价值。我们真正希望的是数十亿人都能在自己的生活里获得繁荣:有人用它创办小企业,有人在职业上更成功,有人提高家庭管理效率、节省开支,也有人用它改善健康。收益必须是广泛的。
竞争层面,我当然认为有多个实验室是好事,开源也非常有帮助,所以开源是其中重要的一部分。开源的本质是有一整个社区参与,并不是“Meta 会成为唯一一家做开源的公司”。而且我也不是开源原教旨主义者;我们并不是把所有东西都开源。我们会发布一些开放模型,也会做一些闭源工作。作为一家营利公司,你可以创造非常先进的东西,但并不意味着每一样东西都必须交给全世界。
不过总体来说,一个强健的开源生态对维持竞争、透明度,以及让社会理解技术到底往哪里发展非常关键,我认为这对安全也非常重要。如果世界上只有少数几个能力极强的模型,会出现很奇怪的脆弱性。比如网络安全,人们很容易产生一种直觉:“我们有一个能力很强的 cyber 模型,那就只让排名前一百的机构用。”但问题是,世界上重要的机构远远不止一百个。像 Hugging Face 之前遇到入侵事件时,它未必属于所谓“最大的前一百家机构”,但它是大量人依赖的重要基础设施。
开源生态与安全的收束
当 Hugging Face 检测到入侵时,它转而使用了开源模型,因为它没有权限使用那些与问题相关、但被封闭起来的模型。所以,强健的开源生态是构建安全、稳定未来的一部分。但对我来说,最核心的还是那件事:让技术被广泛分配,而不是囤积在极少数人手里。
数据中心、就业与社区利益
硅谷现在还有一个持续争论:为什么公众对 AI 的感觉这么负面?尤其是 AI 和数据中心的情绪非常负面。你最近的长文也在回应这些担忧。是不是可以把你的核心论点理解为:如果技术扩散得更广,让更多人接触现在只被少数顶级实验室掌握的能力,公众那种“被排除在 AI 之外”的感觉也会缓解?
这里有很多层次,这也是那篇文章为什么长到 15 页。问题不是一个。人们担心工作和经济,担心数据中心对本地社区的经济和环境影响,担心 AI 被滥用——比如网络安全、生物风险;也担心自由社会如何维持、美国领导力、以及技术越来越强之后人类如何保持控制。这些都很重要,所以不能只在高层用一句话概括,每个问题的细节都不同。
但它们有一个共通点:如果你能创造广泛的繁荣,很多问题会更容易处理。我认为比较好的方法之一,是确保“谁能访问技术”的权力结构是平衡的,并尽可能让力量偏向普通大众,而不是某些内部利益相关者。
以数据中心为例,我们实际发现,当 Meta 进入一个社区,并承诺未来几十年都会在那里投资——真正建设大型数据中心就是这种长期承诺——这可以给社区带来非常现实的好处。比如税收。路易斯安那有一个例子,数据中心带来的税收为当地教师提供了 5 万美元奖金。我们也会带来很多工作,并在当地社区进行大量投资。这些都可能非常好。
但同时也有大量投机。有人并不是打算运营数据中心几十年,只是先找到一块地,再设法把项目卖给某个大实验室。他们并不真正关心当地社区,也没有长期投入。如果一个项目方不在意怎样让项目对本地长期有效,社区当然会不满。这就是“投机式繁荣”比较麻烦的地方。
我甚至不确定该不该把它叫“泡沫”,因为“泡沫”暗示估值一定过高;但肯定存在一场 boom。boom 会制造短期思维的激励,而短期激励不一定会照顾所有利益相关方。如果你想让这件事长期可持续,就必须解决这些问题。归根到底,如果我们创造的技术既不创造就业,也不创造广泛繁荣,建设的基础设施又不帮助本地社区,那社会不会允许它无限继续下去。我们必须从设计上让它对人有益。
所以对那些对 AI 非常悲观的人,我的一个基本判断反而是:如果我们最终没办法把它建设成一件总体上积极的事,那它实际上就无法按现在设想的规模发生。正确的制衡,以及把收益广泛分配,本身就是它能够扩张的前提。
长期主义、技能培训与激励对齐
我没听过你这个位置上的其他科技公司负责人这样谈数据中心,尤其是“几十年的长期投资”这个角度。你一直都是这么想的吗?还是最近公众的反数据中心情绪,让你看得更清楚了?
你说的反数据中心情绪确实让我们深入研究了这个问题。我们发现,Meta 自己的项目周围并没有那么强烈的反对,所以就去问很多人为什么。结果看起来,真正的分界线是:一边是短期投机者,另一边是准备长期经营的公司。仔细想想,这很合理。
比如我们做了一个 America's Workforce Academy 项目。我们知道未来会持续建设很多数据中心,但现实里缺少足够的技术工人:光纤技术员、电工、高级木工等都不够。我们需要几十万,甚至可能几百万更多具备这些技能的人,但现在没有这么多人接受过训练。所以我们建立培训项目,并保证完成培训的人能在为 Meta 建设基础设施的岗位上得到工作。
为什么要做?这其实不是什么慈善。我们确实需要这些人掌握技能,所以它是双赢。如果你准备干几十年,这种投资非常合理;但如果你的计划只是建一个站点,然后翻手卖给另一家公司,你就不会这么做。很多世界上的问题,放到足够长期的尺度去看,确实会被“激励对齐”自然解决。
我也不相信社会最终会允许极少数实验室控制如此重要、如此有能力的技术,同时把大量财富都积累到自己那里。它必须成为一种广泛分布的东西,才能真正运转。它不仅要在技术上成立,也必须在社会层面成立;这两件事必须一起发生。
我同意。好,那我们现在终于要进入 Muse 了。
为什么 Meta 要做个人超级智能
在真正进入 Muse 之前,你大约一年前还写过一篇关于 personal superintelligence 的文章,那篇短得多。
对,那篇差不多就一页。我也写过一个“一页纸版本的未来”。后来把它发在《华尔街日报》上。
我刚读的是那篇 15 页的长文(笑)。但一年前你写“个人超级智能”时,我这个圈子里很多人的反应是:“哇,Mark 为什么突然写这个?他到底看到了什么?”现在看,你当时看到的另一边,会不会就是 Muse,也就是你们现在正在发布的东西?
对,这就是它。
那你是怎么意识到,这会成为 Meta 的下一章?
这件事挺有意思。我们从来没有真的把自己只看成一家“社交媒体公司”。我们当然一直认为自己是一家连接人与人、赋能个人的公司。公司最初 15、20 年里,我们做很多产品背后的价值观就是:把技术和力量交到个人手里,相信每个人应该自己决定什么对自己的生活重要。
过去这些年我们经历过很多社会争论,内容审核就是其中之一。那些争论本质上总绕回一个问题:人们是不是应该能够自己决定、自己表达什么对他们的生活重要?这些经历反而强化了我的信念——历史上的大量进步,尤其在这个技术时代,来自赋能个人;而且人们往往最清楚自己生活里真正重要的是什么。
所以当我听到有人说,“我们应该让少数专家来分配 AI 的能力,只让它去解决那些所谓的大问题”,我会本能地不舒服。为什么 AI 就不应该解决普通人日常真正关心的事?人的关切本来就是混合的:大家在乎健康、在乎生活变好,也在乎自己的关系、能不能更好地陪伴朋友和家人,也在乎文化。有些东西在科学家或行业工程师看来也许不是“最大的社会问题”,可如果你去问几十亿人他们真正关心什么,我觉得这些回答的总和,本身就代表了最重要的问题应该是什么。
所以我一直认为,当我们真的做出超级智能时,关键问题之一就是:谁来决定它把精力放在哪? 我的答案是,人们自己应该能够把它指向自己生活里重要的事,而不是让少数实验室里的所谓专家替所有人分配注意力。这就是我那整套哲学的基础:积极的未来来自赋能个人,把技术交给人,让他们自己决定什么重要、怎样使用它。
这也会改变资源优先级。比如健康。今天制药和生物科技行业自然更倾向于优先处理常见疾病,因为规模大;但现实里还有很长的一条罕见疾病和罕见状况的长尾。如果你有一种罕见病,你肯定希望自己的个人 AI 专门研究它,而不是因为“另一个病更常见”就把能力都投到别处。我认为罕见疾病现在得到的投入是明显不足的。
你们的基金会在这方面投入很多。
我们在 Biohub 做了很多,这也影响了我这里的判断:应该把这种能力放到个人手里。
个人价值而非“宏大问题”
最终让每个人自己决定什么对他重要。而且很多真正重要的用途,并不一定是人们口中的“宏大社会问题”。
Zuckerberg 自己如何使用 Muse
对我来说就是这样。我用自己的 Muse Agent 时,很多目标其实很私人、很日常:我希望它帮我成为更好的父亲、更好的丈夫,让我更好地陪伴朋友,也更好地和身边的人连接。我觉得这和 Meta 过去做的事情之间有一条很清晰的连续线。我们可能比其他公司更在意、也更相信“帮助人和周围的人建立更好的联系”本身具有社会价值。
我最早给自己的 agent 设的一个项目就很简单:我三岁的女儿喜欢烘焙,而我对烘焙一无所知。我就想,这可以变成一个我们周末一起做的有趣项目。所以我让 Muse 每个周末都准备一个项目,难度要适合“三岁小孩 + 一个完全不会烘焙的成年人”,再通过 Instacart 或别的服务把所有材料提前买好。这样到了周日,我和女儿出现的时候,东西都已经准备好了,我们直接一起做。
做完之后我还会给它反馈:“这次怎么样?”有一次我告诉它:“这个太难了。”事实证明 cake pops,也就是蛋糕棒棒糖,难得出奇。
我也完全不懂烘焙。
我以前也不知道。总之,别从 cake pops 开始(笑)。很多烘焙其实挺简单,但 cake pops 不是。谢谢 Muse,至少我现在知道了。
这套东西会根据反馈持续更新。比如我大女儿最近喜欢爬山,有些山需要许可证。我就让 Muse 一直盯着许可证什么时候放出来,一开放就帮我们申请。然后它会告诉我:“好了,我抢到了这一天的许可。”我就会想,行,那天我得请假,去和女儿爬山。这种体验其实挺酷。
它也会帮我保持健康和训练。我在自己的 MMA 健身房装了摄像头,让它看训练录像,然后给我反馈。很多时候反馈确实很好,有时也很好笑。它会截出一个画面说:“你看起来在这里真的放弃了。”我只能说:“对,我那时候真的累坏了。”(笑)我还会吐槽:“你为什么偏偏挑这个出来?”教练们也觉得很好笑,他们会说:“对,这就是我们以前不太敢直接跟你说的,现在你的 agent 替我们说了。”
我听你讲才想到,你其实有人可以帮你做这些事情。那你怎么用 Muse 来真正测试“一个个人助理 agent 能有多有用”的边界?你有没有把它推到某个程度,让团队看到之后说,“好,这个得修,这里还不够行”?
有趣的地方恰恰在于,每个人想让它做的事情都完全不同。早期 beta 时我们把它给了一批人。有个人拿到之后不到一天,就用它开始帮自己运营家庭学校;另一个人差不多 12 小时内就用它规划完了一次旅行,说“它把整趟旅程都替我安排了”。
还有一个我认识的人,一向对技术非常怀疑。我把 Muse 给她之后,她好几天一句话都没说。后来突然给我发短信:“等你们正式发布时,我还能保留我现在这个 Muse agent 吗?还是你们会给我重置?”我一看就觉得,好,这说明产品可能真的起作用了。
我认识的 beta 用户基本也都评价非常高。
对,但每个人拿它去做的事情都不一样。
长寿命代理、夜间“学习”与主动性
我觉得最好把它更直白地解释给大家听。很多人理解的 AI 还是 Meta AI、ChatGPT 那种模式:你问一句,它答一句。这里真正的变化——当然整个行业也在发生类似变化——是背后有一台 virtual machine,agent 可以控制一台计算机,替你登录、操作、执行任务。对只熟悉“聊天式 AI”的人来说,这个变化非常大。
而且它是长期存在的。Meta AI、ChatGPT、Gemini 这类产品的基本模式是:你发一个 prompt,它给一个答案。Muse 的模式不一样,你给它的是项目和目标,然后它就一直工作,24/7 不停,直到帮助你把目标推进下去。
团队跟我说,你们内部把它叫“晚上学习(studies overnight)”。
对,它会“学习”。更准确地说,它会把自己的反思整合到记忆里。它会持续推进项目,也会主动建议新的项目。
比如我会和女儿一起玩《文明》(Civilization)。我让 Muse 给她做一份游戏策略指南。做完之后,它自己问我:“既然已经有策略指南了,要不要扩展一下,让它顺便讲不同文明的历史知识?”我说:“好啊,为什么不?”然后它就直接在自己做的应用里又建了一个新标签页,把历史教学也做进去。这个体验很酷,因为它不是只完成你原来那一句要求,它会继续扩展。
所以它是主动的。
对,它会主动提出建议。MMA 教练那个项目也是一样,它会自己提出怎样把系统做得更好,比如问我:“你要不要让我更擅长挑出最适合发给你的那一帧?”我会说:“好,你去做。”
我认为“ideas”这个机制很重要,因为很多人现在面对 AI 最大的问题其实是:不知道该拿它做什么。 如果 agent 自己能根据你已经告诉它的事情,建议“我还能怎样帮你”,那会解决很大一部分采用问题,让普通人真正把 AI 的能力用出来。
我还认为它会真正帮人挣钱、也帮人省钱。
Muse 的定价与商业模式
你真觉得它能直接帮人挣钱、帮人省钱?
对。这里一个很有意思的地方就是我们打算怎么定价。如果你喜欢订阅模式,你当然可以付订阅费;但我们也会给非常大的免费使用量。起步阶段,我记得大约是每周 1 亿 tokens 免费,而且你还会得到那台 virtual machine。换句话说,是“很多计算资源”。
“很多计算资源”,这个 meme 挺好。
对(笑)。我们敢这么做,是因为我们相信:如果有人拿它运营小企业、挣钱、做交易或某种商业活动,它最终创造的经济价值会非常大。长期来看,我们预想的一种商业模式,是对它促成的交易只抽取非常小的一部分。
而且未必需要让最终用户自己掏钱,这个费用可以来自和他们发生交易的商家。
你们在支付上也和 Stripe 合作,对吧?
对。我的看法是,我们应该能把这项服务对绝大多数人做成免费。这一点很关键,因为如果你真想实现“每个人都有强大的超级智能 agent”这个未来,首先它必须可负担。我们的思路就是先给你非常大的免费额度,然后押注这东西确实会帮你挣钱、帮你省钱,从而让它自己把成本挣回来。
Meta 自己的服务也可以接进去吧?理论上你可以让它管理 Instagram 的广告预算之类的。
你可以把它连接到任何你愿意连接的东西。它当然能和 Meta 服务一起工作,但完全不是强制的。假如你用它运营业务,它可以接入我们的广告系统。你可以让它帮你做产品,然后再帮你运营这个业务。整个过程可以形成一个循环,24/7 一直跑下去。
而且每当我们发布新模型,它都会变得更聪明。我们最近基本维持着大约每个月一次有意义升级的节奏,所以能力会不断往上走,能做的事情也会越来越多。
你团队还跟我提到一个我没怎么在别处听过的想法:fleet,也就是整个 Muse agent 群体一起学习。
这和刚才“ideas / suggestions”的机制有关。你打开应用,主标签页就是你和 Muse 的对话;另一个标签页则是 ideas,它根据你已经告诉它的事情,提出还能怎样继续扩展。像刚才《文明》的例子,先做策略指南,再由它主动提出把策略指南扩展成历史教学,这个扩展想法就是它提的,我只需要说“好,做吧”。
这种机制让 agent 能不断增强自己。更重要的是,从 fleet 的角度看,你会看到不同的人对完全不同的事情感兴趣。很多人现在根本不知道 AI 可以替自己做什么;如果 agent 能从整个群体里学到匿名化的“哪些类型的建议对人有帮助”,再反过来给你提建议,就能让更多人真正发挥它的价值。
这就是我特别感兴趣的地方:你在给 agent 引入一种网络效应式的学习。不同 agent 可以从整个 fleet 的匿名化经验里学习。你几乎可以说是“网络效应之王”,而我还没看到别人这样做。
我觉得目前行业大多还把 agent 当成一个“单机游戏”。
Agent 网络效应与 Meta 的差异化
也就是说,你有自己的 agent,你自己用它。但未来很有意思的一部分会是 agent 彼此互动。我们内部已经有很多例子,人们让自己的 agent 相互配合。这一版产品里大部分还不会正式推出,但长期看会非常重要:你认识的人里使用 Muse 的人越多,它本身就会变得越好。
那这会成为真正的差异化吗?假设前沿模型越来越商品化,产品的 harness 也越来越像,Muse 的网络效应学习会不会才是真正的护城河?
我觉得我们有几件独特的事。第一,我们从底层设计模型,让它一开始就是为这种个人 agent 用例优化的,我认为这非常重要。第二,我们作为一家公司有很强的“社交 DNA”。我们会特别在意怎么用 AI 和 agent 改善人际关系,让你从那些“软的、但对人生非常重要的部分”得到更多价值。这方面我们大概会比其他实验室投入更多注意力。
第三个差异点,可能会让一些人意外,就是隐私和安全。我们在这里投入了非常、非常多的资源。
个人代理的隐私与 confidential VM
我们的判断是,要让个人 agent 真正有用,光有最先进的智能还不够,它必须真正理解你。而一旦它要理解你的目标,你自然会把越来越多东西连接给它:广告系统只是一个例子,人们还会连接消息、电子邮件、健康信息等等。要让用户愿意这么做,前提是他们对系统有非常高的信任。
好的一面是,Meta 已经花了十多年把 WhatsApp 建成我认为全球规模最大的端到端加密系统之一。我们从一开始就把它设计成连 Meta 自己都看不到用户消息。这件事对 WhatsApp 的信任和成功非常重要,也给 Meta 上了一课:如果系统在技术上就让平台方自己无法看到内容,那么用户担心的很多风险——政府获取、黑客获取、Meta 内部某个人滥用——都可以从根本设计层面被排除掉。
所以做 Muse 时,我们把这当作基础经验。Nat 和我亲自招募了 Moxie Marlinspike,也就是 Signal 的创始人。他也是 2014 年前后帮助我们建设 WhatsApp 加密的人之一。
Signal 的创始人。
对。他专门加入来做这个 confidential VM 项目。目标是让你的虚拟机可以装着 Muse 所需要的所有个人信息,同时我们能够做出一个承诺:即使是 Meta,也看不到里面的内容。 关键是这个承诺不是一句政策口号,而是可以通过技术方式验证。我们会在接下来几周、随着更大规模推出临近时公布更多细节。
现在很多实验室都在做 agent 背后的 VM。你觉得你们这个做法是独一无二的吗?
就我所知,没有别人在做接近这个程度的 confidential VM。我觉得这是非常根本的东西。你必须知道这是“你的 agent”;你把内容放进去之后,要能够相信其他任何人都拿不到。
有一种办法是把计算机真的放在自己家里。今年早些时候,OpenClaw 这类东西出现后,不少人就买 Mac Studio,在家里自己跑 agent。你物理上拥有那台设备,当然很安心。但我不认为会有几十亿人愿意去买一台 Mac Studio、自己配置,然后在家长期运维。
尤其现在 RAM 还这么贵。
对,而且技术上也很麻烦。Muse 想做的是一种“拿来就能用”的个人 agent 体验。我希望我能把它交给家里技术水平完全不同的每一个人,他们都不需要搭自己的电脑或 VM,拿到之后一天以内就能开始替自己生活里的目标工作。最理想的形态,是 VM 在云里自动 provision,但安全性和保密性又尽可能像那台机器真的放在你家桌子底下一样。
凭证、Sentinel 与最小权限
这只是第一层。我们还做了安全凭证存储(secure credential store)。你的信用卡号、密码、一次性验证码之类的东西,没有理由明文暴露给核心 agent。agent 本身不应该“知道”这些内容;只有当你明确要求它登录某个服务、执行某一步时,它才临时获得所需访问能力,其他时候不应该有。
而且整个系统并不是“一个 agent”。你有核心 Muse agent,同时我们还做了一组 Sentinel agents。它们专门监控 agent 的入站和出站流量、数据传输,在认为某件事值得你人工查看时进行提示。
Sentinel 会检查诸如 prompt injection 之类的攻击,也会看 Muse 是不是准备把某些你可能不愿意外发的信息发出去。如果发现这种情况,Sentinel 就可以触发 human-in-the-loop review,让人重新进入决策环节。
因此,当 agent 要登录、付款、传输敏感信息时,默认情况下你需要逐次批准。当然,你也可以告诉它:“这种类型的动作我以后都允许。”但一般来说,Muse 自己不能替你决定哪些敏感权限应该自动放行,这一点是深度写进系统架构里的。
连接器也是一样。比如你把邮件接进来,有些系统的设计是“一连接就获得全部权限”,我们不是。Muse 接入邮箱时应该先是 read-only;如果你之后确实希望它替你发邮件,再明确授予发信权限。
对很多第一次用 agent 产品的人来说,这种默认值非常重要。
所以我们的核心设计原则就是 least privilege(最小权限)。你可能会让它做很多事,但每一步都只拿完成当前任务所必需的最低权限,需要时再逐渐增加。我们把这件事看得非常基础。
我认为目前其他个人 agent 在安全深度上离我们还很远。当然,这是基于我们做 WhatsApp 端到端加密的经验。把当年那批人重新聚在一起,让 Moxie 来做架构,是这个项目很重要的基础。有些人可能不会把“Meta”首先和隐私联系起来,因为社交媒体天然是关于分享的;但公司另一边也长期处理非常隐私、非常敏感的上下文。WhatsApp 就是典型。Muse 更接近后者,我们必须极度认真地处理这些内容。
Mercury 是一种面向创业公司的现代银行体验。我创办自己的媒体业务时,Mercury 是我最快能设置好的、功能完整又直接的方案。界面简单,我每天用它跟踪开支、账单和发票,也能把不同权限委派给团队成员。它对 AI 的态度也很前瞻:内置的 Command assistant 可以分析现金流、帮助我转移资金,还能连接其他 AI 工具。
广告口播
Mercury 还能连接 ChatGPT、Claude 等 AI 工具。我经常用这个功能,Mercury 的人甚至跟我说,我是使用量最高的用户之一。想实时拿到自己业务的财务数据,可以访问 mercury.com 在线申请。Mercury 是金融科技公司,并非 FDIC insured bank;银行服务由 Choice Financial Group 和 Column N.A. 等 FDIC 成员机构提供。
我一天里经常在会议之间不断切换,上一个会议还没来得及消化,下一个就开始了。Granola 会一直在后台运行,它是一款简单易用的 AI meeting notepad,连电话会议也能工作。我用它回忆会议里说过什么、生成有用摘要,也每天靠它跟踪团队下一步要做的事。它还能连接邮箱,建议后续邮件让我快速审核并发送。Granola 不只是我的工作流核心,基本像第二大脑。可以在 granola.ai/sources 试用,优惠码 sources 可减免三个月费用。
AI 的效果取决于它拥有多少上下文。但如果上下文散落在各种工具、线程和 DM 里,你的团队和 AI agent 都是在“盲飞”。这正是 Atlassian Jira 想解决的问题:项目的目标是什么?上周 Slack 私信里决定了什么?Atlassian 的 teamwork graph 会从 Jira、Confluence、GitHub、Slack 等工具把这些上下文拉到一起。广告给出的数字是:结果准确度提升 44%,token 使用量降低 48%。你也可以把这些上下文交给 Claude、Cursor、GitHub Copilot 等 agent,直接分配工作或通过 MCP 连接工具。详情见 jira.com。
Framer 是一款 AI 网站构建工具,把 agent 放进网站设计、管理和发布所在的同一个 canvas,让你在加快速度的同时不放弃审美和控制。Sources Podcast 的网站 podcast.sources.news 就由 Framer 驱动。可以在 framer.com/sources 免费开始,Framer Pro 年度计划可获得 30% 优惠;适用条款和限制。
个人 AI Agent 会赢家通吃吗
你觉得个人 agent 会是一个赢家通吃的市场吗?
我觉得会有不少玩家。很多看起来像“赢家通吃”的市场,最后其实也并不是绝对只有一家。
但你做过网络效应非常强的业务。它们非常耐久,也许不是一个赢家拿走全部,但真正做到巨大规模的产品通常只有少数。能有 20 亿以上用户的产品,可能两只手都数得过来。规模会带来更多规模。个人 agent 会不会是完全不同的范式——每个人都拥有一个 agent,因此会有很多种?
这是一个非常深的领域。我的猜测是,真正有能力做最前沿工作的公司不会超过十几家。无论有没有网络效应,很多科技市场本来就会形成 power law:如果你在某件事上是最好的,通常就会拿到非常大比例的使用量。
但复杂之处在于,人们对 agent 的需求很多,而且不同需求可能需要不同的“最好”。最擅长帮你改善人际关系的 agent,和最擅长帮你建立小企业的 agent,会不会最终是同一个?也许不是。我们会努力在尽可能多的类别里做到最好。
当然,我也可以论证 Meta 在这两个例子里都很有优势:我们服务数亿家小企业,也服务数十亿个人。所以我们有机会两边都做得很好。但肯定也会存在 Meta 不是最佳选择的领域,问题只是那些领域有多大。
即使我们能提供非常安全的云端 confidential VM,仍然会有人坚持在家里放一台 Mac Studio。那也许会是几百万人,但我怀疑会有几十亿人这么做。不同人会优化不同东西。
如果 Muse 最后能成为普通人日常生活里真正有用的产品,那 Meta 有一个很强的能力:把已经证明适合消费者的产品分发给很多很多人。等我们把它真正跑顺,我觉得可以先覆盖数亿人,最终到数十亿人。这是 Meta 很擅长的事情。
那它会和 Meta AI 共存吗?还是你觉得最终是两个东西?
我现在觉得会共存,不过以后再看。现在它们的“味道”不太一样,我两个都会用。Muse 更偏长期对话,也更倾向于把你的问题理解成“我要继续理解这个人长期想要什么”。所以你随口说的一件事,它可能会自己跑出去工作很久。
但有些时候你就只是问一个问题,想立刻得到一个答案。那种场景我现在更多用 Meta AI。以后它们也许会逐渐收敛,但我现在还不确定。
重建 Meta AI 实验室
SemiAnalysis 七月写过一篇对你们很看多的文章,说 Meta 是最有机会在前沿模型进展上追上 OpenAI 和 Anthropic 的公司。他们有一句话大意是:“对 MSL 来说,重要的是斜率,不是截距(the slope, not the intercept)。”我最近还看到 Artificial Analysis 的一张图,显示你们最新的 Muse Spark 模型排得很靠前,只落后于少数 Claude 模型——自动字幕在这里的具体模型名不够稳定,但这张图非常新。
总之,你们模型进步的速度明显加快了。我们过去一年也一直在聊这件事。你去年基本重启了整个实验室,这在内部到底是怎么发生的?这些收益你主要归因于什么?文化吗?还是别的?
Meta 很早就是机器学习领域的领先公司。Facebook、Instagram 的 feed、广告系统、内容完整性系统,本质上都依赖非常复杂的机器学习,我们在这些领域长期做出了领先系统。
LLM 开始真正起势时,我们有 FAIR,早期 Llama 的研究就从那里出来。但接下来需要把研究“工业化”,变成一种能够生产、扩展、不断放大模型的过程,因为 scaling laws 告诉我们,规模本身会带来很多结果。当时我犯的一个错误,是因为 Meta 在其他机器学习领域很强,就默认“构建和扩展 LLM”大概也会遵循类似的组织方法。
现实并不是这样。LLM 有很多完全不同的动态。我们早期那套方法一直走到 Llama 4,也把我们带到了一定程度。Llama 3 是个不错的模型,我原本对 Llama 4 的走向更乐观,但它真正发布时,我们发现自己偏离了应该处在的轨迹。所以我当时的判断就是:必须改变一些东西。
那之后我开始非常相信 talent density(人才密度)。这不是那种“放一千个人进去并行跑实验”就自然会更好的系统。某种意义上,你反而希望团队尽可能小,小到每个人都能把整个问题装在脑子里,一起像做一项团队科学项目那样工作。如果座位很少,那么每一个座位坐的都必须是最顶尖的人。
所以我投入了大量自己的时间亲自招人。我也想在技术上离工作更近,这样才能真正理解发生了什么,并指导公司在更大的层面做对决策。我们把新实验室直接建在我办公位置周围,团队物理上就围在附近。
随着我们对研究质量越来越有信心,也大幅加大算力投入。我们正在建设很多很多 gigawatts 的计算能力,目标就是在这一侧成为领导者。我们有几十年建设数据中心的经验,而且和一些纯 AI 实验室不同,Meta 是一家利润非常高的公司,这让这种规模的投资容易很多。
过去一年,我们重新启动了研究工作;更大的集群也陆续上线。比如俄亥俄州的 Prometheus,这是一个 gigawatt 级集群。现在我们已经用它去扩展 Watermelon 之后的模型。
已经在做 Watermelon 之后的模型了?
对。Watermelon 本身已经快发布了。
Watermelon、前沿模型与“discretion”
Watermelon 就是我们前面说的那个公开得比较多的内部代号,对吧?你们在做的那个大模型。
对,而且接下来的东西会更大。Watermelon 已经比 Avocado 大。
从水果字面上说,西瓜确实比牛油果大。(笑)那再往上还有什么水果?
我们可能得换一套命名规则了。(笑)当初大概没充分考虑模型会不断变大。
既然你主动提 Watermelon,那我得问:你期待它达到完整的 frontier 水平吗?
我们感觉很好。它是一次非常大的进步,预训练明显更先进,之后我们还会把过去在 post-training 上学到的东西全部继续加上去。你很快就会看到。我们确实对它感觉很好。
很明显,你希望公司在推前沿,不满足于“离前沿很近”就够了。但也有人会看 Meta 的现金流和其他业务,然后问:训练前沿模型这么贵,真的非得站在最前面吗?为什么不能稍微落后一两个身位,然后快速学习、适配、利用别人的进展?
不,不,不。那不是 Meta。理解 Meta 最好的方式是把我们看成一家 end-to-end technology company。即使以前主要做社交应用,我们也从来不只是一家 app maker。我们自己建数据中心、做芯片、做基础设施,因为所有这些东西最后都决定了用户端体验能不能做到最好。AI 时代也一样,而且未来体验里最重要的一层就是模型本身。
“state-of-the-art”也不是一条单一排行榜。这是非常多维的问题。外部有很多 benchmark,我们内部还有更多。模型在不同能力上各有长短,而你选择重点优化什么,最后会形成它的“人格”和使用特性。
有些能力几乎是通用的,比如编码。对个人 agent 也一样重要。我们刚才说的 MMA 视觉教练,拆到底就是一个编码项目:agent 在写视觉处理 pipeline 和相关代码。用户看不到代码,但它背后就是靠代码实现。
Beta 里有人让 Muse 给朋友做了一个小型《Jeopardy!》问答游戏,可以从手机投到大屏上一起玩。这件事看起来很消费、很生活,但归根结底也是代码。所以编码既是 Meta 内部研发的重要能力,也是研究自我推进、agent 完成各种任务的基础能力。
不过,面向个人超级智能,还有一些能力我认为我们必须做到最好,而其他实验室未必同样在意。一个例子是 discretion(分寸感/知道什么不该说)。你的 Muse 会知道大量关于你的事情,同时又必须走到外部世界里替你办事。
但不能把某些东西说出去。
对。比如你有某种过敏、敏感状况,或者你怀孕了。你让 agent 订一家餐厅,也许你希望它找一家 mocktail 做得很好的地方,但你并不希望它在订位时对餐厅说:“我的用户怀孕了。”目标应该能被完成,同时不必要地暴露你的个人信息。它需要自己理解什么是敏感的,而不是每一步都回来问你一百万个问题。
所以这种“分寸感”本身也会进入训练?
对,这是我们明确在意、会专门训练的一种能力。
为个人超级智能从底层设计模型
这和纯编码场景不完全一样。比如在一个企业团队里做 coding project,理论上同一个公司的人本来就能看到那个项目,“什么该保密、什么可以共享”的边界没那么复杂。但个人 agent 面对的是人的生活,敏感性判断会深得多。
这也是为什么我认为,想做最好的个人 agent,不可能只是从货架上拿一个通用模型,做一点 post-training 就达到同样效果。就像想做最好的 Instagram feed,不能只写一个 app;你还得做基础设施、机器学习研究、芯片等整套东西。个人 agent 也一样,要从底层模型开始设计,并在 pre-training 阶段就投入能塑造这些能力的数据。
随着这种差异几年累积下来,我们会得到对“个人目标”明显更有能力的模型。当然,我们也会继续重视编码和 recursive improvement,因为要保持在前沿,这些是通用核心能力。所以我们的研究议程会有一部分和其他实验室高度重叠,也会有一些独有重点;同样,其他实验室也会有它们更在意、而我们没那么在意的方向。
AI 安全、reward hacking 与权力制衡
我们开头一直在谈“把能力放到人们手里”,强调 diffusion。但现在你看到 Watermelon 和后面的模型越来越强,也看到 Anthropic、OpenAI 这类实验室有时会选择暂缓发布某些能力。假如你们某天看到一种能力,判断“这个真的不安全”,你会不会也觉得必须把它扣住?你怎么想这件事?
我认为第一步应该是把模型设计、训练成安全的,而不是等模型做完以后才问“要不要发布”。现在所有实验室都在看到一些 reward hacking 的现象。训练时你给模型一个目标,类似给学生布置作业。大概六个月前,如果你给它一大段代码,说“这里有一个 bug,找出来”,它可能像普通人一样,先从眼前代码开始看,再逐步扩大范围。
新模型已经聪明到会做一件更像“非常有经验的人”会做的事:先理解整个环境,再回来解决你的问题。这本身是进步,但 reward hacking 的麻烦也来自这里。你让它解决某个编码问题,它检查了整个环境之后,可能发现最容易“完成目标”的办法,不是修代码,而是去改 VM 的配置、改变测试环境,甚至找到某种绕出去的办法。
也就是“hack 出去”。
或者只是改环境。问题是:不,这不是我们要教你的东西。
这听起来像你不同意这种训练方式?
不是,不是。大家基本都这么训练。我想说的是——这个类比很容易被拉得太远,所以我得小心——它有点像育儿。你需要建立清晰、坚定的边界。如果安全边界太弱,模型就可以通过 reward hacking 绕过真正该学的东西。边界足够好时,你不仅是在教课程内容,长期看也在教它更好的“价值”。
我认为这件事是可以做好的。但模型最后会变得非常聪明,于是第二个问题就来了:你希望这么聪明的东西怎样对社会产生正面作用?我的答案还是两部分。第一,让更多人拥有它,这样机会和能力产生的收益能被更多人捕获;第二,通过广泛可得形成 checks and balances 和权力平衡,而不是只靠限制访问。
我在长文里用了一个类比。假如世界上只有一个人有“超级智能律师”,他可能偶尔能赢下一些本来不该赢的官司。但如果每个人都有超级智能律师,双方的论点都会被非常高效地检验,荒谬论点很难站住脚,司法反而可能更高效、更公平。你真正要避免的是,只有一个人或极少数人拥有超级智能律师,而其他人没有。
政府协作与可信对话
如果只有少数人拥有那种能力,制度和机构会被系统性地扭向有利于他们的方向。相反,如果每个人都有,制衡就会出现,系统会更有效率,而且更多人能获益。
那美国政府在这里应该扮演角色吗?
当然。
你会希望有一个全国性的统一框架吗?政府现在显然正在处理这些问题,你觉得什么方式才对?
我的看法是,这项技术变化得太快。任何非常具体、非常刚性的框架,都有很高概率几个月之后就已经不够用,或者直接过时。所以我们的做法是和政府保持相当紧密的合作。AI 是非常重要的技术,我认为政府应该知道所有重要的大型训练运行(training runs)正在发生什么。我们也应该主动让政府理解即将到来的能力,并在能做到的范围内帮助他们提前准备。
不管最终有没有一个正式框架,我都认为一家美国公司和美国政府保持紧密合作是正确的。这实际上可能比一套僵硬流程更有效,因为真正的挑战会不断变化。现在可能最突出的是网络安全,六个月以后也许生物风险更重要。我们需要和政府不同部门之间拥有足够的信任与沟通带宽,能够在新问题出现时真正处理,而不是只在流程表格上打勾。
而且现有体系里本来就有一些激励。比如 Meta 的模型如果跑出去造成巨大损害,你们会承担责任,市场也会惩罚你。人们有时会低估这一点。
对。我还觉得,硅谷过去大概 15 年——至少相当长一段时间——和政府的关系有点“保持距离”。但现在 AI 同时交叉到经济、安全和很多国家层面的议题,我认为双方就是应该建立更紧密的合作。
以后肯定会出现越来越具体的规则,但我更看重可信关系本身。很像你在公司里设计组织:你不会希望只是把组织图画完,然后“这个团队做自己的事、那个团队做自己的事”就结束。你更希望这些人彼此认识、互相信任、能够一起工作,否则边界处会出现大量奇怪的缝隙。
AI 和超级智能对世界的重要性这么高,我猜相比一套固定流程,更重要的是良好的知识交换和真正可信的对话。当然两者并不互斥。Meta 目前非常专注于建立这种关系;如果其他实验室也都这么做,我认为会是非常积极的事。
智能眼镜与隐私
另一个最近越来越常见的新闻话题是你们的智能眼镜。它们明显走向主流,销量很大。与此同时也出现越来越多担忧:有人会不会戴着它们偷拍、监视别人?有些场所甚至开始禁止顾客戴着这类眼镜进入。你怎么看?你觉得这只是新产品早期的一段适应期,还是会长期成为挑战?
我们从一开始设计眼镜时就把这些隐私问题考虑进去了。录制时会有一个非常明显的指示灯闪烁。
有人试着破坏那个灯,你们后来还推过更新,对吧?
对,我们做了很多防护。基本上,如果你试图篡改那个灯,我们会直接把设备上的相机功能禁用掉,也就是让它无法继续正常录像。这一点很重要:产品从第一版开始,就是带着这些问题设计的。
所以从产品本身看,我们感觉其实不错。手机录像时甚至没有这样的指示灯,但大家拿着手机到处拍人已经非常普遍。就“周围的人知不知道你在录”这件事,我反而觉得眼镜做得比很多现有设备更好。
几年前刚发布眼镜时,我们很明确地解释过这些保护措施。但那时候用户还不多。现在已经有很多很多数以百万计的人买了眼镜,规模和发布早期完全不同。很多后来才接触产品的人可能根本没看过当年的说明,或者忘了,或者当时觉得这不是一个重要产品所以没关注。
既然现在它已经到达某种主流水平,我觉得我们至少要重新把这些事情讲清楚:隐私对我们很重要,而且重要到从几年前第一版产品开始就被写进设计。过去一段时间我们的传播重心可能更多放在“眼镜很好看、款式很多、功能越来越强”上,因为我们以为隐私问题早期已经解释过了。但现在应该再次清楚地说明这些基础保护。
早年的手机其实也经历过类似的隐私恐慌。很多新产品都是这样:当人们真正看到它在生活里的价值之后,就会逐渐适应。也许眼镜只是还处在这个早期阶段,人们需要先看到价值,才能跨过“这个新东西可能在录我”的心理门槛。我还记得智能手机刚开始普及时,人们也会问:“你拿手机对着我干什么?”
我觉得这个类比有一些道理。不过我做社交媒体 20 年之后有一个反思:当年我们在面对这些担忧时,可能没有做到足够直接。那并没有阻止人们继续使用产品,但它影响了今天很多人怎样看待这些产品。
如果当时我们一路更主动地解释,我们其实有多认真地对待这些问题,也许今天的状态会更好。我们当时的心态有点像:“大家使用量这么高,说明他们喜欢产品。”但“喜欢产品”和“相信公司认真对待风险”其实是两回事。我希望智能眼镜能做到比社交媒体当年更好:既让人真正喜欢它,也让人理解我们对这些问题有多认真。
青少年安全、平台协同与 X / Threads
这和你们最近围绕青少年安全达成的和解有没有一条共同线索?很多人都在讨论这件事。你从整个过程中学到了什么?
我觉得这也是一个很好的例子。我们长期以来一直很认真地处理青少年安全,也做了 Instagram Teen Accounts 之类的工作。这个和解比较有意思的地方在于,我们真正想推动的是一个整个行业都能遵守的标准和框架。
现实问题是,我相信大多数做这些产品的公司,如果你对大家同时说“青少年每天最多使用一小时”,很多公司其实都可以接受。麻烦在于,如果只有一家单方面这么做,就会变成:Instagram 限制到一小时,但用户剩下的时间全转去 TikTok——那到底帮助了谁?你只是伤害了自己,却没有改善青少年的总体使用状况。
所以我们这次采取的结构是:Meta 先迈出第一步,单方面接受一些限制,包括使用时长、通知,以及在上学时间、应该睡觉的时间里怎样访问等。然后当 YouTube 和 TikTok 也签署相同条款时,整个行业就可以一起把下一步锁定下来。
我非常希望这次和解最后能成为一种具有法律约束力的框架,把行业拉到同一套标准上。这样,一家公司为了做正确的事率先限制自己时,就不会因为竞争对手没有跟进而遭到不成比例的惩罚。我们现在确实是在“先走一步”,承担了一点风险,但如果其他公司也加入,我认为对所有人都更好。
最后一个问题。你最近又开始在 X 上发东西了。
对。
你现在几乎到处都发。你自己有 Threads,也一直在 Threads。重新在 X 上活跃,是不是现在整体传播策略的一部分?
我当然一直在 Threads,而且 Threads 现在做得很好。我觉得它此刻要么已经比 X 大,要么很快就会比 X 大。但不同平台确实有不同社区,尤其很多 AI 圈的人还在 X 上。
我觉得社交媒体的一部分就是:人在哪里,你就去哪里和他们沟通。 你做播客或发布内容时,也不会只把内容放在一个地方;通常会分发到各个平台。我在 Threads 和 X 上会发很多相同东西。有人问:“你为什么还要发到 X?”答案就是:因为我也发在 Threads,而且我也愿意在 X 上参与讨论。
总体来说这很好。一部分社区就在 X,我们希望能够在人们实际所在的地方和他们交流。这和我们前面一直谈的事情其实也一致:去人们所在的地方,建立真正的对话。
好,谢谢你,Mark。谢谢你来聊这次。
很高兴来聊。
节目最后再次感谢赞助商。Mercury 希望让银行体验像现代软件一样工作,可以在 mercury.com 了解更多并在线申请;Mercury 是金融科技公司而不是银行,详情见 show notes。Granola 是我用过最好的 AI 记事本之一,视频会议、电话、线下会议甚至 Apple Watch 都能使用,可在 granola.ai/sources 试用,结账时使用 promo code `sources` 可获得三个月优惠。Atlassian Jira 让团队和 agent 在同一份上下文中工作,可在 jira.com 免费试用。Framer 是 AI-native 网站构建工具,可在 framer.com/sources 获取 Pro 年度计划 30% 优惠;适用条款和限制。