开场预告
这名黑客实际只花了 50 美元。
现在感觉我们有了这种“单人网络犯罪团伙”。为什么冰箱要连上互联网？
这很可怕。
非常可怕。
他曾经著名地声称，神经网络是个黑箱；而 Nick 实际上是在说，这些模型更容易解释。
Claire 和我都特别看好 Muse。
我在找谁会成为石油业的标准石油公司，能把很多数据中心建设垂直整合起来。
又是精彩的一周。这次 Lightspeed 的合伙人 Amber Yang 来担任我们的客座共同主持人。一位安全研究员称，一名黑客利用 AI 智能体入侵了 100 多家公司的网站，包括 John Deere。Goodfire 发布了一篇文章，认为 AI 模型比研究人员此前想象的更容易读懂。DeepSeek 和 MiniMax 在美国下令民用联邦机构禁用 DeepSeek 的同一周推出了更快的模型。
AI 智能体入侵 100 多家网站
……要求联邦民用机构禁用 DeepSeek。个人智能体的竞争也在升温。我们会聊聊即时新闻和 Claude Duet 的研究预览，还有 Lightspeed 投资组合公司 Exa 的一项更新。进入正题，欢迎收看《Lightwork》。本周的嘉宾是 Amber Yang，非常感谢你来做客。你上节目总是让人很开心，我觉得大家都喜欢你的每个环节。
谢谢邀请，我每次来都很开心。
本周一条大新闻：据报道，一名黑客利用智能体入侵了 100 多个网站，包括 John Deere，以及 SharkNinja（SharkNinja 吸尘器的母公司）。这并不是说他劫持了拖拉机或机器人，目标是这些公司的网站。你怎么看这件事的影响？也请帮大家理解一下究竟发生了什么。
我觉得关键在于，这名黑客实际只花了 50 美元。
入侵这些大型上市公司，花的钱却这么少。
是啊，太离谱了。大致情况是，黑客准备了一个特定提示词，把它部署给数千个智能体，让它们针对许多不同网站开展工作。每个网站只花 50 美元，整体成本并不高；如果成功入侵，潜在收益却可能达到数百万美元。所以可怕之处在于，过去成功概率通常很低的攻击，现在可以规模化实施，还能并行处理。我觉得 AI 研究领域至少有一个有意思的讨论，就是“智能体蜂群”这个概念。
蜂群和这次一个研究人员对这些公司所做的事有什么不同？
蜂群是很多智能体协同工作，几乎会形成一种层级组织：少数智能体像经理一样，管理大量负责子任务的“工人”智能体；工人完成子任务后再向上汇报，彼此还会共享很多知识和上下文。这样一来，它们能解决复杂得多的任务，也可能造成大得多的损害——无论是好是坏。我们看到过智能体蜂群被用于解决科学和数学问题，比如 Navier–Stokes 问题；也看到它出现在几周前的 Hugging Face 事件中，当时有智能体被用于 OpenAI 的相关工作。这些智能体仿佛开始自行其是，着手入侵系统。可以想象，如果同样的情况发生在这次黑客事件中，后果会更严重。John Deere 和这些网站的事件，具体来说是把同一个提示词发给了数千个智能体。所以它们并不是……
超市制冷系统遭攻击
……协同工作。它们只是分别去尝试攻击不同的网站。
确实挺疯狂。我们一直在谈，等着那种只有一个人的公司出现；现在感觉倒是有了一个由智能体支撑的“单人网络犯罪团伙”，甚至可以说是网络犯罪集团。这是个很值得关注的领域，而且入侵大公司成本这么低。不过，这周发生的黑客事件还不止这一件。在法国，攻击者迫使数百家超市的制冷系统停止制冷、开始解冻，导致食品变质。目前仍不清楚这是不是智能体蜂群所为，也不清楚幕后究竟是谁。但大量系统都连上了互联网，这意味着什么？冰箱为什么要连互联网？
我想这大概是智能冰箱，配有一些系统，让更大的集中式系统能够控制大型制冷设备的不同设置。想到我们有多少设备、日常用品和系统彼此互联，确实让人害怕……
用 AI 把智能电视重新变回“笨电视”
而且，很多这类界面通常很复杂，普通人往往觉得不值得花时间去操作。但对智能体来说，浏览复杂界面却很简单，它们可能就这样接管设备。所以这令人害怕，真的很可怕。
不过，从坏的黑客行为转到好的黑客行为：另一位开发者用 Claude Code 禁用了父母电视上 25 个预装软件包。电视在打开 Netflix 前还会弹广告。你能想象这有多烦——尤其是看着父母被电视搞得一头雾水的时候。你觉得这说明我们家里其他连网电器会怎样？它们可能都有些过时，也未必安全。
这和冰箱事件确实密切相关：这些设备的界面很笨重，通常没人知道怎么正确配置。即使你很懂技术，配置起来也要花很长时间。可以想象，把“弄清楚怎么配置”这项任务交给智能体，它们很快就能办到；这既可以用来做好事，也可能非常可怕。
你家里有没有什么东西，是你想用 Claude Code 重新编写一遍的？
好问题。我觉得我家其实不算智能家居，非常老派。我有一台洗衣烘干一体机，不知为什么要连互联网。我当时就想，也许这台连网后什么也做不了的洗衣机和烘干机，能派上点用场？说不定我可以……
Goodfire：神经网络更容易读懂了吗？
……把父母电视上的应用重写一下。我想修理洗烘一体机应该也挺容易的。
是啊，肯定可以。Amber，Goodfire 是 Lightspeed 投资组合中的一家公司。它的一位研究员 Nick Cammarata 认为，现代 AI 模型中的许多神经元都有可读懂的功能，因此我们能比过去更容易理解它们在做什么。这是他刚发表的一项工作假说。你能介绍一下这篇文章的核心观点吗？这个话题很复杂，怎样才能讲得让《Lightwork》的观众都听懂？
好问题。大致来说，先得弄清楚这属于什么领域、他在谈什么。这是模型可解释性这个子领域：我们能不能深入观察模型内部，理解神经元之间如何相互作用，以及为什么这些输入会产生特定输出？
Nick Cammarata 早就为人熟知，因为他曾著名地提出，神经网络是黑箱，神经元之间高度纠缠，很难判断哪些神经元会促成哪种输出。他本周早些时候发表了一篇很长的博文，提出一个相当不同的看法——
用他自己的话说？
对，他说神经网络其实非常容易理解，并没有那样纠缠。这是个很有意思的进展。他的核心主张是，研究人员过去认为单个神经元（神经网络内部的一个单元）会接收多个不同主题或要点，因此无法把神经网络输出的某个特征归因到一个特定神经元上；神经元之间也因此被认为高度纠缠。于是人们会用一种叫稀疏自编码器的模型，尝试把这些神经元彼此解缠。
Nick 的说法是，实际上大多数神经元各自只承担一个特定功能——他估计模型里有 90% 的神经元是这样。研究人员为什么会错误地以为一个神经元包含多个特征和主题？他的解释是：遇到某个主题或特征时，很多神经元的信号会扩散到周围相邻的神经元，人们把这种现象误认为了某种纠缠。
不过，目前还没有正式发表的研究论文论证这个观点。他自己做了一些实验：选取神经网络的一层，把 480 个神经元缩减到——我记得是——10 个神经元，再观察信号。他发现，这 10 个神经元并没有各自混入原来 480 个神经元中的一大堆不同特征和主题；它们大多仍留在原本的领域，只是把一些东西归到一起。这些结果指向一种可能：神经元并没有研究人员过去认为的那样纠缠。
这很有意义，因为我认为可解释性非常重要，尤其是 AI 安全讨论不断发展、大型实验室和政府都在思考如何确保模型安全、可靠，并对模型输出负责。Nick 实际上是在说，这些模型比我们想象的更可解释，这对这些讨论是个好兆头。
是啊，这篇文章真的很有意思。
Goodfire：神经网络更容易读懂了吗？（续）
里面举了“猫车”和“狗车”的例子。有些地方看起来像是 AI 把两种完全不同的东西混淆了，但其实它可能看到了我们没注意到的东西：猫和汽车都有一个 V 形结构，而我们大概不会把这个结构当成把两者归为一类的理由。还有什么内容让你觉得特别有意思？
有一件事很吸引我。我大学主修计算机科学，上过不少早期卷积神经网络课程，也就是图像模型课程。和今天正在构建的模型相比，那些神经网络非常小，大概只有五层。当时人们会打比方说，神经网络的每一层都类似于大脑处理图像的过程。
比如，要给动物分类，神经网络的第一层会把它分解成动物的形状：它是两栖动物还是哺乳动物？你还可以让 Python notebook 输出每一层看到的内容。最开始呈现的可能只是一个很模糊的动物形状；随着每一层继续处理图像，我们会逐渐更清楚地看到那是什么动物，以及模型识别出哪些模式、如何把它们归类。
所以我觉得，即使是当年，尽管大家总说神经网络的工作方式是黑箱，但从很多早期图像神经网络中其实已经能看出其中有一定道理。你可以区分不同信号，看看每一层如何处理它们。理解神经网络如何处理信息、如何在层与层之间传递信息，整个领域都很吸引人。我觉得这很酷。Nick 提到他之后会发表论文，到时可以深入看看。
对，这很令人兴奋；我觉得这对 AI 安全也很有意义，因为我们都希望能多了解一点模型在幕后究竟做了什么。
本周，中国实验室又推出了两款新模型。DeepSeek 和 MiniMax 都发布了侧重效率的新模型更新。MiniMax……
DeepSeek 与 MiniMax 的成本竞赛
MiniMax 声称使用成本降低了 70%。与此同时，美国也在讨论从联邦民用系统中移除 DeepSeek。这对谁会使用这些工具有重大影响。我知道你一直深入关注美国对 AI 模型的使用，以及如果中国先达到 ASI（人工超级智能）可能会发生什么。聊聊这两款新模型，以及它们对普通 AI 用户意味着什么。我觉得正如你刚才提到的，这周的新闻标题确实有点令人意外：联邦机构过了这么久才禁止使用 DeepSeek。
令人震惊。我本来以为他们早就禁用 DeepSeek 了，结果现在才出来说：“我们要禁用这东西。”我还以为所有联邦机构都已经禁了呢。
是啊，我也很好奇，他们之前到底是谁在用。
到底是谁在用？没错。现在每周都有新消息，美国和中国都会发布新模型，既有闭源模型，也有开源模型。这两款模型推出后，在基准测试上的表现不错，排名也很靠前，这说明中美在模型进步方面竞争得非常接近。客观地说，据我们目前所知，美国的闭源模型领先；但现实是，很多美国公司在内部使用某种中国开源模型。
确实很难办，关键就在成本。我们聊的这两款新模型更便宜、效率也更高。在彼此竞争的环境里，要跟上就很难。中国开源模型这么便宜又容易获得，有哪家美国公司负担得起只用美国技术？
对，我觉得这说明了长期走势：美国也许还能在闭源模型方面保持一段时间的领先，但中国开源模型可能会成为美国公司依赖的东西。这些问题最终都汇聚到中美之间争夺 ASI 的模型竞赛上。这是个非常令人害怕、甚至关乎存亡的问题，我认为这也是联邦政府如此认真对待它的原因。我们看到政府与实验室密切沟通基准测试，也允许第三方验证机构介入。
我觉得这确实可能关乎存亡：如果中国开发的闭源模型——我们实际上无法接触到的那些模型——先于美国达到某种 ASI，那可能会造成灾难性后果。这也是许多研究人员的看法。确实很可怕。我不认为人们都意识到了这一点。大家每天使用 ChatGPT 和 Claude，可能没想到这些 token 都会流向中国——这就像华为运营着欧洲乃至世界各地的每一个手机基站一样。我们觉得自己领先，但事实并不总让人有这种感觉，对吧？
没错。更让人害怕的是，如果中国在闭源模型方面确实拥有更强的模型，长远来看，他们可能发动我们前面讨论过的那种智能体蜂群攻击。如果他们的智能体在网络安全攻击、生物战，或者提前发现新化合物等方面胜过我们的智能体，那将是一场非常可怕的竞赛。
是的，肯定存在存亡级风险。Amber，突发消息：Claude 宣布了 Duet，这是他们……
个人智能体竞赛：Duet、Muse、Instinct
……它是 OpenAI 的 Dots、Muse、Instinct 等产品的竞争者。你怎么看这个发布？我觉得我们的观众都知道你特别热衷 AI。你平时用哪些智能体？你用的工具组合是什么？它可爱吗、好用吗？你现在最喜欢哪个智能体？
说来惭愧，我其实只用过 Instinct，还没用过 Muse。
有意思。Claire 和我都特别喜欢 Muse。我也喜欢 Instinct，但感觉它们服务于我生活中的不同部分。所以我很好奇……
个人智能体竞赛：Duet、Muse、Instinct（续）
也许吧。我之前说过，我觉得自己还没有充分用上个人智能体，因为我有点犹豫，不太愿意把所有隐私和个人信息都交出去。Instinct 会替我处理一些事情，比如安排日程、帮我订位、翻看邮件。我有次忘了自己要去当陪审员，它还提醒了我，这就挺有用的。
不过我的专业工作流程要复杂一些。我会让很多智能体并行开展研究，用它们调查公司、筛选邮件并判断哪些事应该优先处理。个人用途方面我用得还不多。但正如你说的，我觉得不同产品会吸引完全不同的人群，这归根结底是分发渠道之争。所以 Muse 一直是个很有意思的话题，OpenAI 的 Dots 也是；我想 Duet 可能会吸引与今天 Muse 的高级用户完全不同的人群。
很有意思。感觉这些产品各有各的用途。我用 Instinct 做的事和你类似，但我也会用 Muse 改航班座位，因为它似乎能绕过 United 的限制，而 Instinct 不知为什么做不到。它们在不同领域各有优势。也许 Claude Duet 能让更多人开始把智能体用于工作，而 Instinct 和 Muse 目前还没做到这一点，因为多数人不太愿意把工作信息交给智能体。这个领域接下来怎么发展会很有意思。你觉得 Anthropic 有优势吗？毕竟很多美国职场人士都能接触到 Claude。
我觉得这会是关键。Claude 对职场人士和知识工作者来说一直是很强的工具。现在 Anthropic 和 Claude 开始关注消费场景，这一步很有意思；消费端的体验也许能延伸到人们的工作中。这样一来，人们也可能开始把 Claude 更多地纳入个人生活，这会很有意思。
这可能会改变消费者的行为，对吧？一旦有个智能体既能帮你工作，也能帮你处理个人事务，我觉得这会是一个改变游戏规则的突破。我们都会遇到这种情况：下班之后，工作上的事还会渗进个人生活。
正是如此。
这似乎是很自然的产品入口。不过与此同时，Muse 在消费市场表现很强，真的越来越受欢迎。我觉得 Alexander Wang 可能是如今社交媒体上最有趣的人。他的社交媒体形象确实焕然一新。
对吧？他靠发 ship 帖子迅速走红。
是啊。
而且还创造了一整套风格，像一个新的类型。我都不知道该怎么叫，有点像 90 年代 grunge？我想弄明白他的美学和 Muse、Meta 的风格是什么关系，不过我确实挺喜欢。
嗯，确实莫名地行得通。
大多数搜索引擎都是为人们点击链接而打造的。Exa 则是为 AI 智能体打造搜索。本周它推出 Exa 3.0，称其搜索质量提升幅度创下自发布以来的最高纪录。
Exa 为 AI 智能体打造搜索
它还推出了 ExaLite，这是一个更便宜的方案，每 1,000 次请求收费 4 美元。Lightspeed 很自豪能在 2024 年领投 Exa 的种子轮和 A 轮融资。