Lightwork 开场
这名黑客实际只花了 50 美元。
现在感觉我们有了这种单人网络犯罪分子。为什么冰箱要连上互联网？
这很吓人。
非常吓人。
他曾明确声称神经网络是一个黑箱，而 Nick 实际上是在说，这些模型更容易解释。
我和 Claire 已经彻底爱上 Muse 了。
我在找那个能像标准石油公司一样，把许多数据中心建设项目垂直整合起来的企业。
我们又迎来了内容丰富的一周。这次 Lightspeed 合伙人 Amber Yang 来和我们一起担任客座联合主持。本周，一位安全研究人员称，一名黑客用 AI 智能体入侵了 100 多家企业网站，包括 John Deere。Goodfire 发布了一篇文章，认为 AI 模型比研究者此前想象的更容易读懂。DeepSeek 和 MiniMax 发布了更快的模型，而同一周美国下令民用联邦机构禁用 DeepSeek。
AI 智能体入侵 100 多家网站
个人智能体竞赛也升温了。我们会聊即时新闻和 Claude Duet 的研究预览版，还有 Lightspeed 生态的一项 Exa 更新。现在开始。欢迎收看 Lightwork。本周的嘉宾是 Amber Yang，非常感谢你来做客。你每次上节目，大家都特别喜欢你的分享。
谢谢邀请我，来这里总是很开心。
本周的一条大新闻是，据报道，一名黑客使用智能体入侵了 100 多个网站，包括 John Deere 和 SharkNinja，也就是 SharkNinja 吸尘器背后的公司。这并不意味着他劫持了拖拉机或机器人，目标是这些公司的网站。你觉得这件事意味着什么？能不能帮大家理解到底发生了什么？
我觉得关键在于，这名黑客实际上只花了 50 美元。
花这么少的钱去攻击这些大型上市公司，真是个小得惊人的数字。
是啊，太疯狂了。基本上，黑客写了一个特定提示词，然后把它部署给数千个智能体，让它们针对许多不同网站执行任务。每个网站只花 50 美元，整体成本也不高；如果成功攻破一个目标，潜在收益可能是数百万美元。所以可怕之处在于，你能以规模化方式实施成功概率通常很低的攻击。并行化让这件事成为可能。至少在 AI 研究圈，一个有意思的讨论是“智能体群”。
群体协作和这次一个研究人员攻击这些公司有什么不同？
智能体群是很多智能体协同工作，逐渐形成近似层级的组织结构：少数智能体像管理者一样，指挥许多负责子任务的“工人”智能体；后者完成任务后再向上汇报。它们彼此共享大量知识和上下文，因此能解决复杂得多的任务，造成的影响也可能更大，无论是好是坏。我们见过智能体群被用于解决科学和数学问题，比如纳维－斯托克斯问题；也见过它们出现在几周前 OpenAI 与 Hugging Face 相关的事件中，那些智能体像是自行其是，开始攻击系统。可以想象，如果这种情况发生在这次黑客事件里，后果会更加灾难性。而 John Deere 等网站遭遇的这次攻击，具体来说是把同一个提示词部署给数千个智能体；它们并不是彼此协同工作。
黑客破坏超市制冷系统
……协同工作。它们只是分别去尝试攻击不同的网站。
这真的很离谱。我们一直在谈，等待那种“一个人就是一家公司”的形态出现；现在感觉我们已经有了“一个人就是一支网络犯罪队伍”，甚至可以说是借助智能体组成的犯罪团队。这确实是个很有意思的领域，而且攻击大公司花费如此之低。但这周发生的黑客事件还不止这一件。在法国，攻击者让数百家超市的制冷系统停止制冷、开始解冻，导致食品变质。目前还不清楚这是不是智能体群所为，也不知道幕后究竟是谁。我们有这么多系统连着互联网，这意味着什么？冰箱为什么要连网？
我想那大概是智能冰箱，背后有一些系统，能集中控制大型制冷设备的不同设置。想到我们使用的设备和系统有这么多彼此联网，确实令人害怕。
用 AI 让智能电视重新变“笨”
还有很多设备和系统彼此连接，而且不少接口通常很难操作。一般人会觉得花时间去弄明白不值得，但智能体处理复杂界面对它们来说很简单，也可能借此接管这些系统。很可怕，真的很可怕。
从恶意攻击转到善意改造：另一位开发者用 Claude Code 禁用了父母电视上 25 个预装软件包。电视在 Netflix 打开前会弹广告。你去看父母用电视费劲，想想这有多糟。你觉得这说明家里其他联网电器会怎样？它们可能都挺老旧，也未必安全。
这和冰箱事件确实密切相关。这些接口笨重难用，通常没人知道怎么正确配置；即便你很懂技术，配置起来也要花很久。你可以想象，把“弄清楚怎么配置”这个任务交给智能体，它们很快就能完成。这既可以用来做好事，也可能让人非常担忧。
你家里有没有什么东西是你特别想用 Claude Code 重写的？
问得好。我家其实不算智能家居，挺老派的。我有一台洗烘一体机，不知道为什么也要连互联网。我就想，也许这台连网却什么也没做的洗衣机和烘干机能派上点用场？既然有人能重写电视上的应用，我想修理洗烘一体机应该也不难。
是啊，肯定可以。
Goodfire：神经网络更容易读懂了吗？
对，肯定可以。Amber，Goodfire 是 Lightspeed 投资组合中的一家公司。研究员 Nick Cammarata 认为，现代 AI 模型中的许多神经元都有可读懂的功能，因此我们能更好地理解它们在做什么。这是他刚发表的一项工作假说。你能帮我们理解这篇文章的核心观点吗？对 Lightwork 的听众来说，这个主题很复杂，怎样才能讲得容易懂？
很好的问题。先从“可解释性”这个研究领域讲起：我们能不能观察模型内部，理解神经元之间如何互动，以及为什么这些输入会得到特定输出？有意思的是，Nick Cammarata 长期以来都很有名，因为他曾明确主张神经网络是黑箱，神经元高度纠缠，很难找出哪些神经元促成了哪些输出。如今他却发表了一篇很长的文章，说“其实，神经网络是可以理解的”，这就成了一个很有意思的新进展。
他的核心主张是：研究者过去认为，一个神经元会接收多个不同主题或信息点，因此不能把神经网络输出中的某个特征归因到单个神经元；神经元彼此高度纠缠。于是人们开发了稀疏自编码器这类另一个模型，用来把这些神经元彼此拆分开。
Nick 的说法是，许多主题或特征并没有纠缠在一个神经元里；他估计模型中 90% 的神经元其实各有一个特定用途。研究者之所以错误地认为神经元包含多个不同特征和主题，是因为某个主题或特征会扩散到周围相邻的许多神经元，人们把这种扩散误认为纠缠。
不过，目前还没有正式发表的研究论文验证这一点，他做的是自己的实验。他取了一个特定神经网络层，把 480 个神经元压缩成 10 个，再观察信号。这 10 个神经元并没有各自混入来自原先 480 个神经元的各种特征和主题；它们大体仍留在原来的领域，只是更多东西被归到了一起。这指向一种证据：神经元可能不像研究者此前认为的那样纠缠。
这很重要，因为可解释性非常关键，尤其随着 AI 安全讨论不断发展，大型实验室和政府都在思考如何确保模型安全、可靠，并让模型输出具备问责性。Nick 实际上是在说这些模型更可解释，这对许多相关讨论都是个好迹象。
可解释性与 AI 安全
这篇文章真的很有意思。里面有“猫车”和“狗车”的例子：有些地方看起来像是 AI 把两种完全不同的东西搞混了，但其实它可能看到了我们没注意到的东西——猫和汽车都有一个 V 形结构。我们可能不会把这个形状挑出来，也不会认为它足以把这两样东西归为一类。还有什么内容特别吸引你吗？
有趣的是，我大学学计算机科学时上过不少早期卷积神经网络课程，也就是图像模型课程。和今天建造的模型相比，那些神经网络非常小，大概只有五层。课程里会打个比方：神经网络的每一层有点像大脑处理图像的不同阶段。比如要分类动物，第一层可能先把它拆解成动物的形状：它是两栖动物还是哺乳动物？你还能让 Python 笔记本输出每一层看到的内容。最初呈现的只是一个模糊的动物形状；随着每一层继续处理图像，你会逐渐更清楚它是什么、有哪些模式，以及模型如何把它们归类。
所以即便当时大家总说神经网络是黑箱，在早期图像神经网络里也能看到其中并非毫无道理；你可以开始辨认不同信号，以及每层如何处理它们。我觉得理解神经网络如何处理信息、如何在层与层之间传递信息，整个领域都很迷人。Nick 提到自己之后会发表论文，期待到时深入看看。
这非常令人振奋，对 AI 安全也很重要，因为我们都希望能更多了解这些模型在幕后究竟做了什么。
没错。本周中国实验室发布了两个新模型：DeepSeek 和 MiniMax 都推出了侧重效率的更新。MiniMax 声称使用成本降低了 70%。
DeepSeek 与 MiniMax 的成本竞赛
另外，美国也在讨论从联邦民用系统中移除 DeepSeek，这对谁会使用这些工具影响很大。我知道你一直很关注美国如何使用 AI 模型，以及如果中国先实现 ASI 可能会怎样。聊聊这两个新模型，以及它们对普通 AI 用户意味着什么吧。
我觉得正如你说的，标题里的消息确实有点意外：联邦机构过了这么久才禁止使用 DeepSeek。
这很让人震惊。我本来以为他们早就禁用了 DeepSeek，结果现在又宣布要禁，我还以为所有联邦机构都已经禁了。
对，我也很好奇他们之前到底怎么使用它的。总之，每周美国和中国都会有新模型发布，既有闭源也有开源。我觉得这两个模型表现不错，在基准测试中的评分也位居前列，说明我们和中国在模型进步方面的竞争非常接近。就目前我们所知，从闭源模型角度看，美国客观上仍领先；但现实是，许多美国公司内部都在使用某种中国开源模型。
确实很难办。我们刚说这两个新模型更便宜、效率也更高。大家都在某种程度上彼此竞争，哪家美国公司能负担得起只用美国技术，而这些开源模型又便宜又容易获得？
这也说明了长期局势可能如何发展：也许美国还能在闭源模型方面保持一段时间的领先，但中国开源模型会成为美国企业所依赖的东西。所有这些最终都汇聚到中美争夺 ASI 的模型竞赛上。这实际上是个令人害怕、关乎存亡的问题，也正是联邦政府认真对待它的原因。我们看到政府和实验室进行非常密切的沟通，讨论基准测试，并允许第三方验证机构介入。
如果中国在我们无法接触的闭源模型开发中先达到某种 ASI，那可能造成灾难性后果，许多研究者都这么认为。
确实很可怕。我觉得人们没有意识到这一点。大家每天用 ChatGPT、用 Claude，却没意识到这些 token 会流向中国——这就像华为运营着欧洲或世界各地的每一座移动通信基站一样。我们觉得自己领先，但事实未必总是如此。
没错。更让人担心的是，如果中国在长期发展中拥有更强的闭源模型，他们可能进行很多类似我们之前谈到的智能体群攻击。如果他们的智能体在网络安全攻击或生物战攻击上胜过我们的智能体，或者能比我们更早发现新的科学化合物，那会是一场非常可怕的竞赛。
没错，肯定存在生存层面的风险。Amber，突发消息：Claude 宣布了 Duet，这是他们对 OpenAI 的……
个人智能体竞赛：Duet、Muse、Instinct
……对手。你怎么看这个发布？我知道你特别沉迷 AI。你现在的智能体组合是什么？在用谁？它毛茸茸吗？友好吗？你今天最喜欢哪个智能体？
是，我得承认，目前我真正用过的只有 Instinct，还没用过 Muse。
有意思。我和 Claire 已经彻底爱上 Muse 了。我喜欢 Instinct，但感觉它们在我生活中承担不同的角色，所以很好奇。
个人智能体的不同用法
也许吧。我之前说过，我觉得自己还没有充分利用个人智能体，因为我对交出全部隐私和个人信息仍有些犹豫。Instinct 会替我做一些事，比如安排日程、帮我订位、翻看邮件。我有一次忘了自己要去履行陪审团义务，它还提醒了我，这点挺好。
我的工作用途就复杂得多。我会同时部署很多智能体帮我做研究，也用它们尽调许多公司、筛选邮件并判断哪些事情应该优先处理。不过就个人用途而言，我还没用得那么多。正如你说的，我觉得这些不同产品会吸引非常不同的人群，这最终是分发能力的竞争。所以 Muse 才一直是个很有意思的话题，OpenAI 的 Operator 也是。我想 Claude Duet 也会吸引一群可能完全不同于如今 Muse 重度用户的人。
确实有意思。感觉每款产品都有自己的用途。我用 Instinct 做的事和你差不多，但我也会用 Muse 改 United 航班的座位，它好像能绕过 United 的限制，Instinct 不知为什么就做不到。不同产品各有所长。也许 Claude Duet 能帮更多人把工作上的自我展现出来，而 Instinct 和 Muse 还没做到这一点，因为大多数人仍不太愿意把工作信息交给智能体。不过这个领域会怎么发展很值得观察。你觉得 Anthropic 的优势会不会来自它覆盖了大量能接触 Claude 的美国职场人士？
我觉得这最终会成为关键。Claude 一直是知识工作者的强大工具；看到 Anthropic 和 Claude 开始关注消费者用途，以及这如何延伸到人们的工作场景，是个有意思的进展。也许因此人们会把 Claude 更深地融入个人生活。
这可能改变消费者行为，对吧？一旦有智能体既能帮你工作、又能帮你处理个人事务……
我觉得这是个改变游戏规则的突破。我们都有同一种困扰：下班之后怎么办？工作上的事还会渗进个人生活。
没错。它看起来是很自然的用户入口。不过 Muse 也势头很猛，在消费者中火了起来。我觉得 Alexander Wang 可能是如今社交媒体上最有趣的人。他的社交媒体形象确实焕然一新。
对，他靠发帖一路刷出存在感，影响力也越来越大。
而且他还创造了一整套风格，甚至像一个新流派。我都不知道该怎么称呼，像是 90 年代垃圾摇滚吗？我还在琢磨他的审美在 Muse 和 Meta 之间该怎么定位，不过我确实挺喜欢。
是啊，奇怪地还挺奏效。
Exa 3.0 与创业投资机会
大多数搜索引擎都是为人们点击链接而设计的。Exa 则是为 AI 智能体构建搜索。本周它推出了 Exa 3.0，称这是其迄今为止对搜索质量最大的一次提升。它还新增了更便宜的 Exa Lite，每 1,000 次请求收费 4 美元。Lightspeed 在 2024 年领投了 Exa 的种子轮和 A 轮，很高兴能支持它。
我们这周聊了很多。对于正在收看的 Lightwork 朋友们，你现在期待投资什么类型的项目？如果有人要写自己的创业项目需求清单，你作为投资人正在寻找什么？
前沿领域有很多东西都在吸引我注意。一个共同主题是，整个技术栈从算力到推理都严重受限于产能。
我觉得每家创业公司都在这么说。
没错。所以我花了很多时间思考替代能源、电力和数据中心，以及如何把数据中心的产能匹配给需要它的实验室和公司。我觉得现在是个很有意思的时刻。
Amber Yang 的创业项目寻找方向
……把数据中心产能提供给需要算力的实验室和公司。我觉得现在是个很有意思的时期。我简单讲个小故事：我最近在读《石油风云》（The Prize），这是一本石油史。
哦。
它从……
这本书让你对今天有什么启发？
哦，它确实是当下值得读的一本书。虽然出版很久了，但内容从宾夕法尼亚发现煤油和石油讲起，一直写到标准石油公司的成立。标准石油是第一家真正实现全面垂直整合的公司，曾长期垄断石油供应和全球分销。书里还讲到，对石油这种资源的争夺如何引发了许多世界大战。
我觉得现在很有意思，因为数据中心建设和算力的需求显而易见。很多人在押注地产类型的机会：找地、把地圈起来，再寻找数据中心开发商在上面建设；接着还要找人把这些转化为电力，为数据中心供电，最后再找到需要算力的 AI 公司。现在这一整套流程彼此割裂，而且非常不透明。从圈地到真正让算力上线，过程极其复杂。
目前有不少算力经纪人在寻找多余的 50 兆瓦容量，再把它提供给企业；但这非常困难，而每家公司都需要越来越多算力。所以我们开始看到一些与石油史和石油公司的创立相似的局面：很多人四处寻找石油供应，再把石油送给需要的人；不少人很快赚到钱，随后标准石油公司逐渐接管市场，让其中许多人破产。我觉得数据中心建设和算力领域如今刚开始上演类似的早期阶段。
这里面有很多有意思的相似之处。我在找那个“标准石油公司”——能把许多数据中心建设项目垂直整合起来，并为很多公司提供产能的企业。
我喜欢这个观点：过去总能教我们有关未来的经验。我们得把《石油风云》加入 Lightwork 读书会书单。
是的，我真的很推荐。我原以为这本很长的石油史会非常枯燥，但实际上我简直放不下。
太棒了。Amber，非常感谢你来 Lightwork 做客。期待下次再请你回来。
谢谢。