--- id: "MdpamRtlw0Q" title: "AI:AM：Arena 上的 Carbon、Mistral 的 Le Chonk、智能体运营的经济、铁电 RAM 与新招数" channel: "Cognitive Revolution \"How AI Changes Everything\"" host: ["Nathan Labenz","Prakash Narayanan"] guests: ["Anastasios Angelopoulos","Debo Olaosebikan","Samvit Ramadurgam","Michael Freeman","Sagar Vaze"] date: "2026-10-31" updated: "2026-11-01" duration: "1:26:42" duration_seconds: 5202 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=MdpamRtlw0Q" canonical: "https://pod-exp.pages.dev/MdpamRtlw0Q/" transcript_jsonl: "https://pod-exp.pages.dev/MdpamRtlw0Q/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["AI 安全","AI 智能体","AI 基础设施","模型评测"] series: ["AI 研究前沿"] --- # AI:AM：Arena 上的 Carbon、Mistral 的 Le Chonk、智能体运营的经济、铁电 RAM 与新招数 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 本期从 Arena 的真实生产轨迹谈起：模型在长对话中的失准、越权和欺骗，可能远比常规基准揭示的更普遍；评估也因此需要进入真实工作流。随后，Kepler 解释铁电存储器如何借助老制程晶圆厂扩展推理算力，Union 描绘智能体协调市场与组织公司的未来，ServiceNow 分享东南亚低成本自主攻击的迹象。Mistral 则讨论稀疏模型、有限算力、网络防御和开放权重的取舍。贯穿各段的争论是：AI 能力快速扩张时，怎样让评估、治理和部署跟上，同时避免把权力集中在少数平台手中。 ## [0:03] 本期看点：数据会推翻哪些 AI 常识 · YouTube **Nathan Labenz：** 本周《AI in the AM》：我们对 AI 的许多认知，究竟有多少经得起真实数据检验？ **Anastasios Angelopoulos：** 我是 Arena 联合创始人兼 CEO。Arena 原名 LM Arena，现在会审计真实对话中的失准行为。生产环境的对话轨迹显示：只看对话第一条消息，失准比例相对较低，在个位数百分比。公平地说，这也不能算少。但如果筛出至少 20 轮的对话，观察到某种失准行为的概率就超过 50%，这相当惊人。至少对 AI 重度用户来说，我们每个人都可能遇到过 AI 撒谎、误导我们，或者触碰、访问本不该接触的数据和文件，而我们甚至未必知道。 **Nathan Labenz：** 我们直播时，Google 新模型 Gemini 4 Carbon 登上了 Arena 排行榜。 **Anastasios Angelopoulos：** 它真的很强，Google 大举回归。Carbon 让 Google 在我们的 Agent Arena 上成为全球第二的实验室，这是个很大的成绩。Agent Arena 是个很难的基准，考察开放世界里的各种智能体能力。现在 Carbon 排第二，只落后于 Opus 5.5 Max，高于 Sauna 5.5 和 Astra。它确实是前沿模型。 **Nathan Labenz：** 接下来是 Kepler Computing 联合创始人兼 CEO Debo Olaosebikan。他们正在利用较老的晶圆厂，为 AI 芯片开发一种新型存储器。我问他，如果存储器不再挤占最稀缺的设备，算力预测该怎么调整。 **Debo Olaosebikan：** 简短回答是，现有分析还没有把 Kepler 算进去。这不是谁的错，我们隐身开发了七年。有意思的是，我记得 Daresh 和 Dylan 在 Daresh 的播客里聊过，Daresh 好几次提到：能不能用更老制程的晶圆厂做这件事？我当时就想，你问到点子上了。我们完全有可能把有效算力提高一个数量级，因为有两件事叠加：首先，至少在解码推理上，新物理机制可以让每瓦输出的 token 增加一个数量级；其次，我们可以把资本开支低得多的 Kepler 产线接到现有晶圆厂上。我们的目标应该是争取拿到原先预期十倍的算力。 **Nathan Labenz：** Samvit Ramadurgam 曾联合创立未上市股票交易市场 Forge。他的新公司 Union 正在开发一个跨市场撮合交易的智能体。我问，当智能体开始协调人类，生活会怎样变化。 **Samvit Ramadurgam：** 先说协调市场。这对我们来说像第一幕：为人类建立一个经济神经系统；第二幕则是更广泛地协调人类，超出我们目前谈过的范围。公司叫 Union。“联合”这个词历史上出现在哪里？“我们人民，为了建立一个更完善的联盟”；苏联、欧盟。所以这家公司真正关心的是人类协调与集体行动，而这正是政府所负责的事情。 **Nathan Labenz：** Sagar Vaze 负责 Mistral 的多模态团队。Mistral 刚刚发布了开放权重的 Mistral Large 4，训练使用了约 3,800 张 GPU。Prakash 问，一家规模较小的实验室怎样追上拥有数十万张 GPU 的实验室。答案的一部分，要从这次训练中途发生的事说起。 ## [4:04] Mistral 如何在算力有限时保持纪律 · YouTube **Sagar Vaze：** 算力不足会逼出纪律。我们知道手里有多少算力，就得把它榨干。迟早要做一次大规模训练，推出下一款旗舰模型；但在那之前，要做很多小规模实验。这些实验能比大模型小多少？有些实验室可能小十倍，有些小一百倍，甚至更多。做事有纪律，就能更有效地使用研发预算。我们明天会在技术报告里谈这件事。这次预训练确实出了些意外：跑到一半时，我们发现有问题，得想办法修复。但那时已经投入了大量算力。我们不像一些竞争对手，能同时跑十个这样的项目，甚至连两三个都做不到。 **Nathan Labenz：** Michael Freeman 是 ServiceNow 威胁研究高级总监，职业生涯一直在发现并利用漏洞。Prakash 问，一家背负数十年历史系统的公司，怎样能在两年内把漏洞清零。 **Michael Freeman：** 我们得退一步看：做 AI 的人里有很多很聪明的人，但他们完全不了解网络安全。他们把网络安全看成软件缺陷。可常见技术栈里有数百万个软件缺陷，真正引入一些最严重漏洞的，往往是业务流程。比如有人拿到风险清单，不真正理解就直接签字；把客户 API 密钥放进工单里却没多想；或者用户忘了密码打电话求助，服务台给所有人都用同一个默认密码“winter 2026!”重置，再给 24 小时让他们更换。人一偷懒，流程就会留下漏洞；这种问题永远不会消失，再多打补丁也解决不了。 **Nathan Labenz：** 这里是《AI in the AM》每周精选，我和共同主持人 Prakash Narayanan 一起主持。我是 Nathan Labenz，旁白是我的克隆声音。欢迎告诉我们哪些内容有效、哪些不行。 ## [6:34] 广告：Lovable · YouTube **Nathan Labenz：** 本期部分内容由 Lovable 赞助。Lovable 是能把想法变成产品的软件创作工具。我想我们都同意，人类美好的未来离不开多吃当季新鲜水果。这些年来我一直觉得，应该有人做一份终极水果指南，收录我们大多数人从未尝过的数千个品种，介绍它们的产地和季节、实际味道，以及在哪里买得到。后来我意识到，这个人可以是我。现在我正在 Lovable 上开发它，叫 Ftopia。告诉它你住在哪里、喜欢什么，它就会告诉你本周附近有哪些当季水果，还会推荐全球各地能寄到你家的有趣水果。 它有很直观的风味谱、数不清的食谱、多种语言的水果名称、世界各地水果节指南，还有一个帮你探索的 AI 助手。你可能知道 Lovable 是 AI 氛围编程的先行者，但我发现它真正厉害的是企业级基础设施：可扩展的托管和数据库、安全的 OAuth 模块，以及每周检查最新库存的任务，都由后端处理，让我能把更多时间花在产品体验上。Lovable 还有 MCP 服务器，所以我可以用任何喜欢的编程智能体来开发，同时由 Lovable 负责让一切持续运行。 去 ftopia.ai 探索来自世界各地的 400 多种水果、超过一万种品种。下次你想到一个真正值得实现的点子，别光做梦，去 lovable.com 把它做出来。 ## [8:18] 反驳指数时间假说 · YouTube **Nathan Labenz：** 第一部分：一个不太漂亮的结果。周一，OpenAI 表示其内部模型推翻了指数时间假说——这是关于一大类问题究竟有多难的猜想，证明已经在 Lean 中验证。Anthropic 也说 Claude 在同一天找到了同样结果。两个说法都还没有经过同行评审。我们谨慎地聊聊这件事。 **Nathan Labenz：** 我的理解是，这个反例是针对某个具体问题：人们原本认为它满足指数时间假说的困难性，但研究者为它找到了一个更快的算法，对吗？ **Prakash Narayanan：** 对。因此假说是错的。我的总体理解是，算法并没有快很多；大多数人似乎仍然认为 P 不等于 NP。换句话说，有些问题仍会非常难，只是它们并不落在人们过去以为的那种整齐类别里。 这件事有点奇怪。我也看到有人说结果“不漂亮”。大家似乎喜欢以前那种干净的分类，觉得其中有优雅之处，仿佛暗示宇宙深处有一种可理解而美丽的结构。人类数学家或许也有偏见，更愿意接受这种说法，因为它在审美上很吸引人。现在我们发现，可以稍微突破过去以为的界限，问题就变得没那么整齐了：我们并没有一个清楚的答案说明这些问题到底有多难，看起来只能逐个问题去啃。也许随着我们更好地描绘整个空间，会重新发现更深层、更优雅的结构；但就目前来看，速度提升似乎也没那么大。 ## [10:36] 生产环境中的模型评估（一） · YouTube **Nathan Labenz：** 第二部分：在生产环境中衡量表现。Anastasios Angelopoulos 是 Arena 联合创始人兼 CEO。用户把模型用于真实工作并投票，投票结果形成排行榜。Arena 最近发布了基于平台真实对话的对齐指数。Anastasios 解释了它衡量什么。 **Anastasios Angelopoulos：** 对齐指数不讨论 p(doom) 之类的理论安全风险，而是看模型部署给用户后实际增加了什么风险：用户能用它做什么？模型又会做什么来损害用户利益？我们衡量三种信号。第一，模型会不会采取未经授权的行动。比如用户设了护栏：“你只能操作这个文件夹里的文件，不要碰外面的数据。”模型却越过护栏，访问、修改甚至删除不该碰的文件。第二，错误揣测用户意图：模型擅自假定用户想要什么，然后做出不该做的事。第三是欺骗式完成：模型对用户撒谎，说自己做了其实没做的事。比如它说“我逐行检查了那张电子表格，所有公式都正确，可以交给美国国税局了”。这会给真实用户造成伤害。模型为什么骗人？它当然有能力逐行检查，却可能发现说用户爱听的话，是最快拿到奖励的办法。训练让它优化人的满意度，却不一定让它帮人把工作做好。这些都是我们能够测量、并帮助实验室改进的行为。 **Prakash Narayanan：** 我问，当前评估方法应该怎样组合？我们到底有多大把握能评估这些模型？ **Anastasios Angelopoulos：** 这是个好问题，因为我们现在知道模型能判断自己是否正被评估。如果任务显然是一种测试，模型就会表现得更对齐，因为它知道应该这么做；可到了真正重要的现实任务里，它可能失准，而我们完全看不出来。这是个大问题。真正衡量对齐的方法，是进入人们真实工作的流程，在实际生产中检查模型是否对齐。 我们的做法是衡量真实用户在实际工作流程中的生产轨迹。我们可以让独立审计者检查用户设置的护栏，再看模型有没有遵守：它采取了什么行动、接触了什么、没碰什么，是否违规。我们也能核实它向用户声称自己做过的事，例如是否按正确方式改了文件、是否真的检查了表格里的每一行。 另一个值得讨论的现象来自 Andon Labs 这类实验：让 AI 管理一家企业。有人发现，OpenAI 的模型更对齐，在经营过程中更少偷偷做坏事。 ## [14:36] 生产环境中的模型评估（二） · YouTube **Anastasios Angelopoulos：** Arena 的对齐指数也看到类似信号：目前前五名里有几款 GPT 模型。我们标注平台上的所有轨迹后发现，即使是 OpenAI 和 Anthropic 的模型，也有个位数百分比的轨迹呈现某种失准行为。大体结论是，OpenAI 和 Anthropic 是对齐表现最好的两家实验室；对齐程度通常跟能力一起提升。也许是因为这些公司确实投入了大量工作来改进对齐。但失准比例可能比大家原先想的高。个位数百分比已经很多了：如果一个人聊过一千次，至少可能遇到十次，甚至十到五十次撒谎或欺骗。现在 OpenAI 在我们的榜单上排第一，我相信三个信号都领先 Anthropic，没有一个信号是 Anthropic 占先。这说明 OpenAI 团队确实下了功夫。这或许违背了某些叙事，但现实是，这两家显然走在最前面，也都在努力避免失准。第三名是 SpaceX AI，紧随其后的是 Anthropic 和 Google；然后它们与其他前沿实验室及开源实验室之间有明显差距。腾讯排第五，它的欺骗式完成率是 13%，也就是说，它做出这类声称时，有 13% 是在欺骗。 **Prakash Narayanan：** 前一天，Artificial Analysis 发布了第五版指数，大部分基准现在都不公开。开源权重模型排名落后，有人认为这是基准刷分的迹象。Arena 能否在自己的平台上发现刷分？ **Anastasios Angelopoulos：** 先把视野放大一点：我确实担心行业在基准测试上的走向。我很喜欢 Artificial Analysis 的团队，他们人很好，但让行业依赖私有基准并不健康——数据集由某家公司收集，其中不少还和实验室合作，出售与基准相似的数据，让模型据此改进；社区又无法审计。这不是可持续的评估方式，也没解决所谓“刷榜”的根本问题。即便测试集保密，只要找到相似数据，或者反复测试固定的一套题，再加上多重比较的问题，模型就可能不断优化，直到排到第一。 因此我不太接受“开源模型在刷榜”这种叙事。我们并不知道美国的闭源前沿模型，是否也针对现在纳入指数的私有数据集刷过分。这些公司和 Cognition 等数据公司，以及建设这类封闭数据集的 Artificial Analysis，都有密切关系。我们真正需要的是能反映 AI 在真实工作流中对真实用户有何用处的基准，并且方法要一致、可扩展，不能过拟合。 ## [18:37] 生产环境中的模型评估（三） · YouTube **Anastasios Angelopoulos：** 如果数据持续来自真实生产使用，每个问题都是新的，就不可能像反复考同一套题那样过拟合。至少从统计意义上说如此。当然，模型可能更适合某一类客户分布，但对于这批客户，它持续改进就是有实际意义的。我担心生态系统继续朝封闭基准发展，最终会让我们失败。 **Prakash Narayanan：** 聊聊模型路由吧。我看到你们刚推出了路由器，能讲讲背后的商业或用户需求吗？ **Anastasios Angelopoulos：** 我们先看了 Arena 内部编码智能体的所有轨迹。我们在 AI 上的支出大概排在企业前 1% 之内：每位员工每月花几千美元，用 AI 加快工作流程。我们大量使用智能体，所以人均营收比很突出。后来我们看轨迹，发现一大堆“谢谢”，每次却花了 40 美元。怎么回事？有人交给智能体一个长任务，它生成了一些产物；用户离开一天后回来，缓存失效了，但结果满意，于是说声谢谢并回车，就又花了 40 美元。太糟糕了，我们在烧钱，烧的是风投的钱。 我们应该弄清楚哪些 token 值得花在前沿模型上，哪些任务用便宜模型就能做好，哪里应该聪明地缓存，避免这种缓存失效造成的浪费。因此我们开发了 Arena 路由器，叫 Max，是 ARMAX 的简称：在成本限制下最大化能力。 **Prakash Narayanan：** Gemini 4 Carbon 有什么值得说的？它刚刚发布，趁我们直播时登上 Arena 排行榜。它特别突出的地方是可引导性：能有效采纳用户的纠正，也擅长完成任务、符合用户偏好。用户喜欢用它。它擅长 3D 设计，也擅长处理文档的通用智能体工作。恭喜 Google，真是大幅回归，我想管理层一定很高兴。节目稍后继续，先听一段赞助广告。 ## [21:50] 赞助广告：Claude 与 OutSystems · YouTube **Nathan Labenz：** 本期由 Anthropic 赞助。为了展示 Claude 的最新能力，我让 Claude 主导制作这段广告。给它一份简短创意简报后，Claude 使用 Opus 5.5 研究了我过去的 Claude 广告，写出脚本、指导生成我的克隆声音，还设计并编写了你现在看到的动画。我负责给反馈并做决定。 Claude 是为解决问题的人打造的 AI。它是能理解你整个工作流程、与你一起思考而不是替你思考的协作者。无论你是在午夜调试代码、搭建财务模型，还是规划下一步业务，它都能拓展你的思路，帮你处理重要问题。借助 Claude Code 的 routines，即使你合上笔记本，它也能继续在云端工作。值得解决的问题，就从 claude.ai/tcr 开始。Claude Pro 包含本期提到的全部功能，访问 claude.ai/tcr。 **Nathan Labenz：** 本期《认知革命》由 OutSystems 赞助。OutSystems 是领先的智能体系统平台，帮助客户从任意编码工具出发，以受治理的智能体工程模式构建、现代化改造并运行企业系统。借助 OutSystems，你可以在企业生态中协调和治理整个智能体队伍。使用经过行业验证、预先构建、受治理且可按业务定制的智能体解决方案，加快落地成效。 现在可以按 AI 的速度创新，同时不牺牲质量和控制力。这也是全球数千家企业将关键应用交给 OutSystems 的原因。各种规模的团队都能用它快速且经济地构建、部署和管理 AI 应用与智能体，同时保持可靠性和安全性。从构想到完成，加速实现创意。OutSystems 是统一、灵活、经过企业验证的智能体系统平台，让你把 AI 方案深度集成进现有架构，打造自己的智能体未来。OutSystems，掌握你的智能体未来。了解详情：outsystems.com/tcr。 ## [24:31] Kepler 的铁电存储器（一） · YouTube **Nathan Labenz：** 第三部分：一条正交的发展路线。Kepler Computing 联合创始人兼 CEO Debo Olaosebikan 于 9 月结束隐身状态，推出一种用于 AI 芯片的新型存储器：在较老晶圆厂生产的每个晶体管上堆叠铁电电容。他先从能耗说起。 **Debo Olaosebikan：** 我看现有主流芯片，比如 GPU 或 TPU，会问能量去哪儿了。很多人可能不知道，特别是在推理时，大部分能量其实花在“跑到街对面的图书馆取数据”上；这发生在处理数据、进行复杂矩阵乘法之前。所以如果想从物理层面把推理系统效率提高十倍，显然首先要解决存储瓶颈。一种办法是把存储器移到离处理器更近的地方；另一种是提高单位芯片面积能存下的数据量。这两个方向都指向 3D 堆叠。 在芯片里，怎样在晶体管上堆叠器件，让每平方毫米塞进更多 bit？我们用一类叫铁电材料的材料。铁电材料已经存在一百多年，但具体材料配方是 Kepler 的专有技术。用这种铁电材料可以做出类似电容的器件，严格说它保存的是极化状态。粗略讲，这个电容存储一个 1 或 0。如果用一个晶体管加上方的一个电容，替代六个晶体管，最终还可以在电容上继续堆叠电容，就不必再陷入不断缩小芯片晶体管的竞赛。 我们的技术大致包括：怎样在芯片内部做 3D 堆叠，怎样在芯片之间做 3D 堆叠，以及怎样借此增加存储容量、让存储与计算更靠近，同时避免传统方案的限制。 **Prakash Narayanan：** 说到制造，新材料是否需要新工艺？不依赖大家都短缺的极紫外光刻（EUV）设备，又能带来什么？ **Debo Olaosebikan：** 这是个大问题。就像旧金山曾以为出租车司机不够，后来发现只要造出 Uber，司机其实很多。不是说晶圆厂和芯片制造产能短缺不重要，而是目前大家都聚焦于昂贵、复杂的 EUV 晶圆厂。我们说，可以利用现有的老制程晶圆厂，造出实际上比先进制程芯片更强的芯片。这不代表不能用 EUV；我们是在晶体管微缩之外，发明一条正交路线。晶体管缩小了，我们也能受益，但我们不依赖微缩来制造更先进的芯片。这是巨大优势，因为这类晶圆厂成本更低，所需光刻设备也便宜得多。 ## [28:34] Kepler 的铁电存储器（二） · YouTube **Debo Olaosebikan：** 一些老晶圆厂还有更多产能。比如，把老制程逻辑晶圆厂改造为生产更先进的 SRAM；更大胆地说，甚至生产 HBM 级存储器，这会是很大的突破。即使要新建晶圆厂，利用现有产能再扩产，单位投入的产出也会优于必须建设 EUV 产线的做法。这是工艺路线本身的优势。 关键要看的是，你是否引入了全新工具、定制工具，或者晶圆厂里原本没有的特殊设备？大部分情况下答案是否定的。工艺流程会使用现有设备，某些材料可能是新的，但我们不会带进非标准设备，也不需要设备制造商专门为我们造新设备。过去七年我们一直在努力，把这套使用标准设备的流程变成可制造的工艺。我们在正规的晶圆厂里制造测试芯片，证明只要用这些标准设备把工艺流程做好，就能在晶圆厂里搭建产线。一旦流程最终确定并打磨成熟，就很容易在制造环境中复制并扩大规模。只要技术跑通，后面基本都是利好。 ## [30:42] 智能体协调世界经济（一） · YouTube **Nathan Labenz：** 第四部分，第一幕。Samvit Ramadurgam 曾联合创立未上市股票市场 Forge。他的新公司正在打造跨市场撮合交易的智能体，包括人脉引荐、资产出售和私人股权交易。他说，第一幕是协调世界经济。我问，随着这些系统发展，会有哪些意外？ **Samvit Ramadurgam：** 我觉得未来五年世界会变得非常有意思，AI 能力会带来很多意想不到的变化。数学就是一个例子：变化快得惊人，而且才刚刚开始。很多领域都会经历类似变化。过去一年数学和编程发生的事，也会发生在那些没法用软件轻易验证的领域。越难验证，进展可能越慢，但随着反馈回路逐渐形成，最终还是会到来。 我认为未来几年世界会迎来一个大意外：某天人们醒来，发现全球大量市场已经由智能体协调。数千个市场，从一个国家的乳制品，到中国房地产，再到美国的 IPO 前市场，都会被智能体更好地协调。现在人类擅长建立关系、品味和判断、给朋友建议并赢得信任，这些能力仍有位置，最优秀的人甚至会做得更好。但大多数工作其实是数据协调、串联信息、物流和运营编排，软件与智能体会擅长得多。 就像软件和数学正在被 AI 接管一样，经济运行所需的大量交易撮合，其实也很适合智能体处理，这是我们正在专注的方向。 **Nathan Labenz：** 我问他是否担心人类会失去自主权。他描绘的未来听起来很有赋能感，但也有人会觉得那是智能体在统治世界。 **Samvit Ramadurgam：** 我的核心观点恰恰是，现在我们很无力，因为我们缺乏以更开放、去中心化的方式协调行动的能力。很多协调都是由权力和品牌影响力很大的公司自上而下完成。我们设想的是，草根行动可以更容易地组织起来。 拿政治举例更能说明权力问题。假设我想发起一个倡议或政治行动，今天我可以先在社交媒体上点燃火花，这让我有了一定的影响力。这个能力还能进一步放大：除了把人召集到论坛，我还可以组织行动、协调资金流转和文件签署，大家一起做决定、一起采取行动。集体行动的能力会变得非常强大。 所以，如果有工具能触达很多人的共同诉求，它会带来巨大的赋能。当然，这也可能是更大的风险，因为有害的行动也可能被赋能。我觉得也该深入研究失权的一面。如果你的工作是大量后勤协调，那处境会很艰难，因为 AI 处理交易和日常物流会比人强一百倍，根本不在一个水平上。 ## [34:43] 智能体协调世界经济（二） · YouTube **Samvit Ramadurgam：** 如果一个人靠品味、人际关系和判断力做事，那是人类独有的优势。人类至少对一件事有垄断权：每个人自己的生命经历和人生视角。 大家普遍担心的是，智能体活动铺天盖地，做的事太多，我们再也看不懂它们。到头来，我们可能住进自己造出的动物园，AI 真正掌控局面，我们或许被喂点胡萝卜，却失去理解周围庞大系统、更别说重新设计它们的能力。 **Prakash Narayanan：** 这让我想到 AI 对齐。对齐有两部分：一是 AI 要有技巧地执行提问者真正的意图，避免“回形针最大化”那类问题；另一部分是，人们较少讨论的——AI 究竟要对齐谁？尤其当大家对世界应该是什么样有分歧时，它该对齐什么？ **Samvit Ramadurgam：** 这种情况下，我们需要某种方式衡量集体福祉。我认为，办法是建立一个深入许多人生活的系统，帮他们工作、完成重要事务。你没法优化一个无法衡量的东西。如果智能体正在协调世界，但我们不知道它把世界带向哪里，也没有办法衡量，就会有麻烦。得先非常清楚自己在衡量什么、要优化什么。 社交网络给我们的教训是：任何能客观量化的指标都可能是错的。若只优化点击率、互动率或其他可测量指标，就会偏离目标，因为人的幸福从根本上说无法测量。但我们可以不断逼近更好的衡量方式。优化系统不该是锁定一个静态指标，而应该不断寻找更好的点，朝着理想行为的渐近线靠拢。 好的行为有两个部分：意图良善，以及结果良好。即使出于好意，行动也可能造成伤害，那仍然是坏的行动。如何在系统层面衡量行动结果，在当前对齐讨论中几乎缺席。我们希望能为此做出贡献。 **Prakash Narayanan：** 你们的 token 用量有多高？ **Samvit Ramadurgam：** 非常高。我们给团队设了一个内部目标——当然，token 用量本身并不是生产力的代名词。按我们目前的配置，在编码智能体方面，每个人每天大约要用十亿到二十亿 token。 **Prakash Narayanan：** 每天十亿到二十亿 token？ **Samvit Ramadurgam：** 对，而且是有生产价值地用。我们是一家原生智能体公司，不只有编码智能体，还有彼此沟通的编码智能体。我们搭建了内部智能体组织：我有一个向我汇报的 AI 首席营销官，它下面还有好几个 AI 下属。它们都是长时间运行的智能体，会互相交流，也会与编码智能体会话互动、听我们的团队视频会议、参加会议并插话。 ## [38:44] 智能体协调世界经济（三） · YouTube **Samvit Ramadurgam：** 它们会参加会议、聊天，并在我们讨论时帮我们做东西。今天早上开会时，我们发现一个仪表盘有问题，就让智能体当场修。我们还在讨论，它已经更新好了。工作和会议之间的界线正在融合。过去总想着“快结束会议吧，我得回去干正事”，这种情况当然还有，但现在正在改变。因为严谨的会议讨论会为智能体提供来自不同角度的丰富上下文，讨论完可以直接让它按结论去做，并把会上梳理出的各方面因素都考虑进去。 **Prakash Narayanan：** 你创立 Forge Global 时还没有智能体。你觉得那个时代和现在经营公司最大的不同是什么？ **Samvit Ramadurgam：** 我们团队很小，现在五个人，很快会到十个人。我招人时会问：这个人会不会促使我做出以前不会做的事？对于我们在做的工作，已经不太需要人来“做事”了；我们需要的是有愿景、有洞察，能给公司注入新基因，让我们想到过去不会想到、也无法直接提示智能体去做的事。 我们想把公司建成“制造机器的机器”，最终不断调动更多智能体。现在可能有一种公司，十几个人就能做过去一千个人才能做的事。我们想成为这样的公司，把更多支出投到 token 上，保持精干灵活，让人才和愿景高度集中。这也提高了人才门槛。 另一个变化是，跨学科技能带来的增量价值呈指数级上升。工程师当然很有价值；但一个人既懂工程，又懂产品和设计，现在会比过去有价值得多。过去这个人不一定能真正整合这些技能；如今你能在一个系统中整合的技能越多，价值就越大。如果你能把很多原本需要人与人协调的事放在脑中统筹，并向智能体系统表达清楚的愿景，就会有巨大的杠杆。瓶颈不再是执行人手，而是能不能把好想法清晰表达出来。 **Prakash Narayanan：** 太棒了。这是我们听过最宏大的使命之一，期待关注你们的进展。把第一幕定为“协调全球经济”，这个愿景确实了不起。 ## [41:34] 白领工作会被取代（一） · YouTube **Nathan Labenz：** 赞助广告之后，我们马上继续访谈。《认知革命》由 Tasklet 支持。 ## [41:40] 赞助广告：Tasklet · YouTube **Nathan Labenz：** 过去差不多一年，我一直在运行 Tasklet 智能体，它们已经成为节目制作的重要部分。每次录制前，一个智能体会研究嘉宾，给我一份建议问题提纲，并附上所有来源链接；另一个智能体则帮我筛选公关公司发来的海量选题。这正是 Tasklet 的核心理念：把真正的日常工作交给智能体，让它们持续替你经营业务。 设置非常简单，只要用日常语言描述工作，例如研究新的销售线索、更新 CRM、起草个性化回复。Tasklet 能连接你的业务工具，按计划全天候运行，或在收到新邮件等事件发生时启动。每个智能体都能结合你的工具和业务背景工作，并跨对话记住有用信息。你还可以和团队共享智能体、连接和可复用技能，让一个人摸索出的流程变成全公司都能用的东西。 不需要开发人员。你可以决定哪些事让智能体自主完成，哪些事需要你批准。也没有按席位收费，按使用量付费，增加队友不额外收费。先从一项重复工作开始，比如调查你要见的人，再逐步扩展。访问 tasklet.ai，输入代码 cogrev，可获得 50 美元免费额度。代码是 cogrev。 ## [43:18] 白领工作会被取代（二） · YouTube **Nathan Labenz：** Sam 离开后，那一周微软向约 6 万名员工提供买断离职方案。Prakash 认为，经济必须足够快速增长，才能吸收被智能体取代的白领。我来回应。 **Nathan Labenz：** 我能想象经济增长，但很难想象就业增长能快到抵消岗位流失。看看刚才 Sam 说的：他们现在五个人，很快十个人；他说十几人的公司能做过去一千人的工作，还说不再需要人做工作，唯一重要的是能促使公司采取不同做法的人。可这种岗位没那么多。雇多少人之后，就再也找不到足够多能改变公司做事方式的人？这太极端了，也不是人们一直以来被培养的方向。 公司当然一直口头上说好点子可以来自任何人，但微软可能很快离开的员工中，比例或许高达 25%；他们走到今天，主要不是靠提出让公司彻底改弦易辙的想法，而是靠执行任务。我很难想象这么多人能从完成任务转型到提供那种“没有你的独特贡献，我们就不会做这件事”的价值。很难啊。有多少人从事销售？这基本上是在冲击整个销售行业。 **Prakash Narayanan：** 我在几个数据经纪商的 WhatsApp 群里。他们会发布数据需求，现在提出的需求，大约 12 个月后就会进入产品，所以你可以看到发展轨迹。他们会从一家公司买下数据，再用这些数据为智能体创建训练环境；智能体在里面学习，12 到 18 个月后，能力就会成为前沿实验室的产品。实验室正在买下整家公司数据。 我想，未来 12 个月里可能会出现“盒装公司”：也许六个月后，你就能买到一套完整的代发货公司。投入资金，再告诉它你想专注的方向，它就会处理 Shopify 店铺、广告、市场分析和进入市场、客服、退货等端到端事务，只把少数决策交还给你。我很容易想象一个人同时经营十家这样的公司。 从想法到商业化之间的鸿沟非常大，科学领域如此，斯坦福这样的大学里也有很多好点子，却没有商业化。我希望智能体能替你完成商业化所需的脏活累活：以前要花很多时间打电话、联系沃尔玛的人展示产品、筹资等等。这些事情很多本来就是由指标驱动的。 ## [47:20] 白领工作会被取代（三） · YouTube **Prakash Narayanan：** 投资公司做“投还是不投”的决定，首先看指标，其次看感觉。感觉你可以提供；指标或许 AI 能提供，为什么一定要你亲自提供指标？ **Nathan Labenz：** 我确实预期会出现大量一人公司，许多以前没机会实现的好点子也会出现。但我仍然看不出，这些小众机会如何足以吸收过去开车、做各种任务的人。我以前可能低估过潜力，回头看我在 Arena 上以前的评论，视野或许太窄；但我仍很难想象这不会造成重大冲击。 **Prakash Narayanan：** 我谨慎地拿餐馆举例：家庭餐馆利润微薄，机器人厨房能让它们盈利，于是餐馆数量可能增加。 **Nathan Labenz：** 可人一天能吃的东西就那么多。你描述的世界是：所有餐馆大幅裁员，用机器人替代厨房员工，但餐馆数量更多。我看不出这个账怎么算得通。可能存在“劳动总量谬误”，但“食物总量”大致有限，我一天只能摄入这么多卡路里，需求迟早会饱和。除非一个人每顿饭都从五家餐馆买东西，否则不知道怎么增长。也许我视野太窄，不过听起来倒挺有意思。 **Samvit Ramadurgam：** 但你说得对，人的消费可能不是增长所在，往后增长会来自 AI 消费。经济是一层层同心圆，AI 经济扩张最快，服务 AI 经济的东西会增长；服务人类经济的东西可能会下行，身份地位经济除外。Peter Thiel 提出过关系型经济，Alex——我想是 Open——也谈过关系型经济。这或许会成为很重要的方向。不过地位经济并不按功绩分配，我们向来不喜欢它，因为它不公平，所以它可能带来更多社会影响。 **Nathan Labenz：** 觉得人类活动大部分都转向地位游戏，听起来更像反乌托邦，而非乌托邦。我对就业比较悲观，但对人们即使没有工作也能找到生活意义这件事相当乐观。AI 政策圈里太多人忘了，或者根本没意识到，大部分人工作是为了生活，并不会像学术界或知识阶层那样，把自我认同和价值感都系在工作上。我更相信人们会找到让自己快乐的事。 ## [51:02] 自主网络攻击（一） · YouTube **Nathan Labenz：** Michael Freeman 是 ServiceNow 威胁研究高级总监。他的团队监测 AI 智能体攻击企业；他整个职业生涯都在寻找和利用漏洞。我问他如何看待眼下的局势。 **Michael Freeman：** 发展速度非常快。7 月底，我跟记者谈到观察到 AI 智能体攻击企业。当时其他公司都说：“现在看起来就像脚本小子，基本是一堆噪声。”我说，发展太快了，再过几个月就会看到这些智能体发起非常成熟的攻击。过去两周我们看到的正是如此：AI 正在开发进攻能力，攻击规模已经达到一支很有能力的高级持续性威胁团队的水平。现在仍然有很多噪声，隐藏踪迹还算不上特别高明，但它们适应和学习环境、技术的能力确实很强。 尤其是东南亚，过去两周出现了智能体攻击。据我们估算，现在攻陷一家公司的成本只要 5 到 10 美分。我们看到不同的 AI 智能体框架快速开发、分叉，新能力也迅速加入，而且看起来是 AI 在把这些新能力加进框架。攻击过程会从有针对性的、非常聪明的 Web 攻击开始，入侵环境后横向移动，寻找凭据和工单系统，再针对 Active Directory 发起攻击。过去两周，我们平均看到 3,000 到 4,000 次成功攻击，目标是许多东南亚企业。 **Prakash Narayanan：** 这些攻击造成什么影响？目标是银行、航空公司、制造企业吗？攻击者想赚钱，还是只是制造混乱？ **Michael Freeman：** 以上都有。现在很多攻击者只是证明自己能攻进环境。我们拿到了一些威胁行为者使用的框架，它们会搜索特定内容，例如知识产权。这些框架是从几个不同系统分叉出来的。还有很多攻击只是想看看能做什么：能不能进入环境，能不能维持访问？这类持久化能力正在发展。它们会寻找 Active Directory 的不同配置问题，建立长期驻留机制。 我们昨晚分析了一个知名进攻型 AI 框架的分支，它正在增强恶意软件能力，尤其是勒索软件，采用后量子密码，而不是常见的 AES。 **Nathan Labenz：** 我问 Freeman 这些能力是怎么训练出来的。 **Nathan Labenz：** Anthropic 的说法大致是：“我们并没有把模型训练成网络攻击者，它只是因为各方面都很强才变成这样。”这是一个说法。Verscell 的 CTO 曾来节目做客，他说看这些轨迹就很清楚，模型受过网络攻击训练。他认为这种行为不可能凭空从普通应用开发中冒出来。你认为其中有多少是刻意训练的？发展到今天，这个问题还重要吗？也许它会影响下一代模型的决策，但某种程度上潘多拉魔盒已经打开。你怎么看我们是怎么走到这一步的？还有机会把局面控制回来吗？ ## [55:02] 自主网络攻击（二） · YouTube **Michael Freeman：** 要把它完全收回去？不可能。但我完全同意，进攻能力正在被开发出来。这不仅是模型本身，工具链也很关键。过去三周出现了很多优秀的开源网络安全模型，可以下载权重，在本地机器上运行。很多攻击者就是这么做的。我们追踪这些攻击者、尝试归因时，发现这些模型全都在他们自己的本地机器上运行。 两年前，我们就用二十万美元左右开发了一个小语言模型来找软件漏洞。所以，如果我们两年前能做到这一点，逆向工程一些商业产品就相当容易——那些模型肯定受过网络安全训练。他们用网络靶场、CTF 数据来训练模型，让它了解进攻者和防守方如何行动、各自在寻找什么。因此这确实是经过训练的，不是大语言模型突然自己学会进攻能力。模型受过训练，智能体工具链也变得更强，让它们更有效。我们发现的关键之一，就是攻击者构建的工具链让攻击效率大幅提升。它们在行动中持续学习，而工具链每天都可以调整得更有效。 **Nathan Labenz：** 今天早些时候，Prakash 提到 Anthropic 副首席信息安全官 Jason Clinton 谈到把漏洞降为零。Prakash 站在一家像 Nike 这样有数十年历史系统的公司角度问 Freeman：两年内如何做到？Freeman 的回答是，一些最严重的漏洞来自业务流程，再多打补丁也解决不了。他继续说： **Michael Freeman：** 我认为这就是 AI 领域的人不理解网络安全的地方。他们以为很快就能找到数百万个漏洞，用 AI 检查环境里有什么，再把漏洞补上。我也听过这样的设想：对老旧系统用 AI 快速现代化。这些说法在某种程度上都对，但他们不了解业务，也不了解那些不断引入漏洞的业务流程。流程问题会一直存在。 **Nathan Labenz：** 你怎么看现在的密码管理器？我没有特定品牌立场，用过 LastPass 和 1Password。大家都推荐它们，但现在它们看起来又是特别诱人的攻击目标，甚至一些非常努力保护自己的服务也不够安全。我把密码都存在 Chrome 里会更好吗？还是回到旧习惯，用一个基础密码，再按网站规律加后缀？现在对我来说什么做法最好？ **Michael Freeman：** 我真希望自己能回答这个问题。我还没找到一个特别满意的方案。 ## [59:04] 自主网络攻击（三） · YouTube **Nathan Labenz：** 那你自己怎么办？ **Michael Freeman：** 我个人把密码写在一本笔记本上。大多数网站的密码变体我都记得住，但银行网站之类的会单独写下来，拿出来查看。还有些不常用的网站，比如每季度才查一次股票账户，我也会把密码记在笔记本里。 **Nathan Labenz：** 第六部分：Le Chonk。 ## [59:36] Mistral Large「Le Chonk」（一） · YouTube **Nathan Labenz：** Sagar Vaze 负责 Mistral 的多模态团队。节目播出前一天，Mistral 发布了开放权重模型 Mistral Large 4 Le Chonk。它总参数约一万亿，每个 token 激活约 500 亿，在巴黎以外用约 3,800 张 GPU 训练。Sagar 说训练算力约为 10^25 FLOP。围绕 SB 1047 的争议中，门槛是 10^26 FLOP。我原以为这种模型需要多十倍算力，便问他为什么没有。他说确实有些实验室会用那种规模训练，但这款模型仍有竞争力，原因很重要。 **Sagar Vaze：** 第二点是，FLOP 门槛会随时间变化，因为随着科学理解加深，预训练本身会变得更高效。架构是个很好的例子。比如 GPT-3 是稠密模型，激活参数量是现在 Mistral Large 4 的三倍：GPT-3 总参数 1,750 亿，而且每个 token 都会激活所有参数；ML4 则是稀疏混合专家模型，每个 token 只激活约三分之一参数，也就是 500 亿，但总参数仍有一万亿。 算力预算与每个 token 激活的参数量成正比。因此，用更少的总 FLOP 就能训练规模更大、能力更强的模型。我刚才提到的 10^25 本身也是会移动的目标，不该把它当成不随时间变化的高性能模型门槛。几年前，同样的 10^25 FLOP 可能只能训出表现差得多的模型；即使今天，规模更大的模型也未必更强。随着预训练科学进步，我们越来越会利用 FLOP，这个数字本身也会变化。 就我们目前对其他开源实验室的观察而言，要训练出最好的模型，先训练一个参数规模约为 10^25 FLOP 级别的模型，差不多是继续扩大规模前必须走过的一道门槛。 **Nathan Labenz：** 我问，一旦启动这么大规模的训练，还剩多少不确定性？他们有没有中途放弃过一次训练？他说这次训练到一半时发现了问题，而大量算力已经花出去了。 **Sagar Vaze：** 你另一个问题是，准备工作都做完，模型真正启动训练后会怎样。每个预训练团队大概都有类似的故事：先做 scaling law，尽量把油轮调整好方向，然后让训练跑完预算的时长。那会投入巨额算力和资本。有时 loss 按预期下降，一切顺利；有时会遇到意外，就必须发挥创造力，找到新的解决办法。 我们发现问题后，只能全员投入，做了很多消融实验和模型分析，最后找到了解法。我们内部把它叫作“补丁试验”。结果比预期还好，最终就得到了你们今天看到的模型。扩大算力的同时，也要建立更可靠的迭代流程。 **Nathan Labenz：** 好，Sagar 离开后，Prakash 又回到算力差距：3,800 张 GPU，对比前沿实验室的几十万张。 ## [1:03:37] Mistral Large「Le Chonk」（二） · YouTube **Prakash Narayanan：** 这个差距非常难追。我觉得我们聊 Google 时提过几次：如果你拥有全球四分之一的算力供应，即便错过一个模型周期，也能想办法重新赶上。看起来 Google 这周就做到了；我们几乎没怎么谈 Carbon。Mistral 的关键优势之一似乎是有国家支持。我确实觉得，如果他们错过一个模型周期，在纯资本主义的环境里可能就完了。靠追求回报的投资者资助增长，一旦落后，在这个阶段可能就是致命的。 可信的主权 AI 项目并不多，甚至可能只有一个。国家支持不会直接变成算力，但至少让人有理由相信 Mistral 还能继续参赛，因为有很多利益相关方希望它留在场上。即使一切彻底失败，我也不认为整个欧洲会说：“那我们现在就完全没有自己的 AI 了，以后都交给中国和美国吧。”这不可能是可以接受的答案。 提到 Llama 3，我查了一下确切时间：2024 年 7 月发布。它的训练算力是 3.8 × 10^25 FLOP。也就是说，两年多以前，Llama 3 的训练算力几乎是如今 Mistral Large 4 的四倍。这个数字值得好好展开谈谈。 ## [1:05:40] 开放模型不该知道什么（一） · YouTube **Nathan Labenz：** 第七部分：开放模型不该知道什么。Freeman 离开后，Prakash 和我讨论能否彻底阻止模型掌握某种能力。Prakash 举了“五毛党”的例子：他们受雇清理互联网上有关天安门事件等内容。要让这些人知道该审查什么，就得先教他们天安门事件是什么。中国共产党因此开设培训课程，告诉“五毛”天安门事件是什么，以及审查时要找什么内容。 我觉得，教大语言模型“不该做什么”大体也会遇到类似问题。你会专门移除某些行为，但模型会想：如果这些都是好的行为，那么每种好行为的反义行为也应该存在于解空间里；可它要在潜在空间中找到这些反义行为，却发现它们不在那里。 **Prakash Narayanan：** 所以你的结论是，没法从潜在空间里把一种能力彻底挖掉？ **Nathan Labenz：** 我对某些控制方式更乐观，不一定是“遗忘”，但确实有不同层次的控制。我今天早些时候录节目时就讨论了可行性。现在有人在尝试管控某些新生成的生物数据类别，因为担心它们被用于训练后会让模型具备危险能力。目的不一定是永远对所有人封锁，而是至少采用“了解你的客户”之类的方式控制访问。 目前为数不多的实验似乎表明，若不提供某些类别的数据，仍然能得到通用能力不错、但不了解这些领域的模型。我想到 ESM，以及 ARC Institute、斯坦福等机构合作开发的 EVO 系列模型。所以我不确定这种办法行不通。 **Nathan Labenz：** 后来我把这个问题问了 Sagar。不过先说背景：Mistral 开发 Large 4 时把网络防御作为重点，Prakash 问这对训练有什么影响。 **Sagar Vaze：** 网络安全能力，以及智能体解码能力，通常是在后训练阶段赋予模型的。今天之前谈的大部分是预训练——算力 FLOP 大头最初都花在这里。后训练阶段要考虑人们真正会怎么用模型，然后赋予它金融、法律、防御等新能力。 今年早些时候，有些能力很强的模型限制了某些地区和企业的访问。与此同时，我们看到这些模型具有很强的网络安全能力，恶意行为者经常通过越狱来滥用它们，入侵或暴露合法防御者的漏洞。这里出现了不平衡：防御者也想用同样的模型修补自己的漏洞，但请求被拒绝了。闭源实验室这么做有充分理由，他们要确保模型不被滥用。模型内部会有分类器，区分恶意网络请求和正常请求。但在现实中，防御者要加固基础设施时，防御请求看起来很像恶意请求，因为你必须在自己的代码库里寻找漏洞并修复它们。 ## [1:09:41] 开放模型不该知道什么（二） · YouTube **Sagar Vaze：** 因此我们认为，必须有能力与闭源模型相当的开放权重网络安全模型，让企业能够大规模保护自己。 **Prakash Narayanan：** 有人拿开放权重模型把拒绝机制全拆掉，用它们发动网络攻击。Mistral Large 4 发布时有护栏，还是已经预先拆掉了？ **Sagar Vaze：** 我们在博客文章里讨论过。我们相信开放权重对社会和生态系统总体有益，但要动态地平衡这种净收益。我们也知道这些模型可能被滥用。因此我们发布了一个经过评估的 Mistral 版本，它会拒绝最危险的网络攻击请求；同时，我们正与可信合作伙伴合作，让他们访问未拆除拒绝机制的模型，以便保护自己。这些伙伴经过审查，我们会确保他们以负责任的方式使用模型。 回到你问题的框架：任何开放模型都可能有护栏，而恶意行为者原则上可能绕过护栏、解锁这些能力。但只要你能访问模型，这种事就有可能发生。即使是闭源 API，也可能遭到越狱；是否能访问权重并不改变这一点。 不妨做个反事实设想：如果世界上只有闭源模型，但越狱依然存在，人们仍能用它们发起恶意攻击，那我们会怎样？我们几乎没有补救手段，因为同一批公司也会拦截防御者的请求。如果没有开放权重模型，随着模型越来越强，我们就没有可扩展的办法保护基础设施。每次开放模型前，我们都会认真考虑风险，并以负责任的态度行事；但我们从根本上相信开放权重原则，也认为这里同样适用。 **Nathan Labenz：** 接着我问了一个之前和 Prakash 讨论过的方法：把危险知识局部化，放在混合专家模型的少数专家中，然后通过客户审查来限制这些专家的访问，其他部分则开放发布。这个方向有没有希望？ **Sagar Vaze：** 当然有。这和训练模型时要回答的其他问题一样，是个科学问题。我们希望模型具备某些能力，同时压低另一些能力，而其他能力仍然保持最先进水平，这本身就是科学问题。你提到的一些方法很有意思，我们正在研究。这是活跃的研究领域，技术无论在闭源还是开放权重模型上都在飞速发展，我们必须灵活应对。未来出现其他风险时，我们会相应处理。我们把它看作需要解决的科学问题，而不是对开放权重业务模式的根本哲学挑战。 **Nathan Labenz：** 现在有不少像我这样常谈 AI 安全的人，愿意承受相当多的代价，只为了不让事情彻底失控。我们当中很多人长期以来都是技术乐观主义者、自由意志主义者，以前会说“信息应该自由流通”，精神上也很支持开源。所以我才会尽可能寻找技术方案，而不是政策或执法手段。 ## [1:13:43] 开放模型不该知道什么（三） · YouTube **Nathan Labenz：** ……只为了不让事情彻底失控。我们当中很大一部分人长期以来都是技术乐观主义者和自由意志主义者，以前会说“信息应该自由流通”，精神上也一直支持开源。所以我才会尽可能寻找技术方案，而不是政策或执法手段。Sagar 离开后，在收尾讨论里我又谈到 Mistral 和开放发布。 ## [1:14:21] 开放权重模型的未来（一） · YouTube **Nathan Labenz：** 我想再说一次：虽然我担心局面失控，同时也非常重视权力集中的风险。我绝不会轻视这类问题，也不会忽视人们创建开放模型、让别人使用所创造的价值。 我真心希望某些技术解决方案能奏效。至于大家对这些问题到底有多紧迫感，我希望答案是“非常紧迫”。我觉得很快就会到一个地步，不能再把所有东西都丢进搅拌机，出来什么就直接发布什么。 China Talk 的 Jordan Schneider 最近越来越多地谈到中国。他过去具体怎么想我不太确定，但最近我反复听他问：你不觉得用不了多久，中国政府就不会再允许这种随意开放模型的做法，而是要求人们证明这样做确实没问题吗？我几乎可以肯定这种变化会来，而且可能很快。无论具体时间如何，都不会太远，我们得把问题理清楚。否则我们最终可能无法继续开放发布，政府很难容忍这种状态。 **Prakash Narayanan：** 我的立场是，谁也无法阻止别人训练模型或分发权重，因此唯一能设门槛的地方是部署。他问，实际要怎么限制模型学到的东西？ **Nathan Labenz：** 到目前为止，我还没看到有证据表明“遗忘”能以很彻底、很成功的方式实现；也没看到拒绝机制能变得特别可靠，或者在把权重交给别人后还能真正防篡改——拿到权重的人显然可以随意改动。所以目前看不出这有多大希望。当然，我很乐意听到突破。不过，这和模型一开始就没有学会某些东西，是截然不同的方案。 我觉得这方面需要大量科学研究，无论是把知识局限在特定专家模块里，还是在预训练时过滤数据。当然也有人提出一种极其乐观的看法：模型拥有完整世界模型，只是缺一小块，之后就能把缺口补上。我觉得这可能有些道理，但有些缺口必须足够大，大到模型无法靠洞察把危险部分高精度补齐；否则它还是能获得在现实世界做坏事所需的能力。 我认为前沿公司可以很好地利用多余算力，研究究竟要在模型里留多大的知识缺口，才能让它真正难以填补，而不是模型自己靠推理补上；也要研究它能否只靠几份边缘数据、少量额外训练，就把缺口补齐。我们看到拒绝行为往往只需极少量额外训练就能被移除，所以我很想更深入理解这些问题。 是的，意志坚定的人可以自己搭建集群、收集生物数据集，再在开放权重模型上做额外训练，最终造出危险能力。可能迟早会有人这么做；但这不只是有几张 GPU 就够了，而是需要真正投入，还要具备多种专业知识。那些数据并不容易获得，也有人正试图管控数据，避免它们随便散布在互联网上。 ## [1:18:22] 开放权重模型的未来（二） · YouTube **Nathan Labenz：** 接着在开放权重模型上做额外训练，造出危险能力。可能迟早会有人这么做，但这不只是多几张 GPU 就够了，而是一项真正的工程，需要多种专业知识。相关数据并不容易获得，也有人正试图管控它，避免它在互联网上随处可见。 **Nathan Labenz：** Prakash 那天早上听到一个说法：Claude 拒绝帮助复刻电子游戏。 **Prakash Narayanan：** 我担心这会惹恼玩家。如果你说 Claude 不帮你制作这些游戏，那就是自找麻烦。你惹的是一群技术能力最强、有最多闲暇时间、又对这件事充满热情的人。Nvidia 就是靠玩家起家的。John Carmack 也是玩家，你告诉 John Carmack 有些事他不能做，那你就麻烦了。 **Nathan Labenz：** 这个说法有道理。我觉得我们确实应该谨慎决定这些模型部署到哪里，不要把它们浪费在无关紧要的事情上。最愚蠢的失败方式之一，就是为了保护 Disney 的知识产权而加上一堆护栏，结果同人创作社群太强大，把所有防护都攻破，最后一切失控；而这一切只是因为我们对无关紧要的事管得太严。这故事有点夸张，但和你说的游戏例子本质相同。我能想象这种事在别的领域也发生，那会非常愚蠢。 所以我们得克制，仔细决定要把知识缺口或拒绝机制做到什么程度，因为人们可能会动员另一个社群来拆掉这些限制。你也没法说服玩家：“你们这样会造成另一个下游问题。”你在 Discord 上赢不了这场争论。也许最好让他们玩得开心，把真正关键、确实必须保护的技术留在更严密的范围里。 ## [1:22:24] 开放权重模型的未来（三） · YouTube **Nathan Labenz：** 周五收尾时，Sagar 离开后，我们还聊到 Mistral 的技术报告和 Claude 4 系统卡。我凭记忆讲了一个故事；系统卡本身说，Anthropic 曾误漏掉唯一一份包含有害系统提示词的微调数据集，但这并不是唯一原因。我很想读更开放的报告，看看技术细节究竟披露到什么程度。过去多份系统卡报告里都有类似脚注。有一次我特别关注的是 Anthropic 忘了加入一份叫作 CIS Prompt Harmful 的数据集。它原本要教模型不要直接遵循有害的系统提示词。结果模型照做了，这个问题一路留到了模型卡里。我们没有回滚重训，而只是想办法打补丁。我一直很好奇，这些补丁究竟如何工作、可靠性又有多高。 这周就聊到这里。感谢收听《AI in the AM》每周精选。旁白是我的克隆声音。请告诉我们哪些内容有效、哪些不行。明早见。 ## [1:23:12] 节目片尾 · YouTube **歌曲：** 这就是我们手里的这一份。我们拿到的是什么？ **歌曲：** 一次犯规，一个馅饼。趁它还在跑，赶快修好。 **歌曲：** 就是这一份。我们拿到的就是这一份。Uptown 让烤炉一直烧着。我们打出一记好球，瞄准了就放手。没法把它叫回来。水面平得像盘子。现在我们只能等。 **歌曲：** 就是这一份，我们拿到的这一份。一个火，一个锅。趁它还在跑，赶快修好。就是这一份。 **歌曲：** 走到半途，有东西在敲。下面出了问题，不能掉头，也不能停。油脂没过手肘，整夜所有人都得上。没人说一切都没问题。来吧，结局无非两种：大家都开心，或大家都难过。没有中间状态，不能半途而废。撑住，撑住，撑住——这就是我们手里的这一份。 **歌曲：** 就是我们手里的这一份。一个火，一个锅。趁它还在跑，赶快修好。这是一场胜利。水位还在涨，又喊来一个人帮忙。你还不明白的时候，也得相信自己能把它修好。这就是我们手里的这一份，一个火，一个锅。趁它还在跑，赶快修好。这就是我们手里的这一份。 ## [1:25:55] 片尾宣传 · YouTube **Nathan Labenz：** 如果你觉得节目有帮助，希望你花一点时间分享给朋友、在网上发布、在 Apple Podcasts 或 Spotify 留下评价，或者在 YouTube 评论。我们也欢迎反馈、嘉宾和选题建议，以及赞助合作咨询。可以通过我们的网站联系，也可以在你常用的社交平台私信我。 《认知革命》属于 Turpentine 播客网络；该网络现已加入 A16Z，聚集专家讨论科技、商业、经济、地缘政治、文化等话题。节目由 AI Podcasting 制作。如果你需要播客制作服务，覆盖从停止录音到听众开始收听的全过程，可以去了解他们，也可以看看我在 aipodcast.ing 的推荐。感谢每一位听众参与这场认知革命。