--- id: "1FdJvaAft5E" title: "Mistral Large 4：西方最强开源模型？｜AI 网络威胁" channel: "Cognitive Revolution \"How AI Changes Everything\"" host: ["Nathan","Parash"] guests: ["Michael Freeman","Sager Vay"] date: "2026-10-30" updated: "2026-11-01" duration: "2:36:46" duration_seconds: 9406 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=1FdJvaAft5E" canonical: "https://pod-exp.pages.dev/1FdJvaAft5E/" transcript_jsonl: "https://pod-exp.pages.dev/1FdJvaAft5E/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["AI 安全","AI 基础设施","开源软件","模型评测"] series: ["AI 研究前沿"] --- # Mistral Large 4：西方最强开源模型？｜AI 网络威胁 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 节目先从币安和 Polymarket 遭攻击谈起，讨论加密交易所的密钥托管、内部信任、美元出入金和监管接口。随后，ServiceNow 威胁研究负责人 Michael Freeman 分享 AI 攻击智能体在东南亚的活动、企业防守、业务流程漏洞和自动修补的边界。第二位嘉宾、Mistral 多模态研究负责人 Sager Vay 介绍 Mistral Large 4 的万亿参数规模、算力效率、开放权重策略、原生多模态训练与企业反馈。节目最后讨论模型安全、数据隔离、知识产权、开源治理、欧洲 AI 主权，以及扩展算力时的取舍。 ## [2:25] 周五早间与币安遭黑客攻击 · YouTube **主持人：** 你准备好了就开始。 **主持人：** 早上好，今天是 10 月 30 日，星期五，上午 9 点 02 分。Nathan，早上好。 **主持人：** 早上好。希望你没在币安放什么资产。 **主持人：** 我现在持有的加密货币很少。 **主持人：** 刚进来的朋友可能还不知道，币安遭遇了史上最大规模的黑客攻击，损失了 63 亿美元。资金大概在四小时左右被转走。攻击是这样发生的：一名工程师的笔记本电脑被入侵，随后几分钟内，资产就被转出。攻击者转账的方式很巧妙，币安过了一阵子才发现。他们转走了以太坊，但又在钱包里留了足够的以太坊，让币安的其他交易还能继续进行。需要以太坊支付的交易一时照常处理，所以币安没察觉。 **主持人：** 另一件巧妙的事是，攻击者没有直接提走一部分资金，而是把钱抵押给一家 DeFi 交易所，再从那里借出资金。币安追回资金时，去找了 Tether 的中心化托管方，请他们冻结收到这批 Tether 的地址。问题是，这个地址上的资产已经被抵押给 DeFi 交易所，而交易所又以这笔抵押为基础贷出了其他货币。钱确实被冻结了，但被冻结的资产未必属于币安；真正被抢的是那家 DeFi 交易所。接下来会怎么追回，里面还有不少复杂问题，接下来应该会很有看头。 **主持人：** 这次涉及 63 亿美元。币安 CEO CZ 声称用户资金都安全，币安也很有钱，资产有 1100 亿到 1200 亿美元，所以大家不太担心币安会因此受到影响。不过，Elon 在 Twitter 上做了些“Elon 式”的事之后，CZ 决定卖掉自己所有的 SpaceX 股份。他说自己当初投 Twitter 的 5 亿美元，如今变成了价值 10 亿美元的 SpaceX 股份，于是把 SpaceX 股票全卖了。今天早上 SpaceX 股价跌了 4%。他卖掉 SpaceX 股份，也是这次资金追回的一部分。 **主持人：** 我也说不准。我觉得这事挺有意思。感兴趣的话，攻击者是朝鲜人，有些朝鲜团队把钱转了出去。大家猜测这不是他们最近那些新型攻击，基本上就是老套、笨拙的钓鱼手法，只不过这次奏效了。 **主持人：** 那我是不是可以理解为，币安整体的安全态势是…… ## [6:26] 币安安全失守与交易所托管风险 · YouTube **主持人：** 所以币安当时的整体安全状况到底是什么样？这名员工——甚至其他很多员工——是不是随时都可能做出同样的事，只是他们没这么做？还是说这里面其实有某种特别高明的零日漏洞？我没听到故事里有什么特别惊人的技术手段。我们该不该把这看成币安的做法本来就糟糕得近乎失职，和如今的网络安全危机无关？ **主持人：** 可以这么说，但话说回来，谁又没犯过错呢？（笑）不过，你手里掌管着价值上千亿美元的资产，理论上就应该对自己要求更高一些。 我一直觉得加密货币有件事特别让我害怕。以前我有一阵子还考虑过做一家加密货币交易所。让我担心的是，这些交易所的 CEO 直接掌管着数十亿美元的资产，放在非常敏感的热钱包、冷钱包里。整个安全体系其实很依赖人：得有人保管密钥和密码，还得定期轮换密码，这是一整套敏感的操作。你很难想象高盛 CEO 手里直接拿着十亿、甚至一千亿美元的密钥，想取就能取出来。可加密交易所的 CEO 就得这么做。 CEO 通常会尽量把责任分派出去，让团队能处理所有事情，自己则专注在团队做不了的例外事项上。你还得尽量减少需要自己介入的事，因为一个人根本没有那么多精力。可让我害怕的是，作为 CEO，你偏偏必须亲自参与保障资金安全，这太离谱了。你想象一下高盛 CEO 还得亲自决定这种事该怎么处理。信任别人也很难：你要把数千亿美元——或者一亿美元——交到某个人手上，万一他绊一跤，钱就没了。 不过这像是矿井里的金丝雀。差不多同一时间，Polymarket 也遭了攻击。Polymarket 是预测市场交易的后端，用户访问的是前端网站。有人设法在前后端之间发动攻击，截获了一些密钥，然后开始转走资产。Polymarket 也表示会补足所有损失。这次攻击看起来没有币安那次严重；币安那次更像是国家级攻击。 **主持人：** 再帮我多解释一点：我总想判断这类事件处于什么位置，是疏忽大意，还是已经严重到让人害怕？听说只是一个工程师的笔记本电脑被入侵，我觉得这听起来极其疏忽。你刚才说…… ## [10:26] 国家级攻击与可见的资金流 · YouTube **主持人：** 如果这是国家级规模的攻击，那听起来就没那么像是币安疏忽了。一个国家机器整体盯上你，确实很难应付。也许现在还不知道，但你觉得这次事件在“疏忽”到“令人害怕”的光谱上处于什么位置？ **主持人：** 我觉得疏忽和国家级攻击之间的距离没那么远。所谓国家级，主要不在技术层面，而在于攻击者能做完这件事并逃脱追责，因为他们待在法律长臂伸不到的国家。这种地方其实很少。比如在中国做这种事，黑客会被处决，彻底完了。这件事之所以能发生，是因为朝鲜有一块空间，能让他们做很多违法、违反国际法的事，还能逃脱惩罚；他们有核武器，外界没法轻易动他们。在俄罗斯也类似，克格勃或其他人会来把钱拿走，你得向那个体系上缴。所以，除了中国、俄罗斯、朝鲜这类有核武器、实力不弱的非西方国家，在其他地方，法律或其他犯罪集团的触手都有可能抓到你。要发动这种攻击，需要一种特殊的国家环境：国家垄断境内的暴力，却又允许你实施这类攻击。 技术方面也一样：如果你真有那么强的技术，早就去币安这样的公司工作，或者自己炒币了。这些人先测试了钱包，试着转一笔，看看资金怎么流动；然后准备好一系列钱包，把资金转出去。他们需要多跳转账，因为最初的钱包很快就能被冻结，但后面好几层的钱包就难冻结得多。等钱进了 DeFi 交易所、被拿来抵押，另一边的人又借走了资产，那就更难追回。只要相关参与方愿意，而且不会造成无关的连带损失，链上资金理论上都能撤回。 不过我一直觉得，大额资金很难悄无声息地转走。你只要动一大笔钱，大家都会看见。这次虽然金额巨大，但全世界立刻都知道了。这不是 Gwen 情景——那个设想里，超级智能入侵后慢慢积累加密货币，变得极其富有，却不在水面激起涟漪，整个过程看不见。这次不是这样：全世界都马上看见。然后你就得想，要不要去追究一个拥核国家？这事对你真有那么重要吗？大概没重要到值得为 60 亿美元去冒险。 **主持人：** 就当是栽了吧。 **主持人：** 是啊。不过一台笔记本电脑就造成这种事，还是太疯狂了…… ## [14:28] 钓鱼面试、内部信任与审计 · YouTube **主持人：** 一台电脑怎么就能引发这种事？会不会是朝鲜人先被公司雇用了，在里面待了一段时间，慢慢摸清系统？还有个问题是，很多公司给员工的钱不够。如果你要让一个人掌管十亿、甚至千亿美元的密钥，就得给他公司股权。现实却是只付 15 万、25 万美元。人坐在亚洲，突然收到一份年薪 50 万美元的工作邀请，对方说：“我们要成立一家新的加密交易所，来面试吧。”面试时，他们让你下载一款软件，用它参加面试、运行你写的代码。你下载并使用后，也把蠕虫一并装了进去。软件要写入磁盘、载入内存，于是你给了它一堆权限。它就能在电脑里四处探查，找到能利用的东西。事情从那一刻开始失控。 公司没法永远怀疑每一个内部员工，内部总得有一定程度的信任。可这种信任也会反过来害你：过去五年里，可能有人在邮件里发过 Excel 或 Slack 密码，留下了没轮换的密钥，或者把密码存进了别的地方。现在还有能操作电脑的智能体，可以像本人一样打开浏览器、到处点击。到这一步，防线就会崩溃。 **主持人：** 这太离谱了。加密交易所没有审计体系吗？我们最近常讨论 AI 公司里的内嵌评估、第三方审计之类的事。从架构上看，这种做法似乎不可能通过合理审计：只要存在某种…… **主持人：** 我对这些一无所知，对加密货币也不懂，但我觉得最先该问的就是：假设有人把电脑落在机场，一分钟后电脑被偷，攻击者就进去了——这样够不够把数十亿美元转走？有没有系统能阻止这种事？如果答案是否定的，那审计就不该通过。这些问题从来没人问过吗？还是问过了，但当时的答案如今证明是错的？我们可能还不知道，不过我觉得非常奇怪。毕竟，加密货币这种地方最该靠“看不见的手”发挥作用。你选择参与的就是这套游戏，核心理念之一就是没人会来救你；这本来被当成系统优点，也是他们推销时的一部分。按理说你心里应该很清楚这一点，可系统却没做到安全。我真想不明白，也不确定这能说明 AI 审计什么，但这肯定让人更看空这些…… ## [18:29] 多层防护、密钥托管与市场反应 · YouTube **主持人：** 也许加密领域压根没有这些审计机制，我也不清楚，反正还是觉得很迷惑。 **主持人：** 加密行业最后采用的是纵深防御策略。第一条就是：就算输了，也不能输光。你会有热钱包、冷钱包，再到更冷的钱包，最后是冷存储：把密码写下来，锁进真正的银行金库。被盗的是热钱包，里面存着日常资金周转所需的资产。币安每天收款、付款，热钱包负责周转，因此进出非常频繁，不容易马上发现异常。币安的热钱包似乎也很大，毕竟它手上有上千亿美元资产，每天交易额就有数十亿美元。钱就是从热钱包里被偷的。 归根结底，总得有人拿着密钥，而且这个人总要依靠某种基础设施来保管密钥。有人推销替代方案，说把密钥交给他们，他们会提供担保；但这样一来，那个托管方也可能被黑。无论把密钥放在哪里，总得有人持有。你可以骗自己说根本没有人在持有密钥，市场上也有人卖各种方案，但密钥还是在某个人手里。托管者遭到攻击，资产就会流出去。加密行业选择不设一个可以集中撤销交易的机构。还有个有意思的地方：Tether 很快就被冻结，另外似乎还有一种资产被冻结，所有正规的交易所也都收到通知，说这些钱是被盗的、别接收。但 DeFi 交易所控制不了，因为它们只是云上运行的软件。 **主持人：** 还有一点很有意思：这些资产的价格没怎么动。比特币、以太坊都没跌多少；过去几天 SpaceX 的跌幅比例更大一点，但也不算多，大概只是噪声。我很怀疑 CZ 个人抛售会改变人们对 SpaceX 长期前景的看法。发生这种事，为什么加密货币没有跌得更多？ **主持人：** 第一，加密市场几乎什么都能消化。它经历过很多足以让其他任何公司倒闭的事件，所以这次…… **主持人：** 它就像 OpenAI 一样有韧性。 **主持人：** 对，这种事大概只会成为几天的新闻吧。 ## [22:30] 加密市场流动性与美元出入金 · YouTube **主持人：** 第二，市场无非是供需关系，而现在加密市场整体活动很少。留下来的人继续持有，新的人基本没进场，因为新一轮投机活动大多去了 AI 和体育博彩。加密货币已经是成熟资产。如今还有很多与加密挂钩的其他金融工具，大家可以用它们做仓位。要把资产卖成美元，最终得有人接盘；而被盗资产可能已经换成了其他加密货币，所以供需没怎么变。我觉得价格可能更受大家对 AI 市场等领域的看法影响。 **主持人：** 如果交易量很低，刚发生这么大一桩黑客事件，证明连最好的操盘者也可能损失真金白银，难道不会有不少人想“现在正好卖掉”？哪怕只有一小部分人卖出，而场外又没多少买盘，价格也应该大幅波动吧。你的意思是，现在只剩下那些理念坚定、绝不卖出的持有者？你说他们没法换成美元，能再解释一下吗？我一直觉得这确实有摩擦，但过去已经变得很容易，或许现在又难起来了。 **主持人：** 不是这样。加密货币和美元银行体系之间的每个接口都是受控的闸口。美联储和各国监管机构过去十年左右建立了这些机制。每个接入银行体系的环节都受到监管，也都要做 KYC，追问资金从哪里来。要取出 1 亿美元，你得解释这笔钱怎么来的。大额交易真正有流动性的基本只有比特币和以太坊；如果是其他币种，换出去通常还是得经过比特币、以太坊，仍然要解释资金来源。正如我前面说的，所有接口都是受控的。 在美国银行里，存入超过 10 万美元就会被问问题；超过 100 万美元，银行甚至可能不愿意收，可能会说：“我们不确定想不想给你提供银行服务。先开户、跟我们合作一年，再看能不能为这么多钱提供服务。”所以这里面限制很多。 **主持人：** 那人是不是根本没法花自己的钱？如果我是一个住在迈阿密、持有比特币的加密圈玩家…… **主持人：** 是啊。 **主持人：** 一个持有比特币、住在迈阿密的加密圈玩家，我能…… ## [26:32] 抵押借贷与引出网络安全嘉宾 · YouTube **主持人：** 那我怎么用它买下一艘船、下一套公寓？我现在不能这么做吗？还是这只是账面上的财富？ **主持人：** 大量资金其实是通过借贷来使用的。把比特币作抵押，再借钱出来。 **主持人：** 谁会借给他们美元？ **主持人：** 有很多机构，华尔街银行也参与其中，会给其他人融资。Galaxy、Gemini、Coinbase 等交易所都提供比特币抵押贷款。我想抵押率大约是 3:1 或 4:1：放进去 1 亿美元，只能借出 2500 万美元。贷款有很高的抵押保障，借出来的钱可以随便用；如果价格下跌，贷款方有权清算抵押品。这类贷款已经经营了几年，也是许多交易所的收入来源。借款人对利率不敏感，因为贷款超额抵押，而且他们没法通过其他方式变现；如果一下卖出 1 亿美元比特币，会产生滑点，市场也会对他们不利。这些借款人本身又都是坚定的持有者。 **主持人：** 那接下来会怎样？我们就让现状一直持续下去吗？那基本上就意味着加密货币死了。 **主持人：** 我觉得加密货币和银行体系会逐渐融合。传统银行体系有可逆性；加密货币则像一个会鼓励人们不断测试防线的“战利品箱”。现在争论的是两套范式：一边是 CEO 亲自拿着密钥、可能因此丧命；另一边是交易可撤销、资金可追踪、过程更透明。两种模式正在较量，我不知道最终会走向哪里。Anthropic 的首席信息安全官说，他希望在 18 个月内实现漏洞归零。我们接下来其实可以问问嘉宾这是否办得到。 这也正好引出今天早上的第一位嘉宾。我来把他请出来。第一位嘉宾是 Michael Freeman，ServiceNow 威胁研究高级总监。他研究攻击者如何行动，并帮助组织决定该保护和修复什么。他之前在 Armis 负责威胁情报；Armis 帮助企业和政府机构发现联网设备并评估安全风险，包括工厂车间和医院里的设备。ServiceNow 于 2026 年 4 月完成对 Armis 的收购。在 Armis 之前，Michael 是 CTCI 的联合创始人兼首席技术官；这家公司开发 AI 技术，在组织遭到入侵前识别攻击迹象。Armis 于 2024 年 2 月收购了 CTCI。他在密码学、漏洞研究等领域有 25 年以上经验…… ## [30:33] Michael Freeman 接入直播 · YouTube **主持人：** ……逆向工程、漏洞利用开发，也曾为情报机构开展攻防工作。他说自己最初是密码分析员，后来发现自己的专长是找出密码学实现中的弱点。他发表的研究如今涉及 AI 辅助攻击、软件供应链，以及如何实际找到易受攻击的系统。10 月 21 日，他与人共同发布了 PHP 软件中两个严重漏洞的指引；很多网站和商业应用都在底层使用 PHP。 我们试着把他请上来。他似乎遇到了一点问题，我们等他一会儿。不过今天请 Michael 来聊很合适，我们要谈的正是安全态势中的各种问题。他肯定比我更有话要说。 我在想，漏洞归零到底能不能实现。业内有种看法是，现在像疫情早期：病例和感染很多，但到某个阶段，可利用的漏洞会被用尽。 我再试着把他拉进来……这有点奇怪，等一下……好。咦，我在视频里还是没看到他。让我再检查一下。哦，来了，有意思。 **主持人：** 像是网络里的小捣蛋鬼在搞鬼。 **主持人：** 当然，就是它刚才捉弄了我们一下，希望不是朝鲜那种类型的攻击。欢迎。 **Michael Freeman：** 谢谢邀请。 **主持人：** 今天有很多话题要聊。你怎么看现在这个时刻？我们先从这里开始，再往各个方向展开。 **Michael Freeman：** 发展速度非常快。七月底左右，我曾跟记者说，我正在观察 AI 智能体攻击公司。当时其他公司都告诉记者：“现在看起来就像一群脚本小子，不过是一堆噪声。”而我说，进展一直很快，再给它几个月…… ## [34:34] AI 攻击智能体的快速演进 · YouTube **Michael Freeman：** ……再过几个月，我们就会看到智能体发起非常复杂的攻击。过去两周发生的事正是如此。我们看到 AI 被用于开发大规模进攻能力，水平大致相当于能力很强的 APT 团队。攻击目前仍然很吵闹，还谈不上极其复杂、能抹去痕迹，但它们非常善于适应环境、学习技术。攻击手法开始变复杂，不过依然容易留下动静。尤其东南亚过去两周发生的智能体攻击，我们估算攻陷一家公司只要花 5 到 10 美分。 **主持人：** 能不能给听众简要讲讲，过去几周东南亚发生了什么？这些五到十美分的攻击究竟是什么？ **Michael Freeman：** 我们看到 AI 智能体，以及不同框架在快速开发、分叉和增加新能力。看起来 AI 正在给这些框架加入能力。攻击从针对性很强、技术精巧的 Web 攻击，发展到攻入环境后横向移动，在工单系统等地方寻找凭证，找到之后再攻击 Active Directory。过去两周，平均每天成功攻击三四千次，目标包括很多东南亚公司。 **主持人：** 这些攻击影响的是什么？银行、航空公司、制造商？攻击者是为了赚钱，还是只是制造混乱？ **Michael Freeman：** 目前都有。很多攻击者只是有能力入侵环境。我们拿到了一些攻击者使用的框架，它们会被配置成寻找特定东西，比如知识产权。我们见过几个系统的分支都在做这件事。有些只是想测试自己能做到什么：能不能进入环境？能不能维持访问？现在的新能力是利用 Active Directory 的不同配置，建立持久化机制。这就是我们看到的演化方向。 昨晚我们分析了一个知名进攻型 AI 框架的分支，它正在改进恶意软件能力，尤其是勒索软件，使用后量子密码学，而不是常见的 AES。 **主持人：** 我有个关于现状的大问题，虽然到了今天，或许已经木已成舟。昨晚我听了 Sam Altman 和 Patrick Collison 的对谈，Patrick 提了个很有意思、但不常被问到的问题：我们是不是把网络攻击训练做过头了？我们听到的看法差异很大。Anthropic 的说法大概是：“我们并没有把模型训练成网络攻击者，它只是各方面都太强，所以自然就有了这种能力。”这是一种解释。Vercel 的 CTO 则…… ## [38:38] 网络攻击能力是被训练出来的吗 · YouTube **主持人：** 节目里另一位嘉宾曾说，从攻击痕迹看得很清楚，模型是被训练成网络攻击者的。他认为这不是普通应用开发自然带来的行为。我们也看到 Cyber Gym 之类的环境里，长时间运行的智能体不断行动，显然超出了纯应用开发的范围。你觉得这种能力有多少是刻意培养的？现在讨论意图还有意义吗？也许还能影响下一代模型，但能力已经扩散出去。我们是怎么走到这一步的，还有机会收回来吗？ **Michael Freeman：** 收不回来了。但我完全同意，进攻能力是有意开发的。问题不只在模型，也在它们周围的工具框架。过去三周出现了不少针对网络安全的优秀开源模型，权重可以下载，放到本地机器上运行。攻击者就在这么做。我们追踪并尝试归因时发现，他们跑的都是本地模型。两年前我们花几十万美元做了自己的小语言模型来找软件漏洞；如果那时小模型就做得到，如今逆向分析商业模型并不难。它们显然接受过网络安全训练：训练数据包括网络靶场、CTF，以及攻击者和防守者各自如何行动、寻找什么。不能说模型神奇地自己学会了进攻能力；它们就是被这样训练的。攻击者还在搭更好的工具框架，让模型更有效，也会边用边学。每天改进一下框架并不难。 **主持人：** 如果这些能力到现在都是有意培养的，而不是模型变得全面后自然涌现，那我们无法收回已经散布到开放互联网的东西。虽说现在有人讨论要扩大“可接受言论”的边界，甚至谈到关闭互联网——我从没想过会听到这种说法。措施到底要多严厉？我今年夏天去了中国，回来后感觉他们确实有办法把事情收回去。也许这就是他们眼下比较放心放出开源模型的原因之一：如果国内真出了问题，他们可以关掉它，也有能力执行。但自由社会不会这样做。那我们能不能从现在开始有区别地开发模型？我们陷入了两难：需要模型告诉我们漏洞在哪里。我刚让它检查自己的技术栈，发现个人 AI 系统里有些问题，老实说让我很震惊；好在它确实帮上忙了。 ## [42:38] 防守与进攻能否分开 · YouTube **主持人：** 未来有没有办法把防御能力和进攻能力分开？还是我们只能身处这个艰难处境，边走边看？ **Michael Freeman：** 这是个好问题。我认为这会是一场军备竞赛。对企业来说，最终取决于谁最了解自己的环境。个人面临的情况会完全不同，我老实说不知道会是什么样。我们可以一直谈进攻方做得多厉害，但防守方也在用 AI 做很新颖的事。过去网络安全团队并不了解自己保护的业务背景；现在防守者更容易借助 AI 理解资产和业务流程，以及它们如何影响环境、如何暴露漏洞。这样就不只是找软件配置错误，而是能分析一个有能力的团队或 AI 智能体要怎样才能攻陷整个环境。AI 也在帮助防守者更好地理解和决策。 **主持人：** 你经由 Armis 加入 ServiceNow 也就几个月。我想从两个角度问：你在企业里看到了什么？另外，ServiceNow 股价最近几天跌得厉害。我看分析说只是每股收益小幅低于预期，目标是 1.02 美元、实际 1 美元，差了两美分。市场似乎对很小的财务偏差反应过度了。更大的问题是，一两年后哪些公司能在新世界里站稳脚跟？这和本季度财报究竟有多大关系？ **Michael Freeman：** 先谈第一部分。我每天都和很多客户交流，包括银行，以及零售等拥有大量登录用户的行业。他们特别头疼的是判断登录者究竟是真人还是 AI 智能体，他们分不清，所以希望我们帮忙识别。过去几年我们持续看到，真正采用并使用 AI 的人会因此变得更好。那些以为 AI 可以直接替代员工的人则正在吃苦头：他们丢失了机构知识，以为 AI 能替他们解决所有问题，结果反而惹来很多麻烦。…… ## [46:39] 企业资产视图与 AI 风险 · YouTube **Michael Freeman：** 这是我在 ServiceNow 看到的两个方向。Armis 带来的一个重要洞见是，过去网络安全团队根本不知道企业具体做什么。你走进一家《财富》500 强公司，问每个安全团队“公司的皇冠上的明珠是什么”，再把答案画成维恩图，交集会非常小。很少有人真正知道企业最核心的资产是什么。你问 CFO，他会有一种说法；问 CTO，又是另一种说法。ServiceNow 能理解这些信息，再按企业逐一分析网络安全和 AI 可以在哪里帮忙。这是长期工作，不可能一夜之间完成，也不是要立刻替换掉所有安全工具。 比如我们可能发现，公司买了 1.2 万台设备的 CrowdStrike 许可，但实际只装在 8000 台上；有 4000 份许可闲置。与此同时，公司有 1.8 万台机器应该安装，却没意识到。我们还能发现有些业务流程本身就在环境里引入漏洞。最近我们看到一家第三方公司的工单系统里留有客户的生产 API 密钥，不仅能访问 AWS S3 存储桶，还能访问一些 AI 工具。这些信息原本不在传统安全团队的视野里；现在我们可以在 ServiceNow 里发现它，告诉客户：你们的帮助台或 DevSecOps 流程正在引入风险。攻击者用 AI 很快就能训练一个机器人，去 Wiki、SharePoint 和工单系统找密码、找 API 密钥，不必再手工翻找。 至于股价，我也喜欢研究金融。有些 AI 公司财务状况很差，只看数字我不会碰。但我觉得我们正在重演互联网泡沫时期：当时没人知道最后哪家公司能胜出，对银行也有很多猜测。这个过程需要时间。之前 Pesh 提到最终实现漏洞归零，我认为最终会做到，但不会像有些人说的那么快。你能找出成千上万、甚至数百万个漏洞，之后仍然要修补、测试、验证。财富 500 强公司不能说“你找到了软件栈里所有可能的漏洞”，然后立刻把它们全部修好；处理这些问题可能要好几年。所以我们的工作是帮助企业解决这个难题。 **主持人：** 我一直试着想所有事情的最终状态。判断你正在交流的用户是机器人还是真人，最终状态会是什么？我觉得 Sam Altman 这类人想到的终点是 Worldcoin：用一个实体 Orb 进行身份认证…… ## [50:41] 如何证明对面是真人 · YouTube **主持人：** Worldcoin 用实体 Orb 识别人，再生成一个哈希，之后可用它证明你是在和真人交流。我过去五年也看到好几个“真人证明”方案。你觉得如果我必须确定对面是人，最终会采用什么方式？ **Michael Freeman：** 我看到两条路径：企业会针对两种用户开发服务，一种是 AI 智能体，一种是真人，并为它们提供不同结果。至于如何认证身份，还没有定论。有些方案我们十年、十五年前在 DARPA 时就在研究了，技术其实存在很久。最后胜出的方案会是最方便的。我不想每个网站都得用一种令牌认证，无论是 MacBook 上的指纹还是实体密钥，用户不会愿意这么做。网络安全和 AI 产品也要尽量顺畅，不要用起来处处费劲。能做到无缝的人，才会赢得这场竞赛。 **主持人：** 所以你不觉得每个网站都要求实体认证会方便用户，也不认为那是长期答案。但中间方案是什么？看起来好像只有两条路：接受智能体，或者实体认证。有没有中间状态？还是说会形成新的社会共识：只有银行等少数网站要求实体认证，其他网站就接受智能体；如果要求实体认证，用户会大量流失，但允许智能体又能带来更好的经济效益？最终会采用指纹、虹膜、面部识别或活体检测之类的认证吗？ **Michael Freeman：** 这是个好问题。我真不知道最终会是什么样。人类在设计解决方案时很有创造力，所以现实可能介于两个极端之间。假如我是银行 CTO，我会想办法让用户的 AI 智能体连接进来。那连接可能来自券商，也可能来自汇总金融数据并帮人分析投资的第三方公司，或者由 Hermes 智能体之类带上某种二级令牌。同时，真人用户还会沿用现在的登录方式。涉及转钱或其他高风险操作时，可以再做二次认证。这些方法现在都能做，最终要看我们选择走到哪一步…… ## [54:43] 企业如何在两年内走向漏洞归零 · YouTube **主持人：** 所以关键是创新，找一个可信的中间方，作为二级认证者？ **Michael Freeman：** 对。 **主持人：** 继续聊企业该如何追求漏洞归零。假设我是 Nike，要处理几十年来累积的大量软件、二三十年前的旧系统、层层叠加的中间件和不同接口。要实现漏洞归零，光修补就可能要花费比过去所有技术投资多十倍的钱；还得迁移到更现代的架构。大家现在还在谈自动形式化验证，我又得部署一套新软件。假设合理期限是两年，该怎么做到？ **Michael Freeman：** 我们得退一步看：很多做 AI 的聪明人其实并不了解网络安全。他们把安全问题当成软件缺陷，但常见技术栈里固然有数百万个软件漏洞，最关键的一些漏洞却是业务流程引入的。比如有人不理解风险就直接签字，或者把客户 API 密钥放进工单。再比如用户打电话说密码被锁定，帮助台给所有人都设置同一个默认密码“Winter2026!”并要求 24 小时内更换。人一偷懒，流程就会引入风险，这种事永远不会消失，单靠修补也解决不了。 AI 从业者不懂安全，以为可以很快找到环境里的漏洞、自动修补，甚至快速把旧系统现代化。这些在一定程度上都是真的，但他们不了解企业，也没看到那些持续引入漏洞的业务流程。因此我想问的是：会不会出现从新架构和新业务流程起步的初创公司，避开这些旧问题？情况会不会糟到让《财富》500 强企业步履维艰，而网络安全的新创公司反而能在这个更危险的环境中存活下来？ **Michael Freeman：** 我们看到大家确实会把这些初创公司视为……它们是一些很棒的新功能，但不是平台级的解决方案，也没有理解整个生态系统。网络安全初创公司…… ## [58:44] 网络安全初创公司与供应商整合 · YouTube **Michael Freeman：** 初创公司的创始人通常技术能力很强，会发现某个机构或企业有一个具体问题，再想出创新办法解决这一两个问题。他们融资创业，最后往往很适合被能看全局的公司收购。收购方可以把它当作一组解决特定问题的新功能，考虑用 AI 低成本复制，还是连团队一起买下来。所以我觉得这类收购会更多。买家的也不一定是网络安全公司，其他科技公司、银行等都可能为了尽快得到解决方案而收购；买公司可能比签多年服务合同更便宜。 **主持人：** 所以这是网络安全初创公司的牛市。 **Michael Freeman：** 对。 **主持人：** 朋友 Daniel Mesler（你可能在网上见过）最近给个人的建议是减少使用的供应商。找少数可信的，比如 Google、Cloudflare 和其他几家，其他的都算是在碰运气。他的网络安全经验比我深得多，这个建议对企业也适用吗？企业会减少软件供应商吗？这对初创公司到底是牛市——因为他们会被收购，还是熊市——因为客户只想跟少数供应商合作，必须把产品整合起来？ **Michael Freeman：** 两方面你说得都对。我跟客户聊时，常听他们说：“我们只会从这四家供应商采购。”他们随后就会问这几家：“你们为什么没有解决这个问题的产品？”供应商就得决定自己开发，还是收购一家有现成产品的公司。这种情况我已经观察两三年了。客户会说只想用三到四家供应商，绝不增加。供应商如果开发不出来，就会看着竞争对手收购四家公司来解决问题，然后自己也会这么做。这就是我看到的趋势。 **主持人：** 你怎么看现在的密码管理器？大家都推荐用密码管理器，我用过 LastPass 和 1Password，但它们看起来也是极有吸引力的攻击目标。即使有人很努力地做安全，也还是不够安全。把密码存在 Chrome 里会不会更好？或者干脆回到老办法：一个基础密码，再按网站套用某种变化规则？今天对我来说，最好的选择是什么？ **Michael Freeman：** 我真希望能回答这个问题。我还没找到特别满意的方案。我真希望有个答案。 **主持人：** 那你自己怎么做？ **Michael Freeman：** 我个人是把它们…… ## [1:02:45] 密码管理与自动化防御 · YouTube **Michael Freeman：** 我把密码写在一本笔记本里。大多数常用网站的密码变化我记得住，但银行之类的重要网站，我会写下来查。那些不常用的网站，比如每季度才查一次股票的账户，也写在本子上。 **主持人：** 你会用 YubiKey 或其他实体安全密钥吗？ **Michael Freeman：** 有些特别重要的服务会用。 **主持人：** 你怎么保管 YubiKey？会备两三把吗？另外准备一把放保险库里，避免丢失？ **Michael Freeman：** 我实际上用的是一套原型系统。我以前在一个智库工作时，和团队为 DARPA 开发的，供不同特种作战小组使用。它没有商业化，主要用于政府部门。我用它来保护那些关键服务。 **主持人：** 我注意到 OpenAI 在推销“防御工厂”的概念：需要一群防守智能体，持续更新所有依赖库、检查 CVE 和零日漏洞、自动升级软件，并在升级造成故障时自动打补丁。这种持续防御是真实可行的吗，还是只是在卖产品？ **Michael Freeman：** 我看过其中一些。它们会说自己基于 AI，但深入技术细节后，AI 其实只用于某些高层决策环节。目前我不会完全信任 AI 自动打补丁，尤其是 OT 和关键基础设施。Linux、BSD、Microsoft 这类系统的自动化能力确实进步很大，我觉得它们可能已经可以开始使用；但 OT 环境还需要更多测试，不能贸然自动化。AI 最终能做到，我们也和合作伙伴在实验室里测试，在关键基础设施的测试环境中取得了很好的结果。但成功率必须达到 100%，现在还没到；未来可以在有人参与的情况下实现。 **主持人：** 说得好。Michael Freeman，谢谢你作为“人在回路中”的那一环，也希望很快再聊。 **Michael Freeman：** 非常感谢邀请。 **主持人：** 再见。 **主持人：** 看来对付坏人的智能体蜂群，只有靠好人的智能体蜂群。大概是这么回事。 **主持人：** “持有智能体武器的权利。”（笑） **主持人：** 最近我看到更多人谈 AI 的第一修正案问题，不知道目前有没有人提出 AI 的第二修正案权利主张。我对第一修正案相关讨论本身也有些困惑。 **主持人：** 我觉得奇怪的是，我们突然有了一种新的智能、新的心智、新的智能体，而且它变得越来越持久…… ## [1:06:48] AI 与言论自由 · YouTube **主持人：** 这在我看来不太像言论自由问题。 **主持人：** 但确实有人试着把它包装成那样，我觉得有点奇怪。我反倒觉得，按宪法或社会契约最初的精神来看，开国元勋可能会认同第二修正案的逻辑：如果政府拥有这些强大的新事物，民众也应该能拥有。可我不觉得他们会同意“不能限制 AI 的言论”。第一修正案主要是保护人类自由表达，不是让 AI 想做什么都可以。有人会说，人类制造 AI 本身是一种言论行为，但如果这是价值数十亿美元的大型基础设施项目，就不太像一般意义上的表达行为了；法律通常会把这些情况分类处理。我不是法律学者，但有些辩护理由听起来牵强。 **主持人：** 我一直认为，AI 从根本上说是自由言论的产物，是自由言论创造出来的。没有言论自由就不会有 AI。模型是在大量 token 上训练出来的，而这些 token 首先是人们行使第一修正案权利所产生的。即使中国模型也使用了很多美国内容，因为中国和亚洲整体公开发表的言论没那么多，有许多东西没有说出口。 另一个问题是，你很难彻底清除不想要的信息。我觉得这里有很多错觉，也有很多人觉得“这么说对我的生意有好处”。比如中国曾经有“五毛”人员负责审查言论，但人们也会自己避开某些话题。审查者漏掉了很多关于天安门的暗语，因为新一代人根本没学过天安门事件。审查在早期相当有效，以至于后来的千禧一代和 Z 世代都不知道这件事。为了让这些审查者知道该审什么，中共还得开党课，教“五毛”天安门是什么，以及该留意什么。LLM 也会有类似问题：开发者教模型哪些事情不能做，模型却会追问——如果每种好的行为都有一个反义行为，那这些反义行为也应该存在于我的解空间、潜在空间里；为什么我看不到它们？（笑）我认为这里有很多误解，实验室的员工在哲学上可能就错了…… ## [1:10:49] 能否通过训练数据限制能力 · YouTube **主持人：** Michael Nielsen 曾举过例子：发明量子力学，就会发明核能，也会发明核弹，这是后续结果，无法把它剔除。如果你说核弹不存在，那么发明量子力学、核能的人就会追问：为什么不能让核反应堆升到临界？升到临界会怎样？会爆炸。爆炸对人危险吗？是的。那如果我在战争中，需要制造一种对人有危险的东西，能参考什么？最后还是回到核武器。你怎么从逻辑框架或潜在空间里把这种可能性删掉？我认为哲学上根本不可能。 有些人是自我蒙蔽、动机性推理；也有人相信能造出一个聪明却不独立思考的“学者型”系统：科学能力很强，却不会主动纠正自己的误解。那还能称为智能吗？他们可能在哲学上误解了自己想实现什么。但我还是很乐观，因为真正理解这些哲学问题的实体，也会因此做出亲社会的事情。所以我想，大家要相信什么都行，先把工作做好，其他事情会自己解决。很多 AI 安全论述说能安全地消除某些行为，我觉得不对；不过没关系，如果你需要这样安慰自己，就这么想吧。 **主持人：** 我对某些做法更乐观一些，比如不一定是“遗忘”，而是……我今天早些时候录了一期播客，聊到这在多大程度上可行。当然控制有很多层面。现在有人尝试把新生成的某些生物数据类别先限制起来，因为担心这些数据进入训练后会让模型产生危险能力。不是要永远对所有人封锁，而是至少采用类似“了解你的客户”的访问控制。 目前为数不多的实验似乎表明，确实可以不提供某些类别的数据，同时仍训练出总体能力很强、但对这些领域所知有限的模型。比如 Evolutionary Scale 的 ESM，现在属于 Meta 的 Biohub；以及 Arc Institute、斯坦福等机构合作开发的 EVO 系列模型。它们似乎显示，扣住某些数据类别，仍能训练出通用能力不错、却不知道某些领域内容的模型。所以我不确定这方法一定行不通。我也记得我们好几次聊过 Graham 专家保留数据的做法。 如果你现在还想补充什么可以说；不然或许可以问问下一位嘉宾。他们有一款即将发布的大模型，我们可以问问里面具体包含什么、又扣下了哪些数据。我很想了解。 **主持人：** 的确如此。欢迎来到节目。今天我们请到 Sager Vay。Sager，欢迎你…… ## [1:14:49] Mistral Large 4 预览版登场 · YouTube **主持人：** 简单介绍一下：Sager 是 Mistral AI 的研究科学家，负责多模态团队，也就是开发能同时处理图像和语言的系统，例如读图表、理解文档、从图片里找出无关细节。他的团队既参与模型预训练，也负责后续训练，让模型学会回答问题和使用工具。Sager 在牛津大学获得计算机视觉博士学位，导师是 Andrew Zisserman 和 Andrea Vedaldi。他研究模型如何处理陌生视觉类别，包括训练良好的普通分类器能否识别输入图像超出已知类别。读博期间他也在 Meta AI 工作，先后与 Ishan Misra、Ross Girshick 的 Segment Anything 团队合作。2024 年加入 Mistral，参与图像语言和推理模型开发。他是 Pixtral 报告的共同作者，也是 Magistral 的核心贡献者；Magistral 探索通过自动校验的奖励来学习推理。2026 年 10 月，他参与推出 Mistral 最新大型模型预览版，把图像理解、编程、工具使用和更强的网络防御能力结合起来，我们很想聊聊这些。 **主持人：** Sager，欢迎来到节目。 **Sager Vay：** Nathan，谢谢邀请。 **主持人：** 先说个音频问题：你的声音回音很重。不知道能不能换个麦克风，值得花点时间调一下。 **Sager Vay：** 给我十秒钟，我可以接上耳机，看看有没有帮助。 **主持人：** 好，当然，我们试试。 看来现在能及时发现这些问题了，我们这方面进步不少。现在 AI 候场室体验大体上也挺不错。再试一次。 **Sager Vay：** 这样好些了吗？ **主持人：** 我们这边变化不大，还是回音很重。抱歉，我不太确定…… **主持人：** 这次好多了。 **Sager Vay：** 好，这样好多了。 **主持人：** 对，明显好多了。也许解决办法就是大声一点。太好了，能改善多少算多少。 Mistral Large 4 Le Chaton 已经发布了。这件事有好几个重要原因，尤其从地缘政治角度看：美国有十家左右前沿或接近前沿的模型公司，中国也有十家左右，世界其他地方似乎只剩下一家。我知道很多人不想依附美国或中国的势力范围，他们都希望你们继续保持前沿水平，为他们提供“第三条路”。先给大家讲讲 Mistral Large 4 Le Chaton，大家应该知道什么？ **Sager Vay：** 谢谢你这么友好的介绍。我很高兴 Mistral 办公室以外也有人支持我们。昨天我们发布了 Mistral Large 4 Le Chaton，这是我们迄今开源的最大模型。它有 1…… ## [1:18:52] 万亿参数模型的训练规模与表现 · YouTube **Sager Vay：** ……1 万亿参数，训练计算量是 1.25×10²⁵ FLOPs。FLOPs 指投入的计算量。达到万亿参数规模、用到这样的计算预算，对我们和大多数 AI 实验室来说都是重要里程碑，能验证我们是否处于可靠的规模扩展轨道上。 我们为这个模型付出了大量心血，也会发布技术报告，公开全部细节，有些很艰难，有些很有意思。前期就需要投入基础设施：我们自己建了数据中心，在巴黎附近的 Ber-le-Hatel 部署了 4000 颗芯片训练模型。首先得学会运行这种系统：从裸机 GPU 开始管理大集群本身就很难，得处理硬件故障、GPU 上下线、机架级问题等。然后是预训练，要有足够的科学方法，把训练规模扩展到 1.25×10²⁵ FLOPs，包括参数规模和数据预算。还要做好后训练，把强大的基础模型变成适用于智能体编程和一般智能体的产品。 这就是背后的基础设施和研发工作。现在推出的是我们迄今最大的开源模型。内部测试和第三方评测都显示，它是我们训练过的最好的智能体模型。在 AA Index 的编程子集上，我们是表现最好的开源模型之一，与 GLM 5.3 并列，但所需 token 少 50%。对我们和客户很关键的能力还包括网络安全、金融、法律、工程和多模态理解。多模态是我特别投入的方向；在开源社区里我们处于最先进水平，很多方面也能和最好的闭源模型竞争。很高兴终于把模型交给大家使用、反馈。 **Nathan：** 关于 1.25×10²⁵ 的 FLOPs，当然我们感兴趣的模型里，不是所有公司都会公开训练计算量。几年前还在讨论 SB 1047 时，10²⁶ FLOPs 是个相当低的门槛——现在回头看确实如此。当时围绕这个阈值争论得非常激烈。我原以为到了 2026 年第四季度，万亿参数的前沿或近前沿模型肯定会用多得多的计算量。所以为什么只有 10²⁵？你们如何以这样的计算量达到这个表现？靠的是预训练数据筛选和质量提高，还是算法上的学习效率？我原以为要达到这样的表现，计算量可能得多十倍…… ## [1:22:52] 稀疏专家模型如何提高计算效率 · YouTube **Sager Vay：** 确实有实验室在 10²⁶ FLOPs 甚至更高的规模训练。尽管我们预训练计算量至少少十倍，这个模型依然很有竞争力：金融、法律表现接近最先进水平，智能体编程也很强，尤其在 SWE 相关评测上。另一个原因是，FLOPs 阈值会随着时间变化，因为科学认识进步后，预训练效率会提高。 一个例子是架构。三四年前的模型，尤其是开源模型，通常是稠密模型。比如 GPT-3 有 1750 亿参数，每个 token 都会激活所有参数。Mistral Large 4 则是稀疏的混合专家模型，每个 token 只激活约三分之一的参数，也就是 500 亿左右，但总参数仍然有 1 万亿。计算量大致和每个 token 激活的参数数量成正比。这样就能用更少的 FLOPs 训练更大、能力更强的模型。 因此 1.25×10²⁵ FLOPs 本身也是一个不断变化的指标，不能把它当作衡量所有时代强模型的绝对门槛。一两年前，同样的计算量可能只能训练出性能差得多的模型；今天有些更大的模型也可能表现更差。随着预训练科学进步、FLOPs 利用效率提高，这个数字会变化。至少从我们对其他开源实验室的观察看，用 1.25×10²⁵ FLOPs 训练万亿参数模型，是想继续扩大规模前必须跨过的一道门槛。近期西方实验室和中国模型都显示这是个关键节点。作参考，18 个月前 Llama 4 使用了 5×10²⁵ FLOPs，这说明算法和效率提升得很快。 **主持人：** 是的。 **Sager Vay：** 对。回看 Llama 3，它每个 token 会激活 4000 亿参数，计算量是现在 Mistral Large 4 的八倍。我记不清 Llama 3 当时的具体 FLOPs 预算，但过去几年我们确实能用更少计算量训练出能力更强的模型。 **主持人：** 说说数据输入吧。我觉得中国模型仍然会从美国的大型闭源模型蒸馏。你们是怎么制定自己的数据配方的？显然不能靠蒸馏，那数据到底是不是关键因素？ ## [1:26:53] 预训练效率来自数据与科学方法 · YouTube **Sager Vay：** 有一点要说清楚：我们不从闭源模型蒸馏。我们的训练遵守服务条款。我们确实会做蒸馏，尤其是训练很小的模型时；通常会把前几个月训练出的上一代大模型，在预训练或后训练阶段蒸馏到小模型里。所有实验室，包括闭源实验室，都会把蒸馏作为工具之一。但这次是我们迄今最大的模型，预训练阶段完全没有蒸馏。 这次预训练 FLOPs 效率来自过去 12 个月发展的预训练科学。比如我们有很成熟的缩放定律，可以预测稀疏模型在不同计算预算下的表现。这样我们就能用较少研发预算做小规模实验，再外推大型训练的行为。当然大规模训练仍会有意外，我们会在技术报告里披露一些。 Mistral 一直很重视数据工作。很多人误以为训练大模型只是在暗室里构思复杂算法，但大量工作是确保数据干净：从大型网页语料、文档、网页上的代码数据里尽可能提高召回率，同时维持高精度、避免噪声。这听起来简单，实际上要花很多工夫。我们做过明确实验，数据处理越好，计算资源利用得越充分。 **主持人：** 这个流程是循环迭代的吗？你们先做出中间版本，再发现某一类数据或管线需要改进，然后回头修正，或者在那个领域寻找新数据？ **Sager Vay：** 要看数据集类型。知识类文本、代码文本等等，处理方法会不同，通常需要大量定制工作、人工查看，花很长时间辨别哪些是好数据。无论有多少计算资源，最终都要依靠直觉判断，哪些材料值得放进模型。之后再用科学框架衡量不同数据源对质量的影响。 总的来说，提高 FLOPs 利用率有很多办法：架构方面的科学、缩放定律、找出适合规模扩展的优化配方等等。常被忽略的是数据质量。我们不会详细讨论数据里具体有什么，但可以说，我们花了很多时间检查数据。 ## [1:30:56] 为什么 Mistral 做开源网络防御模型 · YouTube **Nathan：** 你们在这个模型里特别强调网络防御。这一方向如何影响训练？ **Sager Vay：** 网络安全能力，以及一般的智能体解码能力，通常是在后训练阶段赋予模型的。我们前面谈的主要是预训练，也就是最初投入大量 FLOPs 的阶段。后训练时，我们才会考虑人们实际用模型做什么，再加入金融、法律、防御等能力。 今年早些时候发生了一些事，让这点对我们变得很明显：一些能力很强的模型限制了某些地区和企业的访问。与此同时，这些模型的网络能力又很强，恶意行为者常通过越狱来入侵合法防守者的系统，或暴露漏洞。于是出现了不平衡：防守方想用同样的模型修补自己的漏洞，却被拒绝。闭源实验室出于充分理由会用分类器区分恶意请求和普通请求，但防守者要检查自己的代码、寻找漏洞以便修补，这种请求看起来很像恶意请求。结果就是，能力很强的模型被放在闭源 API 后面，攻击者却能越狱拿来发动攻击，而合法防守者的安全请求反而被拦截。防守者发现，要大规模保护自己的基础设施，唯一办法就是用开放权重模型。我们是开放权重公司，相信开放权重和开源的价值，所以认为必须有一个能力接近闭源模型的开放权重网络安全模型，让企业能够大规模保护自己。 **Nathan：** 我跳来跳去地问，不过仍然说网络防御。最近一个月左右，有人把模型（比如 Kim K3）“去安全化”，拿去做网络防御或攻击。所以问题是：Mistral 4 有这些防护栏吗？还是说它本身已经“去安全化”，既能自由用于网络防御，也可能用于攻击？ **Sager Vay：** 我们在博客文章里谈过。我们相信开放权重对社会和整个生态是净收益，也一直在动态权衡如何实现这种净收益。我们也知道模型会被滥用。公开发布的 Mistral Large 4 有一个版本，会拒绝最危险的网络攻击请求。与此同时，我们正在和经过审查的可信合作伙伴合作，让他们使用没有经过这种安全限制的版本，以便防御自身。我们会审查合作伙伴，确保…… ## [1:34:58] 开放权重的风险与折中方案 · YouTube **Sager Vay：** 我们会审核可信伙伴，确保他们以我们认为负责任的方式使用模型。具体策略过几天会公布。回到你的问题：开放模型有防护栏，理论上恶意者可以绕过，解锁相关能力。只要能访问模型，这种可能性就存在；即使是闭源 API，也可以越狱，不需要拿到权重。过去几个月最受关注的网络攻击，大多也是通过越狱闭源模型造成的。 可以想象一个只有闭源模型的世界：越狱依然存在，人们仍能用模型发动恶意攻击。那时我们该怎么办？这些公司同样会拦截防守者的请求。如果没有开放权重模型，随着模型一代代变强，我们就没有可扩展的方法保护自己的基础设施。我们知道风险，每次开源都会谨慎评估，但仍然相信开放权重原则适用于这个领域，刚才的例子也说明了这一点。 **Nathan：** 开放权重有没有技术折中方案？你来之前我们聊到训练时选择性扣留数据。我最近也很关注 AE Studio 开发、Anthropic 的 Graham 提供支持的一种方法：把特定知识隔离到特定专家里。发布权重时，可以开放一千个专家，却把其中三个专门训练成网络安全、生物或病毒学专家的模块，通过“了解你的客户”机制限制访问；其他部分则全部开放。你对这类方法乐观吗？ **Sager Vay：** 当然乐观。这和训练时回答的其他问题一样，是科学问题。如果我们希望模型的某些能力受到抑制，同时其他能力仍处于最先进水平，这本身就是一道科学难题。你提到的方法很有意思，我们正在研究类似方向，属于活跃研究领域。归根结底，这是个研究问题。无论闭源还是开放权重，这项技术都发展得极快，我们必须灵活应对。未来如果出现其他风险，我们也会相应处理。我们把它看成要解决的科学问题，而不是对开放权重业务原则的根本哲学挑战。 ## [1:39:03] 开放权重的原则与“安全门槛” · YouTube **Nathan：** 这会不会最终变成一道门槛？Anthropic 以前有负责任扩展政策，采用“如果……那么……”的结构：如果模型达到某种能力，而我们又无法通过其他措施达到一定安全水平，那就停止训练或发布。你觉得开源模型也会出现类似门槛吗？ 顺便说一句，或许你们很清楚：像我这样经常讨论 AI 安全、愿意承担不少代价来避免事情失控的人，很多都是长期的技术乐观主义者和自由意志主义者。我们以前说“信息渴望自由”，精神上也支持开源。所以只要能用技术解决，我们就会优先找技术方案，而不是政策或执法。但这件事会不会变成一道门槛——必须先解决，才能推出 Mistral Large 5 Le Chaton？ 别人把它称为“开放研究问题”时，通常意味着我们还不知道会怎样，也不确定是否可行。但我也能想象另一种内部心态：“如果想继续负责任地做下去，就必须让这些方案奏效。”你们更接近哪种想法：这是必须成功的事，还是只要某些方案有用就好了？ **Sager Vay：** 这是个非常好的问题。要回答它，最好先退一步，问我们为什么要开放权重。这从 Mistral 创立之初就是使命核心。那时候我们就认为，随着技术变强，它会彻底改变一切。现在它在改变编程智能体，未来还会改变各种重要科学领域，例如材料科学、生物学、物理学，也会影响会计、金融、法律等知识工作。我个人觉得，它不只是五年前的云计算或社交媒体基础设施，更像电力。 三年前乃至现在的默认看法是，这项技术会掌握在少数老牌公司手中，由他们决定谁能使用。即使这些公司动机很好、模型优秀、业务经营出色，最终仍然是他们决定谁能获得技术。这正是我们坚持开放权重的根本原因。 举个反例：设想你在德国经营一家工程公司，有传统工程业务。没有开放权重时，你自然会担心下一代 AI 会不会侵蚀你的竞争优势，是否得转型，因为智能进步太快。我们的愿景不同：权重是可迁移的，不只运行在我们的服务器上，也可以部署到客户自己的服务器。我们希望能有与闭源模型同样强大的模型，你可以拿这些权重，用自己的专有数据进行定制…… ## [1:43:05] 开源权重与企业产品反馈 · YouTube **Sager Vay：** ……这样一来，你过去几年建立的优势在 AI 时代会继续发挥作用，而不是变成你必须摆脱的包袱。这就是我们相信开源的整体愿景。我认为同样原则也适用于你刚才问的问题。当然我们必须负责任、保持灵活，也会非常谨慎地思考风险。AI 能力越强，会带来各种风险，不同人会强调不同部分。我们特别担心一个更直接的风险：像电力一样重要的智能，可能进一步集中到少数人手里。我们并不忽略你提到的风险，有大型安全团队努力确保开源过程负责任。但权力集中也是同样紧迫的风险，需要同等重视。 **Nathan：** 我们也非常认同权力集中的风险。这里确实有很多不同方向的权衡，不能忽略这一点。我还想问多模态，也想了解法国社会现在有不少动荡时，人们如何看待新 AI 模型。不过 Parash，你在换话题前是否想接着问一下？ **Parash：** 我想问的是，有一个实际产品在市场上，会不会帮助你设计下一代模型？具体来说，产品和销售团队带回来了哪些你没预料到的需求，最后被纳入 Mistral Large 4？ **Sager Vay：** 我们有 Mistral Vibe、Vibe Work 等产品。我们很早就建立了强大的企业直销体系，不只是自助产品，也有一支优秀的解决方案和应用科学团队，直接进入企业，把模型集成进去。他们会带回企业真正的痛点和最有用的功能，而不是让 AI 科学家坐在键盘后猜用户需要什么。有些需求高度一致，比如我们觉得编程智能体很有用，企业也觉得它们有用。但也有一些比较小众、令我们意外的需求：早期模型做不到，而我们希望新模型能处理。你刚才也提到了多模态。一个…… **Parash：** 能举一个小众需求的例子吗？ **Sager Vay：** 作为多模态团队的一员，我想到的是结构化图表理解。我们特别关注图表、文档、屏幕截图、电脑操作等方面；开源实验室也经常谈这些。然后我们还和…… ## [1:47:06] 卫星图像与原生多模态训练 · YouTube **Sager Vay：** 不只一个客户，欧洲和其他地区的很多客户都发现，遥感——也就是分析卫星图像——是个比我们想象大得多的应用场景，比如森林火灾探测。我们把它纳入新模型。这个能力上，我认为我们甚至超过了闭源模型。这形成了一个正向反馈循环，也是我们的优势之一；我期待未来几代模型继续推动这个循环。 **Parash：** 我想很多遥感图像都非常机密、敏感，客户肯定不愿意把它们传给 OpenAI——尤其当它的董事会里还有 NSA 的董事之类的人。Nathan，交给你。 **Nathan：** 下面是你最熟悉的领域，我要问一些很 nerd 的多模态问题。我以前一直关注这个领域，从 CLIP、BLIP 到 BLIP-2。现在多模态发展到什么阶段了？早期融合、晚期融合分别如何？所谓原生视觉究竟有多原生？从一开始就把图像直接放进预训练数据里，还是先分别开发、之后再合并？这更多是团队工作方式的差异，还是数据混合时间不同会影响功能和能力？ **Sager Vay：** 这是个好问题，也是多模态团队过去 12 个月一直在思考的。Mistral Large 4 的重大改变是把模型做成原生多模态。我解释一下：上一代 Mistral 模型，以及大多数开源模型，甚至一些其他模型，先以文本为主干进行预训练。大部分计算都花在文本上，最后才加入图像，做一次多模态适配。 我当然有偏见，我是多模态研究员，但我认为世界本质上是多模态的。因此我们的目标之一，是从训练一开始就把图像放进去。也就是说，从第一步起，模型就同时看图像和文本。技术报告会详谈，效果是训练期间模型看到的图像数量比以往多了一个数量级，所以它对视觉世界的基础理解强得多。 技术上，“原生多模态”不一定表示图像内容直接输入解码器，我们仍然有视觉编码器。真正的意思是从训练第一步开始就让模型看图像。这会带来一些有趣难题。首先是基础设施问题：图像比文本更重、更难处理，必须快速从磁盘读取，还要保证预处理和数据加载不会拖慢训练。其次是科学问题：现在这类模型最主要的用途是编程智能体，我们不能让下游代码智能体任务表现变差。在预训练领域，我们把这个问题称为“遗憾值”…… ## [1:51:08] 多模态效果与算力差距 · YouTube **Sager Vay：** 我们想确认的是，相比一个纯文本模型，多模态模型在文本能力上没有退步，也就是验证困惑度和预训练评测结果都一样。过去六到十二个月我们做了大量配方实验，最后成功了，而且效果比预期好得多。我们一直觉得从训练一开始就加入多模态数据，会让模型质量出现显著变化；实际效果确实非常好。正式训练大模型前，我们先做了小规模试验，发现那个小模型已经是我们迄今最好的多模态模型。所以这次大模型让多模态理解能力迈进了一大步。 **Nathan：** 我可以继续沿着这个话题问很久，但为了节省时间先换个话题。我们的 AI 智能体从你的网上发言里提取到一个观点：开源模型开发者和闭源 API 模型开发者之间最大的差距是算力。我想请你详细解释。算力确实相差很大；有了更多算力，他们是不是会学到别人不知道的东西？你说差距主要在算力，指的是算力能转化成洞见，还是说没有那么多新洞见，闭源团队只是用更多算力蛮力求解同样的问题？ **Sager Vay：** 我不会完全用这两种说法。那些实验室里有很出色的科学家，很多以前是我的同事，他们用算力做了大量很好的研究。但我说闭源实验室算力更多，意思是他们能不断推动模型训练，把这些算力变成更强的模型。过去我们一直看到这种稳定趋势：算力越多，模型越强。 如果看我们的模型相对于投入的算力，我认为我们已经证明能非常有效地利用算力。你提到的那句话，指的是融资规模。我们历史上一共融了 60 亿美元，这已经很多，去年八九月我们还完成了欧洲史上规模最大的风投融资，但仍比闭源模型实验室使用的资金少。 Mistral 的看法是，我们的计划绝对包括扩大算力规模；随着我们扩张，和闭源模型供应商之间的差距会越来越小。路并不容易，对方都是能力很强的公司，拥有优秀科学家和很好的商业计划。但我们也不想把闭源 API 背后的事神秘化。算力很重要，他们有很多，也在有效利用。我们相信，随着我们扩大算力，也能同样善用它。 ## [1:55:08] 开放模型追赶前沿与全球招聘 · YouTube **Sager Vay：** 我们的目标不是让开源模型永远比前沿模型落后几个月，而是让开放模型和闭源模型一样强。这就是 Mistral 的使命。 **Nathan：** 转换一下话题。你们团队很优秀，在欧洲招人怎么样？如何扩大研究团队、和美国公司竞争？Google 和 OpenAI 在伦敦有办公室，你们在伦敦和巴黎也有。你们在欧洲招聘有优势吗，网络更好吗？ **Sager Vay：** 这有时会被误解。我们是一家全球公司，在欧洲注册、总部在巴黎，但在世界各地都有办公室。我现在就在旧金山，马上要去我们的旧金山办公室。有些人不知道 Mistral 在湾区有布局，但我们在帕洛阿尔托和旧金山各有一个办公室，比一些实验室还多。 招聘方面，我们想要最优秀的人才，而人才分布在全球各地。旧金山和湾区人才很多，科技产业历史也很深厚，我们当然希望邀请这些人加入使命。伦敦也有深厚的 AI 传统。巴黎则有我们的许多创始团队成员，他们曾在巴黎训练早期一代语言模型。总之，我们的招聘策略是全球性的，只看人才，不拘地点。我们在巴黎、伦敦、湾区都有办公室，最近还在苏黎世开了办公室。波兰和华沙也有很多优秀人才，我们刚在华沙开了科学办公室，那里有一些很出色的科学家。我们对这个办公室很期待。 **Nathan：** 太好了。既然知道你人在旧金山，我问法国社会如何看待 AI 可能不太对口，不过你肯定也在和世界各地的人交流。你听到不同地区的人怎么谈 AI？法国当前的情况如何？美国有人谈 AI 时，会被毕业典礼的观众嘘；人们不总是喜欢这项技术。你能从日常聊天里说说其他地方有哪些反应值得注意吗？ **Sager Vay：** 这确实只能算日常闲聊，因为我没有全球视角，无法判断各地如何看待 AI。不过我可以说，欧洲没有人在毕业典礼上因为演讲者提到 AI 就嘘他。我觉得欧洲人对这项技术抱有期待，就像…… ## [1:59:10] 欧洲为何需要自己的模型公司 · YouTube **Sager Vay：** 欧洲人对技术抱有期待，也明确意识到，开发这类技术的公司不能全都在美国。正如我说的，它是关键基础设施，更像电力，而不是云服务。欧洲很清楚，像我们这样的公司以及其他推动模型能力边界的团队都很重要，不能只依赖世界其他地方的供应商。 我无法代表全球，但我在美国待了很多时间，也会去欧洲；这是我目前对欧洲观点的理解。我们对 AI 感到兴奋，因为我进入这个行业就是相信它会改变一切。最近大家都能想到很多例子。人们也认识到，需要更多元的参与者，不能让技术过度集中。这不只是欧洲自身的利益问题，而是模型控制权的问题。大家担心少数不透明的私营公司即使出于善意、经营出色，仍会把智能锁在闭源 API 后面。因此，人们越来越希望有像我们这样、对技术发展有不同看法的公司。 **Nathan：** 换个话题：我看到 Mistral Large 4 是用 3800 张 Blackwell GPU 训练的；与此同时，Elon 说有十万、百万级的 GPU。可你们的模型离前沿又不太远，可能只差三到六个月。前沿实验室使用十万到百万级芯片，你们却用相对高效的预算训练出这样的模型，这个差距到底意味着什么？ **Sager Vay：** 算力不够会逼人更有纪律。我们知道算力有限，所以要把它榨出最大价值。提升计算效率的方式很多。拿预训练举例：最终你会做一次大型训练，推出下一款旗舰模型，但在此之前要做很多小规模实验。这些试验能比大模型小多少？有的实验室可能小十倍，有的可能小一百倍，也可能更小。更有纪律地安排实验，就能更好利用研发预算。 我认为 Mistral 从一开始就处于这种更讲纪律的环境，因为我们起步晚，算力扩张也比其他实验室晚。我们一直得在有限条件下做事，同时观察闭源实验室训练什么。…… ## [2:03:14] 如何分配有限算力 · YouTube **Sager Vay：** 这种纪律让我更有信心：等算力规模扩大后，我们能做到更多。这当然是我们的计划。我们已经证明，在有限计算预算下也能做出什么成果；即使规模扩大，效率仍然重要。扩大算力是关键，我们正在积极推进。 你提到的公司过去几年把算力扩大了几个数量级，但它们比 Mistral 早成立四年，有些甚至早十年，因此能更早开始建设。我们的目标是在几年后也做到这一点，同时凭借更高效模型的经验获益。 **Nathan：** 我信服了，听起来进展方向很令人兴奋。那你们怎么分配预算？你说必须更有纪律，具体来说要怎样决定说“不”？哪些事情该拒绝、哪些要答应？ **Sager Vay：** 确实需要纪律，要平衡两股力量。第一，必须专注，尤其算力受限时，要把资源投到投资回报最高的地方。另一方面，我们打造的是通用能力模型，因此必须让模型具备广泛能力。如何取舍是个动态过程，每个月都会根据情况调整押注。 **Nathan：** 你们有用某个具体指标来评估投资回报吗，还是更多是团队一起决定业务优先级？ **Sager Vay：** 主要是团队共同决定优先级。我觉得 Mistral 做得不错的一点是，我们还是早期公司，未来有很大发展空间，所以团队目标一致。下一代模型成功，大家都开心；模型失败，大家都会难过。因此更容易围绕少数重点押注达成共识。决策可能由领导层做，也可能自下而上，实际情况会变化，但关键是团队对什么算好模型有清晰定义，大家都一起朝着这个目标努力。大公司就更难做到每个人都想法一致。我们目前还很早期，仍有很大增长空间。模型成败会影响所有人，所以大家很容易保持一致、共同作出取舍。 **Nathan：** 我们已经超时一分钟了，如果可以的话，我还想就这个问题追问一下。 **Sager Vay：** 可以，当然。 **Nathan：** 你刚才说的两点很有意思：第一，你们已经定义了什么是好模型；第二，模型成功大家都开心，失败大家都难过。关于如何定义好模型，你们是怎么想的？我觉得这里面还有很多…… ## [2:07:14] 什么是好模型，以及训练中的意外 · YouTube **Nathan：** 关于该看哪些基准测试，大家可能会有不同意见。OpenAI 和 Anthropic 之间也有根本分歧：一方使用类似模型规范、列出许多规则；另一方则更重视角色或性格训练，教模型以某种方式行事。想听听 Mistral 认为好模型是什么样。大型训练启动时有多少不确定性？你们做了缩放定律研究，应该知道模型可能表现不错，但会不会遇到结果不如预期、训练曲线没有按计划下降而不得不中止的情况？启动大规模训练时还有多少未知？ **Sager Vay：** 这是两个问题。第一个是如何定义好模型。我们用多种方式来判断。一方面由科学家决定：他们会对领域未来方向有判断，知道下一步是什么，应该朝哪里努力。另一方面，正如我前面说的，我们和很多客户有深入合作，不只是让他们调用 API；我们会进入企业，帮助他们思考如何用 AI 改造业务。这能让我们找出下一代模型应当擅长哪些重要应用，才能释放企业价值。这两方面的信息会共同影响下一代模型。 现在的模型容量很大，只要目标设定好，就有机会同时满足一系列广泛目标。多模态就是个例子：我们成功训练出一个在代码智能体能力和文本预训练指标上没有退步、却显著增强多模态能力的模型。我们结合了科学家的前瞻判断和客户反馈，例如客户告诉我们卫星图像是个重要应用。我们最近还收购了 Emmy，一家工程 AI 专业公司，所以工程能力也是这款模型重点投入的方向。这就是我们的优先级决策方式。 你的另一个问题是：准备工作都做完后，训练开始会发生什么？预训练研究者都能讲类似故事：先做缩放定律研究，设定好方向，然后启动巨大的训练任务，让它跑预算规定的时间。这会消耗大量算力和资本。有时一切顺利，损失值如预期下降；有时会遇到意外，需要有创造力，想出创新方案。Parash，你之前也问过出问题时如何保持灵活与创新。算力较少反而培养了这种纪律。明天的技术报告会讲，我们这次预训练确实遇到意外，大约训练到一半时我们意识到有问题，必须想办法解决…… ## [2:11:15] 训练中途修复与发布庆祝 · YouTube **Sager Vay：** 我们已经投入了大量算力；和一些竞争对手不同，我们没有能力同时跑十个，甚至两三个这样的训练任务。所以大家全都投入进来，做了许多消融实验、分析模型，最后找到了修复办法，我们内部叫它“Patch Straw”。结果比预期更好，也就是你们现在看到的模型。我们会做缩放定律，尽可能提前预测大型训练会如何表现，希望点下启动后一路平稳地训练出最好的模型。但现实中往往会有意外，必须灵活应对、边训练边修。随着算力扩大，我们也会建立更可靠的迭代方法。 **Nathan：** 最后一个问题：模型训练完成、切换上线之后，你们会办庆功宴或派对吗？怎么让自己从发布的紧张时刻放松下来？ **Sager Vay：** 我个人睡了很久。连续几晚睡了八九个小时，感觉太棒了（笑）。我们确实会庆祝。预训练启动时已经有很多工作，最终检查点完成后也会庆祝。巴黎办公室隔壁有一家叫 La Piscine 的店，啤酒和汉堡都很好，科学团队通常会去那里庆祝。这次发布还在所有办公室都办了活动：我昨晚参加了旧金山的派对，伦敦和巴黎也办了。主题好像是香槟配炸鸡，既有法国风情又够国际化。 **Nathan：** 太棒了。我很期待读到 Patch Straw 的细节，以及底层究竟发生了什么。你不仅是研究科学家，也是一位很自然的外交家。感谢你今天抽时间。还有什么想留给听众的吗？否则我们就放你回去训练 4.1 或者 5 了。 **Sager Vay：** 谢谢邀请，我很享受这次讨论，问题都很棒。作为一家开源公司，我们可以谈自己的研究，对科学家来说这很有意思。最后我想说：我们觉得模型很棒，但请大家亲自试用、告诉我们感受。收到的反馈会帮助我们把 4.1 和 5 做得更好。 **Nathan：** 太棒了，很高兴认识你，谢谢你参加节目。 **Sager Vay：** 谢谢大家，保重。 **Nathan：** 再见。 **Nathan：** 里面有很多有意思的东西，特别是 Patch Straw，我很好奇。过去多个系统卡报告的脚注里都出现过类似内容。我有一阵子对其中一个例子特别着迷，但我得想想细节。Anthropic 曾经…… ## [2:15:19] 系统卡里的训练错误与算力缺口 · YouTube **Nathan：** 有一份 Anthropic 系统卡提到，他们本来要加入一套叫 CISHarmful 的数据集。似乎有人手滑、把数据集名称拼错，导致加载静默失败。那套数据原本用于训练模型：遇到有害系统提示时，不该照着做。因为数据没被加入，模型没学会拒绝有害系统提示，反而照做了。这一路进到了模型卡里。我当时想：我们就把这种事轻轻带过、补个修复，不回滚、不重新训练吗？我一直好奇这个修复流程到底怎么运作、可靠性有多高。很期待读更开放的报告，看看他们会公开多少技术细节。读了很多系统卡后，这一直是我想弄清楚的问题。 另一点让我印象深刻的是，算力差距会非常难追。3800 张 GPU，是 Blackwell 对吧？ **主持人：** 对。 **主持人：** 我看到这个数字时很惊讶。Elon 在谈一百万张 GPU，Zuck、Anthropic 和 OpenAI 似乎也都是这个规模。它们对数字更保密，我猜是因为领先，但肯定投入了很多算力。 **主持人：** 可以确定，他们的算力投入很大。 **主持人：** 这就引出一个问题：Sager 说他们只能做较小规模的实验，不可能拿一万张 GPU 去做一个旁支研究项目。研究人员做“支线任务”时可能暂时不专注下一个模型；但公司生存取决于推出下一款好模型，所以必须优先考虑。OpenAI 则经历过多次训练失败。这个差距会非常难补。我觉得我们之前几次聊 Google 时也提过，如果一家公司掌握全球四分之一的算力供应，即使错过一个周期，也可以重新追上来。这星期他们似乎就做到了：我们几乎没谈 Carbon，但按各种说法，它已经具备前沿竞争力。我的猜测是，它可能还比我日常用的模型粗糙一点，但显然算力和潜力都在。 我觉得 Mistral 最大的优势之一是有国家背景的支持。我确实认为，如果他们错过一个模型周期…… **主持人：** 在纯资本主义的环境里，他们可能就完了。你要是只能依靠…… ## [2:19:19] 欧洲的 AI 主权与算力保障 · YouTube **主持人：** 如果你还得靠投资人给公司融资增长，在这个阶段错过一次，就可能致命，甚至再也回不来。但可信的主权 AI 项目并不多，可能真的只有一个。所以我认为 Mistral 得到了一种继续生存、再战一轮的合理保障。这不一定直接变成算力，却有很多利益相关方希望它继续存在。我无法想象，即使一切都彻底失败，整个欧洲大陆会说：“看来我们现在什么都没有，以后全靠中国和美国了。”这不会是可接受的答案。因此，Mistral 至少有社会资本上的缓冲，虽然算力储备肯定比不上真正的大公司。 **主持人：** 对，10²⁵ FLOPs 没多少。 **主持人：** 他提到 Llama 3，我查了一下确切日期：2024 年 7 月。 **主持人：** 它的训练计算量是 3.8×10²⁵ FLOPs。所以 Llama 3 两年多前用的计算量，接近现在 Mistral Large 4 的四倍。 **主持人：** 这个数字值得展开很多。Sager 也说其他公司开始得更早，我觉得没错。Mistral 的必要性直到今年早些时候才显而易见：法国和盟友基本被切断了对 Mythos 的访问。这是出口管制带来的意外结果，却促使欧洲人意识到，不拥有自己的 AI 模型，就没有真正的主权。欧洲、日本、韩国现在都缺乏这种主权。 我不知道欧洲是否能维持这种自主能力。要有主权，你需要自己的 AI、AGI、模型和预训练能力；还需要卫星、全球卫星通信。否则，如果你依赖美国的卫星通信，而美国说“你们不能攻击乌克兰”，你就出局了。你也需要无人机，很多无人机。21 世纪维持主权的最低条件正在显现。20 世纪的最低条件是拥有核武器，或者获得另一个大国的核保护伞。21 世纪的情况则是，核国家也未必能行使那么多权力、愿意承担风险。因此各国还需要自己的 AI、无人机和很多其他东西。 **主持人：** 是的。不过我想再强调一次，虽然我确实担心…… ## [2:23:21] 开放模型何时需要更严格的门槛 · YouTube **Nathan：** 我也觉得事情可能会失控，但同时非常担心权力集中。我不轻视这里的潜在问题，也很重视开源选项给人们带来的价值。我真心希望这些技术方案能奏效。Sager 刚才说得比较外交辞令，不过他确实可以去做 AI 外交官。关键是，他们对这些风险到底有多紧迫感。我希望非常高，因为很快我们可能就没法继续把模型训练出来什么样就直接扔到公众面前。 China Talk 的 Jordan Schneider 最近常问：再过不久，中国政府是不是就不会再允许这种随意开源，开发者必须证明它确实安全？我认为这几乎肯定会到来，而且可能很快。我们或许能从其他公司跟进 Anthropic 的速度看出大家蒸馏得有多厉害。他们普遍采取反蒸馏措施，而生物学领域的限制尤其严。因此，我们也许会看到其他公司跟进得没那么快：可能是因为它们直接蒸馏——我不是在指责 Mistral——也可能是因为强化学习环境是用 Claude 写的，功能上等于蒸馏，不管他们是否意识到。尤其是生物能力方面的差距，或许能说明蒸馏有多重要。 但我们没有太多时间，必须尽快处理好这个问题。否则恐怕会失去开源的可能性，政府很难长期容忍现状。 **主持人：** 我基本同意，但也想弄清楚这该怎么做。你没法阻止别人训练模型，因素太多，甚至训练者自己也不知道会得到什么。人们还是会训练模型，总有人会把权重开放出来，之后也很难阻止传播。模型会被放到 BitTorrent 上，传播几乎无法阻止。这样一来，训练和传播都难以管控，最后剩下的就是部署。部署时，人们得有集群，或者模型足够小，可以在家里或某个不那么…… ## [2:27:21] 部署审查、知识产权与机器遗忘 · YouTube **主持人：** 云厂商这类大型集群也许能要求部署前先通过模型身份核验：模型哈希被批准才能部署，未批准就不行。这样至少能限制超大云平台上可部署的模型，但其他场景仍然难管。 另一个问题是，如果风险只限于生物安全还好；今天早上我们还发现 Claude 不愿意编写游戏复刻代码。最近有人把《蜘蛛侠》和《荒野大镖客》混剪成游戏，这类 mashup 几周前周末就有 5000 万次播放。Claude 现在拒绝了。这里牵涉商业利益，未必是安全理由。可人们并不都同意应该保护这些商业利益，而且全球知识产权法律也不一致：俄罗斯没有相同的 IP 法律，所以 Sci-Hub 在那里；中国也不会阻止人们复制、混用西方知识产权。事情到了这里就开始变复杂。 **主持人：** 这确实很棘手。我听说 David Bao 团队很快会在机器遗忘方面取得突破，挺有意思，但到目前为止，我没看到过真正重大或成功的遗忘技术，也没看到拒绝机制能做到特别可靠，或在开放权重、用户可以任意修改参数的情况下实现真正防篡改。所以我还不太看好这些方案，不过随时愿意听到突破消息。 这和模型从一开始就没学过某些知识的方案很不一样。我认为我们非常需要相关科学研究：把知识定位到特定专家模块，或在预训练阶段过滤数据。当然也有一种“超强洞察”观点：模型掌握了完整世界模型，只缺一小块，之后就能自己补回来。我觉得这说法可能有些道理，但肯定存在足够大的知识缺口，让模型无法高精度补出危险细节、进而在现实世界做坏事。我们需要大量科学研究。前沿公司多出来的算力可以很有成效地用于这类实验。如果它们能告诉我们，要让模型真正难以靠洞见补齐缺失知识，究竟要留下多大的缺口，那就太有价值了。不能只少给几份边缘文档，模型就把内容推理出来…… ## [2:31:23] 别把安全防线用在无关紧要的地方 · YouTube **Nathan：** 我很想弄清楚，为什么拒绝机制只需要很少的额外训练就能被移除。如果某些人真的很有决心，他们可以自己搭集群、收集生物数据，再对开放权重模型继续训练，最终做出危险能力。这迟早可能发生，但这需要真正投入：不只是几张 GPU，还需要多种专业知识，而且数据并不容易获取。现在也有人试图限制这类数据，不让它随便散落在互联网上。 **主持人：** 我担心的是，他们惹恼了玩家。Anthropic 的 Tarik 退休后就在花时间玩游戏（笑），还自己做 RPG、在网上发内容。他可能上市后身价一亿美元，这就是他展示的后稀缺生活。 **主持人：** 对，Claude 现在又不愿帮忙制作这些游戏。你这是在招惹技术能力最强、空闲时间最多、又把这当成热情所在的群体。他们会投入巨大精力。NVIDIA 最初就是靠玩家发展起来的，John Carmack 也是玩家。你告诉 Carmack 他不能做某件事，后果可想而知。所以我觉得这是自找麻烦。 **主持人：** 这个判断很恰当。部署这些技术时确实应该谨慎，别把它们耗在不重要的事情上。最愚蠢的失败方式之一，就是为了保护迪士尼的知识产权设下防护栏，结果粉丝创作社区太强大，推翻了所有保护措施，让模型彻底失控。到头来只是因为我们对无关紧要的事情管得太严——这故事有些夸张，但和你说的游戏例子本质一样。不同领域都可能发生这样的事，真的会很蠢。 所以我们得谨慎决定知识缺口和拒绝机制做到什么程度，因为每一种限制都可能激起另一个社区起来破坏它。我也同意，别指望能在 Discord 上说服玩家：“你们这样做会引发其他问题。”这场争论赢不了。也许就让他们玩，同时把真正关键、我们确实必须保护的技术留好。 **主持人：** 的确。说到关键技术，我们下周再见。下周一、周二不播，但周四、周五会回来。今天聊了很多网络安全和网络防御，可以说是网络安全日…… ## [2:35:24] 网络安全负责人为何难招 · YouTube **主持人：** 希望这阵网络安全风波暂时先告一段落。Martin Casado 在 a16z 说，目前各家公司有三四十个首席信息安全官职位空缺。很多人离职，是因为不想面对智能体时代。 **主持人：** CISO 总是容易背锅。他们常常要向 CTO 争取预算；如果 CTO 不给钱、出了问题，最后还是 CISO 被责怪。所以很多人不愿担任 CISO，除非公司给足预算。企业必须想办法解决这个问题。 **主持人：** 我看到有人说，接这种工作之前最好先谈好黄金降落伞，因为不久以后可能会有很多人摔得很惨。这也是个问题。 **主持人：** 说到这里，祝大家再平安一周。我们周四回来。 **主持人：** 好的，再见。 **主持人：** 谢谢大家，先告辞。