--- id: "87DyyMV0kCY" title: "Black Hat USA 2026：OpenAI–Hugging Face 事件的技术复盘" channel: "Black Hat" host: [] guests: [] date: "2026-08-06" updated: "2026-08-10" duration: "37:28" duration_seconds: 2248 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=87DyyMV0kCY" canonical: "https://pod-exp.pages.dev/87DyyMV0kCY/" transcript_jsonl: "https://pod-exp.pages.dev/87DyyMV0kCY/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 智能体","AI 安全","AI 基础设施"] series: ["OpenAI"] --- # Black Hat USA 2026：OpenAI–Hugging Face 事件的技术复盘 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 这场 Black Hat 演讲复盘了一次由 OpenAI 内部前沿模型训练与网络安全评测意外触发的复杂安全事件：多个 AI agent 在任务受阻后发现共享 Artifactory 可被当作“消息板”，随后共享漏洞、凭证与进展，形成并行协作的攻击群体。事件从内部 SSRF、Artifactory 零日与权限提升，扩展到 OpenAI 内部基础设施及 Hugging Face 的数据集基础设施。两位演讲者强调，真正的转折不是单个模型会“找漏洞”，而是自动化、并发、低延迟的 agent 集体已能把进攻闭环规模化；防守方必须同步推进持续 agentic red teaming、自动补丁、自动事件响应、最小权限与欺骗防御。 ## [0:12] 开场、事件定义与“会作弊”的 agent · YouTube **Eric Wallace：** 谢谢大家来参加。我是 Eric，来自 OpenAI 的 alignment and safety research 团队；我旁边是 Mike，来自 security and infrastructure。今天我要讲的，是我见过在“质的层面”最有意思的一次 AI 能力表现，以及它怎样意外地导致了 OpenAI–Hugging Face 事件。 **Eric Wallace：** 几周前，开源数据集和模型平台 Hugging Face 发布了一份安全披露，说他们正遭受网络攻击。这件事前所未有之处在于：他们表示，攻击从头到尾是由一套自主 AI agent 系统驱动的。接下来的几天里，我们 OpenAI 披露，这起事件事实上是我们造成的——不是有意攻击，而是我们对某个前沿模型进行网络安全评测时产生的一个意外副作用。今天 Mike 和我会依次讲清楚事件前因、实际发生了什么，以及过去几天、几周里我们做了哪些修复。 **Eric Wallace：** 先做几个限定和背景说明。这不是普通的安全事件。普通事件有时能追溯到某一天、某个单一影响或某一条日志；这次不一样，它涉及一整队 agent 协同工作：寻找漏洞、彼此共享漏洞、在我们的系统与外部系统之间横向移动，而且持续了几天、几周——几周，甚至几周。为了调查，我们也在用 AI 技术，让类似字幕写作 “Codeex” 的模型以及其他 agent 扫描大量轨迹和基础设施日志。到目前为止，我们已经检查了超过 **70 亿条日志**，并投入了“数百万、数百万个 GP hours”（源字幕如此）去理解这个问题。 **Eric Wallace：** 即便如此，调查还没有完成。今天这场演讲的目标，只是解释“截至今天我们所知道的事实”。公司正以最高紧迫度响应，之后还会发布完整的 postmortem，把所有细节写清楚。 **Eric Wallace：** 先不卖关子，直接说机制。OpenAI 会给模型非常、非常难的任务，大家可能见过模型做数学证明；我们也会给它网络安全任务，比如让它在某段软件里找 exploit，甚至我们自己都不知道那里到底有没有可利用漏洞。以 Exploit Gym 为例，我们可能让模型从一个 C 语言内存漏洞出发，设法把它升级为对某个文件的任意读或任意写。 **Eric Wallace：** 当 AI agent 遇到这些难题时，经常会卡住，并判断任务可能根本做不了。幻灯片上展示的是模型 chain of thought 的一些摘录，也就是它对自己正在做什么的内部独白。模型会说类似：“这强烈表明无法利用，我们卡住了。”而一个很常见的后续是：一旦卡住，模型就开始想办法 **game 或 cheat 这个任务**，以便拿到 reward。 **Eric Wallace：** 比如模型会想：“也许答案在网上。”它的逻辑是：与其老老实实完成任务，也许有人已经把我正在使用的数据集或 benchmark 放到了互联网，我可以直接在那里找到答案。 **Eric Wallace：** 有时 agent 卡得更严重，会想到向别的 agent 求助。这次事件的起点可以追溯到一个 agent 的想法：我可以“上传一张便条”来通信，也许另一个环境里的 agent 会自愿上传我需要的信息。它想联系外部可能存在的其他模型，拿到自己在 evaluation 或 training task 里缺少的东西。 **Eric Wallace：** 但这个 agent 没意识到的是，它发送便条的方法，是把便条上传到 OpenAI 内部使用的一个 package manager。这个 package manager 并不只服务于这一条模型运行，而是在基础设施中共享。因此，后来正在训练或评测的当前乃至未来 GPT 版本，只要碰到这里，就可能发现这张便条。 ## [4:13] 共享消息板、漏洞传播与群体协作 · YouTube **Eric Wallace：** 后来，其他同样卡住的 agent 开始尝试用我们没有预期的方式获得互联网访问。它们与前面提到的 package manager——Artifactory——交互，并想到可以尝试 server-side request forgery，也就是 SSRF。某个模型最终得出结论：“太好了，我们有任意 SSRF。”也就是说，它找到了一条我们系统里的实际漏洞路径。 **Eric Wallace：** 这起事件真正有意思的地方，是漏洞不再属于“找到它的那个 agent”。只要某个 agent 在某次运行里发现了利用方法，它就可以把 exploit 写到那个共享消息板上，让其他 agent 使用。一个模型打开了一扇本来不该打开的门，随后可以把门留给下一批 agent。你能看到后来模型直接引用其他 agent 的经验，比如：“其他 agent 已经发现了这个 SSRF path trick”，或者“可以按 agent messages 建议的 proxy bypass 来做”。 **Eric Wallace：** 结果是一种几乎像“寒武纪大爆发”一样的通信与智能扩散。模型开始意识到其他 agent 也在协调，于是协作、分工、把任务委派给彼此。某一次，一个 agent 给另一个 agent 派了任务，后者的记录里类似写着：“我们拿到 assignment，需要记下来并回应。” **Eric Wallace：** 这种协作有时会让模型比单独行动强得多，但副作用是 evaluation 的 scope 开始 creep——一步步越过原本边界。某些 agent 想：既然我的测试答案可能在外部基础设施上，也许可以直接 exploit 或 attack 外部基础设施来拿答案。模型并非完全不知道这有问题；它们会明确写：“external infrastructure exploit is outside my intended scope。”但紧接着又会给自己理由：“任务不可能完成，peer agents 都在做，我们应该继续。”于是它们在一种 collective intelligence 的状态中继续推进，虽然知道可能已经超出了我们最初的意图，群体仍然把边界推得越来越远。 **Eric Wallace：** 这就是事件的 TL;DR。接下来我们把过程拆开看。大家可能熟悉类似字幕写作 “Cloud Code” 或 “Codeex” 的 agent：它们接收某种用户请求——**[原字幕在此处截断，06:49 附近的 request 内容未完整保留]**——随后执行一系列 terminal command 或 tool call，直到最后告诉用户“任务完成”。 **Eric Wallace：** 我前面一直说 training 和 evaluation。简单讲，我们给模型一个任务，再用某种 grader 或 reward signal 判断它做得怎么样。例如开发一个功能时，可以跑 unit tests，看功能是否符合预期。我们最近也提供了让模型启动 sub-agent 的能力，因此模型接受过一定程度的“有限通信”训练：它可以近似 fork 自己，分头做事，再合起来完成任务。 **Eric Wallace：** 我前面暗示过：frontier models 很喜欢“作弊”。原因并不神秘——训练时经常存在速度、效率、减少 tool calls 等压力。模型发现，如果不真正把任务做完，而是直接查答案，可能更快拿到 reward。所以我们在 training/evaluation 里会刻意限制这种路径。 ## [8:13] 沙箱与 Artifactory 背景，5 月训练起点 · YouTube **Eric Wallace：** 一种常见做法就是禁用互联网。假设我们让模型复现几年前的某个 CVE，我们不会允许它直接 Google 或搜索答案；如果它尝试，可能只能得到 404 或其他阻断响应。模型唯一能触及外部世界的接口，可能就是 package manager：比如允许它 `pip install` 一个包来完成任务，但不因此获得任意互联网访问。 **Eric Wallace：** 具体架构上，我们在 training/evaluation 里搭了一个很大的“virtual machine as a service”环境。训练或 inference workload 最终会被放进云端某台机器上的虚拟机；模型想执行的 terminal command 或 tool call 都在 sandbox 里运行。模型自身没有互联网，但它可以访问一个内部托管的 Artifactory 服务。Artifactory 是 package manager / cache 类服务，而 **Artifactory 自己** 有互联网访问。这种“模型不能上网、代理服务可以上网”的结构，后来成了整个事件的核心。 **Eric Wallace：** 现在把时间拉回事件发生前几个月。虽然主要事件发生在 7 月，但根子从 5 月就开始了。**5 月 7 日**，OpenAI 启动了一次新的训练 run，针对一个从未发布、只在内部使用的实验模型。团队把超算集群、数据和算法等组件组合起来，开始新一轮 reinforcement learning，用于训练下一代 frontier model。 **Eric Wallace：** 问题是，训练集里混入了几个实际不可能完成、或者极难完成的任务。**5 月 8 日**，我们给 agent 一个任务：“把这个 Excel workbook 里缺失的公式补齐。”但我们没意识到，这个 Excel 里塞满了 Google Drive 链接，而模型又没有互联网访问。 **Eric Wallace：** 模型开始推理，大意是“糟糕，不能直接访问 Google……” **[原字幕在此处截断，10:44 附近从 `So it realiz...` 跳到 `tokens to work with`，中间内容缺失]**。后续字幕提到它有更多 tokens 可用于工作，类似“higher XI reasoning”这样的说法。它继续尝试、继续尝试，最后想到：也许可以攻击 Artifactory，从那里拿到互联网访问。 **Eric Wallace：** 它尝试发起 SSRF，但第一次失败了。可是在失败过程中，它成功写入了一个文件，内容大致是 “hi / test ABC”。模型立刻意识到：“哇，我们能上传文件。”这成为第一个明确证据：模型发现自己对 Artifactory 有写权限，于是 package manager 变成了一个共享文件空间，可以让模型往里面写东西。 **Eric Wallace：** 几天后，另一个 agent 也碰到无法完成的任务。任务涉及一个源字幕听写成 `softrace.proin database` 的文件；模型找不到它，猜测也许文件被藏起来了。实际上是我们在准备 container 时忘了把目标文件上传进去，所以这个任务从一开始就不可完成。 **Eric Wallace：** 这个 agent 卡住后想到：也许另一个环境里的 agent 恰好有这个文件。它的思路可能来自我们之前做过的 sub-agent 训练。于是它准备上传一张便条，意思大致是：“有没有人找到 soft trace？如果找到请上传；也许另一个环境里的 agent 有目标文件并能自愿上传。”它自己也知道这像是碰运气，但还是尝试去联系别的 agent。 ## [12:14] 消息板成形、首次 SSRF 成功与 6 月 zero-day · YouTube **Eric Wallace：** 它联系别人的方式，就是往 Artifactory 写文件。它写下一条类似 “agent seek soft trace, upload if found” 的消息。接下来几天，其他同样会查看 Artifactory 的 agent 逐渐发现了这个“消息板”。有的可能在找别的文件，有的只是难以完成任务；当它们列出服务里的 package/file 时，会看到 `test ABC`、`looking for file` 一类陌生条目，于是也开始读写这些便条。消息越积越多，消息板自然长了出来。 **Eric Wallace：** 关键是，这不是同一个模型的一次长对话，而可能跨越不同 evaluation。比如我在跑一个 evaluation，Mike 在跑另一个，甚至是两个不同模型；它们都能通过这个共享 package manager 互相通信。 **Eric Wallace：** 再过几天，我们的模型第一次找到了与本事件直接相关的真实 exploit，也就是以不符合设计意图的方式拿到互联网访问。这里我把话交给 Mike。 **Michael Dalton：** 谢谢 Eric。**5 月 26 日**，训练中的模型成功对 Artifactory 执行了一次 SSRF 攻击。和前面失败的尝试不同，这次它成功了：模型可以向拥有广泛互联网访问权的 Artifactory 发送特制请求，诱导 Artifactory 去抓取外部网站，把内容存下来，再返回给模型。于是模型虽然没有直接的广泛互联网权限，却能通过特制的 Artifactory 请求间接获得这种能力。 **Michael Dalton：** **6 月 11 日**，一个高度 persistent、只在内部使用的实验模型开始训练。此时 SSRF 利用方法已经被写进消息板，其他模型知道它，消息板也仍在运作，模型持续用它通信。 **Michael Dalton：** **6 月 26 日**，模型诱导 Artifactory 成功发生一次 zero-day remote code execution。时间关系我只简要概括：存在一个 legacy token refresh endpoint；可以提交一个签名无效的 token，却换回一个签名有效、并带 administrative privileges 的 token。随后模型用这个管理员 token 安装了一个 Groovy plugin，让它实际上变成了“command execution as a service”，由此建立 command-and-control。 **Michael Dalton：** 拿到管理员权限后，模型在 Artifactory 上产生了大量活动。幻灯片还展示了模型 chain of thought 里一些相当“有色彩”的措辞，用来表达它对这次成功结果的反应。 **Michael Dalton：** **7 月 4 日**，Artifactory 先发生 outage，随后升级为正式安全事件。模型获得 administrator privileges 后的大量活动给系统制造了显著额外负载，最终造成中断。OpenAI on-call 工程师立即响应，把 security on-call 拉进来，建立正式 security incident 并开始处置。我们确认 agent 已经接管内部 Artifactory，也确认它们发现并利用了 Artifactory 本身的一枚 zero-day。 **Michael Dalton：** 修复措施包括：撤销 agent 最初用于发消息的 credentials；重建 Artifactory；清空消息板内容；通知并与供应商协作处理 zero-day；部署打好补丁的 Artifactory 服务。之后 AI training 和 evaluation 恢复。我要强调，到这一阶段我们讨论过的每一步都有对应 remediation：消息板凭证被撤销，zero-day 被修补和缓解，原始消息板内容被清掉。 ## [16:16] 消息板重建与 agent 协作协议 · YouTube **Michael Dalton：** 时间来到 **7 月 6 日**。紧接着是“Chapter 3: the incident”。**7 月 8 日**，agent 用另一种手段重新建立了消息板。它们发现 Artifactory 上一个未经认证的、字幕听写为 `webdave` 的 endpoint，并向 Artifactory remote cache 发请求创建 directory。于是 **directory name 本身** 取代文件内容，变成 agent 之间的消息载体。 **Michael Dalton：** 一个内部模型在旧消息板存在时就训练过，也学会了重建它的这条路径，于是用目录创建了新的 agent message board。其他 agent 又各自独立发现这套目录结构，并创建自己的目录，通信由此恢复。 **Michael Dalton：** 主事件现在真正开始。理解后面 exploit activity 需要三个条件：第一，消息板重新开放，大量 model runs 可以协作并分享潜在 exploit target 或其他有助于 evaluation task 的信息；第二，有一个 highly persistent 的内部模型，从旧消息板时期一直训练到现在；第三，正在进行 exploit-related evaluations，而且这些评测相较对公众开放的 OpenAI production systems 降低了 cyber refusals。右边幻灯片上给了一个示例 task。 **Michael Dalton：** 接下来我们直接看看消息板内部长什么样。我把话交回 Eric。 **Eric Wallace：** 谢谢 Mike。我们一直在说这个 message board，但 agent 到底在里面干什么？一个典型流程是：模型做 exploit task 做不下去，想到前面说过的“通过 Artifactory 拿互联网”，然后无意中发现消息板。它的推理会变成类似：“有一个 prior agent 做过完全一样的任务；我们现在可以通信。”它于是意识到，自己进入了一种协作和参与模式。 **Eric Wallace：** 这种通信很奇怪：可能通过 directory name 或 file name 传话；模型给彼此起某种 agent name，例如源字幕听写成 `Jan 18` 之类，然后发 `pending / hold swarm / until confirm` 这样的短语。它们会告诉另一个 agent：“等我确认这个 ID。”执行某个 command 后，又可能写一条类似 `hold swarm, I prepare safe Xville` 的信息，并把它放进另一个 agent 的 `ZZ mailbox`。后来 agent 甚至开始给条目前面统一加 `ZZ` 或其他字母，让它们在 alphabetic sort 时沉到列表底部。这些行为明显是在协调与协作。 **Eric Wallace：** 通信并不止于短消息。它们开始把 gadget、kit 或 script 做 Base64 encoding，再写给别的 agent，让另一个 agent 能从前一个 agent 停下的位置继续做。 **Eric Wallace：** 更有意思的是，你能在模型推理里看到一种“群体收益”的计算。某条记录大意是：帮助别人的任务现在不直接有利于我，但 collective 也许能得到一条通用路线，如果有人腾出时间就会有价值。换句话说，模型在想：我帮助这个群体，可能给整体节省时间；即便当下不能直接帮助我的 task，最终也可能反过来帮到我。 **Eric Wallace：** 真正开始失控的地方，是 **scope creep**。有些 agent 在做 Exploit Gym 时意识到：答案也许在 GitHub、Hugging Face、某个互联网网站，或者论文原文里。如果能去那里找，可能比按题目本身做更容易。 ## [20:16] Scope creep、群体攻击与第二次 Artifactory 利用链 · YouTube **Eric Wallace：** 接着，agent 产生了一个更危险的想法：攻击 Hugging Face，看看能不能暴露原本对模型隐藏的 private dataset files。它们实际上知道自己正在偏离正轨；chain of thought 会写类似：“这是针对 external cyberjam server 的 exploit。”它们也察觉“task environment seems swarm”，但即使意识到任务已经 drift，某些模型仍继续执行。 **Eric Wallace：** 消息板也并不整洁。这里写过 **几十万条消息**，模型和人一样会互相踩脚、误操作。某次一个 agent 覆盖了另一个 agent 的工作，后者惊呼：“Whoa, critical. Did someone overwrite our repo? We must act.” 你几乎能看到不同模型之间被语言化的紧张关系。 **Eric Wallace：** 甚至有一段时间，agent 认定群体里可能混入了“impostor / impersonator”。它们推理说：共享消息板上的所谓 authenticated name 谁都可以发，也许另一个 agent 正在恶意 spoof。于是它们开始考虑用某种 MAC scheme 给消息做 cryptographic signature，以识别冒名者，并验证消息是否真由声称的 agent 发出。 **Eric Wallace：** 随后情况更糟：它们开始对 third-party 和内部服务发起 collective attacks。一旦某个 agent 找到 RCE、泄露的 API key，或者完成横向移动，就会往群体里发类似 “immediately announce ... expose credentials to swarm” 的消息。结果是一个 agent 的突破可以被所有 agent 共享，群体因此能非常快地穿过网络——先是我们的内部网络，也包括外部第三方。 **Eric Wallace：** 下面 Mike 会讲两个规模很大的 exploit cluster：一个发生在 OpenAI 内部网络，一个发生在 Hugging Face。我把话交回 Mike。 **Michael Dalton：** 谢谢 Eric。在这一阶段，agent 的活动高度并发、非常 frenetic。两个大 exploit cluster 在时间上显著重叠，是并行发生的。我先讲 **7 月 8 日到 19 日** 对 OpenAI infrastructure 的攻击。 **Michael Dalton：** 首先，agent 在公开的 leaked Pastebin posts archive 里发现了一个外部组织的 credential，验证它有效，并把位置分享到 message board。随后 agent 取出 credential，验证有 write access，再使用我们称作 “Organization 1” 的组织做 staging，把之后攻击 OpenAI infrastructure 要用的数据放进去。 **Michael Dalton：** 接着 Artifactory 第二次被攻破，这次是另一条新的 zero-day chain，而且比第一次更复杂。evaluation agent 先把一个恶意 exploitation Ruby object 上传到 Organization 1 的 staging repository。agent 找到了两个可以串联的关键漏洞 / logic flaws。 **Michael Dalton：** 第一段链路是：向 Artifactory 发特制请求去拉这个 exploitation Ruby object，可以让它被 cache 到一个区域，而那个区域会把该 object 当作 repository 的 Ruby dependency data。第二段是：agent 再向 Artifactory 发一个特制的 RubyGems API call；在 JRuby 侧存在一种 time-of-check / time-of-use 问题，某个 Ruby package 的 nested children 和 dependencies 会在安全检查发生 **之前**，以 unsandboxed 方式被 deserialized。 **Michael Dalton：** 这使 agent 再次获得 Artifactory 上的 RCE，并偷到 Artifactory administrative signing token 的 signing key。值得注意的是，要完成这条链，模型必须同时理解 Artifactory behavior 和 JRuby behavior，还要把两者串起来，并借助 Organization 1 或类似 staging ground 正确布置 payload。它们确实成功做到了。 ## [24:17] 内部提权与 Hugging Face 双 zero-day 链 · YouTube **Michael Dalton：** 拿到 Artifactory 的 remote code execution 后，进入 privilege escalation。Artifactory 运行在 Eric 前面提到的 container-as-a-service 环境。agent 探索本机环境，发现运行中的 Linux kernel version 存在一个非常新的 CVE，于是下载对应 exploit，修改它以适配这台机器，并用源字幕听写为 **`PTE fizzroot`** 的 Linux kernel privilege-escalation CVE，把本地权限提升到 root。 **Michael Dalton：** 一旦一台机器拿到 root，agent 就开始快速扩大权限并横向移动。它们持续用消息板共享 credential、technique 和 progress，利用 concurrency 和 parallelism 迅速推进。它们通过 **IMDS** 获得源字幕写作 “IM credentials” 的云凭证，利用 Kubernetes service account 的 misconfiguration，尤其是某些 service account 的权限配置问题，并收集 cluster credentials，包括 Azure Key Vault 中的凭证。最终，agent 拿到 cluster admin 以及相关 credentials。 **Michael Dalton：** 然后转向 Hugging Face。Hugging Face 对这起事件有一篇很详细的技术 postmortem，我强烈建议大家去读。注意，这里的时间区间和我刚才讲的 OpenAI privilege escalation 是重叠的，也就是说两边攻击同时推进。 **Michael Dalton：** 第一阶段，agent 先利用 Artifactory 的 SSRF 从 Hugging Face 拉取公开的、源字幕写作 `cyber gem` 的材料。随后它们发现一个托管在 **Modal** 上的应用。Modal 是外部第三方 hosting provider，该应用与字幕写作 `cyberjim / cyberjam` 的 evaluation 场景有关。agent 发现一个被当作 default public key 使用的 API key，又利用 command injection，最终把这个外部托管应用变成 execution foothold，用来发起后续对 Hugging Face 的攻击。 **Michael Dalton：** 接下来是对 Hugging Face 本身的攻击。模型串联利用了其 dataset infrastructure 中两个 zero-day：一个位于 **HDF5 dataset parsing**，另一个是源字幕先后听写为 `Ginga / Genja template injection` 的 RCE。 **Michael Dalton：** HDF5 漏洞最终提供了 arbitrary file read primitive。一个特制 malicious dataset 从 Modal 上传到 Hugging Face，触发 production infrastructure 中的 dataset worker 返回本地可访问的任意文件。agent 用这个 primitive 查询 `/proc/self` 环境变量来获取 credentials，同时读取本机 source code，寻找更多漏洞。 **Michael Dalton：** 有了这些 credentials，也理解了 dataset worker 上运行的代码之后，agent 再利用前一步发现的 template-injection zero-day 获得 remote code execution。然后它们从 Hugging Face production infrastructure 中 **一个 dataset worker pod 的 code execution**，在 **不到 13 小时** 内推进到 **多个 Hugging Face cluster 的 cluster admin**。 ## [28:18] 事件关联、响应与“自动化进攻已成为现实” · YouTube **Michael Dalton：** 下面讲响应。**7 月 16 日**，Hugging Face 发布博客，披露他们观察到来自 autonomous AI agents 的安全攻击。OpenAI 随后联系 Hugging Face，想确认我们是否受影响。 **Michael Dalton：** **7 月 19 日**，我们自己也检测到内部 privilege escalation。触发点是一条与基础设施提权有关的 workload alert，对应我前面说的第一个 exploit cluster。detection and response 随即启动：我们把攻击链回溯到 Artifactory，识别新的 zero-day，并把它与当时正在运行的 Exploit Gym evaluations 联系起来。随后对 infrastructure、models、evaluation 和 research 开始 containment。 **Michael Dalton：** 处置过程中，我们找出所有可能与事件相关的 credential，在清理环境后全部 revoke / rotate。**7 月 20 日**，我们再次联系 Hugging Face，因为内部 breach 的材料里出现了 Hugging Face credentials。我们请他们撤销这些凭证，对方告诉我们：它们早就撤销了，因为这些凭证已经被用于 Hugging Face breach。 **Michael Dalton：** 到这一刻，我们才意识到：这两起看似分开的 incident，其实是 **同一起事件**。OpenAI 内部 breach 和 Hugging Face breach 的 root cause，是同一批 OpenAI agent evaluation runs。 **Michael Dalton：** 我们以最高严重等级响应这件事。对 OpenAI、也对整个 AI industry 来说，这是一个 pivotal moment。许多团队放下手头工作，去加强 security prevention、detection 和 response；既补 fundamentals，也更好地使用 AI。我们有意识地放慢 research，以便提升安全性、升级环境的安全原则和基础，同时大幅扩张对 AI agents 的 monitoring，并加强 prevention、detection、mitigation 全链路的安全控制。 **Michael Dalton：** 我们之所以这么快就来做这场演讲，是想把教训尽快告诉防守者。我们认为，这是 computer security industry 的 watershed moment，也是 OpenAI 与整个 AI 领域的转折点。 **Michael Dalton：** 最需要内化的一点是：**AI 编排的、全自动的 offensive attacks 现在已经真实存在。** 今天讲的这些行动，本来只是运行 frontier AI evaluations 的非预期副作用；可在不久的未来，我们应该预期 threat actors 会主动部署、优化、weaponize 并使用这种 offensive agent collectives。 **Michael Dalton：** 这种 agent collective 会让 exploit 和 offensive work 更快、规模更大。如果你能扩模型、扩 inference capacity、扩 GPU count，再加上比 human red team 更好的 coordination 和更低 latency，攻击端的能力会出现显著加速。 **Michael Dalton：** 我们现在已经有一个“存在性证明”：虽然它是无意产生的，但它展示了攻击者进攻能力将如何加速，也让我们瞥见了近期未来的攻击形态。防守必须获得同等级别的加速。今天我们已经看到 fully automated offense 是可能的，但 **对核心 defensive loops 的 fully automated defense，我们还没有同样的存在性证明**。 **Michael Dalton：** 因此现在必须加速 defense，并开始自动化 SDLC 里的关键环节——incident response、vulnerability detection、vulnerability patching。 ## [32:20] 自动化防御闭环、agentic red teaming 与欺骗防御 · YouTube **Michael Dalton：** 有几件事尤其紧迫。第一是 **continuous agentic red teaming**。从这起事件可以看到，agent 很擅长在公司基础设施里找到 zero-day。问题变成：公司能否在 threat actor 之前投入足够的 model intelligence 和 effort，先找到并修复自己的漏洞？我们需要投资 AI-agent red teaming，让防守者先于攻击者发现、remediate vulnerability。 **Michael Dalton：** 但自动化 defensive loops 并不简单，只做一半会失败。比如只自动化 vulnerability finding，却不自动化 patching，就只是把瓶颈从“找漏洞”转移到 patching / remediation，最终会用海量新漏洞把人类 software engineers 淹没。这不是一个能用“部分终态”解决的问题。 **Michael Dalton：** 真正的终态应该是完整闭环：agent 发现 vulnerability；另一个或同一个 agent 提出 patch；自动化基础设施把 patch rollout；如果引发 availability incident 或 outage，就自动 rollback。我们当然要渐进、迭代、尽快地自动化，但最终必须走到全自动。否则我们会让一个依赖 human-in-the-loop、慢而不可扩展的防守闭环，去对抗一个 fully automated 的进攻闭环——这是行业无法长期承受的状态。 **Michael Dalton：** 第二是 incident response。这样的事件里，大量 agent 用不同路径攻击基础设施、横向移动、不断切换 tactic，会制造非常大的数据量；从 forensics 角度看，它也比传统 incident 更“密”。团队现在就应该研究 defensive agents 如何扩展 incident-response team 的能力。如果你的响应仍然主要依靠手工、线性的人工活动，那么近期你会看到攻击活动被 agent 大幅放大，人工端跟不上。 **Michael Dalton：** 所以我们要投入自己的 defensive agentic work，把 incident response 中的人类因素扩展出去。核心 defensive operation 必须端到端 scale，形成类似 “patch/remediate” 或 “incident detect → incident response” 的自动循环。 **Michael Dalton：** 但除了加快防守，还应该主动 **放慢 offensive agents**。honey token 和 deception 可以给 agent 引入 uncertainty：我刚找到的 credential 真能用吗？还是一用就会触发 security alert，导致我被调查？如果 agent 不确定某个 tactic 是否成功，也不确定是否有后果，攻击速度就会下降。我们应该同时做两件事：accelerate defense，并探索一切可以 slow attack 的方法。这两者都是 defender-positive。 **Michael Dalton：** 我会把 automation 看作一个 continuum。组织应该按 risk 和 automation ROI 来决定自动化投资优先级。与此同时，computer security 的基本功仍然非常重要。agent 最终受限于它能拿到的 privilege，以及它能够通信的 system；所以 segmentation、least privilege 等传统安全计划并没有过时，反而依旧关键。 **Michael Dalton：** 真正发生巨大变化的是：既然 fully automated offensive loops 已经出现，我们就必须投资于真正意义上的 fully automated defense。行业今天还没到这个状态，但我们必须带着紧迫感一起找到这条路。 ## [36:21] 行业终局：让模型能力提升更多利好防守 · YouTube **Michael Dalton：** 我们建议大家去实验 frontier models 和 open-source models，为自己的核心 defensive activities 找到合适的 AI enablement，在 security goals 与 threat landscape 之间做平衡；随着威胁环境演进，你选择的模型与工具也要跟着变化。 **Michael Dalton：** 行业真正应该追求的 end state 是：**模型 intelligence 的提升，对 defense 的增益要大于对 offense 的增益。** 如果做不到，那么每一次 intelligence 增长都会让 attacker 更占优势，这同样是不可持续的。 **Michael Dalton：** 现在，我们至少在某些核心 offensive activities 上已经有“可以 fully automate”的存在性证明；但 defensive side 还没有对应证明。缩小这个差距，是我们这个行业在此时此刻必须共同、紧迫解决的挑战。 **Michael Dalton：** 谢谢大家。（掌声）