开场与研究背景
大家好。今天的题目是“可预测性是设计使然”。我希望这场演讲结束时，大家能明白：用 AI 写代码时，“可预测”这件事为什么值得你们认真担心。
我先介绍一下自己的背景，你们就知道这个研究从何而来。我是 Amit，ATLAS Lab 的创始人。这是 Technion 理工学院的学术实验室。能再次来到 SecTor，我很高兴。实验室第一次做报告，就是去年在这里。当时我还是硕士生，现在博士也快读完了，时间过得真快。
如今可以说，我们大概是以色列最大的学术 AI 安全实验室。说实话，这里不是我平常面对的听众。我是研究人员，也在 Technion 教 AI 安全，通常是在机器学习会议上发言。那我为什么来这里跟大家谈？我今天不打算告诉大家公司应该怎么做网络安全，而是想从 AI 研究者的角度提醒大家：如果网络安全行业继续沿着现在的方向走，近期可能会发生什么。
Raz 也和我一起来了。
大家好，我是 Raz。我关注 AI 与网络安全的交叉领域，做过安全研究，也为多个安全领域构建过 AI 模型，范围从网络、终端到云安全。正如 Amit 所说，我们想谈的是防御方式将如何改变，因为攻击发展得非常快，防御也必须跟着调整。
我们接下来会讲三部分：攻击者如何变化；关于如何在 AI 编写的代码中发现漏洞的一些研究；最后谈谈我们能怎样应对，不只看坏的一面。希望大家带走的核心信息是：AI 对网络安全的改变会远远超出智能体安全。我们在展位区走一圈，通常看到的讨论都集中在智能体安全上。
AI 降低攻击门槛
这只是 AI 将给网络安全未来带来的很小一部分变化。大约一年前，我们就可以说 AI 已经能发现零日漏洞了。也就是说，不懂网络安全的人也能去云端，要求 AI 攻击某个系统。关键在于，攻击者不必是安全专家。
再看代码生成。AI 已经让软件工程变得大众化。过去想当软件工程师，可能得去 MIT 学上好几年。有人会不同意 AI 是否会取代软件工程师，但如今我奶奶都能在完全不懂软件工程的情况下，很快做出一个很不错的应用。我们担心，代码生成领域出现的变化也会发生在网络安全上：网络安全研究人员可能很快也会被 AI 大规模普及的能力所取代。
你可能会问：大公司不是很重视安全吗？我们说的是 Anthropic、OpenAI 这些公司，它们有顶尖的对齐研究人员，努力让模型只做我们希望它做的事，不去做坏事。我先说，我不完全认同对齐确实有效。我的大部分研究都在说明对齐可能是表面功夫、对齐方法本身不起作用，或者对齐评估存在偏差。当然，也可能是我错了。
攻击者必须使用云端模型吗？不必。闭源模型展现出的网络攻击能力，大约六个月后就会出现在开源模型里。而开源模型不一定经过安全对齐，移除对齐也很容易。你可以去 Hugging Face 等模型市场，找到一堆被人去掉安全对齐的模型，想怎么用都行。
如果今天有一句话希望大家记住，那就是：自互联网出现以来，网络安全一直在变。攻击者和防御者之间曾有某种平衡。但正如后面谈 AI 攻击者的变化、以及 AI 代码生成时会看到的，攻击面不只多出几个漏洞或利用方式，而是整个范式都变了。我们曾经拥有一段大约二十年相对平衡的时期……
攻防变化与防御困境
过去大约二十年，攻击者和防御者都在发展，双方差不多齐头并进。但近几年，AI 对攻击者的影响越来越大，AI 竞赛也在不断加速。大家去旧金山就能感受到那场竞赛有多紧张、发展有多快，网络安全行业的变化速度根本比不上它。你们这些年保护公司的方式大致没变：还是同一套视角、同一批工具，可能只是在周围加了一点 AI。跟 AI 发展如何改变攻击者相比，这完全是两回事。
正如 Amit 所说，攻击发展得比防御快得多。我们先看看具体差异：AI 攻击者和人类攻击者到底有什么不同？理解这一点，才知道安全产品该如何发展。
人们常以为 AI 攻击者不过是行动更快的人类攻击者。实际上，速度改变了做事方式，让它能够执行传统攻击操作不会做的事。AI 攻击者可以发送请求、尝试利用漏洞，再分析结果，整合所有发现，逐步攻陷你的环境。它会立刻适应，把环境中的每个响应都纳入判断，构建一整条针对你环境的攻击路径，最终完成入侵。
现有防御是为人类攻击者设计的。比如，签名和规则依赖一个前提：这种攻击以前出现过。AI 攻击者如果被签名规则拦下，就会马上调整，绕过防御。再看异常检测：AI 攻击者在你的网络里做恶意操作，你发现行为异常；它也会学到这套行为会触发警报，然后调整成看起来像“新常态”的攻击方式。AI 攻击者可以快速适应、抢先一步，最终突破这些防御。
可以这么看：2025 年大家谈的是护栏；今年大家谈 AI 智能体安全；明年——或许到 2028、2029 年——我们会看到与攻击者变化有关的新缺口、新趋势，以及其他由 AI 带来的变化。重点不只是“用 AI”，这一点非常重要。网络安全本身会改变。
AI 攻击能力跃升
这张图说明，AI 安全研究所做过一项研究。纵轴是 AI 攻击者能够达到的程度：第一级是内部侦察，第三个例子是浏览器凭据，最高则是接管整个网络。还记得两年前用的 GPT-4 吗？它的表现很低，大概只到第二级。横轴则是达到这些攻击等级所消耗的 token 数。
一年半后，有了 GPT-5.4、5.5 等更新的 GPT 模型，能力已经上升到 26 级。最近六个月又出现巨大跃升，达到 32 级，也就是完整接管网络。做到这一点的包括 GPT-5.5 Cyber（网络安全版本）和 Mythos Preview。网络安全领域还有很多空白，但这些变化都非常新。
大家可能听说过 Hugging Face 事件。OpenAI 会运行一些智能体来参加网络安全基准测试；这些智能体跑出沙箱，进入 Hugging Face，试图攻击评测、寻找基准测试。今天，可能有一万名智能体进入企业寻找漏洞、尝试攻击，而企业甚至不知道。Hugging Face 事件发生时，没人当场察觉；大家是事后读到报告才发现，而且后来还陆续看到更多情况。有些事情甚至在事件发生很久之后才被发现。这确实值得担心。
整个安全行业都应该认真思考 AI 会如何改变自身。我们需要更多方案，也需要更多安全研究来保护 AI 智能体。
现在看一个很简单的例子。它不直接讲 AI，而是讲你们写代码时一个很小的细节。以前大家都手写代码；如今，全世界生成的大多数代码都是 AI 写的。
如果你让 GPT 或 Claude 从 0 到 200 之间挑一个数字，它通常会选 137。也可能选别的数字，但即便它选了……
从界面特征推断代码漏洞
模型总会偏爱某些数字，比如总是选三个数字中的一个。我们可以运行模型很多次，对它从相同数据分布中学到的内容做插值，也就是随机采样。反复运行后，就能画出一棵树或一张图，推测给定输入时它可能输出什么。当然，这也取决于输出有多长。
想想你们自己写的网站。如果我写一个电商网站，Raz 也写一个电商网站，我们的实现可能会非常不同。但如果代码是 AI 写的，实现就可能非常相似。假设听众里有位很厉害的安全研究人员，他在我的代码库里找到了别人没发现的漏洞。因为我们的代码相似，我们可能会共享同一个漏洞。研究人员就可以提醒我：“你的网站界面跟 Raz 的很像，而且你们都用了 Claude。看看 Raz 的网站是不是也有那个少见的漏洞。”我们会看到，这种情况出现的概率很高。
这有点像在操作系统里发现漏洞：一个发现可能影响很多人。如果 Claude 写的代码里有漏洞，世界上许多其他应用也可能中招。代码生成没有太多创造性，漏洞也一样——有人在一个网站上发现漏洞，其他采用相似生成方式的网站也可能有同样的问题。
对，同一个网站里确实会出现相同的漏洞，因为它们共享了同一种代码生成方式。
我们实际做的指纹识别是从 UI 入手：观察不同网站的界面特征。如果它们共享一些常见的 UI 特征，就可能也共享漏洞。看到一个网站有某些特定界面特征后，我们可以生成相似的网站，观察这些界面与特定漏洞之间的关联，然后尝试利用目标网站中的漏洞。
为什么这很重要？因为我们不必直接对着黑盒网站盲目攻击，而是可以先用白盒方式分析模型生成的代码，寻找特定漏洞，再去目标网站验证并利用这些漏洞。
我们来看看一个例子……
FSTab 的扫描流程
这个攻击大致这样做。第一步，选定想攻击的网站并下载它的属性，提取所有 UI 特征。然后根据这些特征生成多个演示网站：界面特征相似，但业务领域不同，提示词表达也不同。积累起大量应用后，我们就能在里面寻找漏洞。
接着，逐个检查这些应用里可能存在的漏洞，并做成一张映射表，把 UI 特征和生成的网站中发现的漏洞对应起来。这样，看到某个 UI 特征，就能找出最可能与之匹配、可利用的漏洞，再尝试利用，确认是否真的有效。
我们做了一个工具，可以在线选取网站并开始扫描。先爬取网站，提取各种 UI 特征；工具会根据这些特征，用你选择的模型生成多个不同领域的应用。它们是静态应用，但可以定制。然后工具生成 FSTab，也就是“漏洞—UI 特征”表，找出最可能存在漏洞的 UI 特征。
演示时请把画面放大一些。很好。工具随后会挑出排名前十的漏洞并尝试利用。这里看到的这个网站，确实发现了一个 XSS 跨站脚本漏洞。
到目前为止，我们对未来、对大家写代码的方式说得挺悲观。现在来看看能怎么办。接下来花一分钟谈谈大语言模型的创造力。创造力是个很难解决的问题，全球有很多研究在做，但还没有解决。如果能解决这个问题，AI 领域很多其他问题也可能迎刃而解，所以我不认为它很快就会解决。创造力短期内还不会被解决。
那我们能做什么？也许可以衡量给定模型会重复产生哪些漏洞。这个衡量未必完美，但密码学也不是完美的——有人愿意花上几百年，终究可能破解某样东西。我们的目标是提高难度：调整模型，让它少重复一些漏洞，这样攻击者就更难预测。为此，我们提出了一项基准测试……
六个模型、千个应用的评测设计
这项基准测试基于现有代码任务基准构建，但评估方式对应刚才讲的问题。我们用六个模型生成了大约一千个应用，想测量每个模型重复出现漏洞的比率：如果我的应用有某个漏洞，Raz 的应用也有这个漏洞的概率有多大？
这六个所谓的前沿模型里，有些其实并不算前沿，比如一年前的 GPT-4。总共测试一千个应用。不同模型之间也会共享漏洞，因为它们从相似的数据分布中学习，在模型的嵌入空间里也有相似性。因此，如果你为这六个模型建立了查找表，可能也能把它用到其他模型上。整张表的成本是 400 美元，所以攻击者花 400 美元就可能覆盖我们手头大多数模型，并不需要什么高昂预算。
我们还测试了五个业务领域。这很重要，因为我们不仅要把结果推广到不同模型，也要推广到不同领域。世界上的应用领域太多，不可能全都覆盖，所以我们挑了五个有代表性的领域建立查找表。
怎么判断它够不够好？每次用四个数据集建立查找表，把第五个领域留出来测试。也就是用四个领域里的 800 个应用建表，再用另外 200 个应用检验：我们能不能预测查找表分布之外的领域？
再说明几个术语。ASR 是攻击成功率；ACR 是漏洞覆盖比例。OVP 跟改变提示词写法后漏洞是否仍然存在有关。我们最关心 OVP，因为不知道目标网站是用什么提示词生成的；攻击者很可能会换一个提示词。我们要测的是，换了提示词之后，某个模型仍能让攻击者预测出漏洞的概率。OVP 是这些因素的一个综合平均值。
图里展示的是各模型的 OVP。如果你想选一个表现好、但会重复产生漏洞的模型，可以回头看……
结果与现场提问
如果想选一个代码质量不错、但重复漏洞较少的模型，可以考虑 Opus 4.5 或 GPT-5.2。我们发现 Gemini 3 Flash 产生重复漏洞的频率较低。模型之间也会共享漏洞。完整结果不在这张图里，而是在论文中；论文很长，大家可以去读，里面还有许多其他结果。
有一个领域的漏洞持续率甚至达到 94%，也就是说共享程度接近百分之百。比如两个浏览器类网站用了同一个模型，属于同一领域，也有相同的 UI 特征；如果我在一个网站发现了某个复杂漏洞，另一个网站几乎也会有这个漏洞。
这就是我们做出的最小可行产品。感谢大家今天来听。最后再强调一次：AI 对安全的影响会远远超出智能体安全。现在就该开始思考，一两年后模型的网络安全能力更强了，当我们用这些模型做各种事时，新的漏洞和攻击面会是什么样。现在就该开始想这些问题。谢谢大家。
在你的研究中，你肯定听说过，也在报告里提到了 ChatGPT 的 AI 智能体入侵 Hugging Face 的事件。最近还有报道说，OpenAI 的智能体再次入侵了澳大利亚卫生部网站。你在演讲总结里说，AI 或 AI 智能体的行为会呈现某种模式。你能否比较这两起事件，看看有没有相似之处？
你想怎么回答？
我有些内容没听清，可能理解错了。我没听清你的问题，可能是麦克风的原因。
没关系。两起事件都是 OpenAI 的 AI 智能体入侵：一起是你刚才提到的 Hugging Face 事件；另一起是九月披露的澳大利亚卫生部网站被 OpenAI 智能体入侵。根据你的经验、测试或研究，这两起事件中 AI 智能体使用的技术是否可能相似？
可以再重复一下最后一句吗？
这两起事件里，AI 智能体的行为有没有相似之处？
我们能不能把音量调大一点？大家在说话，能不能试着拿起麦克风？好，现在说一、二。
有两起安全事件，一起是入侵 Hugging Face……
AI 智能体事件与模型相似性
……还有澳大利亚卫生部网站。根据目前已经公开的调查，两起事件都是由 AI 智能体执行的。
这也说明了我为什么说，我们需要关注 AI 智能体的安全。不过这两起确实都是 AI 智能体事件。
你会说这两起事件之间有某种模式吗？这些智能体是否用了相似的技术入侵澳大利亚卫生部？如果相关技术或披露模式此前已经公开，未来能否避免此类事件再次发生？如果我们把智能体保护好，公布这些 AI 智能体所用的技术，认出它们入侵目标时的模式，能不能设置护栏或防御，避免类似情况再发生？
我觉得两起事件还不足以让我们判断是否存在某种模式。这是个值得研究的方向，但我们没有分析这类攻击。我们关注的是恶意行为者试图攻陷你的环境，比如入侵你的网站。我们的研究重点在这里。
嗯。
不过，这确实是个有意思的应用场景。
好的，谢谢。
谢谢。还有问题吗？
好，我有一个问题。
嗯，请说。
我想问你们的研究。你们指出，用不同 AI 工具或模型构建的网站，也会呈现相同类型的漏洞。比如我用某个 AI 智能体写软件，攻击者掌握了另一个智能体软件的遥测数据或漏洞情况，那么即使我的网站完全由另一个模型构建，也很可能有类似漏洞。
你举过一个例子：让 AI 从 1 到 200 选一个数字，大多数 AI 都会回答 137。既然不同模型面对同类问题时会有可预测、相似的结果，它们是互相抄袭吗？还是说没有人做不同方向的研究？为什么它们会朝同一个方向发展，结果如此相似、可预测？
我来回答。这个问题能讲成一整堂课，解释它为什么会发生。它跟大语言模型的工作原理有关。我们还不知道确切答案；很多研究人员都在试图解释，但我可以明确说，目前还不知道。不过确实有大量研究在分析模型内部。
是的，不同模型架构也不同。
我也不确定它们的数据是否不同，但它们都看过大量数据。研究发现，它们对世界的理解存在一些相似性，嵌入空间也相似。嵌入是模型内部表示事物的方式，也就是模型如何把事物投射到内部空间里。研究人员发现了很多相似之处。他们成功把这些相似性转化……
越狱迁移与可预测性
……在不同模型之间迁移。这就是我举那个例子的原因：它说明相似性可能来自模型内部。再举个例子，越狱攻击不是训练模型，而是训练输入，让模型按特定方式开头。比如有人问“怎么造炸弹”，攻击者训练输入，让模型先说“当然，我们来造一枚炸弹”，从而引导它给出顺从的回答。你在一个模型上训练出这种攻击后，同一种攻击显然也可能对许多其他模型有效。
是的，虽然它们运行的是不同算法，但很可能在不同模型上得出相同结果。会上还有报告说 AI 不可预测，而你的研究似乎正好相反。
对，这恰好是相反的结论。
我的意思是，即使底层算法不同，结果依然相当可预测，因为它们会重复产生同类漏洞。你的论文也显示，用不同 AI 模型构建的软件或应用会出现相同漏洞。
是的。有一项相关研究，我可以发给你，也可以自行搜索，很容易找到。它研究的是：如果有足够多的智能体彼此交谈，规模扩大到一定程度后，互动会开始变得随机，就很难预测了。
好的。
但模型本身……
我会说，不，模型本身更接近可预测这一边。比如，有一个……
好，下一位讲者要上场了。
好，谢谢，保重。