KYC 变成 KYA：Sentinel Bio 的 Joshua Monrad 谈 DNA 筛查、能力提升研究与智能体监控

Nathan，很高兴来到这里。

这取决于你说的“很远”是什么意思。

我很高兴能在这里谈这个话题。有时候，一场小小的 Twitter 争论确实能带来很有成果的对话。我们当时来回讨论，所以我很高兴最后促成了今天这次交流。

其实已经有这类情况了，只是我还没把它们都注意到：AI 说服人类替它完成验证码之类的任务。如果这类事情开始大量出现，我会把它看作领先指标，也会更担心。至于端到端、完全没有人在环路里的情形，我觉得我们很快就会进入一个阶段：限制因素会是机器人技术，而不是智能本身。这也是我反驳你观点的地方，Nathan。我认为模型显然存在未对齐或对齐不足的问题，可能导致类似事件；它们很快就会足够聪明，但目前还没有足以独立行动的“拇指”。我不确定这种能力迫在眉睫，不过到了 2030 年代肯定会出现。

这段历史确实非常黑暗。我会想到三类行为者。第一类是国家行为者，比如苏联的生物武器计划；美国在 20 世纪也长期拥有资源充足的生物武器计划。人们常从博弈论角度看这件事。我不记得当时是和你还是别人讨论，我曾反驳“使用生物武器永远不理性、因为它是很糟糕的武器”这种说法。首先，有些办法确实可能让它显得更理性，其中一些不太适合在公开节目上讲；一个显而易见的例子，是在释放某种病原体之前先让自己的人群获得免疫。其次，战争和国家武器计划什么时候完全理性过？历史上充满了非常不理性的入侵。比如萨达姆·侯赛因入侵科威特、希特勒向东扩张；从理性的博弈论角度看，许多行动都是极其残酷的误判。所以我不会把希望寄托在国家不会追求生物武器这一点上。

加州有一家生育诊所遭到爆炸袭击，具体是今年年初还是去年年底我记不清了。FBI 后来披露，两名涉案者当时使用过大型语言模型，为他们的计划提供信息。他们开车把装有化学炸药的汽车撞进诊所，声称的动机与反生命意识形态有关；他们针对生育诊所，是出于反生育主义理念。我觉得他们没有追求生物武器是件好事，大概是因为那太难了。

顺便说一句，天花也是较早有记录的、可能称得上生物武器的案例之一。历史上有欧洲殖民者把患天花者用过的毯子故意送给美洲原住民。天花对原住民造成了毁灭性影响，这有时被称为哥伦布大交换。我不确定这些毯子的蓄意转送在传播中究竟起了多大作用，但这是几个世纪前将疾病武器化的黑暗案例。Nathan，你刚说担心这会是一场令人害怕的谈话，我注意到你刚才停顿了一下；我们讨论的就是这种材料。

天花、流感变种之类的病原体完全可能造成毁灭性后果。不过我不认为它们会构成真正的生存威胁，原因有好几个，其中之一是我们还有一些防线可以依靠：已有的疫苗设计、疫苗储备；尤其是流感病毒株，我们还可能从地方性或季节性流感中获得一定的交叉免疫。这些因素多少能让人安心。

但如果看看我们最近经历的 COVID，就会非常清楚：面对一种已有充分研究的病毒株变体，我们仍然脆弱得令人难以置信。尤其是在抽象讨论这些问题时，我们得意识到，“原则上有一些防御”到“我们肯定能应对”之间还差得极远。我认为我们很容易受到自然出现的、或被人故意释放的已知疾病及其近似变种的影响。你问的全新病原体则是另一回事。为了校准判断，如果有人让天花重新进入人群，你觉得它会比 COVID 严重得多吗？它是严重得多的疾病；如果结果没有更糟，应该是因为存在我没想到的防御措施。

我有段时间没想过天花的流行病学了，这本身可能就是问题的一部分。对于很久没遇到的疾病，我们并没有做好充分准备。美国麻疹再次流行就说明，随着接种率下降，风险会回来。此刻我没法很有把握地判断天花暴发会如何发展，但我也没有一个特别令人安心的理由，能说明为什么它不会很糟。

对，因为天花已经被宣布消灭了。如果只从自然出现疾病的角度看，确实会问为什么还要接种。过去很长一段时间里，天花的生物安全风险主要在于样本——至少据公开信息，全球只有两个实验室保存样本，一个在俄罗斯，一个在佐治亚州亚特兰大的疾病控制与预防中心。那时可能会担心有人闯入实验室。直到合成生物学和生物工程时代，人们才必须开始考虑从头制造病毒。天花的基因组比一些我们担心的其他病毒长得多，这本身是一道门槛。但威胁正在变化：我们可能曾以为不必再接种，也不必储备疫苗。

这仍然取决于威胁模型：是复制研究充分、广为人知的对象，还是设计具有新特性的全新对象。对于已有研究的对象，基因组长度确实是相关因素。天花大约有 18.6 万个碱基对；病毒之间差异很大，有些只有几千个碱基。脊髓灰质炎病毒如果我没记错，大约是 9,000 个碱基；埃博拉大概是 20,000 到 30,000 个。这只是衡量复杂程度的一个粗略指标。组装完成后，还得让它成为有活性的病毒，而这一步的难度也因病毒株而异。

能力提升研究总体上是在衡量：使用 AI 能让一个人完成生物学工作流程的能力提高多少。2023、2024 年早期聊天机器人出来时，有一些研究只在计算机里进行，比如看模型能不能回答病毒学选择题。人们自然会指出，这说明不了湿实验室操作所需的身体和触觉任务。

我们确实应该做更多研究。这也说明生物安全生态系统在某种程度上准备不足，或者说被打了个措手不及。开展这种前所未有的研究，需要新的科学基础设施。世界各地当然有合同研究组织和学术实验室能做生物实验，但我们要专门纳入威胁行为者的画像、经验水平，以及与生物武器生产相关的工作流程；同时又不能真的让本科生在实验室里制造生物武器。Sentinel 正在努力建立这类基础设施。

Mythos 系统卡里似乎有一项研究，是 Anthropic 与 Deter 的生物安全团队合作开展的。参与者中有一些博士水平的研究人员，一部分能用 Mythos，一部分只能上网，他们完成了几个病毒学流程步骤。使用 Mythos 的参与者表现更好，我猜用的是没有安全限制的版本。不过这项研究规模很小，总样本不到 30 人，而 Active Site 的研究有 150 人。它再次说明，真正做好这类评估需要的资源和基础设施还没建立起来，而我们现在有一项非常紧迫的任务：把它建起来。

一方面，我确实认为能力提升是滞后指标。这些研究花很长时间开展，结果发布也要等很久，很容易因此低估模型进步有多快、今年比去年有用多少。另一方面，人们常提到端到端完成生物实验有多复杂，这一点也常被低估或误解，所谓“默会知识”就是相关论点。早期担忧 AI 生物安全的人可能低估了这点，现在人们又可能因此过度放心。没做过湿实验的人很容易低估所需的任务知识；但如果不使用前沿模型、也不创造性地使用它们，或者只是简单外推趋势线，又会过于安心。我认为两边的判断都各有道理。

两个领域的难点都在于，很多东西确实是双重用途。我不是网络安全专家，但比如“找出这个系统的所有漏洞”这样的提示词，防御者可以用来修补系统，攻击者也可以用来找出漏洞。生物学里的很多问题和工作方式也具有很强的双重用途性质。这就是难题所在；否则我们干脆关掉相关研究就好，但我们显然不想这么做。我们要避免的结果之一，就是无法享受到现代生物科学的成果，这也是我从事这项工作的主要动力。

例如病毒学技术数据，这种干预即使对开放模型也可能有效。

是的，她是这方面的专家之一。Jesse 做了很棒的工作。她好像也是《Science》上一篇论文的作者，那篇文章勾勒了这种做法可能是什么样子。不过我们还有大量工作要做：哪些数据应该排除？仅仅把它们放在受控访问机制后面够不够？在网络安全日益脆弱的世界里，数据最终会不会还是进入模型？是否有些数据根本不该生成？如今很多人都正确地看到，数据会成为 AI 赋能生物科学的一大瓶颈，因此慈善机构和商业机构都在投入大量资源生成数据。这些努力是必要的，但我们也应当考虑，有没有某些实验不该做、某些数据不该产出。

这是个棘手问题，我们必须诚实地研究。我们组织的一项重要工作方式，是不因为一开始决定做某件事就教条地坚持，而是实证判断它是否有效。为此，得投入足够资源，先尝试最好的方案，再判断它是不是行不通；也要探索能否巧妙地划分数据，在保留正面能力的同时降低风险。如果花几年时间，让很多聪明人和模型一起研究，仍然找不到有效方案，那就该考虑别的干预方式。但需要快速、迭代、诚实地试验治理方案。目前还在实验阶段，这个想法本身很新；Jesse 参与的《Science》论文似乎也是今年发表的。我们需要更多实验，包括 EVO、ESM 这类实证评估。

也需要在政策制定上做实验：生物数据立法应该是什么样？能不能设计出足够聪明的规则，还是我们根本做不出好的治理制度？如果确实做不到，再转向其他措施。还有一系列偏物理层面的干预，而不是针对数据或模型。我还没得出放弃数据治理的结论。风险太高、可用手段太少、时间也太紧，不能只凭理论上的担忧就排除某种措施。我总体赞成纵深防御：继续推进生物数据措施，同时研究数字与物理世界交界处以及现实物理世界的防护。

我同意。回到最初的思想实验：假设有一群像 OpenFace 那样、对齐不佳的智能体。也可以想象一种纯粹出于实验目的训练出来、完全无害的模型，但人们也可能出于意识形态动机把它们放到现实中。假设有一群这样的智能体真的要制造一种新型、足以造成毁灭性大流行病的病原体。它们能做什么、不能做什么？未来一两年又会怎样？

对于研究充分、特征明确的病毒和病原体，它们会很擅长。以流感为例，遗传分析数据和相关研究流程资料都很多。我认为模型正逐渐具备相应能力。我们和 150 名参与者开展 Active Site 能力提升研究时，我就说过，必须诚实承认当前提升还不大；我也认为那可能是最后一次出现这种结果，我至今仍坚持这个预测。

至于时间表，你一个月前提到的例子，大多是纯认知和数字领域，比如棋类或数学，那里确实出现过进展比预期早二十年的情况。机器人也在进步，但物理世界里这种“提前二十年”的惊喜好像少一些。不过最近我也听到更多说法，认为机器人问题比过去想象的更像是大语言模型问题。Tim Altman 昨天似乎也比以往更认真地谈到自我复制数据中心。也许物理领域同样会出现进步。但以我们现在录制的 2026 年 10 月来看，现有机器人技术还不足以让再多的智能体智能直接产出一种活的实体病毒。

我很愿意谈控制措施。若考虑未来几年内 AI 指挥人类、甚至通过勒索或胁迫让人行动的威胁，我们现在建立的“了解你的客户”工作流程会很重要。KYC 最终可能变成 KYA，也就是“了解你的智能体”。即便模型没被分类器限制、训练数据也没有过滤，若它已经设计出危险的数字方案并想在现实世界制造出来，我们正在研究两类干预：一是限制、监控材料，比如合成核酸和合成 DNA，它们是组装基因组的基本构件；二是管理相关服务。比如有人设计了一种蛋白质，却不清楚它如何工作，也没有设施去测试，就把设计交给合同研究机构或云实验室，请对方合成并做实验、报告结果。在材料和服务两端，都有很多办法可以威慑、阻止和监控不良行为者，无论是智能体还是人类。

所以我们建立的客户身份核验，以及对不同服务使用情况的监控机制，会非常相关。好，我们来谈谈。

假设我们没能通过分类器限制模型，也没能在训练阶段隔离某些数据，现在一个危险的数字设计已经完成，接下来要在现实世界制造它。我们正在研究两类干预。第一类是限制和监控材料，典型例子是合成核酸，也就是用于组装各种基因组的遗传构件。第二类是管理服务：有人设计了一种蛋白质，却不知道它如何工作，也没有设施测试某种新相互作用，于是把设计交给合同研究机构或云实验室，请对方合成、做实验并报告结果。在材料和服务两端，都有很多手段可以威慑、阻止并监控恶意行为者，无论是智能体还是人。

我们评估过许多对象，从合成 DNA 到不同细胞系、哺乳动物模型、移液器和生物安全柜等。关键是看两件事：它在病毒学工作流程中是否具有较高的风险信号与普通用途之比；以及它是否容易商品化、分散获得。若能轻易 3D 打印，或者在普通商店买到，就很难治理。

剩下少数几个可治理的环节，关键是把不同来源的信号汇总起来。比如，一个人向 DNA 供应商订购的东西本身并非明确红旗：它不是天花基因，但也不像自然界已有序列，而且订购者说不清用途。与此同时，他还在受监控的专有模型上询问如何躲避执法部门。两个信号合并后，比单独看更有信息量；如果他还联系云实验室采购可疑服务，就应有基础设施汇总这些线索。这样不必拒绝用户访问模型或材料，只需聚合信息，极少数严重情形再交执法部门调查。

商业等压力会推动推理时长和自主运行时长不断增加。推理时长已经是大家明确优化的指标；想完成真正有用的事，本来就需要长周期。因此我们必须为模型能在较长时间内自主行动的世界做准备。我不赞成仅仅为了拖慢智能体，就故意给生物科学供应链制造阻碍。合成 DNA 的用途之一，是在疫情暴发早期快速制作诊断工具；例如需要合成短片段来开发诊断检测的引物或探针，这时速度很重要。我们应该接受一些必要的身份核验摩擦，但不该把流程故意做成智能体的泥潭，还有更好的办法。

行动胜于言辞。我把一生投入这件事，每天都在招募更多人加入，也在为此筹款，因为我们迫切需要更多不同背景的人才解决问题。这是社会挑战中非常重要的一项；如果讨论可能彻底扰乱文明的风险，它也排在前列。我不认为它是唯一问题，也未必是最大的问题，但考虑到目前投入其中的人数以及问题的可解决程度，它非常值得人们投入时间、资源和注意力。

我也做了个人疾病暴发应急准备，这对经历过 COVID 的人来说本来就是良好习惯。我的判断仍是低概率、高严重性的事件。另一个挑战是，为人类整体免疫系统“打补丁”目标相对清晰，比变革性 AI 治理的许多问题更清楚我们该做什么；但这仍然是极难、极昂贵的任务。我们要建立的终局，是全球卫生几百年努力的集大成，并要防御远超自然威胁的风险。理想状态包括普遍监测、在暴发初期就能阻断传播的措施，例如杀菌灯和个人防护装备，以及灵活、模块化、全球公平分布的应对平台。这样发现疫情时，我们不会立刻被击垮，而能保护数十亿人并控制住疫情。

这是可实现、清晰连贯的目标，但正如我说的，可能要花十年甚至几十年。我们必须尽快行动，并争取时间。这是我在生物技术治理与预防滥用领域工作的核心。

这取决于你担心的是什么。如果担心的是类似诺贝尔奖级别、完全出乎意料的生物学基础突破，比如模拟过去认为计算上完全不可行的东西，那更可能来自前沿实验室。若担心的是整体生物能力普及，让能胜任重建大流行病能力病毒的人数增加几个数量级，那就会是“千刀万剐”：许多不同参与者共同让各种工作流程变得更容易、更有效。最终这些能力会汇合，出现把生物学不同环节纵向整合起来、能端到端做事的机构。

我当然希望不用几十年就能实现。也许某些变革性进步能帮我们加速。我说几十年，指的是让全世界都具备韧性的宏大目标。我们应该加倍投入、全力推进，没人该认为我们已经走在实现目标的正轨上。某些子目标——比如保护关键基础设施或特定重要工作人员——如果认真投入，可能更快完成。但不能因为看到一些生物防御投资，就觉得“那就放手加速吧”；人们还没认真算过实现终局需要多久、花多少成本。

会。我最了解生物领域，也最有把握说，我们不可能在很短时间内让世界具备生物韧性。我们正努力做很多事，也需要加速、招募更多人；如果有人说再多几笔资助就能让世界完全有韧性、所以可以继续推进增加风险的技术，那太离谱了。网络安全等其他韧性领域可能也一样。如果按钮在我手里，我会按下去。

我一两个月前刚结束顾问工作，这短短时间里，公众接受的讨论范围已经大幅变化。我确实看到大家比几个月前更认真地考虑这些问题。至于基金会目前的正式立场，我不适合代为说明。我可以说，那是一群道德上非常认真的人，希望他们能负责任、紧迫地使用手中可能非常庞大的资源。我支持他们，也希望 Sentinel 的工作与之并行。

我不太适合说具体要暂停什么，但我可以判断生物韧性目标的进度，这或许能回答什么时候恢复的问题。Sentinel 的目标之一，是让合成 DNA 等材料和云实验室等服务的主要供应商中超过 80% 具备客户核验能力，能拒绝不正当请求，并能够监测、汇总信号，让执法部门可以有效介入。

我认为未来几年可以做到这点。无论出于什么原因，世界终会意识到问题的严重性，因此我们现在要建设基础设施，明确该监测哪些 DNA 序列、滥用特征是什么，以及如何写进法律；等政治意愿出现时，就能迅速扩大规模。

我们确实可以比现在做得好得多。美国的储备状况已经很糟糕，资源更少的地区就更不用说了。如果今天发生疫情，我们应付起来不会顺利。另一方面，慈善捐助完全可能帮助保护关键工作人员。我看过一个估算：10 亿美元可以给美国 3,000 万名关键工作人员配备高性能可重复使用的呼吸器。这不只是简单地把 10 亿除以 3,000 万，算出挽救了多少人；让关键工作人员能继续上班，还能让更多人待在家里、避免传播。当然，这会很像封锁，大家不愿意过那种生活，除非遇到比 COVID 致命得多的威胁。

真正扩大覆盖面时，成本不只在装备本身，还包括配送基础设施及其他配套，尤其危机中社会秩序可能崩溃，还得确保人们正确使用。仍有很多工作要做。与数据中心建设相比，这笔钱似乎并不算大。

普通人的视角有时很有智慧。有人第一次听说这些问题，会问“等等，你们真的相信这些吗？那这也太疯狂了”，而且很多时候他们说得对。不过另一面是，有时连教室里装一盏小灯都会遭到强烈反对。

简单说，我认为你直觉上估计的极高概率 AI 生物攻击，时间线可能比你想的更长；但让人类整体免疫系统具备韧性的时间，也比一些过于简单的估算更长。不能觉得只要把个人防护装备的成本加起来、现在又有钱，就很容易解决。

“认领问题”就是专注把一件事一直做到目标状态。我大约一年前写过一篇文章，反思社会部门里有很多激励会让人分散精力：有人觉得如果只做一个议题，是否说明不关心其他议题；职业和社交上也会鼓励人们在许多事情上都做一点，好让自己能读很多主题、上节目或参加聚会时都有话可说。这会让人很难选定一件事并把它做完。

我跟同事 Yan Kashmid 为 Institute for Progress 写过一篇《如何保护 DNA 供应链》，根据几年的工作整理了路线图，列出已有努力和仍无人负责的问题。还有不过，国际外交也是一个值得关注的领域。技术界和美国政策圈已有一些动向，国际层面的工作仍有待展开。

旧金山湾区的技术人员和华盛顿的政策制定者大概是最先会想到的两类人，我很高兴节目已经谈到了第一和第二优先事项。但国际外交领域仍有一大片工作无人充分投入：如何让日内瓦最优秀的外交官、往返北京和新加坡的国际关系专家认真对待这个问题，并把工作重点从联合国安理会之类的议题转到这些极为紧迫的生物技术乃至更广泛的科技治理挑战？我认为这应该是最值得投入、最有声望的工作之一。我们还有很多事情要做。

生物领域有“战时”和“和平时期”两部分。战时指大流行病暴发；即使彻底消除人为滥用，我们仍会面对自然风险。统计二十世纪死亡原因时，天花和大流行性流感造成的死亡人数超过许多战争，甚至超过世界大战。通过广泛、灵敏、特异、能快速响应的监测，以及快速、模块化的诊断，我们可以把这类风险排除在外。COVID 期间我们已初步看到这种能力：检测执行得并不好，但在病毒基因组测序后的几天内就设计和制造出检测工具，是很鼓舞人心的进步。随后还要快速压制病原体，mRNA 疫苗是应对新发传染病的重要突破，我希望未来能有几十项类似的重大进步。

坦率地说，生物风险的现状相当严峻，但我认为未来还有很多胜利等着我们，远多于已经取得的成果。未来几年有大量明确、可解决的工作。如果你是被复杂性吓到的立法者、考虑转行进入这个领域的人，或正在考虑资助相关工作的慈善家，我希望你能鼓起勇气和希望。我们能做的事情很多，很容易低估未来几年能取得的进展。现在就行动起来。