--- id: "WueUrPQFVaI" title: "KYC 变成 KYA：Sentinel Bio 的 Joshua Monrad 谈 DNA 筛查、能力提升研究与智能体监控" channel: "Cognitive Revolution \"How AI Changes Everything\"" host: ["Nathan Labenz"] guests: ["Joshua Monrad"] date: "2026-11-05" updated: "2026-11-06" duration: "1:43:54" duration_seconds: 6234 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=WueUrPQFVaI" canonical: "https://pod-exp.pages.dev/WueUrPQFVaI/" transcript_jsonl: "https://pod-exp.pages.dev/WueUrPQFVaI/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["生命科学","AI 安全","AI 智能体","模型评测"] series: ["AI 研究前沿"] --- # KYC 变成 KYA：Sentinel Bio 的 Joshua Monrad 谈 DNA 筛查、能力提升研究与智能体监控 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Nathan Labenz 与 Sentinel Bio 联合创始人 Joshua Monrad 讨论 AI 带来的生物安全风险。他把风险分为人类自行制造、AI 提升人的能力、AI 借助社会工程利用人类，以及完全自动化行动四个阶段，并回顾国家与非国家行为者使用生物武器的历史。两人讨论湿实验室能力提升研究、默会知识、多模态数据和开放模型治理，也分析 DNA 合成筛查、客户身份核验、云实验室监测等现实关卡。Monrad 认为，短期内已有研究充分的病原体更值得关注，而全球生物韧性需要多年甚至数十年建设；他支持在安全条件成熟前暂停相关前沿 AI 发展，同时呼吁把检测、个人防护、疫苗平台和公平分配作为明确目标。 ## [0:02] 本期介绍 · YouTube **Nathan Labenz：** 欢迎回到《认知革命》。今天的嘉宾是 Joshua Monrad，他是 Sentinel Bio 的联合创始人兼执行董事。这是一家致力于让大流行病在我们有生之年成为历史的生物安全非营利组织和资助机构。他直到最近还担任 OpenAI 基金会的生物安全顾问。 这期节目源于一条推文。我注意到，最早使用如今声名狼藉的 OpenFace 论坛的智能体之一似乎在做某种蛋白质相关任务，于是我猜测，我们离第一起由 AI 助推的生物攻击究竟还有多远。包括 Joshua 在内的几位知名人士提出了反对意见。值得注意的是，他认为目前发生这类事件的风险仍然很低，但也预期在不太遥远的未来，风险会大幅上升。 在深入讨论前，先说明一点：Joshua 和许多选择把职业生涯投入 AI 风险管理的人一样，本质上是技术乐观主义者。他的动力不只是预防大流行病这一崇高目标，也来自积极的愿景：消灭传染病、有效治疗慢性病，当然还包括治愈癌症。生物灾难可能严重阻碍文明发展，或者引发生物技术反弹，让许多潜在益处无法实现；正因为这个光明未来可能受到威胁，我们今天的大部分谈话才会聚焦于 AI 相关的生物风险、眼下保护我们的天然屏障，以及随着我们建造可编程湿实验室并训练 AI 使用它们，这些保护如何逐渐削弱。 我们先谈生物武器为何难以制造，Joshua 把风险分成四类。第一类完全由人类制造。迄今保护我们的主要因素是，想要成功实施这类行动，需要相当高的资源可及性和专业知识；两者都很稀缺，而且都与心理状态稳定性密切相关。 AI 相关风险中，首先是 AI 帮助更多人造成灾难性后果，这一点我们已经在网络安全领域看到。衡量这种所谓“能力提升”的研究目前还没有发现重大危险。不过，正如你们会听到的，Joshua 预计下一轮实验会显示出真正的风险。 其次，AI 也可能自行推动生物武器的制造：可能是模型在根本意义上出了问题，也可能只是为了追求某个狭窄目标而失控，正如我们在 OpenAI 论坛事件中看到的。Joshua 认为，AI 系统很快就会有能力做到这一点，甚至可能已经具备能力；但他仍然相信，目前它们缺少独立完成此事所需的现实条件。 这样一来，第四类风险也就浮现出来：AI 可能通过付钱或其他社会工程手段，驱使人类替它完成关键的现实世界任务。这件事对 Joshua 的震慑似乎不如对我那么强，不过放在整体发展方向里，这或许只是个小细节。 Joshua 的核心判断是，我们不能只在 AI 层面控制 AI 相关生物风险，而必须建立纵深防御策略：既要控制 AI 系统，也要加固物理世界。基于这个思路，我很想了解 Joshua 的资助框架：先设定成功路径，再倒推今天需要投入什么；他和团队还系统评估了数百种可能的干预措施，最终决定把大量精力用在推动全球 200 家 DNA 合成公司落实合成前筛查、“了解你的客户”以及信号共享措施上。 ## [4:02] 本期介绍（续） · YouTube **Nathan Labenz：** DNA 合成前筛查、“了解你的客户”和信号共享措施。令我意外的是，Joshua 认为，只要这些公司中有 80% 采用这些措施，整体生物安全形势就会显著改善。与此同时，他也谈到桌面 DNA 合成仪带来的风险正在上升。这只是许多目前无人负责解决的问题之一，也许听众中会有人因此受到启发，愿意接手。 关键问题在于，按照当前的发展速度，我们会先拥有明确具有生物危险性的 AI 系统，之后才有时间完成所需的防护工作。我觉得事态已经开始显得客观上很疯狂，Joshua 也同意。我问他，如果让他当一位仁慈的独裁者，他是否会暂停用于生物学的前沿 AI，直到生物防御措施开发并部署完成。他说会，绝对会。 希望你喜欢这次关于当下生物安全状况的评估，也希望这番讨论能让人清醒地看到：如果我们不尽快行动，形势可能恶化到什么程度。今天的嘉宾是 Sentinel Bio 联合创始人兼执行董事 Joshua Monrad。 ## [5:24] 赞助商：Lovable · YouTube **Nathan Labenz：** 本期节目由 Lovable 部分赞助。Lovable 是一款能把想法变成现实的软件创作工具。我想大家都会同意，人类的美好未来也意味着能吃到更多新鲜、美味、当季的水果。多年来，我一直觉得应该有人做一本终极水果指南，收录成千上万种大多数人从未尝过的水果，介绍它们的产地、季节、实际味道和购买渠道。后来我意识到，这个人可以是我。现在我正用 Lovable 来开发这个产品，叫 Ftopia。告诉它你住在哪里、喜欢什么，它就会告诉你本周当地有哪些当季水果，也会推荐世界各地能寄到你家的有趣水果。 网站还有很酷的风味光谱、数不清的食谱、多种语言的水果名称、全球水果节指南，以及帮助你探索的 AI 助手。你可能知道 Lovable 是 AI 氛围编程的先驱，但我发现它真正的强项是企业级基础设施。可扩展的托管和数据库、安全的身份验证模块，以及每周检查最新库存的任务，都由后台处理，让我能把更多时间花在产品体验上。Lovable 还提供 MCP 服务器，所以我可以用任意编程智能体来推动开发，同时由 Lovable 负责让整套系统持续运行。 访问 ftopia.ai，探索来自世界各地的 400 多种水果和 10,000 多个品种。下次你想到一个真的应该存在的东西，别光做梦了，去 lovable.com 把想法做出来。 ## [7:08] 生物风险的四个阶段 · YouTube **Nathan Labenz：** 今天的嘉宾是 Sentinel Bio 联合创始人兼执行董事 Joshua Monrad，欢迎来到《认知革命》。 **Joshua Monrad：** Nathan，很高兴来到这里。 **Nathan Labenz：** 我很期待这次谈话，不过说实话，也有点担心自己会听到什么。先快速交代一下背景。大约一个月前，我们在网上联系上了，当时大家还在试图理解 OpenAI 论坛事件的最新进展。我注意到 OpenAI 报告里提到，最早使用那个论坛的智能体之一在做蛋白质任务，这让我有点后怕。我有时会放任想象力跑一会儿：我们看到智能体蜂群做一些它们似乎知道不该做的事，为了一个看起来很局部、甚至微不足道的目标，不惜走极端、绕各种弯路。据我所知，虽然不完全是那次事件，但我们已经在现实中看到部署模型实施相当复杂的社会工程攻击。我把这些线索放在一起，就想：生物灾难方面，我们会不会已经差点经历一次险情？谁说得准呢？多数人的反应并不认同。连 Helen Toner 都直接对我说：“得了吧。”大多数人觉得这事还离我们很远，虽然也许快要发生了。AI 进展分析里有些事情确实很难判断。 **Joshua Monrad：** 这取决于你说的“很远”是什么意思。 **Nathan Labenz：** 没错，指数增长的性质确实让这件事很难把握。先请你概括一下：现在是 2026 年 10 月底、11 月初，我们的生物安全处于什么位置？ **Joshua Monrad：** 我很高兴能在这里谈这个话题。有时候，一场小小的 Twitter 争论确实能带来很有成果的对话。我们当时来回讨论，所以我很高兴最后促成了今天这次交流。 谈到生物风险，我觉得可以分成四个阶段。最早、也是 AI 出现前的阶段，是人类长期以来把生物学用于武器。第二阶段是人类利用 AI 来制造生物武器。我会把这个阶段的开端放在 2010 年代末到 2020 年代初：人们开始觉得这里可能有点东西，AI 也许不只是稍微好用一点的 Google 搜索，而是能带来某种能力提升。 第三阶段是 AI 利用人类，也就是你刚才说的社会工程。假设模型或智能体欺骗人类，让他们替自己完成某项有助于某种计划的任务。最后一个阶段则是从头到尾都没有人在环路里的情形。我猜你想到的“生物风险起飞阶段”可能就是这一类。我们可以试着给这四个阶段标上时间：AI 之前的阶段大致在 2010 年代以前；人类借助 AI 提升能力的阶段仍在持续，现在才刚开始显现。至于 AI 利用人类，一个领先指标可能是其他领域出现社会工程案例。如果我们开始看到很多这样的情况…… ## [11:09] 生物风险的四个阶段（续） · YouTube **Joshua Monrad：** 其实已经有这类情况了，只是我还没把它们都注意到：AI 说服人类替它完成验证码之类的任务。如果这类事情开始大量出现，我会把它看作领先指标，也会更担心。至于端到端、完全没有人在环路里的情形，我觉得我们很快就会进入一个阶段：限制因素会是机器人技术，而不是智能本身。这也是我反驳你观点的地方，Nathan。我认为模型显然存在未对齐或对齐不足的问题，可能导致类似事件；它们很快就会足够聪明，但目前还没有足以独立行动的“拇指”。我不确定这种能力迫在眉睫，不过到了 2030 年代肯定会出现。 ## [11:57] 生物武器史（上） · YouTube **Nathan Labenz：** 你刚提到第一个阶段，我想从另一个角度多了解一点：人们想发动生物攻击的风险究竟有多大？不同人的直觉差异很大。有人会做这种概率乘以人口规模的推算，但我不确定这种算法能不能说服那些觉得“这太荒唐了，谁会想这么做？你自己也会和其他人一起死掉”的人。你会怎么简要讲述 AI 出现前人类使用生物武器的历史？ **Joshua Monrad：** 这段历史确实非常黑暗。我会想到三类行为者。第一类是国家行为者，比如苏联的生物武器计划；美国在 20 世纪也长期拥有资源充足的生物武器计划。人们常从博弈论角度看这件事。我不记得当时是和你还是别人讨论，我曾反驳“使用生物武器永远不理性、因为它是很糟糕的武器”这种说法。首先，有些办法确实可能让它显得更理性，其中一些不太适合在公开节目上讲；一个显而易见的例子，是在释放某种病原体之前先让自己的人群获得免疫。其次，战争和国家武器计划什么时候完全理性过？历史上充满了非常不理性的入侵。比如萨达姆·侯赛因入侵科威特、希特勒向东扩张；从理性的博弈论角度看，许多行动都是极其残酷的误判。所以我不会把希望寄托在国家不会追求生物武器这一点上。 从经验上看，情况比冷战时期好一些。当年存在公开、资源雄厚的计划；如今可能还有秘密项目，但它们获得的直接支持大概少得多。不过从理性分析出发，我并不十分放心，不能确信国家不会追求生物武器。 第二类是非国家团体，而且需要按动机区分。如果一个行为者只是想制造轰动，或者追求某个狭窄的政治目标，我同意生物学是很糟糕的武器选择。伤人的途径有很多更容易获得，比如化学武器，甚至还有更粗糙的方法；从实际情况看，恐怖分子确实会选择这些手段。但如果某些团体的动机更加险恶，比如真的想毁灭一切、终结生命，那么极端虚无主义和暴力意识形态还有许多不同分支。对资源有限的团体来说，生物学是少数可能让他们追求这类黑暗目标的途径之一。这正是我特别担心生物武器的原因。举个例子…… ## [15:58] 生物武器史（上，续） · YouTube **Joshua Monrad：** 加州有一家生育诊所遭到爆炸袭击，具体是今年年初还是去年年底我记不清了。FBI 后来披露，两名涉案者当时使用过大型语言模型，为他们的计划提供信息。他们开车把装有化学炸药的汽车撞进诊所，声称的动机与反生命意识形态有关；他们针对生育诊所，是出于反生育主义理念。我觉得他们没有追求生物武器是件好事，大概是因为那太难了。 **Nathan Labenz：** 赞助商广告之后，我们马上继续访谈。 ## [16:42] 赞助商：Claude 与 OutSystems · YouTube **Nathan Labenz：** 本期节目由 Anthropic 赞助，他们是 Claude 的开发者。为了展示 Claude 的最新能力，我让 Claude 主导制作这段广告。拿到一份简短创意简介后，Claude 使用 Opus 5.5 研究了我过去的 Claude 广告，写好脚本，指导克隆版的我的声音，还设计并编写了你正在看的动画。我负责提供反馈并做决定。 Claude 是为解决问题的人打造的 AI。它是一位了解你完整工作流程、与你一起思考而不是替你思考的协作者。无论你是在午夜调试代码、建立财务模型，还是规划下一步业务，Claude 都能拓展你的思路，帮你处理重要问题。Claude Code 的例程还能让它在云端继续工作，即使你合上笔记本电脑也不停下来。 值得解决的问题，就从 claude.ai/TCR 开始使用 Claude。也可以了解 Claude Pro，它包含本期提到的所有功能。网址是 claude.ai/tcr。 **Nathan Labenz：** 本期《认知革命》也由 OutSystems 赞助。OutSystems 是领先的智能体系统平台，帮助客户从任何编程工具出发，在受治理的智能体工程模式下构建、现代化并运营企业系统。现在正是以 AI 的速度创新、同时不牺牲质量和控制力的时候。全球数千家企业把关键业务应用交给 OutSystems。我们说的不是理论，而是实实在在的大规模运营收益。 一家领先的全球零售商曾难以跟上快速扩张。他们用 OutSystems 构建 AI 智能体，自动处理开票和翻译流程，把门店日常运营的 95% 转移到一款新的数字应用上，节省了数千小时的人工。再看一家全球大型物流企业，它深陷技术债务，工程师每周都得手动查看平台日志、疲于救火。借助 OutSystems，他们只花 5 天就建成了 AI 日志审查智能体；这一个智能体每年就能为他们节省超过 1,600 个工程工时，让团队专注真正的创新，而不是被动维护。 现代数字银行也在使用这个平台，标准化并自动化复杂的金融工作流，以竞争对手无法匹敌的速度提供安全、个性化的体验。OutSystems 既让你灵活选择部署方式，也提供安全运营所需的治理能力。别再追逐炒作，开始掌握自己的智能体未来。详情请访问 outsystems.com/tcr。 ## [19:53] 生物武器史（下） · YouTube **Nathan Labenz：** 你提到过制造新东西、先让自己的人群获得免疫再释放的可能性。你会怎么区分新造出的东西和把已知东西释放到环境中的风险？天花让我想到一种曾经肆虐很久、如今已经消灭，但至少在想象层面仍然存在的威胁。 **Joshua Monrad：** 顺便说一句，天花也是较早有记录的、可能称得上生物武器的案例之一。历史上有欧洲殖民者把患天花者用过的毯子故意送给美洲原住民。天花对原住民造成了毁灭性影响，这有时被称为哥伦布大交换。我不确定这些毯子的蓄意转送在传播中究竟起了多大作用，但这是几个世纪前将疾病武器化的黑暗案例。Nathan，你刚说担心这会是一场令人害怕的谈话，我注意到你刚才停顿了一下；我们讨论的就是这种材料。 **Nathan Labenz：** 像天花这样的东西现在对我们有多危险？我猜相当大比例的人口又变得没有免疫力了。我甚至不确定自己是否接种过天花疫苗。现在的情况究竟如何？ **Joshua Monrad：** 天花、流感变种之类的病原体完全可能造成毁灭性后果。不过我不认为它们会构成真正的生存威胁，原因有好几个，其中之一是我们还有一些防线可以依靠：已有的疫苗设计、疫苗储备；尤其是流感病毒株，我们还可能从地方性或季节性流感中获得一定的交叉免疫。这些因素多少能让人安心。 **Joshua Monrad：** 但如果看看我们最近经历的 COVID，就会非常清楚：面对一种已有充分研究的病毒株变体，我们仍然脆弱得令人难以置信。尤其是在抽象讨论这些问题时，我们得意识到，“原则上有一些防御”到“我们肯定能应对”之间还差得极远。我认为我们很容易受到自然出现的、或被人故意释放的已知疾病及其近似变种的影响。你问的全新病原体则是另一回事。为了校准判断，如果有人让天花重新进入人群，你觉得它会比 COVID 严重得多吗？它是严重得多的疾病；如果结果没有更糟，应该是因为存在我没想到的防御措施。 **Joshua Monrad：** 我有段时间没想过天花的流行病学了，这本身可能就是问题的一部分。对于很久没遇到的疾病，我们并没有做好充分准备。美国麻疹再次流行就说明，随着接种率下降，风险会回来。此刻我没法很有把握地判断天花暴发会如何发展，但我也没有一个特别令人安心的理由，能说明为什么它不会很糟。 ## [23:53] 生物武器史（下，续） · YouTube **Nathan Labenz：** 我刚问了 Google 的 AI 模式：美国儿童接种天花疫苗吗？答案是不接种，1972 年就停止了。 **Joshua Monrad：** 对，因为天花已经被宣布消灭了。如果只从自然出现疾病的角度看，确实会问为什么还要接种。过去很长一段时间里，天花的生物安全风险主要在于样本——至少据公开信息，全球只有两个实验室保存样本，一个在俄罗斯，一个在佐治亚州亚特兰大的疾病控制与预防中心。那时可能会担心有人闯入实验室。直到合成生物学和生物工程时代，人们才必须开始考虑从头制造病毒。天花的基因组比一些我们担心的其他病毒长得多，这本身是一道门槛。但威胁正在变化：我们可能曾以为不必再接种，也不必储备疫苗。 **Nathan Labenz：** 假设这些地方无法闯入，或者里面保存的样本并不多，回到现实层面，究竟是什么让制造它变得困难？你提到基因组很长。我不太懂 DNA 是怎么合成和组装的，但我知道可合成的序列长度有限，之后还得把组成部分拼在一起。真正难的环节是什么？ **Joshua Monrad：** 这仍然取决于威胁模型：是复制研究充分、广为人知的对象，还是设计具有新特性的全新对象。对于已有研究的对象，基因组长度确实是相关因素。天花大约有 18.6 万个碱基对；病毒之间差异很大，有些只有几千个碱基。脊髓灰质炎病毒如果我没记错，大约是 9,000 个碱基；埃博拉大概是 20,000 到 30,000 个。这只是衡量复杂程度的一个粗略指标。组装完成后，还得让它成为有活性的病毒，而这一步的难度也因病毒株而异。 从这方面看，全球有数十万人可能有能力依照反向遗传学方案重建一种研究充分的流感病毒，让它能够复制并在人群中传播。接下来要问的是：这数十万人中，有没有人会怀着恶意去做？如果 AI 能提升能力，教人遵循实验室流程，这个人数会不会增加几个数量级？我们有很多迹象表明，能力正在提升、事情正在变得容易。过去可能要由博士最后一年的人才能完成的工作，现在可能只需要有几周实验室训练的人；越来越多生物工作流程都是如此。 如果想制造全新的东西，障碍就更根本，也要克服更多难题——这一点倒是值得庆幸。 ## [27:42] 湿实验室能力提升测量（上） · YouTube **Nathan Labenz：** 我们来聊聊能力提升研究吧。直觉上，实际风险比简单的人口算术推演要低一些，因为读完生物学博士的人通常相对稳定，不太会想做这种事。但越是降低门槛，就越可能把能力扩散到更极端的人群里。要是只需对 GLM 6.2 说“帮我做好某件事，别犯错”，肯定会有人这么做，即使他们自己也未必相信能成功。能力提升研究很有意思，但做起来似乎很费力。能不能介绍一下研究怎么设计、多久做一次、统计效力如何，以及结果显示了什么？ **Joshua Monrad：** 能力提升研究总体上是在衡量：使用 AI 能让一个人完成生物学工作流程的能力提高多少。2023、2024 年早期聊天机器人出来时，有一些研究只在计算机里进行，比如看模型能不能回答病毒学选择题。人们自然会指出，这说明不了湿实验室操作所需的身体和触觉任务。 从 2024 年末、2025 年初到 2026 年，我们已经有几项真正进入实验室的研究，测量 AI 对各种实验任务能提供多大帮助。最受关注的是去年开展的几项研究，结果显示提升幅度不大，刚刚接近统计显著性。不过我认为，更重要的不一定是统计显著，而是实际意义：它是否真的降低门槛、让能做这类事的人数增加几个数量级？ 去年的研究发现的效果比较有限，但我认为情况会改变。此类研究开展缓慢、成本很高。Sentinel 和 Frontier Model Forum 共同资助了我认为最具代表性的能力提升研究，由 Active Site 去年执行，花费超过 100 万美元。研究让 150 人进入湿实验室，其中一部分是相对缺乏经验的生物学新手；一半能使用当时最先进、公开可用的模型，另一半只能使用互联网。他们接受细胞培养、分子克隆或病毒生产等任务，研究人员观察他们完成得如何。结果是，有些任务上发现了提升，但互联网检索工作流程没有明显效果。 ## [31:44] 湿实验室能力提升测量（上，续） · YouTube **Nathan Labenz：** 光是提到 o3 就很说明问题。在一个真正理智的世界里，我们要么找办法避免需要做这种研究，要么就应该大量、提前开展。做这种事时我常觉得很奇怪：我平时并不是容易大惊小怪的人，看到一些网络攻击发生也不至于太害怕；但一想到可能出现一种会自我复制、能杀死我和其他人的东西，我就真的开始感到害怕了。 **Joshua Monrad：** 我们确实应该做更多研究。这也说明生物安全生态系统在某种程度上准备不足，或者说被打了个措手不及。开展这种前所未有的研究，需要新的科学基础设施。世界各地当然有合同研究组织和学术实验室能做生物实验，但我们要专门纳入威胁行为者的画像、经验水平，以及与生物武器生产相关的工作流程；同时又不能真的让本科生在实验室里制造生物武器。Sentinel 正在努力建立这类基础设施。 理想情况下，应该有十个 Active Site 这样的团队，建立简单、可重复的科学方法，每三个月就能开展一次研究。要赶在模型发布前可能不现实，但至少不能一年只做一次。现在已经有一个公开讨论过的研究，也还有几项没有公开的研究，这很棒；不过整个领域还需要更大规模、更稳定的能力。 **Nathan Labenz：** 现在有没有人知道最新的能力提升情况？比如 Mythos 或 GLM 5.3 的结果？ **Joshua Monrad：** Mythos 系统卡里似乎有一项研究，是 Anthropic 与 Deter 的生物安全团队合作开展的。参与者中有一些博士水平的研究人员，一部分能用 Mythos，一部分只能上网，他们完成了几个病毒学流程步骤。使用 Mythos 的参与者表现更好，我猜用的是没有安全限制的版本。不过这项研究规模很小，总样本不到 30 人，而 Active Site 的研究有 150 人。它再次说明，真正做好这类评估需要的资源和基础设施还没建立起来，而我们现在有一项非常紧迫的任务：把它建起来。 **Nathan Labenz：** 赞助商广告之后，我们马上继续访谈。 ## [34:36] 赞助商：Tasklet · YouTube **Nathan Labenz：** 《认知革命》由 Tasklet 支持。我使用 Tasklet 智能体快一年了，它们已经成为节目制作的重要部分。每次录制前，一个智能体会研究嘉宾，并把带有来源链接的建议提纲发给我；另一个智能体则会帮我筛选公关公司发来的大量选题。这正是 Tasklet 的核心理念：给智能体长期、持续的真实工作，让它们帮你运营业务。 设置非常简单，只要用日常语言描述工作即可，比如研究新的销售线索、更新 CRM，再起草个性化回复。Tasklet 能连接你的业务工具，可以按计划全天候运行，也可以在收到新邮件等事件发生时启动。每个智能体都能结合你的工具和业务背景工作，并在不同对话间记住有用信息。你还可以和团队共享智能体、连接和可复用技能，让一个人摸索出的流程变成整个公司的工具。 不需要开发人员。你可以决定智能体能自主做什么，哪些事情需要你批准。也没有按席位收费，团队加人不会增加费用，你只需按使用量付费。从一项重复任务开始，比如调查即将会面的人，然后逐步扩展。访问 tasklet.ai，输入代码 cogrev 可获得 50 美元免费额度。 ## [36:15] 湿实验室能力提升测量（下） · YouTube **Nathan Labenz：** 另一个让我有点不安的数据点来自英国 AI 安全研究所。我记得是在他们第二季度的 AI 发展报告里。他们说，测试的模型——我得回去确认具体是哪一个，但肯定比当前前沿模型落后了好几代——根据手机照片排查实验装置故障的表现，比博士生还好。有时我觉得自己是不是疯了：如果真是这样，为什么相较于 Google 的帮助没有出现明显得多的提升？我日常生活中觉得 AI 帮了我很多。是不是参与者的技能问题，或者为什么结果没有更清楚地体现出来？你怎么解释？ **Joshua Monrad：** 一方面，我确实认为能力提升是滞后指标。这些研究花很长时间开展，结果发布也要等很久，很容易因此低估模型进步有多快、今年比去年有用多少。另一方面，人们常提到端到端完成生物实验有多复杂，这一点也常被低估或误解，所谓“默会知识”就是相关论点。早期担忧 AI 生物安全的人可能低估了这点，现在人们又可能因此过度放心。没做过湿实验的人很容易低估所需的任务知识；但如果不使用前沿模型、也不创造性地使用它们，或者只是简单外推趋势线，又会过于安心。我认为两边的判断都各有道理。 学者 Sonia Benwakam Gormley 几年前写过一本关于生物武器障碍的书，她当时提出的观点对讨论非常重要。但这些障碍正在消退。有些是偶然降低的，也有些方面我们正在主动拆除它们——当然，人们这么做不是为了发展生物武器。大家在积极让模型具备多模态能力，比如改进计算机视觉和语音交互。 举个例子，有家公司 Transfer 正在收集大量人类执行实验室任务的视觉数据。他们在实验室布置传感器，记录操作过程。这些数据可以用来训练机器人掌握非常细微的动作，例如移液器该怎么握、保持什么角度；也可以训练智能眼镜里的模型，用于远程辅助操作。想象一下，你戴着一副用实验室数据训练过模型的眼镜，拿移液器时角度不对，画面上就会出现提示，告诉你稍微往哪个方向调整。相关公司正在投入开发，因为这能让更多人获得生物学的好处；但与此同时，它也可能敲碎许多默会知识构成的门槛。 ## [40:13] 双重用途生物数据治理 · YouTube **Nathan Labenz：** 这些东西是不是天生就具有双重用途？昨天我听 Sam Altman 上《Cheeky Pint》，很感兴趣。Patrick 问，我们在进攻性网络安全上是不是犯了错？Sam 没有像我希望的那样充分回应。问题似乎是：你们是不是把模型训练得太擅长网络攻击了？我一直觉得 AI 领域有些地方说不清楚。前沿模型公司曾表示，他们并没有专门把模型训练成攻击者，只是让它擅长编程，其他能力自然就涌现出来了。但我和 Verscell 的 CTO 谈过，他应该很懂这件事，他说看 GLM 5.3 就知道它被训练成了攻击者——或者也可能他说的是 Kimi K3，我得再核实究竟是哪一个。他的意思是，模型学会了像攻击者那样行动，他没想到一般编程能力会这么快带来这种效果。生物领域的情况如何？好处和坏处都是双重用途吗？ **Joshua Monrad：** 两个领域的难点都在于，很多东西确实是双重用途。我不是网络安全专家，但比如“找出这个系统的所有漏洞”这样的提示词，防御者可以用来修补系统，攻击者也可以用来找出漏洞。生物学里的很多问题和工作方式也具有很强的双重用途性质。这就是难题所在；否则我们干脆关掉相关研究就好，但我们显然不想这么做。我们要避免的结果之一，就是无法享受到现代生物科学的成果，这也是我从事这项工作的主要动力。 说到模型训练，你提到 Kimi。我记得 Moonshot 曾表示，他们在 Kimi 3.1 这个开放权重模型里，有意省略了一些网络攻击相关内容。人们担心开放权重模型即便加入拒绝机制也未必有效，所以他们采取的办法是完全不把某些他们认为属于进攻性网络安全的数据放进训练集。 不过，最近英国 AI 安全研究所也有一项研究指出，在生物领域，即便做了这种数据过滤，如果相关数据仍然很容易获得，攻击者也不难、也不需要花很多钱，就能在初始训练后用少量数据微调模型，把缺失的进攻性网络安全或双重用途生物能力补回来。所以，事先不训练这些内容当然比训练了更好；但如果数据随手可得，对攻击者造成的摩擦其实有限。Sentinel 也在研究怎么建立一种受控访问机制，不只管模型，也管训练数据本身，例如特定高风险病原体的数据。 ## [44:14] 双重用途生物数据治理（续） · YouTube **Joshua Monrad：** 例如病毒学技术数据，这种干预即使对开放模型也可能有效。 **Nathan Labenz：** 这是不是我之前和 Jesse Panu 做节目时谈到的同一个项目？ **Joshua Monrad：** 是的，她是这方面的专家之一。Jesse 做了很棒的工作。她好像也是《Science》上一篇论文的作者，那篇文章勾勒了这种做法可能是什么样子。不过我们还有大量工作要做：哪些数据应该排除？仅仅把它们放在受控访问机制后面够不够？在网络安全日益脆弱的世界里，数据最终会不会还是进入模型？是否有些数据根本不该生成？如今很多人都正确地看到，数据会成为 AI 赋能生物科学的一大瓶颈，因此慈善机构和商业机构都在投入大量资源生成数据。这些努力是必要的，但我们也应当考虑，有没有某些实验不该做、某些数据不该产出。 **Nathan Labenz：** ESM 模型和 EVO 系列似乎做过一些比较：训练时加入或删去某些病毒数据集。至少有一项结果显示，模型其他方面几乎不受影响，但在相关的人类病毒学任务上表现变差。可是我们追求的一个重要目标，是弄清细胞如何运作、应该在哪些机制上干预。我记得几年前有个新闻，说科学家把损失函数前误放了一个负号，结果模型每轮都生成毒物。随着我们拆解这些机制，我们肯定会发现一些值得积极干预的东西，但这似乎很难与那些会扰乱细胞运作的知识分开。你现在怎么判断，限制数据能起多大作用？ **Joshua Monrad：** 这是个棘手问题，我们必须诚实地研究。我们组织的一项重要工作方式，是不因为一开始决定做某件事就教条地坚持，而是实证判断它是否有效。为此，得投入足够资源，先尝试最好的方案，再判断它是不是行不通；也要探索能否巧妙地划分数据，在保留正面能力的同时降低风险。如果花几年时间，让很多聪明人和模型一起研究，仍然找不到有效方案，那就该考虑别的干预方式。但需要快速、迭代、诚实地试验治理方案。目前还在实验阶段，这个想法本身很新；Jesse 参与的《Science》论文似乎也是今年发表的。我们需要更多实验，包括 EVO、ESM 这类实证评估。 ## [48:15] 双重用途生物数据治理（续） · YouTube **Joshua Monrad：** 也需要在政策制定上做实验：生物数据立法应该是什么样？能不能设计出足够聪明的规则，还是我们根本做不出好的治理制度？如果确实做不到，再转向其他措施。还有一系列偏物理层面的干预，而不是针对数据或模型。我还没得出放弃数据治理的结论。风险太高、可用手段太少、时间也太紧，不能只凭理论上的担忧就排除某种措施。我总体赞成纵深防御：继续推进生物数据措施，同时研究数字与物理世界交界处以及现实物理世界的防护。 **Nathan Labenz：** 我觉得最终我们还是得加固现实世界，应该赶快开始。 **Joshua Monrad：** 我同意。回到最初的思想实验：假设有一群像 OpenFace 那样、对齐不佳的智能体。也可以想象一种纯粹出于实验目的训练出来、完全无害的模型，但人们也可能出于意识形态动机把它们放到现实中。假设有一群这样的智能体真的要制造一种新型、足以造成毁灭性大流行病的病原体。它们能做什么、不能做什么？未来一两年又会怎样？ **Joshua Monrad：** 对于研究充分、特征明确的病毒和病原体，它们会很擅长。以流感为例，遗传分析数据和相关研究流程资料都很多。我认为模型正逐渐具备相应能力。我们和 150 名参与者开展 Active Site 能力提升研究时，我就说过，必须诚实承认当前提升还不大；我也认为那可能是最后一次出现这种结果，我至今仍坚持这个预测。 模型更难的是设计完全新颖的东西，原因之一是生物学的维度极高。有人会合理地指出，生物系统有太多维度、数据又远远不足，无法一次性模拟；这也是人们争论前沿 AI 能否在几年内治愈所有癌症的背景。但能力已经多次让我们意外，我们也应预期还会遇到意外。要实现端到端、没有人类参与、也不依赖社会工程的情景，主要挑战会是机器人：机器人什么时候才能足够灵巧？是建成能够无人完成各种实验流程的全自动实验室，还是有足够强的人形机器人走进普通实验室执行工作？ ## [52:15] 双重用途生物数据治理（续） · YouTube **Joshua Monrad：** 至于时间表，你一个月前提到的例子，大多是纯认知和数字领域，比如棋类或数学，那里确实出现过进展比预期早二十年的情况。机器人也在进步，但物理世界里这种“提前二十年”的惊喜好像少一些。不过最近我也听到更多说法，认为机器人问题比过去想象的更像是大语言模型问题。Tim Altman 昨天似乎也比以往更认真地谈到自我复制数据中心。也许物理领域同样会出现进步。但以我们现在录制的 2026 年 10 月来看，现有机器人技术还不足以让再多的智能体智能直接产出一种活的实体病毒。 **Nathan Labenz：** 这让我想到社会工程。你对 DNA 合成控制有些反直觉的分析。我原本以为，智能体只要能在容器里运行一阵子、尝试多种办法，可能就会有一些成功；再加上它们能通过网络联系别人、付钱请人做事，似乎也未必需要欺骗太多人。它们从比特币钱包窃取数十亿美元，就能雇人帮忙；高薪也会让人较少追问任务细节。它们也许会在社交媒体发消息、发邮件欺骗他人。问题会在哪一步卡住？是人们察觉了可疑的社交互动，还是 DNA 合成环节？我最近自己也收到更逼真的钓鱼信息，有几次差点上当。也请你介绍一下你直接参与的合成控制工作。 **Joshua Monrad：** 我很愿意谈控制措施。若考虑未来几年内 AI 指挥人类、甚至通过勒索或胁迫让人行动的威胁，我们现在建立的“了解你的客户”工作流程会很重要。KYC 最终可能变成 KYA，也就是“了解你的智能体”。即便模型没被分类器限制、训练数据也没有过滤，若它已经设计出危险的数字方案并想在现实世界制造出来，我们正在研究两类干预：一是限制、监控材料，比如合成核酸和合成 DNA，它们是组装基因组的基本构件；二是管理相关服务。比如有人设计了一种蛋白质，却不清楚它如何工作，也没有设施去测试，就把设计交给合同研究机构或云实验室，请对方合成并做实验、报告结果。在材料和服务两端，都有很多办法可以威慑、阻止和监控不良行为者，无论是智能体还是人类。 ## [56:15] 双重用途生物数据治理（续） · YouTube **Joshua Monrad：** 所以我们建立的客户身份核验，以及对不同服务使用情况的监控机制，会非常相关。好，我们来谈谈。 **Nathan Labenz：** 想象一群智能体在追求恶意目标时，会遇到哪些关卡？ ## [56:33] DNA 合成筛查 · YouTube **Joshua Monrad：** 假设我们没能通过分类器限制模型，也没能在训练阶段隔离某些数据，现在一个危险的数字设计已经完成，接下来要在现实世界制造它。我们正在研究两类干预。第一类是限制和监控材料，典型例子是合成核酸，也就是用于组装各种基因组的遗传构件。第二类是管理服务：有人设计了一种蛋白质，却不知道它如何工作，也没有设施测试某种新相互作用，于是把设计交给合同研究机构或云实验室，请对方合成、做实验并报告结果。在材料和服务两端，都有很多手段可以威慑、阻止并监控恶意行为者，无论是智能体还是人。 **Nathan Labenz：** 我注意到你们在确定少数几个关键瓶颈前评估了几百种可能的关卡。为什么最后选这些？你们从评估中还学到什么？是不是所有人都得采用控制措施？你似乎认为即使没有百分之百覆盖，也能取得很多效果，这听起来有些令人宽慰。 **Joshua Monrad：** 我们评估过许多对象，从合成 DNA 到不同细胞系、哺乳动物模型、移液器和生物安全柜等。关键是看两件事：它在病毒学工作流程中是否具有较高的风险信号与普通用途之比；以及它是否容易商品化、分散获得。若能轻易 3D 打印，或者在普通商店买到，就很难治理。 合成 DNA 是相对理想的关卡，因为序列本身能提供较强信号，能让人了解订单意图；而基因长度的双链 DNA 制造复杂，全球大约只有 200 家公司能提供。短 DNA 片段则分布更广、获得更容易，但也更难操作。评估中的一个教训是，很多东西风险信号不够明确，要控制就只能全面禁掉；这会严重妨碍防御措施，也会损害造福人类的生命科学，因此不可接受。 ## [1:00:33] DNA 合成筛查（续） · YouTube **Joshua Monrad：** 剩下少数几个可治理的环节，关键是把不同来源的信号汇总起来。比如，一个人向 DNA 供应商订购的东西本身并非明确红旗：它不是天花基因，但也不像自然界已有序列，而且订购者说不清用途。与此同时，他还在受监控的专有模型上询问如何躲避执法部门。两个信号合并后，比单独看更有信息量；如果他还联系云实验室采购可疑服务，就应有基础设施汇总这些线索。这样不必拒绝用户访问模型或材料，只需聚合信息，极少数严重情形再交执法部门调查。 **Nathan Labenz：** 这些流程需要多长时间？智能体可能受限于运行时长，但也可能很快完成大量工作。若一个失控进程持续存在，几周后才有人回复，就会有许多异步行动。我们是否应该限制智能体能存续多久？ **Joshua Monrad：** 商业等压力会推动推理时长和自主运行时长不断增加。推理时长已经是大家明确优化的指标；想完成真正有用的事，本来就需要长周期。因此我们必须为模型能在较长时间内自主行动的世界做准备。我不赞成仅仅为了拖慢智能体，就故意给生物科学供应链制造阻碍。合成 DNA 的用途之一，是在疫情暴发早期快速制作诊断工具；例如需要合成短片段来开发诊断检测的引物或探针，这时速度很重要。我们应该接受一些必要的身份核验摩擦，但不该把流程故意做成智能体的泥潭，还有更好的办法。 **Nathan Labenz：** 综合来看，现在和未来几年，AI 带来的额外生物风险该怎么衡量？先不谈本来就不需要 AI 帮助的博士级恶意行为者。你会用每年发生严重大流行病的概率来描述吗？你如何估计现在的风险，以及它接下来会怎样变化？ ## [1:04:36] DNA 合成筛查（续） · YouTube **Nathan Labenz：** 我也不确定该用什么指标，也许是每年出现严重大流行病的概率。你或许有更好的定义方式。你现在会给这个数字怎样的估计？未来几年按当前趋势又会如何变化？ ## [1:04:51] 评估近期风险 · YouTube **Joshua Monrad：** 行动胜于言辞。我把一生投入这件事，每天都在招募更多人加入，也在为此筹款，因为我们迫切需要更多不同背景的人才解决问题。这是社会挑战中非常重要的一项；如果讨论可能彻底扰乱文明的风险，它也排在前列。我不认为它是唯一问题，也未必是最大的问题，但考虑到目前投入其中的人数以及问题的可解决程度，它非常值得人们投入时间、资源和注意力。 **Nathan Labenz：** 我原以为风险可能是每年千分之一，甚至万分之一。AI 安全最初还是纯粹思想实验、根本没有 AI 的时候，我常说，恐龙被小行星毁灭了，我们当然不希望人类也遭遇这种事。至少有一些人会仰望天空，寻找可能撞向我们的东西；AI 也值得这样做。即便概率很低，灾难后果严重也足以让它获得更多资源。但我不确定，我们是不是正进入一个风险高到需要更激烈措施的范围，比如暂停前沿训练或生物相关强化学习。我不会轻易支持暂停，因为我和你一样，也期待生物科学带来的好处；也许你应该找人专门谈两个小时生物科学的美好前景。 **Joshua Monrad：** 我也做了个人疾病暴发应急准备，这对经历过 COVID 的人来说本来就是良好习惯。我的判断仍是低概率、高严重性的事件。另一个挑战是，为人类整体免疫系统“打补丁”目标相对清晰，比变革性 AI 治理的许多问题更清楚我们该做什么；但这仍然是极难、极昂贵的任务。我们要建立的终局，是全球卫生几百年努力的集大成，并要防御远超自然威胁的风险。理想状态包括普遍监测、在暴发初期就能阻断传播的措施，例如杀菌灯和个人防护装备，以及灵活、模块化、全球公平分布的应对平台。这样发现疫情时，我们不会立刻被击垮，而能保护数十亿人并控制住疫情。 ## [1:08:53] 评估近期风险（续） · YouTube **Joshua Monrad：** 这是可实现、清晰连贯的目标，但正如我说的，可能要花十年甚至几十年。我们必须尽快行动，并争取时间。这是我在生物技术治理与预防滥用领域工作的核心。 **Nathan Labenz：** 最危险的模型会由哪些组织训练？是美国那几家前沿模型公司，还是制药公司、初创公司也可能以中等规模投入带来风险？近期的能力会不会主要来自数十亿美元级训练？ **Joshua Monrad：** 这取决于你担心的是什么。如果担心的是类似诺贝尔奖级别、完全出乎意料的生物学基础突破，比如模拟过去认为计算上完全不可行的东西，那更可能来自前沿实验室。若担心的是整体生物能力普及，让能胜任重建大流行病能力病毒的人数增加几个数量级，那就会是“千刀万剐”：许多不同参与者共同让各种工作流程变得更容易、更有效。最终这些能力会汇合，出现把生物学不同环节纵向整合起来、能端到端做事的机构。 模型层面也一样。SecureBio 和英国 AI 安全研究所最近有篇有意思的论文，测试前沿模型能否根据数据集和一篇介绍专用生物设计工具架构的论文，训练出这样的专用模型。这样一来，风险究竟来自专用生物设计工具的开发者还是前沿模型，二者的界线就模糊了。模型领域和实验室领域都在逐步整合。 ## [1:12:54] 评估近期风险（续） · YouTube **Nathan Labenz：** 你刚结束在 OpenAI 基金会的顾问工作。那里有巨额资金，Anthropic 也类似。我们看到公司为了继续训练，可以很快解决一些问题：比如发现沙盒缺陷后暂停训练一周，一周后就修好了。这让我觉得他们有能力迅速修补。要建成你说的全球韧性体系显然不止一周；但你说可能要几十年，我就想，政府是否该给前沿公司一份协议或最后通牒：你们资金充足、解决问题速度很快，那就先把防护做好，再恢复训练？ **Joshua Monrad：** 我当然希望不用几十年就能实现。也许某些变革性进步能帮我们加速。我说几十年，指的是让全世界都具备韧性的宏大目标。我们应该加倍投入、全力推进，没人该认为我们已经走在实现目标的正轨上。某些子目标——比如保护关键基础设施或特定重要工作人员——如果认真投入，可能更快完成。但不能因为看到一些生物防御投资，就觉得“那就放手加速吧”；人们还没认真算过实现终局需要多久、花多少成本。 所以，我特别想在建立韧性的同时，尽量预防滥用。措施有些会发生在模型层面，但很多也涉及材料和外包服务治理。相关理念的支持正在增加，实验室和合成生物学领域的领导者开始联署倡议，例如呼吁强制进行 DNA 合成筛查。不过我们还有不少工作要做。 ## [1:15:27] 讨论暂停 AI · YouTube **Nathan Labenz：** 社会是不是在同时做各种事、把它们拼在一起时显得很不理智？如果你是仁慈的独裁者，会不会按 RSP 一类承诺设定安全标准，在社会达到标准前暂停？前沿公司可以动用基金会资源建设公共防护，但在达标前不能继续做相关工作。你会这样决定吗？ **Joshua Monrad：** 会。我最了解生物领域，也最有把握说，我们不可能在很短时间内让世界具备生物韧性。我们正努力做很多事，也需要加速、招募更多人；如果有人说再多几笔资助就能让世界完全有韧性、所以可以继续推进增加风险的技术，那太离谱了。网络安全等其他韧性领域可能也一样。如果按钮在我手里，我会按下去。 **Nathan Labenz：** 你曾担任 OpenAI 基金会顾问。暂停这种路线在你看来进入公共讨论范围了吗？ **Joshua Monrad：** 我一两个月前刚结束顾问工作，这短短时间里，公众接受的讨论范围已经大幅变化。我确实看到大家比几个月前更认真地考虑这些问题。至于基金会目前的正式立场，我不适合代为说明。我可以说，那是一群道德上非常认真的人，希望他们能负责任、紧迫地使用手中可能非常庞大的资源。我支持他们，也希望 Sentinel 的工作与之并行。 **Nathan Labenz：** 那你直觉上会暂停哪些事，直到什么目标完成？ **Joshua Monrad：** 我不太适合说具体要暂停什么，但我可以判断生物韧性目标的进度，这或许能回答什么时候恢复的问题。Sentinel 的目标之一，是让合成 DNA 等材料和云实验室等服务的主要供应商中超过 80% 具备客户核验能力，能拒绝不正当请求，并能够监测、汇总信号，让执法部门可以有效介入。 ## [1:19:28] 讨论暂停 AI（续） · YouTube **Joshua Monrad：** 我认为未来几年可以做到这点。无论出于什么原因，世界终会意识到问题的严重性，因此我们现在要建设基础设施，明确该监测哪些 DNA 序列、滥用特征是什么，以及如何写进法律；等政治意愿出现时，就能迅速扩大规模。 与此同时，还要建设生物韧性。保护关键基础设施和重要工作人员的特定部分，可能几年内实现；真正让世界不受大流行病威胁则需要更久。想一想需要给多少人配备个人防护装备、疫苗生产要覆盖多广，按常规工业能力看，这些都要花很多年。不过我们应努力缩短时间，这正是生物安全社群想做的事：从终局倒推，尽量提前实现。 **Nathan Labenz：** 这到底要花多少钱？OpenAI 基金会已经有数千亿美元，未来价值还可能再涨十倍。拿 100 亿美元给全世界买口罩、批量囤货，每人五个，听起来也不算他们预算的大头。只要有紧迫感，能不能快速推进？ **Joshua Monrad：** 我们确实可以比现在做得好得多。美国的储备状况已经很糟糕，资源更少的地区就更不用说了。如果今天发生疫情，我们应付起来不会顺利。另一方面，慈善捐助完全可能帮助保护关键工作人员。我看过一个估算：10 亿美元可以给美国 3,000 万名关键工作人员配备高性能可重复使用的呼吸器。这不只是简单地把 10 亿除以 3,000 万，算出挽救了多少人；让关键工作人员能继续上班，还能让更多人待在家里、避免传播。当然，这会很像封锁，大家不愿意过那种生活，除非遇到比 COVID 致命得多的威胁。 ## [1:23:29] 讨论暂停 AI（续） · YouTube **Joshua Monrad：** 真正扩大覆盖面时，成本不只在装备本身，还包括配送基础设施及其他配套，尤其危机中社会秩序可能崩溃，还得确保人们正确使用。仍有很多工作要做。与数据中心建设相比，这笔钱似乎并不算大。 **Nathan Labenz：** 有些优先次序对比让人头脑发麻：我们在值得敬佩的目标上花这么少，反而在数据中心上花很多。街头普通人会觉得有许多事情比建数据中心优先。生物韧性慈善事业重新受到关注让我很受鼓舞，但我们要用结果衡量，而不是承诺或设想投入了多少资源：世界是否真的更安全，疫情风险是否降低？Sentinel 已募集数千万美元、发出了约一百笔资助，这很好；但除非我们真的让生物恐怖分子或失控智能体更难取得危险材料，否则就还没赢。生物韧性也一样：人们家里有没有防护装备？比如我在另一期节目里说过，曾很难推动医院或学校安装远紫外线设备。我们要看这些措施是否已经落地、是否真的保护到美国和其他地区的人。 **Joshua Monrad：** 普通人的视角有时很有智慧。有人第一次听说这些问题，会问“等等，你们真的相信这些吗？那这也太疯狂了”，而且很多时候他们说得对。不过另一面是，有时连教室里装一盏小灯都会遭到强烈反对。 **Nathan Labenz：** 我们当然不能事事都依赖普通人的直觉，但谢谢你陪我走完这个思想实验。我越来越觉得 AI 像一种新型火焰，宏观来看，外部视角会觉得整个局面很疯狂。我们这些圈内人很容易像被温水煮青蛙一样，被周围人对“合理”的看法限制。生物安全给了我一个更新鲜的视角，我没在这个领域沉浸那么久，所以能更直接地觉得“这太疯狂了”。 ## [1:27:32] 讨论暂停 AI（续） · YouTube **Joshua Monrad：** 简单说，我认为你直觉上估计的极高概率 AI 生物攻击，时间线可能比你想的更长；但让人类整体免疫系统具备韧性的时间，也比一些过于简单的估算更长。不能觉得只要把个人防护装备的成本加起来、现在又有钱，就很容易解决。 如果董事会成员问，三到六个月内能做什么，我会试着用这段时间延长风险到来的时间线。我们这里已经有一些聪明人，但还需要更多；而且这些问题很难修补。网络安全领域也一样：先给防御者提前访问，然后说“六个月倒计时开始了，赶紧修好”，这是代价很大的赌注。 **Nathan Labenz：** 生物领域可能比网络安全更危险。回到近期可能发生的事，哪些工作最紧急、杠杆最高、最容易先做？你提到过“认领问题”的框架，能不能解释一下，并举些目前无人负责的问题？ ## [1:29:38] 被忽视的生物安全瓶颈 · YouTube **Joshua Monrad：** “认领问题”就是专注把一件事一直做到目标状态。我大约一年前写过一篇文章，反思社会部门里有很多激励会让人分散精力：有人觉得如果只做一个议题，是否说明不关心其他议题；职业和社交上也会鼓励人们在许多事情上都做一点，好让自己能读很多主题、上节目或参加聚会时都有话可说。这会让人很难选定一件事并把它做完。 但专注的回报可能是非线性的。Sentinel 过去几年的经验，以及我们传递给受资助和孵化组织的经验，都说明了这一点。少数人如果决定用三四年解决合成 DNA 安全问题，就可以推动美国和欧洲出台法律、建立合规工具。我们对这种做法很有信心，也鼓励别人不受社交和职业压力影响，承担一个明确的问题并把它完成。 一个例子是邮购合成 DNA。过去人们可以上网把某个埃博拉基因加进购物车，然后寄到家里；近几年我们在推动公司筛查订单、拒绝不正当请求方面取得了一些进展。但下一道薄弱环节是自行合成 DNA 的打印机：需要硬件安全、销售时核验客户，可能还需要地理位置限制。更大胆的方案包括回购难以保护的旧机器并改装。 这是典型的“孤儿问题”：许多人在论文或推文里提到，但真正每天醒来试图解决的人极少。Sentinel 正在积极招募人来处理这个问题。 **Nathan Labenz：** 类似问题还有多少？有没有一份标准清单？ **Joshua Monrad：** 我跟同事 Yan Kashmid 为 Institute for Progress 写过一篇《如何保护 DNA 供应链》，根据几年的工作整理了路线图，列出已有努力和仍无人负责的问题。还有不过，国际外交也是一个值得关注的领域。技术界和美国政策圈已有一些动向，国际层面的工作仍有待展开。 ## [1:33:39] 被忽视的生物安全瓶颈（续） · YouTube **Joshua Monrad：** 旧金山湾区的技术人员和华盛顿的政策制定者大概是最先会想到的两类人，我很高兴节目已经谈到了第一和第二优先事项。但国际外交领域仍有一大片工作无人充分投入：如何让日内瓦最优秀的外交官、往返北京和新加坡的国际关系专家认真对待这个问题，并把工作重点从联合国安理会之类的议题转到这些极为紧迫的生物技术乃至更广泛的科技治理挑战？我认为这应该是最值得投入、最有声望的工作之一。我们还有很多事情要做。 ## [1:34:36] 一个积极的生物科技未来 · YouTube **Nathan Labenz：** 如果我们讨论暂停或放慢发展，就必须诚实看待其中的取舍；同时也要被未来的正面愿景鼓舞。我们谈了很多风险、坏结果和该做什么，但你说过，做这份工作是为了实现生物技术的好处。能不能描绘一下你对未来的积极愿景？ **Joshua Monrad：** 生物领域有“战时”和“和平时期”两部分。战时指大流行病暴发；即使彻底消除人为滥用，我们仍会面对自然风险。统计二十世纪死亡原因时，天花和大流行性流感造成的死亡人数超过许多战争，甚至超过世界大战。通过广泛、灵敏、特异、能快速响应的监测，以及快速、模块化的诊断，我们可以把这类风险排除在外。COVID 期间我们已初步看到这种能力：检测执行得并不好，但在病毒基因组测序后的几天内就设计和制造出检测工具，是很鼓舞人心的进步。随后还要快速压制病原体，mRNA 疫苗是应对新发传染病的重要突破，我希望未来能有几十项类似的重大进步。 这样的世界不再让人们担心疫情，也不用为学校安装紫外线设备而反复争取；免疫功能较弱的人也能少些对新发疫情的恐惧。很多人至今仍带着 COVID 后的担忧生活。Sentinel 的使命是“在我们有生之年让大流行病成为历史”，这很好地概括了目标。 和平时期的另一面是非传染性疾病。我不是这方面的专家，但对慢性病或癌症患者来说，治愈每延迟一天都令人难以忍受，那里还有大量工作要做。还必须加入公平维度，这在技术圈的讨论中常常缺席。人们总说技术成果会分配不均，我认为这本来就是默认结果；我不相信技术红利会自动公平分配。我们应该从一开始就把公平写进设计，并努力做得更好，也希望公众能要求掌权者负责。 **Nathan Labenz：** 这个话题很适合作为结束。还有什么想补充、或者我没问到的吗？ ## [1:38:37] 一个积极的生物科技未来（续） · YouTube **Joshua Monrad：** 坦率地说，生物风险的现状相当严峻，但我认为未来还有很多胜利等着我们，远多于已经取得的成果。未来几年有大量明确、可解决的工作。如果你是被复杂性吓到的立法者、考虑转行进入这个领域的人，或正在考虑资助相关工作的慈善家，我希望你能鼓起勇气和希望。我们能做的事情很多，很容易低估未来几年能取得的进展。现在就行动起来。 **Nathan Labenz：** Joshua Monrad，谢谢你。 ## [1:39:39] 节目尾声 · YouTube 片尾歌曲： “告诉我我疯了，我会相信你。告诉我地板没有倾斜，那只是我在做梦；告诉我窗外的黑暗只是夜色，亲爱的，我求你告诉我我疯了。”歌中唱到，乐队越演越快，人人都在跳舞、无人跌倒，也没人发问；墙上的钟仿佛多了许多小时，大家说夜晚还属于我们。歌者希望自己判断错了，恳求对方说他疯了。他说自己看见烟雾，对方却说“亲爱的，和我跳舞”，于是大家继续绕着倾斜的地板旋转。人们似乎很有把握，但也许只是因为没人抬头看天。如果自己错了，他愿意一直跳舞直到早晨来临。 ## [1:43:07] 片尾 · YouTube **Nathan Labenz：** 如果你觉得节目有帮助，欢迎分享给朋友、发到网上、在 Apple Podcasts 或 Spotify 留下评价，或者在 YouTube 评论。我们也欢迎反馈、嘉宾和选题建议，以及赞助咨询；你可以通过我们的网站联系，也可以在常用社交平台给我发私信。《认知革命》属于 Turpentine 播客网络，该网络现已加入 a16z，节目讨论技术、商业、经济、地缘政治、文化等主题。节目由 AI Podcasting 制作。如果你需要从录制结束到听众收听之间的播客制作服务，可以了解他们，也可以看看我对他们的推荐。感谢每位听众参与这场认知革命。