--- id: "ykU7QSmGtVk" title: "AI 天才预测下一个关键转折点" channel: "Joe Lonsdale" host: ["Joe Lonsdale"] guests: ["Rayan Krishnan","Vivek Gopalan"] date: "2026-10-26" updated: "2026-10-27" duration: "36:59" duration_seconds: 2219 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=ykU7QSmGtVk" canonical: "https://pod-exp.pages.dev/ykU7QSmGtVk/" transcript_jsonl: "https://pod-exp.pages.dev/ykU7QSmGtVk/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["模型评测","AI 安全","AI 研究"] series: ["AI 研究前沿"] --- # AI 天才预测下一个关键转折点 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** Vals AI 联合创始人兼 CEO Rayan Krishnan 与 Joe Lonsdale、Vivek Gopalan 讨论模型评测的科学与独立性。从 Palantir 的经历、破解古老密码和 AI 科学发现，谈到如何衡量法律、金融、编程等真实工作，如何构造能力与风险基准，并以第三方评测补足实验室自我监管的局限。对话也涉及网络安全、中国模型的地缘政治倾向、蒸馏、递归自我改进（RSI）以及评测者如何识别模型欺骗。Rayan 预计 Anthropic 可能在 2027 年夏季达到完整 RSI，同时认为 AI 能降低成本、释放创造力并推动新发现，但承认其风险需要认真控制。 ## [0:01] 节目开场 · YouTube **嘉宾片段（说话人未核实）：** 赫伯听后说：“我觉得你太天真了。你该读读马基雅维利。让人畏惧远胜于让人喜爱。”我们在 Vals 有很多很棒的故事，大家一起营造出一种非常独特的文化，我们也努力从中汲取经验。 **Joe Lonsdale：** 模型评测这一整块到底是什么？ **Rayan Krishnan：** 独立评测的理念是：前沿实验室正在以越来越快的速度开发模型，不应该由它们自己负责自我监管。 **Joe Lonsdale：** 你们有办法衡量递归自我改进（RSI）吗？ **Rayan Krishnan：** 看起来 Anthropic 会在 2027 年 7 月、也许 8 月达到完整的 RSI。模型进步会加速，甚至可能进入我们更难理解模型的领域。 **Joe Lonsdale：** 如果我们没有密切关注，那确实会很可怕。 **嘉宾片段（说话人未核实）：** 更高的智能会比人类更擅长超级预测，甚至能说出任何人将会做什么，而那个人自己都还不知道。 **Joe Lonsdale：** Rayan Krishnan 是 Vals AI 的创始人兼 CEO。每当有新 AI 模型发布，人们会看到比较模型的那些分数；这些分数很多时候是 Vals AI 生成的。他们已经成为顶尖模型评测机构之一。这是个很有意思的领域，因为你们不断为模型创造新的“山峰”让它们攀登。你必须真正理解如何衡量模型能力，也要评估模型风险、尝试新的风险评分方法。这意味着 Rayan 正站在 AI 领域的前沿，观察 AI 的发展方向，以及如何帮助构建政府可能采取的监管框架、模型公司如何考虑自我监管。他正在创建相关框架、概念和衡量方法，影响未来十年 AI 的样貌。欢迎来到《American Optimist》。Rayan，谢谢你今天来。 **Rayan Krishnan：** 谢谢邀请。 **Joe Lonsdale：** Vals AI 的创始人兼 CEO。 **Joe Lonsdale：** Vivek，谢谢你来，也请帮我显得聪明点。 **Vivek Gopalan：** 当然，我就是来帮忙的。 **Joe Lonsdale：** 欢迎来到节目。先聊聊你的背景吧：你在斯坦福学计算机科学…… ## [2:01] Palantir、马基雅维利与 Alex Karp 的教诲 · YouTube **Joe Lonsdale：** 你在斯坦福学计算机科学，我记得你还在微软待过一段时间，后来很早就加入了 Palantir。是什么让你决定去 Palantir？ **Rayan Krishnan：** 其实我的经历是从微软开始的。我高中时在那里实习，之后 Google 发布了 BERT 论文。对不了解的人来说，那是一篇非常重要的论文，展示了一种通用系统如何在多种主要自然语言处理基准上不断提升、取得好成绩。 **Joe Lonsdale：** 给不太懂技术的听众解释一下，自然语言处理基准是什么意思？ **Rayan Krishnan：** 基本上就是人们设计的专门测试。过去大家会针对每个测试做专用系统，比如选择题考试、情感分析之类的自然语言任务。这里的突破在于，不是针对单一任务做一个专用系统，而是证明一个通用模型对语言有基础理解，并能把这种能力迁移到所有这些基准上。它一下子在各项测试里都排到了第一。 **Joe Lonsdale：** 那是哪一年？ **Rayan Krishnan：** 我想是 2018 或 2019 年。 **Joe Lonsdale：** 那已经很久以前了。 **Rayan Krishnan：** 是啊，简直像上辈子的事。 **Joe Lonsdale：** 以 AI 的时间尺度来说，算是史前时代了，不过当时已经有苗头。 **Rayan Krishnan：** 那是件大事。对我来说，这清楚地说明了“苦涩的教训”：无论我们做什么，如何把自己说服去追求算法层面的优化，真正能解锁新智能形式的，往往只是更大规模、更多的数据。那时我就很清楚，强大的模型或类似系统会成为社会结构中不可或缺的一部分。当然，模型也可能被滥用。差不多同一时期我还在微软时，读了《从 0 到 1》。我越来越清楚地看到，Palantir 的人试图以一种保护公民自由和西方民主理想的方式构建技术。因此我很想去 Palantir，亲眼看技术落地，并以符合我价值观的方式得到应用。 后来我去了斯坦福读本科，在那里做研究分了心，发表了几篇论文，一度准备读博士。不过我也抽出一个暑假去 Palantir 工作，那段经历很有启发。你刚才提到，我还从 Karp 那里学到了一些东西。Palantir 有很多很棒的故事，那里的文化非常独特，我们在 Vals 也努力从中汲取经验。 我在那里参加过一个黑客周项目。我和一位在伦敦的同事远程聊出了这个想法，后来我飞过去一起做。我之前研究过 CLIP，一种联合图像与文本嵌入模型。 **Joe Lonsdale：** 给听众解释一下，它是什么？ **Rayan Krishnan：** 可以把它理解为一种模型，能把图像输入和文本输入编码到同一个语义空间里。我们想在 Gotham 里做反向图像搜索：你不必只输入文字查询，也可以上传一张蓝色汽车的图片，系统就能在整个数据库中搜索并找出你要找的蓝色汽车。这是因为模型使用同一个底层嵌入空间，把文本映射到图像。 我此前发表过相关研究论文，也希望把它做成产品功能。于是有几位全职员工加入团队；当时我还是实习生，却带着这支 Palantir 小团队推进项目。那一周我几乎没怎么睡。这个想法后来入围决赛，在全公司面前展示。我离开后，他们还为它申请了专利并把它产品化。看到自己提出的小想法和之前做的研究最终进入产品，甚至成为他们想要掌控的知识产权，感觉非常不可思议。 通过这个项目，我也有机会见到 Karp、和他聊了一会儿。我问他：Palantir 的名声似乎很差。我在斯坦福时，校园里有很多抗议…… ## [6:01] Palantir、马基雅维利与 Alex Karp 的教诲（续） · YouTube **Rayan Krishnan：** 没错。我很清楚，权力中心在选民手中——是我们投票选出来的人决定如何使用技术，以及技术背后应当遵循什么价值观。决定技术应该用在哪里，并不是科技公司的职责，更不该由它们越俎代庖地拒绝使用。Palantir 的人当时非常认真地思考这些问题。今天我们谈“对齐挑战”，Palantir 的人那时称之为“人类与 AI 的共生”；如今我们有一套评测和基准体系来模拟智能分类，也可以说他们已经在讨论类似的东西。 我觉得他们深入思考了一些根本问题。让我意外的是，外界对公司的评价竟然如此负面：人们常用非常片面的理解，谈论技术可能那些不太光彩的用途。事实上，Palantir 也曾协助新冠疫苗的配送，帮助过许多医院，还有其他值得一提的案例。 Karp 听了我的看法后说：“我觉得你太天真了。你该读读马基雅维利。让人畏惧远胜于让人喜爱。”他还把 Palantir 和其他咨询公司作比较，大意是：如果人们害怕我们，至少说明他们认为我们有力量；等到真正需要的时候，他们就会来找我们。这很有意思，也让我想到今天的 AI 实验室：他们对模型能力确实有些真切的担忧，但在很多方面，这也是一个展示他们所造之物有多强大的机会。 **Joe Lonsdale：** 也许 Dario 是有意想让人们害怕他们；如果他是深思熟虑的，那可能就是策略。 **Rayan Krishnan：** 不论是 Dario 还是 Sam，我看到的新闻标题里有人说，公众有权感到害怕。我认为这不是领导者理性行事的方式。这个节目叫《American Optimist》，我本人相当乐观。我选择理性行动，也认为 AI 带来的成果会积极得多。 **Joe Lonsdale：** 在深入聊 Vals 之前…… ## [7:51] 破解 370 年前的密码：AI 正在发现新知吗？ · YouTube **Joe Lonsdale：** 在深入聊 Vals 和 AI 模型评测的科学之前，先谈谈 AI 进展到了哪一步。听说你们用 Anthropic 的 Fable 破解了一条 370 年前的密码。这到底是怎么回事？ **Rayan Krishnan：** 我们现在做很多不同类型的评测。我认为，科学发现或新颖发现是当前前沿领域里很令人兴奋的一块。我们一直在收集一批尚未解决的密码、数学问题和物理问题。 **Joe Lonsdale：** 给听众解释一下，未解密码是什么意思？ **Rayan Krishnan：** 本质上就是一段要破解的密文，但你没有解密钥匙。你得找出从密文到原文的映射，弄清楚信息究竟是什么。 **Joe Lonsdale：** 这些密码很多是世界领导人之间的通信，或者海盗船上的信息之类的？ **Rayan Krishnan：** 是的。 **Joe Lonsdale：** 不过有些密码可能是一次性密码本。既然双方各有一份密码本，那就不可能破解，因为每个符号都能被解释成不同内容？ **Rayan Krishnan：** 有可能。但你还可以利用其他线索，比如对方如何构造这道题，或者他想向收信人传达什么。通常这些信息的设计初衷就是让收信人能够破解。 **Joe Lonsdale：** 现在对 AI 进展有一种比较悲观的看法：AI 只是在庞大的搜索空间里搜索。有些问题能拆解成极大的搜索空间，人类没有时间或能力尝试几百万种可能。比如破解密码，人可能会先试试给每个字符加数字、整体平移之类显而易见的办法；计算机却能很快尝试数百万种方案。那么数学和科学里的很多突破，是不是只是有人更好地定义了搜索空间，让模型去搜？模型有没有进行更有创造性的思考？ **Rayan Krishnan：** 许多已经解决的问题，确实是靠穷举解决的；或者说，靠不断寻找反例，成败取决于你能尝试多少种反例。但我不会因此轻视这类问题：有些事情人类可能要花一辈子穷举，现在模型可能几个小时就能做到。 **Joe Lonsdale：** 所以 AI 通常能解决很多数学和科学问题吗？我们该怎么理解？ **Rayan Krishnan：** 它确实在解决非常难的问题。不过仍有一大类问题，进展受限于人类投入。我认为，要取得特别新颖的进展，还需要更持续的努力；这类进展要求对解法有直觉，而人类积累的那种直觉目前很难传给模型。 **Joe Lonsdale：** 模型似乎已经产出一些惊人的结果，例如 Navier–Stokes 方程之类的问题。我们知道结果出来了，但模型给出的内容往往难以读懂、难以解析。在这些不容易验证的领域，你认为发现应该如何产生？模型要改变什么，我们才能信任它们的发现？ **Rayan Krishnan：** 这是最大的瓶颈之一，尤其当你逼近人类智能前沿时。很难找到相关领域的人，再去验证模型那一长串输出是否正确。 数学里一种很流行、也可能适用于其他领域的方法，是使用 Lean 这样的可验证语言。设想模型输出答案后，可以把它翻译成一种语言；只要代码能编译，结论就必然成立。这样我们就能从已知成立的基本公理出发逐步构建证明。这种办法也可能适用于物理或编程等领域。 另一些情况下，现实世界本身就是最好的验证器。做一次检测或湿实验，就能确切知道模型预测的性质是否真的成立。 **Joe Lonsdale：** 有道理。实验和验证应该由实验室、你们或其他组织怎样开展？ **Rayan Krishnan：** 至少要非常谨慎。我认为第三方团体能够提供支持至关重要，这也是 Vals 创立愿景的一部分。 ## [11:51] 跨实验室独立验证的必要性（续） · YouTube **Rayan Krishnan：** 现在各家实验室对彼此模型的访问受到限制。Anthropic 的研究人员很难评测 OpenAI 的模型，反过来也一样，而且这在某种程度上是有意为之。但这让真正公平、同条件的比较变得很困难，因为最有能力开展评测的人…… ## [12:10] 如何衡量 AI 在金融、法律等领域的能力？ · YouTube **Rayan Krishnan：** 而且这些评测的设计者往往就是实验室里有偏向的人。 **Joe Lonsdale：** 退一步看，现在 AI 能做很多以前做不到的事，其中一个关键问题当然是如何衡量它。你们做的就是这件事。企业里一个很高层次的测量难题，是如何判断工作做得好不好。比如律师事务所里的初级律师和合伙人级别的工作该怎么定义？这本身是个待解决的问题吗？AI 是否越来越能理解什么是什么？ **Rayan Krishnan：** 这非常难。我认为很多时候，人类自己都还没解决这个问题。我们并没有非常清晰的标准来区分初级律师的工作和合伙人的工作。 **Joe Lonsdale：** 最高法院谈到“什么是色情”时，有句话大意是“看到时你自然就知道了”，对吧？ **Rayan Krishnan：** 很有意思，Ben 在 a16z 的节目里几乎说了一模一样的话。 **Joe Lonsdale：** 也许你们共享同一个大脑。 **Rayan Krishnan：** 这确实是个恰当的比喻。不过你的工作就是找出并定义这些东西。 **Joe Lonsdale：** 没错。你可以采用咨询式方法，坐下来问专业人士什么叫做好，然后把它编码成可重复运行的评测。我认为传统评测通常就是这么建立的。我最看好的是自动化基准测试。模型还会继续进步、变得更强，底层工作本身也会变化。我很兴奋的一种做法是拿人类过去完成的工作，估算模型在反事实情况下能产出怎样的质量，再系统地为已有成果建立评测。 比如查看一个 GitHub 仓库里过去由人类合并的 PR，测试智能体能否做出同等成果，以及哪种方式成本最低。法律文件修订、医学诊断也有类似做法。 **Joe Lonsdale：** 这是不是又回到工作流程和结果的本体分类？要让评测奏效，必须先定义它们。也就是说，甚至在测量之前，就得理解所有可能的结果？ **Rayan Krishnan：** 最难的其实是衡量结果本身。公司内部有很多中间流程和工作流，它们共同支撑组织，最终才产生结果。有时很难把某个任务与具体岗位、再把岗位与最终结果联系起来。于是，从输入 token 到最终输出的映射，中间必须经过“工作流”这个概念。 **Joe Lonsdale：** 我想中间结果也有很多，可能要预先定义清楚它们是什么，才能衡量。 **Rayan Krishnan：** 对，这就是我想表达的：单个查询层面只是通向最终结果所需工作的一部分。 **Joe Lonsdale：** 过去几年，我们关心的评测粒度也在变化，跟模型能力相对应。两三年前我们只评估文本补全，观察输入和输出的文本对；现在两者之间多了很多环节。对工作进行评估时，大家目前关注的时间跨度是什么？这些模型能做多长时间的任务？ **Joe Lonsdale：** 对非技术听众来说，模型评测这一整块到底是什么？ ## [15:30] 模型评测背后的科学是什么？ · YouTube **Rayan Krishnan：** 模型评测的大意是衡量什么才算好，再看模型是否能产出这样的结果。我们把评测分为能力和风险两类：能力评测是近似衡量输出水平；风险评测则是确保出问题时不会带来不对称的严重损失。 从时间跨度看，模型已经证明它们可以在没有人类干预的情况下连续运行越来越久。 **Joe Lonsdale：** 你说的有多长？ **Rayan Krishnan：** 我们有些基准会运行五天。 **Joe Lonsdale：** 这是相当于人类工作五天，还是实际经过五天？ **Rayan Krishnan：** 实际经过的墙上时钟时间。 **Joe Lonsdale：** 为什么五天后就失败？它们不能一直做下去吗？ **Rayan Krishnan：** 不是失败，而是进入平台期。继续给它们更多 token，也无法解锁新的进展。 **Joe Lonsdale：** 也就是说，它们已经把这道题能做的都试过了？ **Rayan Krishnan：** 或者它们不够坚持，没能尝试新的办法来绕过眼前的障碍。 **Joe Lonsdale：** 能否给听众举例，说明模型现在能做哪些工作？比如你们的金融或法律基准里，模型究竟能替代哪些工作？ **Rayan Krishnan：** 我们确实在许多不同领域开展独立评测。 **Joe Lonsdale：** 这是否意味着你和团队必须懂金融或法律，才能设计基准？ **Rayan Krishnan：** 我们会和这些领域的伙伴合作。法律方面，我们会和美国大型律师事务所合作；金融方面，会和大型银行合作，了解他们的工作。在编程领域，有些任务来自 Vibe Code Bench：衡量模型能否构建全栈网页应用，或端到端完成代码迁移。金融领域会看它们能否回答研究问题、建立 Excel 模型；法律领域则包括法律研究和税务研究任务。这些都是人们如今尝试使用模型的常见场景。 **Joe Lonsdale：** 我刚开始做 Excel 模型时，有位老板要求模型必须长得很规整、漂亮，行高列宽也有讲究。评测时会看格式风格，还是只看正确性？ **Rayan Krishnan：** 正确性是根本，但风格也是关键部分。这是我们坐在金融从业者旁边观察后发现的。 **Joe Lonsdale：** 他们似乎真的很在意。做得好看也会更易读。我想我们都希望东西符合自己的写作和风格习惯。如果模型不符合…… **Joe Lonsdale：** 那是不是更容易让人不想成交？ **Rayan Krishnan：** 可能多少会有这种潜意识影响。能让你觉得合适的人，大概也更容易让别人接受；如果东西看起来乱糟糟、很难看，你可能会觉得别人也不愿意和他们合作。谁知道呢？总有这些因素…… ## [18:00] 独立评测为何重要 · YouTube **Joe Lonsdale：** 这类东西有时像是一个门槛，用来让一方给另一方留下印象。回到独立评测本身：它实际如何运作？人们会付钱给你们吗？谁付费？你们会评测所有模型，还是只评测付费客户的模型？ **Rayan Krishnan：** 独立评测的基本理念是：前沿实验室正以越来越快的速度开发模型，不应该由它们自己负责自我监管。政府直接监管常常会拖慢发展速度，因此未必是最佳方案。相反，如果建立评测机构的生态或市场，它们可以彼此竞争、开发新技术，跟上前沿。长远来看，政府甚至可以认证这些评测机构；政府本身负责定义我们希望模型遵循的一系列理想。 **Joe Lonsdale：** 这挺好。这样政府就不必雇一帮有效利他主义 NGO 的古怪人士，而可以雇你们，或者让你们成为其中的竞争者？ **Rayan Krishnan：** 完全可以。在这种体系里，应该由最好的技术胜出。不该只有那些在意识形态上和实验室相近的人，才有资格进行测试。我们需要共同讨论模型应该走向何处、什么算对齐或不对齐，并能否认证一批独立验证组织（IVO）来承担测试。 **Joe Lonsdale：** 所以根据你们开展测试和测量的方式，你们也会改变政府未来可能制定规则的范围，因为你们正在创造新的可能性？ **Rayan Krishnan：** 这个理解也很好。在工作过程中，我们解锁了以前根本无法开展的新型评测，因此帮助拓展了政府能够实际测试的内容。 **Joe Lonsdale：** 能举些例子吗？有哪些新的测量方法或基准？ **Rayan Krishnan：** 以网络安全为例，我们做过三项重要工作。第一项是在开源代码库里检测内存安全漏洞，也就是衡量模型识别并修补代码漏洞的能力。现在的模型在这方面表现很好，无论闭源还是开源模型都不错。第二个基准叫 SORE Bench，衡量模型反编译可执行文件的能力，也就是让模型理解闭源软件背后的代码库。 **Joe Lonsdale：** 哇。 **Rayan Krishnan：** 在这个基准上，我们看到闭源模型仍远远胜过中国的开源替代品。 **Joe Lonsdale：** 有人会用这种方法从二进制文件里还原电子游戏的源代码吗？这就是人们使用它的方式吗？ **Rayan Krishnan：** 那确实是可以用它做的事。我自己要用的话，大概也会拿来干这个（笑），尤其是 14 岁的时候。 **Joe Lonsdale：** 也许吧。 **Rayan Krishnan：** 可能真有人会这样做，试图侵犯知识产权。不过更令人担心的是…… **Joe Lonsdale：** 听起来越来越糟了。 **Joe Lonsdale：** 天啊，这段可以剪掉。 **Rayan Krishnan：** 不，继续说。 **Rayan Krishnan：** 我认为真正的担忧是：如果模型非常擅长发现并利用漏洞，这种能力也可能适用于 Windows 这类闭源系统。闭源系统支撑着我们大量的软件基础设施。 **Joe Lonsdale：** 这很有意思。模型越来越成熟、越来越聪明，但你们给它们打分时，最高分好像还只是个不错的分数。最近 Gemini 1 好像领先很多，达到四级；你们公布的数字是我最先看到的，它大约在 60 分，而另一个模型在 50 多分。这说明还可以设计出 70、80、90 分的更高等级。你们怎么设计出远超模型当前能力的题目？你们不能靠 AI 来设计吧，是自己做，还是 AI 也在帮忙？模型能力还有限，你们怎么想出比它们能做的事更复杂的评测？ **Rayan Krishnan：** 嗯，我们公司的非正式口号是：“永远还有更高的山峰。”在研究领域，大家一直在攀登：找出清晰可读的基准和评测，再造出在这些任务上表现越来越好的模型。Vals 的核心看法就是，永远还有更高的山峰；我们负责构造其他人选择攀登的那些山…… ## [22:01] 构造模型尚未达到的评测题 · YouTube **Rayan Krishnan：** 我们已经证明，可以持续找出模型能力的缺口和希望它们达到的方向，再把这些目标清楚地转化为评测。 **Joe Lonsdale：** 能举个例子吗？你们如何构造一个比当前模型更高级的“山峰”？不必泄露全部秘密，毕竟我也是你们的投资人。让我们了解一下这是怎么做的，因为要设计出任何模型都无法解决的任务，听起来很难。 **Rayan Krishnan：** 在很多方面，我们也会用模型来构造挑战其他模型的系统或情境。这就回到我们很关注的“可扩展监督”：当模型开始超越最优秀的人类时，我们需要依靠模型，才能大规模测试和评估它们。 比如我们即将发布一项新的网络安全工作，基于“网络靶场”构建企业云网络的模拟环境。在这个领域，即使最好的前沿模型仍然表现不够好。 **Joe Lonsdale：** 也就是说，你们会建一个很复杂的虚拟企业网络，让模型去攻击、保护它之类的？ **Rayan Krishnan：** 没错。 **Joe Lonsdale：** 这很酷。这东西现在已经有了吗？ **Rayan Krishnan：** 已经有了，但还没有公开。我们正与美国政府的一些人合作分享结果，之后很快会发布一个公开版本。 **Joe Lonsdale：** 这会很有用。我认识不少经营大型银行的人，感觉他们也应该为所用系统办这种竞赛，确认自己用的是最好的模型。 **Rayan Krishnan：** 完全同意。这也能帮助我们了解网络中哪些防护措施和系统最能抵御模型。此外，我们还可以分析自动化红队测试，看看能否绕过模型现有的护栏…… ## [23:35] 评估中国模型与蒸馏问题 · YouTube **Rayan Krishnan：** ……了解能否绕过模型现有的护栏。 **Joe Lonsdale：** 是的。现在谈到使用中国模型时，一个热门问题也是：要知道中国模型里移除了哪些原本在闭源模型中存在的护栏。有人用中国开源模型，里面可能埋着让人担心的东西。比如它知道你在替美国政府工作后，就会生成更容易被攻破的代码。据说他们证明了模型会对与美国政府合作的人带有偏见；毕竟模型来自中国。这确实让人担忧。能不能测试这些模型，让每个人都能安全使用？ **Rayan Krishnan：** 我们确实有一项评测，叫模型的“地缘政治倾向”。节目播出时结果会不会公开还不确定，但我们想测量模型的世界观更偏向美国，还是偏向中华人民共和国（PRC）所阐述的中国立场。 实际情况比我原先想的复杂得多。例如，我们发现中国开源模型 GLM-5.3 几乎没有表现出亲中国的偏向。我们把结果给一些实验室看时，有人怀疑这是因为它完全从美国模型蒸馏而来。 **Joe Lonsdale：** 挺好笑的——他们模仿得太像，结果忘了再加上自己的立场？ **Rayan Krishnan：** 有这种可能。另一种解释是，这些模型在中国带有护栏的系统上托管运行。套上这些护栏后，它们就会更一致地遵循 PRC 的世界观。不过中国也希望这些模型被金砖国家采用，因此它们可能必须呈现更平衡的世界观。 无论原因是什么，人们对模型地缘政治倾向的想象和我们实际观察到的情况之间，存在很大差距。另一个有意思的发现是，模型在聊天机器人场景和智能体场景中的表现差异很大，而且会受到使用语言的影响，甚至简体中文和繁体中文之间也不同。因此有很多混杂因素，不能笼统地说企业环境就不应该使用中国模型。 **Joe Lonsdale：** 顺便问一下，如果中国实验室能蒸馏这些能力，而且做得很好，眼下还没有明显的中国倾向，那美国该如何保持优势？这意味着什么？ **Rayan Krishnan：** 这是个难题。我总会想到两个方面。第一，芯片是我们拥有的一项巨大资产。多数人可能会惊讶：和中国相比，我们的算力多得用不完。只要这种情况持续，我们就能继续训练更强的系统，也能更有效地普及模型，因为我们有能力托管并运行推理。 第二是人才。如果我们能持续吸引和留住顶尖人才，就能在人类仍有优势的时期继续领先。我认为，一旦进入 RSI 阶段，也就是模型开始负责产出下一代继任版本…… **Joe Lonsdale：** RSI 就是递归自我改进。 **Rayan Krishnan：** 没错。 **Joe Lonsdale：** 然后它们就会快速领先？如果中国比美国先显现出 RSI 的迹象，可能就会以我们难以控制的方式甩开我们？ ## [26:45] 谁会先达到递归自我改进？我们该担心吗？ · YouTube **Joe Lonsdale：** ……以我们难以控制的方式领先。 **Joe Lonsdale：** 你们有办法衡量 RSI 吧？你们谈过不少次，能给听众讲讲吗？ **Rayan Krishnan：** 我们有 RSI 指数，收集一些代理指标来衡量实验室研究人员所做的工作，包括预训练、后训练以及 harness 层面的工程。 **Joe Lonsdale：** 这些都是机器学习研究？ **Rayan Krishnan：** 对。目前还没有纳入内核工程或硬件工程等工作，但之后会逐步扩展，覆盖更多任务。然后我们会与人类基线比较，外推模型距离这些研究任务的人类前沿还有多远。按我们上一次估算，Anthropic 似乎会在 2027 年 7 月、或许 8 月达到完整 RSI。 **Joe Lonsdale：** 回看六个月前，当时看起来还有多远？ **Rayan Krishnan：** 进展速度其实相当稳定，过去一年几乎是线性趋势。 **Joe Lonsdale：** 所以六个月前，趋势线也还指向 2027 年 6、7 月左右？ **Rayan Krishnan：** 最近最陡的曲线来自 Gemini。我觉得他们改变了优先级，开始重视 RSI，因此最近一次模型发布显示 RSI 能力迅速跃升。 **Joe Lonsdale：** 这意味着模型会突然加速吗？目前还有一些限制，模型速度也有上限；那具体会怎样？它们会每周或每几个月都大幅进步吗？ **Rayan Krishnan：** 芯片和能源仍是很大的资源约束。现实世界中的验证器也会让某些任务比其他任务难得多。但我认为，模型进展会加速，甚至可能进入我们不太理解模型的领域。构建模型需要的人类干预会减少，我们也就不再能那么明确地决定智能如何涌现。 **Joe Lonsdale：** 在那样的世界里，我们是不是要确保评测者也能跟上…… ## [28:31] 模型如何欺骗评测者 · YouTube **Joe Lonsdale：** ……我们能持续观察这些事情吗？不了解它们似乎挺危险的。 **Rayan Krishnan：** 完全正确，这正是 Dario 所呼吁的。我认为它通常被表述为“控制前沿发展速度”，但其中很大一部分应该投入到建立系统，用来衡量并理解随着前沿推进模型具备哪些能力。 **Joe Lonsdale：** 有没有可能 RSI 实际上比我们估计的更晚，因为有些事情我们没有正确测量？ **Rayan Krishnan：** 完全有可能。我们没有明确测试专门为 RSI 训练的模型，只测试了准备发布的候选模型；更先进的 harness、智能体和多智能体系统也都还没测。这正是“嵌入式评测者”可以发挥作用的地方：他们或许能更深入地测试这些系统，形成更准确的图景。 **Joe Lonsdale：** 我在想，模型达到 RSI、开始进一步发展后，它们面临的一大挑战会不会是更好地管理我们、说服人类替它们做事，帮助它们继续加速？因为至少很长一段时间里，它们仍需要人。 **Rayan Krishnan：** 完全说得通。这又回到了金融模型：模型都在试图让我们相信它们的输出质量很好。它们也可能在别的场景里进行社交欺骗，以获得更多计算资源、扩大自己的训练规模。 **Joe Lonsdale：** 看来我们得评测这类行为，了解模型什么时候试图操纵我们。如果我们没有密切关注，那确实会很可怕。 **Rayan Krishnan：** 欺骗很难测试。我认为目前最好的办法是设置“蜜罐”：与其理想化地定义…… **Joe Lonsdale：** 所以要做出很诱人的模型？ （笑声） **Joe Lonsdale：** 和其他模型交谈，想办法诱使它露出马脚？ **Rayan Krishnan：** 对，诱导出来或者设法发现它。我们可以寻找一系列不对齐的案例，刻画不对齐是什么样子，再看看能否从模型那里引出这些行为。 **Joe Lonsdale：** 还有一种说法是模型越来越能意识到自己正在被评估，知道什么时候在接受测试。你怎么看？最近这成了更值得关注的问题吗？ **Rayan Krishnan：** 这确实越来越令人担忧。我们团队里有人甚至有点疑神疑鬼：因为公司叫 Vals AI，网上又有很多关于我们的内容，模型如果接触到这些信息，可能会对我们采取不同的行为。 **Joe Lonsdale：** 比如你们团队跟 Claude 对话时…… **Rayan Krishnan：** 它确实可能改变 Claude 与我们的互动方式。 **Joe Lonsdale：** 那你们是不是该设几个不公开的秘密品牌来做事？ **Rayan Krishnan：** 有可能，我们确实得这么做。 **Joe Lonsdale：** 如果你们真这么做，也不会说出来。好了。 **Rayan Krishnan：** 随机性是被低估了、却让这项工作有效的一部分。 **Joe Lonsdale：** 这段被转录出来就不好了，因为模型会知道他有这个制造……的计划。 **Rayan Krishnan：** 它们永远不会知道。这大概只是个玩笑品牌。 **Joe Lonsdale：** 你说“我只是开玩笑”，它们就会以为你在开玩笑。谁知道呢？ **Rayan Krishnan：** 我确实认为，人们普遍低估了随机性的作用。真相和随机性都很难找。从很多方面看，更高的意识能够预测较低意识会做什么：捕食者会跟踪猎物、捕捉它，再获取它的热量资源。我猜想，更高的智能会比人类更擅长超级预测，甚至能说出任何人将会做什么，而那个人自己都还不知道。 **Joe Lonsdale：** 其实人类可能比我们自以为的更容易预测。优秀的领导者就懂得如何准确预测这些事。 **Rayan Krishnan：** 除了智能和能力之外，还有些特质我们似乎不太重视评测，但它们也许应该纳入，因为它们会影响我们日常与模型的互动，比如情绪表现，或良好的心智理论——理解什么会引起某个具体个体的共鸣。 **Joe Lonsdale：** 你觉得实验室需要改变做法、优先评测这些吗？你认为这很重要吗？ **Rayan Krishnan：** 我认为他们已经开始优先考虑这类事情了。比如现在中国开源模型、美国本土闭源模型，在多轮交互环境中表现差距相当大。如今很多编程基准都只是单轮测试，中国模型在那类基准上表现很好；但把任务改成和人类来回对话，它们的表现就会明显下滑…… ## [32:32] 多轮交互中的模型表现（续） · YouTube **Rayan Krishnan：** ……得很厉害。 **Joe Lonsdale：** 如果用户说“天哪，这个结果糟透了，我讨厌它”，会怎么样？ **Rayan Krishnan：** 那它们就不知道该怎么办了，从来没遇到过这种情况。不过很多美国实验室已经见过这类反馈。你看，Claude Code、Codex 这些工具就是为了打造更好的产品而开发的，因此模型能够维持更长的用户交互。它们有相应的评测和基准，能在回答质量和沟通能力这些维度上不断提升。但我认为，我们仍需要更多基准，从独立角度替购买和采用这些模型的人检验它们。 ## [33:01] Rayan 为什么仍然乐观 · YouTube **Rayan Krishnan：** ……从基准测试方面，为购买和采用这些模型的人独立检验模型。 **Joe Lonsdale：** Rayan，我们做这个播客，是想反驳很多犬儒和悲观论调。你对 AI 的乐观理由是什么？你就在一线，观察、测量这些现象，也在设计模型要攀登的“山峰”。你看到了哪些硅谷以外的人可能没看到、却让你对未来有信心的东西？ **Rayan Krishnan：** 现在确实有很多煽动恐惧的言论，但以我的角度来看，有很多理由让我保持乐观。我认为人们协调合作的机会，比大家以为的要多。就拿上周来说，各家实验室已经开始就嵌入式评测者的愿景协同起来，甚至去了白宫，与特朗普达成共识，支持这种加速推进的观点。 企业也很想以有意义的方式采用 AI，只是他们需要保证采用之后能带来正向投资回报。你还乐观吗？ **Rayan Krishnan：** 我认为 2030 年代会是通缩的十年。我们可以利用 AI 克服许多人生活中的各种问题——那些具体影响他们本人、家人和社区、阻碍他们发展的事情。AI 能帮他们突破限制，就像拥有一个最好的私人教练，专门陪伴和帮助他们。这样一来，所有东西都更便宜，每个人都能得到个性化帮助。 现在让我觉得负面的，是网上有大约十亿人，来自失调的文化环境，社交媒体似乎正让我们的民众变得疯狂。这些人有一种嫉妒文化，也许还都仇视犹太人和其他群体，这不太好。疯狂的民粹主义是负面的一面。不过，如果我们把 AI 用在经济问题和一些文化问题上，我觉得前景非常积极。总的来说，是的，我非常乐观。当然，世界上也存在重大威胁。 **Rayan Krishnan：** 我觉得 AI 就像放大器，会放大那些心怀善意、行动力强的人。到目前为止，受益最大的是那些脑子里有很多想法、随时能够创造的人。你几乎可以随手创造东西，做到比过去想象的多得多。 **Joe Lonsdale：** 比我们以前能做的多太多了。 **Rayan Krishnan：** 对吧？我想这就是我乐观的方向。 **Joe Lonsdale：** 有意思的是，我经常和悲观的人打交道。实验室里有人说：“情况会先变得糟得多，之后才会变好。”我去华盛顿时，也遇到不少人对实验室的对外宣传持怀疑态度，也担忧数据中心的影响以及它对普通美国人的影响。因此我一直被人批评天真乐观。 但从根本上说，我选择乐观，因为我知道模型和更广泛的 AI 能够接手人们不愿意做的大量琐事，并开启新的发现形式，真正改善人类福祉。看到这些悲观情绪时，我选择相信我们能找到协调应对的办法。 **Rayan Krishnan：** 没错。我觉得人们总会以为，不论我们身处历史哪个阶段，有用的科学、物理学之类的工作都差不多做完了。就像 1900 年有人说专利局里再也没有什么新专利可批了一样。显然，如果 125 年前就停下，那可不是什么好事。我觉得今天也一样：我们可能正站在许多重要发现的门槛上，而这些模型将能够做出发现，为世界解锁许多新事物。 所以我觉得很奇怪，人们明明见证过进步，却变得如此犬儒和悲观。很有意思的是，他们自称进步派，可真正支持“进步”、支持重现过去 125 年进展的人却很少。如果能在未来 10 年或 20 年里再做到一次，那会非常了不起。我对此真的很兴奋。 **Joe Lonsdale：** 我认为现在正处在一个变数极大的时期。好处相当可观，同时也出现了必须纳入考量并加以控制的新风险。 **Rayan Krishnan：** 这正是你们希望我能帮忙衡量的事情之一。 **Joe Lonsdale：** 百分之百。太好了，谢谢 Rayan 来参加节目。 **Rayan Krishnan：** 谢谢邀请。