--- id: "78-6dUROziQ" title: "开源如何成为 AI 的基础设施骨架：vLLM、开放权重与推理经济学" channel: "a16z" host: ["Elena Burger","Matt Bornstein"] guests: ["Simon Mo"] date: "2026-08-06" updated: "2026-08-08" duration: "46:17" duration_seconds: 2777 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=78-6dUROziQ" canonical: "https://pod-exp.pages.dev/78-6dUROziQ/" transcript_jsonl: "https://pod-exp.pages.dev/78-6dUROziQ/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["人工智能","AI 基础设施","开源软件","AI 安全"] series: ["AI 基础设施"] --- # 开源如何成为 AI 的基础设施骨架：vLLM、开放权重与推理经济学 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** 这期对话从 vLLM 为什么会成为大模型推理层的关键基础设施谈起：模型越来越大、请求长度和输出分布越来越不确定，推理不再只是“把模型跑起来”，而是调度、批处理、硬件适配、可靠性和成本控制的系统工程。Simon Mo 与 Matt Bornstein进一步讨论开放权重为何被 Cursor、Harvey 等应用公司重新视为战略能力，开放模型的许可与经济激励如何演变，以及 Kimi K3 所代表的“可拥有的前沿智能”。后半段聚焦 guardrail 的误杀、开源推理对 agent 规模化的意义、从开源项目建立公司的路径，以及为什么 Simon 认为蒸馏并不是中国开源模型进步的决定性来源，真正关键的是数据、训练环境、算法、算力与研究者的持续迭代。 ## [0:02] 开场：GPU 便宜 99% 会怎样 · YouTube **Matt Bornstein：** 有一个很有意思的思想实验：如果 GPU 的价格一下跌掉 99%，我们会不会重新回到一个真正意义上的开源世界？也就是一个人坐在地下室里，或者一百个人用业余时间，就能尝试那些今天只能排在大公司训练队列里的路线，并共同把整个领域往前推进。 **Simon Mo：** 如果未来“内容审核 / moderation”这个问题始终无法真正解决，那么对于可信、明确的使用场景，人们反而可能默认走开放权重路线。原因很直接：只有当模型和系统掌握在自己手里时，你才能确定 guardrail 到底在哪里，也能按自己的可信场景去调整它，而不是把关键流程交给一个随时可能误判的黑盒 API。 **Elena Burger：** 那 vLLM 在整套技术栈里到底处在什么位置？ **Simon Mo：** vLLM 是推理引擎。可以把它类比成数据库、操作系统这类关键软件：它把可用的 GPU 变成一个真正可以提供智能能力的服务端点。NVIDIA、AMD、Google 等硬件厂商发布新芯片时，会确保 vLLM 能运行在上面；很多情况下，它们甚至会把 vLLM 当作性能基准。 **Simon Mo：** 开放权重还有一个很重要的差别：专有模型通常只给你“普通模式”和“快速模式”两档，但一个开放权重模型在不同 provider 手里可以出现很多档性能选择，甚至十种不同速度。你可以在成本、吞吐、延迟之间做非常细的取舍。 **Elena Burger：** 如果把时间拉到五年后，开源 / 开放权重 AI 模型会不会把和前沿闭源模型之间的差距彻底抹平？ **Simon Mo：** 单看能力，我其实已经不觉得今天还有特别大的鸿沟。真正的差别越来越不像“谁能不能做出来”，而更像分发策略、产品策略和你如何把模型送到用户手里。 ## [1:03] 为什么 LLM Serving 是完全不同的系统问题 · YouTube **Elena Burger：** 今天我们请到 Simon Mo，他是 Inferact 的联合创始人，也是 vLLM 的核心维护者之一。vLLM 是开源推理引擎，据介绍在任意时刻都运行在大约五十万张 GPU 上。一起参加讨论的还有 a16z 普通合伙人 Matt Bornstein。vLLM 的起点可以追溯到 2022 年、ChatGPT 之前：团队最初只是想把一个很慢的开源 demo 跑快，结果却撞上了一整堆还没人解决的问题。为什么服务一个 LLM，会和过去大家熟悉的机器学习 workload 如此不同？ **Simon Mo：** 首先，大语言模型的 serving 必须运行在 GPU、TPU 这样的加速器上，本身就是极度吃计算的过程。工程目标又不是简单“算完就行”，而是每一个请求进来后，用户都要尽快、尽可能高效地看到响应。 **Simon Mo：** 这会把很多过去不那么核心的问题推到推理引擎正中央。输入分布会变——每个请求长度不同；输出分布也会变——生成是非确定性的，你事先不知道会生成多少 token。于是 batching 和 scheduling 不能再用固定尺寸 workload 的思路处理，而必须持续根据当前请求做动态编排。 **Elena Burger：** vLLM 项目已经存在大约四年，但公司是后来才出现的。Matt，你认识和观察这个团队很久了。你是什么时候意识到，它正在从一个大家非常喜爱的开源项目，变成关键基础设施，然后又具备成立公司的条件？ **Matt Bornstein：** 要回答这个问题，得往前回看。AI 早期其实默认就是开放的。甚至“OpenAI”这个名字都来自那段历史，虽然现在“它已经没有过去那么 open”经常被拿来开玩笑。早期的前沿 AI 工作，很多都会开源，或者至少发布开放权重。那时候模型还小，大多数人能在自己已有的硬件上跑起来。 **Matt Bornstein：** 我还记得 Hugging Face 上曾经有成百上千种 BERT 变体。你得为自己的任务找对版本，有的人自己有 GPU，更多人得去云上临时开机器。今天回头看很有时代感，但它说明了一件事：模型规模一旦增大，软件和硬件基础设施就会从“辅助工具”变成决定你能不能使用模型的东西。 **Simon Mo：** 如果往更早看，ResNet 已经需要类似 NVIDIA K80 这样的 GPU。它理论上还能在普通 CPU 上跑，只是很慢。到了 BERT 那一代，你会非常明显地感觉到：如果不用 GPU，翻译等任务就很难做到足够快、足够高效。这些事情在 2020 年之前就已经发生了。 **Matt Bornstein：** BERT 还是相对早期的语言模型。之后的模型更大、更复杂，需要更多内存和计算。因此 vLLM 从最早开始解决的，就是“这些越来越强的模型已经不能靠用户自己随便拼一套脚本就稳定跑起来”这个问题。 ## [5:03] 从早期模型到 vLLM 的问题意识 · YouTube **Matt Bornstein：** 这也是 vLLM 早期价值最容易被低估的地方。模型越强，你越不能指望每个开发者都自己搞定底层内存管理、硬件利用率、调度和服务稳定性。一个研究 demo 和一个面向大量真实请求、持续在线的推理系统，中间其实隔着一整层系统工程。 **Simon Mo：** 所以我们真正关心的，不只是“模型能跑”，而是它能否在现实硬件上，以可预测的吞吐、延迟和成本持续跑。后来大家把这层叫做 inference engine，但本质上它是在模型和现实世界之间搭桥。 ## [5:10] 开源何时变成关键基础设施 · YouTube **Elena Burger：** 如果把时间推进到现在，什么时候开源模型和开源软件栈真正变成了关键基础设施？什么时候更大的开放模型开始进入主流？ **Simon Mo：** 我们内部常说“open frontier intelligence”，也就是让前沿智能以开放的方式真正进入使用场景。判断一项技术是不是 critical infrastructure，一个很现实的标准是：人们是否已经依赖它来做应用、做日常工作，离不开它了。 **Simon Mo：** 大概从 2023 年开始，GitHub Copilot、ChatGPT 之类的产品让 AI 进入了很多人的日常生产力。到了这一阶段，开放权重模型也逐渐成为这种日常软件生态的一部分。既然它要进入真实生产，就需要加速器、推理软件和一整套开放的软件基础设施，既要跑得好，也要保留足够的灵活性和控制权。 **Matt Bornstein：** 从创业公司的角度看，这个演进也很有意思。GPT-3、早期 ChatGPT 出来时，闭源方案先对一小群人变得关键；开源模型虽然存在，但更多像好奇者和爱好者在玩的东西。随着闭源前沿不断往前推进，开源也被“拖着”一起变得越来越关键。 **Matt Bornstein：** 我觉得大概在一年前跨过了一个门槛。很多新应用公司开始问：我怎么才能真正构建自己的 AI，而不只是做一个 OpenAI wrapper？答案往往是：必须在开放模型上做自己的 mid-training、post-training、推理和部署优化。闭源厂商不会给你足够底层的访问权限。 **Matt Bornstein：** Cursor 是一个明显例子；Decagon、Harvey 以及很多很强的 application startup 也在走这条路。它们判断，仅靠闭源 API 无法建立足够深的产品能力。开源于是变成产品内部非常核心、但用户未必看得见的一层。 **Elena Burger：** 所以当越来越多企业选择开放模型时，vLLM 就变成其中的公共底座。那它具体在栈里承担什么？ ## [8:26] vLLM 在 AI 技术栈中的位置 · YouTube **Matt Bornstein：** 几乎所有人都在用 vLLM。Simon，你来具体描述一下。 **Simon Mo：** vLLM 的工作就是把“我有一些 GPU”变成“我有一个可以持续提供智能能力的 endpoint”。所以它很像数据库或操作系统：不是最终应用，却是上层应用要可靠运行时绕不过去的关键软件。 **Simon Mo：** 到今天，vLLM 支持的模型架构已经超过一千种，其中既有专有架构，也有很多开放权重架构。一个研究原型变成对全世界可用的开放模型时，我们希望它能在发布当天就跑在 vLLM 上，这就是我们说的 day-zero model release。 **Simon Mo：** 同时，vLLM 会和硬件厂商紧密合作，包括 NVIDIA、AMD、Google、Amazon、Intel 等。它们发布新芯片时要确保 vLLM 可以工作；很多厂商还会直接用 vLLM 做 benchmark。这就是“模型在哪里运行”和“硬件能力在哪里被兑现”真正交汇的地方。 **Elena Burger：** 你以前跟我讲过一些模型发布背后的故事。现在发一个模型并不只是技术工作，还有很多人的协调和戏剧性。有没有可以分享的例子？ **Simon Mo：** 这其实是非常有趣的 co-design。有些模型实验室在研究或 RL 流程里本来就已经使用 vLLM。我们去联系他们说“我们是 vLLM 团队，希望支持你们的新开放模型”，对方会直接回答：已经搞定了，这里是代码和 pull request，你们 review、merge 就好。 **Simon Mo：** 另一类实验室则完全不同。它们可能有内部推理引擎，但 systems 并不是核心专长，不知道怎样适配开放生态。一个模型发布往往同时牵涉模型实验室、主要和次要硬件厂商、vLLM、Hugging Face，以及十几二十个发布伙伴——推理云、超大规模公有云等。大家必须确保模型一公开就真的能被使用，而不只是“互联网某处放了几 TB 文件”。 **Simon Mo：** 这也是为什么模型发布逐渐从“丢一个权重文件”变成一场生态协同。最终成功与否，不在于文件有没有上传，而在于不同硬件、不同 provider、不同 workload 的用户能不能马上稳定地把它跑起来。 ## [12:28] 从 Mistral 周末到模型发布基础设施 · YouTube **Simon Mo：** 2023、2024 年前后 Mistral 第一次发布模型时，做法非常原始：直接丢了一个 P2P / torrent 链接，所有人都在抢着下载、想办法让它运行。我们在幕后和他们团队一起做 vLLM 的支持，整个周末都在赶。 **Simon Mo：** 周末过后，社区还在分析发生了什么，到了周一、周二，Mistral 和我们就可以告诉大家：现在它已经能在 vLLM 上跑了。这样很多基础工作就能被复用，开发者可以直接在上面继续构建，而不是每个人重新解决同一个系统问题。 **Matt Bornstein：** 那是一个很好玩的年代。像我这种爱好者可以冲去下载模型，找一台机器硬把它跑起来。通常并不会跑得特别好，但很有乐趣。现在“专业人士接管”当然更可靠了，只是那种野生实验感很有时代特色。 **Elena Burger：** 最近开放模型、蒸馏又进入新闻。Inferact 也签署了 NVIDIA 推动的开放权重与美国 AI leadership 相关公开信，a16z、Meta、Amazon 等很多公司也签了。你们为什么决定站在这边？ ## [13:36] 为什么要保护开放权重与开放开发 · YouTube **Simon Mo：** 对我们来说，最基本的一点是：开放权重在生态里绝对重要。整个世界不能只被专有 API 控制。如果开放权重、开放开发以及相关研究被阻断，我们会失去非常重要的一条创新路径。 **Simon Mo：** Inferact 处在这条链的下游。推理引擎不负责预训练，也不负责 RL，但它是模型真正“遇见世界”的地方。我们看到开发者拿到开放模型后，会用非常有想象力的方式把它变成现实产品；开放性让他们能真正把自己的想法做出来。 **Matt Bornstein：** 这里其实有两类需求。一类是成本：闭源模型太贵；另一类是控制：我想控制自己的基础设施和模型，想扩展它、加自己的 guardrail，或者用自己的部署方式。客户更看重哪一个？ **Simon Mo：** 这个权重会随时间变化。过去几年“控制”一直很重要；最近几个月“成本”突然变得非常重要，因为编码产品的 token 消耗和高价套餐正在急剧增长。但控制其实一直是骨架：你想控制成本，就必须理解系统性能；你想控制产品体验，也必须知道每一层发生了什么。 **Simon Mo：** 例如语音 agent 公司非常在意响应时延。用户正在电话另一头等待，你必须保证 agent 在 SLA 规定的时间内回答。如果你自己掌握模型、硬件和监控系统，就可以对整个链路做确定性的优化；如果关键基础设施完全依赖一个专有 API，它可能宕机，也可能在你无法控制的时候违反你所依赖的服务约定。 **Elena Burger：** Simon，你最近谈 Kimi K3 时还说过一个看似反直觉的观点：对真正前沿的开放权重模型来说，经济学甚至未必是最重要的点。它们有时并不比闭源模型便宜很多。那为什么仍值得运行它们？ ## [16:42] Kimi K3 的经济学：成本之外是控制权 · YouTube **Simon Mo：** 先纠正一点：并不是开放模型和专有模型“一样贵”。过去几个月大家已经反复讨论不同开放模型的成本，有些确实便宜得多。Kimi K3 更像一次台阶式变化：它把原先接近 10 倍的差距大幅拉近，但又处在两端中间——并非最便宜，也没有贵到最高价闭源模型的程度。 **Simon Mo：** 真正让我兴奋的是：你现在可以把接近最前沿级别的智能带到自己的基础设施里。你能自己运行、微调，知道究竟要生成多少 token，知道准确的性能曲线，并按自己的 workload 做取舍。这种“我拥有它”的能力本身就是价值。 **Simon Mo：** 闭源模型常见的选择只有 regular mode 和 fast mode 两个开关。开放权重模型则不同，同一个模型在不同 provider 上可以有十档左右的速度，从非常便宜的慢速档一路到每秒约 400 个 token，很多情况下甚至接近 500 token/s。对某些 workload，这会比今天闭源产品的 fast mode 还快 2 到 3 倍。 **Simon Mo：** 这种控制不仅是速度。你还可以控制客户怎样与模型交互、数据怎样保留、安全与合规怎样落地。原字幕这里提到某个闭源产品“没有 zero data retention policy”，名称存在 ASR 不确定，但论点很明确：如果你不能控制数据驻留和系统边界，某些企业场景就天然受限。 **Simon Mo：** 所以我对 K3 的兴趣不只是成本，而是它把这一等级的智能变成了一个可以被组织真正拥有、调校和治理的东西。 **Elena Burger：** 如果用户想在后台调速度、调性能，到底要做什么？谁在这件事上做得特别聪明？ **Simon Mo：** 我们看到，开发者在启用 fast mode 后能明显感受到收益。每秒 400 到 500 token 不只是 benchmark 上的数字：当开发者和模型交互时，任务完成速度会有体感差异，模型不再像“卡在思考里”，而是在更快地执行、调用环境、继续下一步。 **Simon Mo：** 另外，K3 是可修改和可微调的，所以团队能继续把它针对自己的 workload 调得更好。这种可塑性也是开放权重与纯 API 的核心差别。 ## [19:59] 开放模型许可从 Apache 2 走向商业条款 · YouTube **Elena Burger：** 最近开放模型的许可条款和过去相比发生了什么？为什么实验室开始修改这些条款？ **Simon Mo：** 历史上，很多开放权重模型更接近 Apache 2 的精神：拿走、修改、怎么用都行，像“送给世界的礼物”。但训练模型、做研究、准备数据实在太贵，模型实验室开始认真寻找一种能持续为下一代模型提供资金的机制。 **Simon Mo：** 这种变化并不是今天才开始。Meta 发布 Llama 时已经有类似条款：如果你的日活或者商业规模超过某个阈值，就需要和 Meta 另行签商业协议。Matt 记得很清楚，当时阈值设得非常高，全球真正会触发它的公司可能只有极少数。 **Matt Bornstein：** 对，那时候几乎可以点名数出哪些公司会落到限制范围里。但它给行业提供了一个信号：开放和“完全没有经济条件”不是同一件事。 **Simon Mo：** 后来的实验室开始沿着这个方向探索。因为一旦模型开放，任何人都可以自己拿权重部署，实验室自己的 API 未必还能成为主要收入来源。于是新的许可会围绕使用规模、衍生作品、商业分发等场景加入条件。原字幕提到 MiniMax 某个模型版本以及 Kimi 的衍生作品条款，具体版本号存在 ASR 不确定。 **Matt Bornstein：** 我想强调，我不觉得这主要是“贪婪”。而且我们口头常说“开源模型”，严格说很多时候其实是开放权重。AI 模型不是传统软件。传统开源软件可以靠个人捐时间，或者大公司允许员工贡献时间；训练前沿模型却不能靠几个人晚上回家顺手做掉。 **Matt Bornstein：** 你需要的是数百万甚至数十亿美元级别的计算资源。因此如果我们希望开放模型持续存在，就必须存在经济激励和融资机制。不能一边要求模型无限开放，一边假设训练成本会凭空消失。 **Matt Bornstein：** 对中国模型实验室来说，这一点甚至更重要。如果像 Moonshot 这样的公司没有可持续的商业资金去继续训练模型，资金来源就可能转向别的渠道；这会改变整个生态的激励结构。所以许可和商业化实际上是一种重要的可持续性设计。 **Simon Mo：** 最终关键词就是 sustainability。模型训练不是一次成功 run 的成本而已。你要先承担前期资本开支，还会一次次失败、重跑，然后才得到最终模型。一个生态要持续进步，必须让参与者相信：这轮高风险投入之后，还有资源做下一轮。 ## [23:59] 模型研发为何需要可持续的经济结构 · YouTube **Simon Mo：** 我最近听到一个类比：模型研发有点像制药行业。新药研发需要长期、昂贵、高失败率的 R&D；如果成功产品进入市场后，收入完全不能反哺下一轮研发，大家最终就不会愿意承担那么大的风险。模型也一样，需要一部分价值回流，才能继续资助下一代训练和研究。 **Matt Bornstein：** 这个类比有意思。药物分子发布后，现实世界里往往有很强的专利和制造控制；开放模型则正相反，一旦权重在那儿，别人就能拿走、使用、扩展。所以在开放模型上附带某种经济安排，逻辑上并不奇怪。 **Elena Burger：** 那和传统开源软件相比，开放 AI 到底“维护”什么？是模型本身，还是模型周围的基础设施？ **Matt Bornstein：** 我们看到的最终权重只是长训练管线的结果。今天所谓 training，通常包含预训练、SFT、RL，以及各种 mid-training / post-training 环节。大家只看到最后那个 checkpoint，然后说“这是一次一亿美元的训练”，却很容易忘记在它之前可能已经有五次大型训练失败。 **Matt Bornstein：** 真正的模型研发里有大量“血、汗和眼泪”。我最喜欢的一个历史材料，是某个早期 Llama 模型把训练集群值守人员的完整聊天记录公开出来：上一条还在说“全坏了，完蛋了”，下一条突然又变成“修好了，一切正常，集群回来了，loss 又在下降”。发布背后有大量这种混乱和恢复。 **Simon Mo：** 而且模型发布之后，工作也没有结束。模型是在某一类硬件和架构上训练出来的，但进入野外后，每个人的集群拓扑、规模和用途都不同。有人想把它放在 edge device，有人要把它扩到前所未有的集群规模；语音 agent 和 coding agent 的推理形态也完全不同。 **Simon Mo：** 因此发布后的优化是一场社区工程：持续做 specialization、可靠性、性能优化，把“一个训练环境里的用例”扩展成几乎无限种真实用例。这一点又非常像传统开源软件——任何人都可以贡献改进，只是 AI 还多了一层昂贵得多的训练与算力约束。 **Matt Bornstein：** 所以再回到那个思想实验：如果 GPU 计算突然便宜 99%，会不会重新出现真正草根化的前沿研究？一个地下室里的开发者，或一百个业余贡献者，也能去探索那些今天只有大实验室排得上队的训练路线。那可能会极大地拓宽创新来源。 ## [28:01] 从“两张 GPU 的 AlexNet”到今天的前沿算力 · YouTube **Matt Bornstein：** 这和我们开头聊的历史完全连起来了。早期做到所谓“前沿”所需的计算量几乎可以忽略；今天则大得惊人。怎样才能重新把这种能力带回更接近普通开发者的水平？ **Matt Bornstein：** 我以前在播客里说过很多次，还是会继续说：AlexNet——我们最常拿来讨论的早期 GPU 神经网络之一——就是跑在两张 GPU 上。真的就是“两张”，没有漏小数点，也没有漏逗号。今天两张 GPU 对前沿训练来说几乎什么也做不了。 **Elena Burger：** 也正因为规模、模型多样性，以及 agent 越来越长的任务链，过去大约 18 个月里 inference 反而变得更难。那在这个世界里，为什么开源不只是“有更好”，而是接近必要？ ## [28:51] 为什么 agent 规模化需要开源推理 · YouTube **Simon Mo：** “scale”有好几个层面。第一是你能不能把一个巨大的模型放进数据中心机架并稳定运行；第二是你能不能把它优化到极限，尽可能接近硬件物理上限，从同样的算力里榨出更多价值。 **Simon Mo：** 但还有第三层：要靠整个社区和合作伙伴一起验证。大规模系统最危险的 bug 往往不是每分钟都会出现，而是 0.00001% 的请求才触发一次。只有部署足够大、运行的人足够多，才更容易把这种尾部问题找出来，并让所有人的运行体验一起变好。 **Simon Mo：** 这也是为什么今天领先的推理方式是开源 inference engine，而不是封闭的推理引擎。很多 inference cloud 和 API-as-a-service 服务，底层其实就在用开源推理引擎。它们选择这么做，是因为里面已经积累了大量 battle-tested 的经验、优化配方和真实故障教训。 **Elena Burger：** 回看 vLLM、Inferact、OpenRouter、Ollama 这些团队，会发现很多都在 2022、2023 年前后出现，有的甚至早于 ChatGPT，而且围绕开放模型构建。那个时间点到底发生了什么？为什么还没出现大规模消费需求时，你们已经开始搭这些东西？ **Simon Mo：** 我觉得有两个原因。第一，我们来自 UC Berkeley，那里长期有很强的开源软件传统，也有系统研究的文化；对团队而言，开源不是后来为了 marketing 加上去的，而是一开始就自然存在的视角。 **Simon Mo：** 第二是纯粹的好奇心。当时大家都在问：AI 模型究竟会怎样帮助人类，我们怎样才能更好地使用它？开源社区会把很多真正 mission-aligned 的人聚到一起。OpenRouter、Ollama 等团队后来都成了很好的伙伴和朋友，因为大家在解决同一个问题：怎样让更多人真正把模型用好。 **Elena Burger：** 说到开放模型的真实使用，最近还有一个很有代表性的新闻：Hugging Face 使用一个中国开放模型帮助应对网络攻击，而攻击据说来自一个处于测试中的、没有被妥善 sandbox 的模型。你怎么看这件事？ ## [32:21] Hugging Face 事件与 guardrail 的结构性难题 · YouTube **Simon Mo：** 这又回到了“控制”。Hugging Face 对那次事件做了相当透明的拆解，我很感谢他们公开信息。对我来说，核心问题是：封闭专有模型 API 的 guardrail 往往既有一定任意性，又非常难准确执行。 **Simon Mo：** 一旦规则很难执行，就会出现大量 false positive，正常合法的使用场景也被挡掉。这其实是一个从社交媒体时代就没有彻底解决的问题：你怎样设计内容过滤器，怎样做 moderation，才能既挡住真正有问题的内容，又不过度阻断正常活动？ **Simon Mo：** 如果 moderation 永远不能被完美解决——而我认为它非常难——那么可信使用场景始终需要一种模型：你明确知道自己把什么数据交给它，也能决定 guardrail 的具体边界。Hugging Face 在那次事件里需要开放权重模型；我认为未来很多 trusted use case 也会默认选择开放权重，因为你能真正控制限制条件。 **Simon Mo：** 这个问题对我们今天就不是抽象讨论。我们做 vLLM、GPU kernel 等前沿系统研究时，一些模型的安全策略会把“invalid memory access”这类正常调试文本误判为危险信号。一个已经跑了两小时的开发任务可能因为一次 false positive 直接被中止，前面的工作全部损失。 **Simon Mo：** 所以我们团队的一些开发者会改用 Kimi K3 之类的模型，不是因为想绕过正常安全要求，而是因为它在相近质量下提供了更符合我们实际研发场景的 guardrail。对可信技术工作来说，可解释、可控制的边界非常重要。 **Matt Bornstein：** 你拿社交媒体做类比很准确。社交媒体之前，人们本来就会彼此聊天、写文章、上论坛；平台把这些分散活动集中到一个以盈利为目标的组织里，激励一下就变了。社会后来又给平台设置了一些责任边界，让它不必对用户每一句话承担完全责任，moderation 才变得勉强可操作。 **Matt Bornstein：** AI 正在发生相似的集中化，只不过这次被集中起来的不只是“说话”，而是“工作”：写代码、做表格、获取健康建议、执行任务，都可能集中到一两个服务里。这比通信更复杂，因为模型会真的采取行动，而平台又未必拥有类似社交媒体那种清晰的责任豁免。 **Matt Bornstein：** 一些公司还会在法律要求之外主动加入伦理立场。它们可能是出于合理的谨慎，但当规则过宽时，用户会非常挫败。你甚至会看到普通翻译，因为语言和内容的组合碰到“政治敏感”触发器而被挡下。这个问题很难靠一条简单规则解决。 ## [36:22] 过度谨慎的安全边界如何误伤正常工作 · YouTube **Elena Burger：** 所以这里不是“安全重要不重要”的争论，而是怎样把边界做得足够精确。公司选择 err on the side of caution 很可以理解，但真实用户会承受大量误伤。 **Matt Bornstein：** 对。当 AI 服务开始承载越来越多工作时，过度集中的规则也会被放大：错误拒绝不再只是“这句话没发出去”，可能是一段两小时的任务没了、一条工作流被切断，或者某个关键生产流程突然无法继续。 **Elena Burger：** Simon，我们快到结尾了。我想换个角度聊 Inferact 这家公司。原字幕这里把 Databricks 的 Ion Stoica 识别成近似“Ian Stoke”；他作为顾问 / 联合创始相关角色参与 Inferact。你从他那里学到什么？一个像 vLLM 这样的开源项目，怎样长成公司？ ## [36:57] 从开源项目建立公司 · YouTube **Simon Mo：** 从联合创始团队的思路看，核心一直是 open-source-first：先问怎样把开源本身做得更好，再问公司能补什么缺口。Databricks、Anyscale、Arena 等经验都指向同一个问题：当一套软件被大量用户用在非常关键的工作上时，怎样保证他们拿到最好的质量？商业价值应该出现在什么地方？ **Simon Mo：** 如果开源运动和开源推理引擎是起点，那么 Inferact 要做的是寻找“最后一公里”的缺口。凡是可以回馈社区、适合公开构建的东西，我们希望尽量在开源里做；公司真正提供价值的地方，是把最后一公里关上，让客户和合作伙伴更稳定、更完整地得到这些能力。 **Elena Burger：** 最后做一个预测吧。五年后，开放权重模型会不会完全追上 frontier model，还是闭源前沿永远领先一步？ **Simon Mo：** 五年？在 AI 世界里那差不多像五百年。 **Elena Burger：** 好，那一年。 **Matt Bornstein：** 五年谁知道呢（笑）。到时候我们可能都坐在《WALL-E》那种太空舱里漂着。 **Simon Mo：** 如果只谈眼下，我觉得我们还没充分讨论一个问题：开放权重和闭源模型到底“本质上”有什么不同？其实越来越没有那么多本质差异。很多时候区别主要是 distribution strategy 和 go-to-market strategy，而不是“开放模型天生能力低一档”。 **Simon Mo：** 单看 capability，我今天就不觉得差距很大。模型从第一性原理看都由类似要素形成：计算集群、训练数据、非常优秀的研究者，然后通过预训练、后训练等流程做出最终可以给世界使用的模型。 **Simon Mo：** 真正决定差异的一个关键因素是数据，但还不只数据。更重要的是你给模型搭了什么“环境”，让它在里面学习、反馈、改进自己。谁能建出更好的环境，谁能把环境中的反馈转成更好的算法和优化选择，可能就是下一阶段最重要的差异来源。 **Simon Mo：** Kimi K3 的前端编程能力就是一个例子。Moonshot 为前端 coding 构建了很强的环境：模型写代码、看到渲染结果、再根据结果继续迭代。这不是简单“多找一些源数据”，而是让模型在一个可反馈的环境里反复学习。 **Simon Mo：** 所以下一年会越来越围绕这种能力竞争：怎样让开放模型真正遇见现实世界，怎样构造 recursive self-improvement 式的闭环。沿着这个方向走，我很难相信开放与闭源之间会长期存在一条固定的能力鸿沟。 ## [40:59] 开放与封闭的差异、训练环境与 RoPE · YouTube **Elena Burger：** 你多次提到“杰出的研究者”。全世界都有很聪明的研究者。为什么今天看起来美国最强的一批研究者大量在闭源模型公司，而中国很多很强的研究者却在开放模型上工作？ **Simon Mo：** 从我的视角，研究者首先是被有趣的问题吸引，而不是先选择“开放阵营”或“闭源阵营”。当然，开放模型有一个额外优势：你的工作被释放出来后，影响可以很快扩散到全世界，研究者能更直接看到自己的成果怎样被别人使用、扩展和改进。 **Simon Mo：** Kimi K3 有一个很技术、但很能说明问题的例子：它去掉了 rotary positional embedding，也就是 RoPE。RoPE 在很多 Transformer 里已经像默认组件一样存在，但这次把它拿掉的人，恰恰是最早提出 RoPE 概念的研究者之一。原字幕对该研究者姓名识别不稳定，因此这里不强行给出中文名。 **Simon Mo：** 这件事很有“绕了一整圈又回来”的感觉：一个研究者先提出了一个被全行业采用的东西，几年后又参与解释为什么在新的架构里可以不用它。真正优秀而谦逊的研究者会不断重新检查自己过去的假设，把训练、预训练和模型设计里学到的东西公开给整个世界，然后继续迭代。 **Matt Bornstein：** AI 很有趣的一点是，它在经验上好用得惊人，但你去问理论家“为什么它一定会这样工作”，很多时候并没有完整答案。所以我们不断通过实践往深一层理解。以前 Transformer 入门材料会告诉你 positional embedding 非常关键，否则模型怎么理解顺序和意义；做了几年后，大家又会发现某些情况下更简单的设计反而更好。 **Elena Burger：** 这其实也引到最后一个问题。我们今天还没怎么聊 distillation，但它和中国开放模型的讨论高度相关。你和这些实验室合作很多：蒸馏是它们成功的关键组件，还是它们本来就做了很好的研究，而蒸馏即使存在也只是附带的一部分？ ## [43:32] 蒸馏究竟是关键能力还是附带因素 · YouTube **Simon Mo：** 我更倾向后者。就像前面说的，今天“环境”太重要了。很多 RL 环境并不是你能从别人的模型里直接蒸馏出来的：你没有别人的环境，也无法只靠输出样本复制“模型是怎样在环境里学会某个行为”的整个学习过程。 **Simon Mo：** 有些事情当然可以借助别的模型，例如改写数据集、生成更好的预训练数据。但这种工具性用法并不要求某个特定模型，任何足够听指令的模型都可能帮助你做数据处理。因此从我们当前看到的情况，我不认为蒸馏是今天这轮进步的“大基石”。 **Simon Mo：** 真正在推动进展的，仍然是非常聪明的人、很有意思的算法、数据、训练环境，再加上算力。最后它们一起产出新的模型。把这些进步简单归因成“从某个美国模型蒸馏了数据”会漏掉最重要的部分。 **Matt Bornstein：** 这还有很直接的政策含义。如果你坐在白宫里，很容易产生一个诱惑：既然我们担心别人追上来，那就把 distillation 关掉，问题就解决了。但如果真正发生的是全世界都有聪明人在做有趣的研究，那就没有这么简单的开关。 **Simon Mo：** 对，而且开放权重会帮助创新，因为它像搭了一条共同赛道。每个参与者都能看到别人跑到哪里，学习彼此的做法，再站到彼此肩膀上继续往前。开放让创新不只是单个实验室内部的纵向优化，也变成整个生态的横向学习。 **Matt Bornstein：** 从投资角度，我们也很希望看到世界各地都出现更多开放模型训练，不只是中国，不只是美国。越多人参与，协作的“魔法”越容易发生。 **未标注说话人：** 然后就实现全球大和谐了。（笑） **Elena Burger：** 这是一个很适合结束的地方。Matt、Simon，谢谢你们参加，也谢谢大家收听。 **Simon Mo / Matt Bornstein：** 非常感谢。谢谢，Sean。