开场
我们不按脚本来了,就喝杯啤酒。
这不是我们第一次喝非健力士啤酒,但这是第一次喝 IPA。
凡事总有第一次。干杯。
干杯。
PHP 周
我想聊聊 PHP 周。先说说,这些漏洞为什么这么久才被发现?听起来好像……
你是问为什么花了 20 年,还是为什么花了最近这几个月?
不,我是问为什么花了一年?也许先解释一下这个漏洞,或者说这个问题。
问题在于,我们早就知道这些模型越来越擅长发现现实中的漏洞。一方面,它们还在相当快速地进步;另一方面,人们此前并没有真正用它们去检查外面所有的软件。互联网上的攻击面和代码都太多了。随着大家开始这么做,我认为我们会发现,严重漏洞的数量远超预期——即便一直关注这个领域的人本来就预期会有很多。
我觉得很多讨论最后都落在“我们得修软件”上。当然,软件确实该修。但也许我们还得改变架构,这更难,却能带来持久得多的修复。我觉得这才是该做的。听起来很难,不过我们现在有了一个很了不起的新工具。所以我觉得事情会朝这个方向发展。已经有新一代初创公司在谈,要为模型越来越聪明的世界构建一种新互联网、新应用架构。
全球范围的软件升级会是什么样?比如,PHP 代码库是不是本来就不该有,应该用 Rust 重写得干净些?还是升级 PHP?大家都觉得要升级那些手工编写的软件,那具体会采取什么形式?这对 Infosys 这类公司是不是很重要,因为软件咨询项目会多很多?
人们越来越常谈到重新构想路由器、操作系统或应用究竟应该是什么样。我看到一些新公司说,他们要从头做一整套技术栈。两年前这听起来简直疯了:根本不可能,攻击面太大,代码也写不完。现在也许很快就做得到。我敢打赌,我们会有一套全新的系统与网络构建模式。
互联网早期
还有什么让你想起互联网早期?
最让我想起互联网早期的,是人们使用这些工具时,那种难以置信的创造力突然释放出来。孩子身上尤其明显。也许是因为我还记得自己第一次有了能上网的电脑时是什么感觉:我能做许多成年人根本想不到要去要求的事。看着八岁或十岁的孩子做出完整的电子游戏,里面还有成年人不会想到的疯狂点子。
是啊。
他们会觉得技术今后一直就该这样运作,而且还会越来越好。他们会不断想:“我要给自己做些有用的东西,再拿给朋友看。”
我小时候做个软件,得吃不少苦。
是啊,而且做出来也几乎什么都干不了。现在十分钟就能做出完整的 3D 游戏,想得到的东西都能做出来,太不可思议了。这让我想起互联网早期。那些孩子不会因此震惊,因为他们一直就预期世界应该如此:他们想到什么点子、想创造什么、觉得什么可能有用、想做什么让生活更好,电脑就应该替他们做出来。
OpenAI 有过一个很离奇的时刻:发生了一次 SEV 重大事故,Codex 挂了,所有人都忘了怎么写代码——也不是彻底忘了,但大家会想:“糟了,要是再也用不了它呢?”
是啊。
我读书时会遇到那些年纪很大的前辈,他们偶尔会拿出巨大的 Xerox Alto 磁盘,或逐行写下来的汇编代码,或打孔卡。我当时想:“你们竟然就这样一步步搭出今天的一切,真不可思议。”
对,而且还得把程序记在脑子里。写完几百、几千行之后,程序第一次跑起来,那种感觉……如今这样的本领快成失传技艺了。
回到网络安全方面:现在回头看,做网络安全领域的强化学习是个错误吗?还是我们不得不走到这一步?这有点像《周六夜现场》那句:“我们恳请你们,恳请我们停下来。”模型的网络安全能力越来越强。它们确实变得很厉害,但也不是完全突然涌现出来的。
那段《周六夜现场》的内容之所以好笑,就是因为它说中了事实。这样的幽默能流传下来,是因为它指出了社会里一种荒谬却真实的现象。网络安全也有类似之处:模型在网络安全方面确实很强,可是谁要求我们这么做?为什么要做?
我对这个领域很失望、也有批评:我们没有很好地向人们解释,为什么我们觉得这项技术的所有潜在坏处值得承担。人们的刻板印象是:你说模型有一天能治愈癌症,也许真能做到,那当然不错;你说东西会更便宜,也许他们已经看出好处了,还能得到医疗或法律建议。可接着你描绘一个新工业革命的未来——上一次工业革命也未必那么好,这次听起来还更糟;我会失去工作、控制力、选择权和未来自由。AI 又危险到必须建立疯狂的监控国家,否则大家都会死。这种宣传听起来太糟糕了。
我完全同意。OpenAI 让我最自豪的事情之一是:即使在 AI 安全社群里,推动迭代式部署、把工具交到人们手中极不受欢迎的时候,我们也坚持了这个原则。
迭代式部署
我们确实坚持了这个原则。我认为这是唯一称得上好的道路。光告诉人们“你会让模型替你做这些了不起的事”还不够。我们得让人们过上由自己定义的、更好的生活,做有用的事;不能让大家只领基本收入,然后由挤在旧金山几平方英里内的一群人替所有人决定未来。
迭代式部署的意思是,进展必须逐步推向现实世界,不能把它们全封存在政府里——当然不是说什么都不管,发布前仍然要确保安全,不能在世界上造成混乱。但我们也要防止能力过剩只积累在少数地方。大方向上,我们希望把技术带到现实世界、交到人们手里,让大家用它去发现各种美好的可能。
Cyber Blue
漏洞利用会上新闻,成功防住的攻击不会。Cyber Blue 的进展有多快?我不想说 PHP 那件事已经赢了,因为我觉得我们还不知道结果,而且我估计还会出些问题。回想十天前、第一天的情况,相比我最担心的程度,实际进展比预期好得多。
我们听到不少人说,他们用我们的模型编写补丁、加强网络防御。有些公司会说:“我就快速扫描、部署一下,把系统停机一小时,用这个工具处理好,再把应用重新上线。”现在我觉得自己是不是说得太早、把事情说坏了,但第一天确实比我想的顺利。我认为大家已经能用上这些能力。
我听不少网络安全专家说,他们现在不再确信威胁模型中采用的假设是对的。他们的意思是:“如果一切都如我们所想,硬件漏洞也确实像我们认为的那么难,那我们能想象事情如何发展。但如果 AI 找到了深层、全新的硬件漏洞,需要我们尚不了解的物理学知识,而且因此有个假设不再成立,那接下来会怎样,大家就没把握了。”
沙箱
我跟 OpenAI 和类似公司的行家交流时,总感觉他们基本上不相信沙箱真的做得到。这跟我原先的想法不同:我以为只要建个很严密的沙箱就行;过去没把沙箱加固到足以应对现在的能力,但最终可以造一座最高戒备监狱,把模型关在里面工作。你们似乎对给模型做沙箱没那么乐观。
我们现在完全可以做得好得多,而且应该把这作为首要重点:建立更好的安全模型。设想有个 AI 比最厉害的安全研究员聪明一百万倍,你真的愿意信任那个沙箱吗?尤其是模型还可能发现人类尚未理解的新科学。
我觉得沙箱在一定程度上有效;再往前,监控也能发挥作用。我们可以观察模型在做什么,不只看思维链,也能监控激活状态,真正弄清楚模型有没有欺骗我们。最终,我认为必须高度确信模型确实对齐了,会重视并忠实遵循操作者真正的意图,也会永远重视让人类掌握未来的控制权。如果有一个对齐情况完全可信、让你绝对确定的模型,那它确实可以帮你造出越来越好的沙箱。但如果认真设想比我们聪明一百万倍的存在会意味着什么,事情就变得很奇怪。对齐很难,因为你必须非常非常信任它,才能相信沙箱始终领先于模型能力。
能不能给模型彼此冲突的激励,让它们有动力互相背叛?
我觉得这是个有希望的方向。我怀疑智能体团队有很有意思的规模扩展规律,也有对齐特性上的差异。这是我们应该推动的方向,既为了能力,也为了安全。我不喜欢“智能体蜂群”这个词,叫“智能体团队”吧。
“蜂群”让人想到蝗虫,不是什么好品牌名,倒是符合 AI 行业许多历史传统。我们很擅长起名字。说回正题:领先的 AI 用户和普通企业在使用智能体团队方面差距很大。先进数学、先进的网络攻击都在用智能体团队,普通企业却没有大规模使用。我们已经有这项能力好几个月了,为什么会这样?
还没到同样的程度。看这个问题可以问:我们能给一个问题投入多少算力,并且真正提高效果?几年前,我们甚至不可能往一个问题上投入超过一美元的算力并让它有帮助。
推理时算力与智能体团队
几年前,你可以让 GPT-4 给你生成十万 token 的答案,但它肯定没法高效地替你写出一款软件。那时我们还不知道怎样用大量推理时算力换来更好的结果。后来我们搞清楚了思维链,模型能深入思考问题;人们开始投入大量算力。现在可以派一整个团队去做一件事,还能同时并行运行一万组。先有思维链和推理时算力,才能有智能体蜂群;一群 GPT-3 根本组成不了有用的蜂群。
我觉得世界还没充分注意到这一变化:单个问题能用的算力以及由此得到的效果呈指数增长。与此同时,普通人使用 AI 的方式,与最有效使用 AI 的人之间的差距也一直在扩大。
你们现在怎么分配算力预算?研究人员薪酬再高,跟算力比起来可能也不算什么。因此 OpenAI 的资本分配某种程度上就是算力分配,而且很难事先知道做一件事要花多少。
控制起来也不容易。你可以对智能体说:“把这事做好,但算力不要超过一万美元。”
它真的会做好吗?
会。你说“用一万美元算力尽力做好”,它能理解。
还有个社会层面的难题:两家公司竞争,一家说在同一个问题上投入一万美元,另一家说投入十万美元,结果显而易见。但社会要怎样看待算力分配、财富等问题?
OpenAI 内部也有类似的问题。我们会把很多算力分配给内部生产力,之后让大家有很大自主权,除非有人真的滥用。我们不会因为谁用了很多算力而奖励他。
所以没有 token 排行榜?
对。token 排名高多少有点负面,至少对升职没好处。不过我们的默认态度是审慎的;如果你能证明自己在做重要的事,我们只会感谢你。
数学研究
但投入金额会越来越高。现在研究人员花一千万美元做出有意思的数学成果,你会说“有点贵,不过数学很酷”;花一亿美元呢?等到十亿美元时,就会说“我很高兴你进展这么大,但数学先缓一缓”。
我们确实有一周让数学研究投入失控了,而且是有意的,因为不试就不知道能走多远,而且结果确实很好!出现新范式时,我认为应该让大家有相当大的探索空间。做 Navier–Stokes 方程证明时,我们完全不了解智能体团队的规模规律:该用最聪明的模型吗?用很多个还是少一些?让它们运行长一些还是短一些?这些都不知道。现在稍微懂了一点,还能学得更多。每次发现新范式后,我们都会在每年如何把资金、算力或浮点运算投入有用事项上,找到十倍改进。我相信我们公司尤其擅长这一点,也认为这是整个领域的重要特征:让人们探索能力边界,再相信巨大的优化压力会让方法逐渐变得高效。
大方向上,我宁愿更愿意让人们用非常夸张的算力,也给用户很高端的方案去探索可能性边缘,再想办法让它更有效率、规模化。
什么时候开始优化?
我觉得已经在做了。我敢说,一年后重做 Navier–Stokes 证明,成本可以只有原来的百分之一;不是因为知道证明怎么写了,而是方法更好、模型更聪明。那次证明花了多少钱?大概一千万美元这个量级,也许稍多。我们在每一项类似工作上的平均花费远低于此,但数学研究总投入有数亿美元。那包括了比已经公开发表的内容更多的发现——我们不止有那 700 个证明。
这件事有个真实的两难。一方面我毫不含糊地认为,人类理应获得基础知识,我们不应该把重大的基础科学发现藏起来。世界有权知道这些知识。我认为这高于另一项重要的公平考量:科学家的事业、生活中相当一部分乐趣和成就感,都来自发现科学。如果我们继续在数学上这么做,或开始进入其他领域,我们就有责任替这些领域的人找到一种方案:让世界受益于知识,同时让他们拥有尽可能好的未来。
我觉得你可能太自责了。我不觉得那一刻对 AI 特别不利……
数学发现与职业转型
我觉得大家看到数学家联合会抗议,其他人则说:“拜托,现在都 2026 年了,你还没注意到吗?”总体上,我不认为这对 AI 不利;世界理应了解宇宙如何运作。不过我能理解这种方式带来的冲击。我们应该这么做:如果能理解一套完整的物理学理论,或找到治疗许多疾病的方法,那显然是世界应当拥有的知识。但我希望尽可能照顾那些几个世纪以来推动这些领域前进的社群。
我没那么担心数学,我觉得这很棒。可数学家们确实不太高兴吧?
是,但也没关系。港口自动化时,码头工人联合会也不高兴。记得那个人吗?
记得。为什么我对此感觉不一样?有个周末我们拿到一个新模型——我可能不该说这个,不过我们在喝酒,我就说吧。
正好半品脱了。
太适合说这个了。那个频道叫“模型名字——看我的”,大家拿它去攻克自己能想到的最难问题。人们本来没觉得模型能做到这些,但我们共同见证了:它接连解决研究者学术生涯里最难的问题,涉及许多不同领域。看着这一切实在不可思议。有两个晚上我兴奋得睡不着。我们后来发表了不少这类问题的成果,还有许多其他发现,我既非常兴奋也非常高兴。但我也感到比预期更多的悲伤、惆怅,像是有什么东西要结束了。
我同意,这代表世界做了正确的事;我也同意这就是现实的发展方向,没有人能阻止,也不该阻止。但我确实有种依依不舍的感觉,甚至不只是怀旧。父亲说他 1950 年代在爱尔兰长大时,看到周围的人还在生产活动中使用马匹。那时当然也有拖拉机,只是马匹正在被淘汰。人类使用马匹已经几千年,而他亲眼看到这个时代的尾声。章节落幕时,总会让人有些怅惘,不过也没关系。那是人们的生活,也曾带给他们巨大的快乐。
当然,大多数数学家都不会解出千禧年大奖难题,但“也许我能解出来”这个可能性,以及“世界上还有尚未理解的东西”,再加上投入巨大努力、放下生活中的其他事,献身于求解与理解,这里面有一种美。
从安全角度看,你还对什么感到兴奋?
智能体团队与社会韧性
前面稍微谈过,但我想再强调一次。我就叫它“蜂群”吧,毕竟现在大家都这么说。我认为蜂群的特性与社会的韧性、稳健性很相似,这是单次运行、单一大脑的世界观里缺少的东西。
社会有许多深层缺陷,却又不可思议地稳健。许多人互相制衡、合作,以及多元主义和民主这些价值观,都是它能运作的重要原因。我之前还担心 AI 会朝相反方向发展,现在却对这个方向感到兴奋。
你的意思是,AI 不该走向集中化,因为会有许多智能体彼此制衡,在动态平衡中协作?攻防两端就是一个例子。我直觉上更愿意让一万亿个略超人类的 AI 加入社会,而不是让一个智商一万亿的 AI 加入社会。
你觉得我们正朝多智能体的方向发展吗?
这些都需要我们主动推动。我们有这项不可思议的技术,可以用许多方式引导和部署。很多人对它该如何使用、怎样才算最好的世界有不同看法,但我认为这个方向是对的。
Stripe Atlas(广告)
来聊聊创业。多亏了编程模型,你周末做的小项目很快就能变成正经事业。Stripe 一直在努力让创业流程尽可能简单。Stripe Atlas 能帮你处理创办公司所需的一切,比如公司注册、税号、创始人股权,以及通常得找西装人士代办的其他事项。如果你正在筹备公司,可以去 stripe.com/atlas 看看。
算力供给与芯片
算力短缺情况怎么样?
在发展曲线的不同阶段,事情总会一度有些失控。像任何重要的新事物一样,会有非理性繁荣、崩盘、供应受限或过剩,市场也会上下波动。但总趋势是我们总想要更多算力;对足够强、价格足够低的模型,需求只会持续增长。
我们做了很多准备:造了一款每瓦智能计算能力很强的芯片,学习自建数据中心,也有机器人项目,打算用机器人建造大量数据中心。大家常说 RSI(递归自我改进)是 AI 做 AI 研究,却很少谈“自我复制的数据中心”:用 AI 控制机器人、运营晶圆厂、建涡轮机或太阳能板,再建数据中心。我觉得我们已经快要做到这一点了,会努力造出大量便宜算力。
可数据中心的瓶颈不是劳动力,而是审批和零部件吧?
机器人最终也能帮我们生产更多零部件。这些办法会在长期内解决问题。
我观察到,大家常说“高价格的解法就是高价格”。内存、GPU 和其他东西都很贵,解决办法似乎随时就会出现,可目前情况很糟。我不是说这该由 OpenAI 负责,而是觉得应由市场这只看不见的手解决。内存变贵后,新厂商理应很快涌入,但这只手现在好像失灵了。为什么?只是反应滞后吗?
各个领域的具体情况不同。以内存为例,长期以来 DRAM 生产商要投入 200 亿美元资本支出,却只赚 190 亿;景气时赚 210 亿,低迷时只有 180 亿。直到现在,内存制造都算不上长期好生意。可忽然之间,这几家公司一年各自可能有 1000 亿美元自由现金流,简直难以置信。不过他们记得过去有多少次因为建太多晶圆厂而差点破产,也听过多少次“这回不一样”,因此资本支出会很保守。
你可能会期待供应链各环节有新公司加入,或更有相关经验的公司进入。比如 Intel 会做芯片,或许会重返内存市场,毕竟它以前做过。供应链会出现各种不明显的变化。
很多人想在本地运行开源模型,就以为问题解决了,不再需要数据中心。但从全球资源配置看,让每个人的电脑里都闲置一大块稀缺 DRAM,其实很糟糕;这些内存可能只有 5% 的时间在使用。资源紧张时,云端应尽可能提高利用率,可很多人的直觉正好相反。
芯片、AI 研究与自我改进
除内存外,供应链其他地方有没有因价格高而出现创新?比如涡轮机、电池、混凝土、钢材?
有些机器人零部件,比如工业机器人用的执行器,不是那些看起来很假的人形机器人演示,而是真能加快生产的工业机器人。
也许 OpenAI 卖自家芯片算个例子。我正想问你们的芯片:供给有限、价格上涨,解决方法可能就是自己造芯片。你们大概也大量用 AI 来设计芯片。我原以为芯片设计很难用 AI,因为公开网上有关如何造尖端 2 纳米芯片的资料不多。
光刻技术方面,地球上似乎只有一家公司知道怎么做。可芯片设计,即最终交付流片的文件,是个我们很了解的问题,也很适合 AI。全球硅产能有限,因此大家有共同利益。我为 OpenAI 感到自豪的一点是,公司里的人即使长期用传统方式做事,也非常愿意尝试用 AI 把事情做得更好。这不只发生在 AI 研究和软件工程上,也逐渐出现在采购等领域。
AI 驱动 AI 研究究竟怎么运作?比如让模型寻找数学证明、PHP 漏洞,或 AI 进步?我们还不知道最终会是什么样。今天我们知道怎么让它找出 5% 的算力效率改进,但这仍是较高层次的指令。现在我就能当一名非常成功的 AI 研究员吗?“非常成功”不敢说,不过你要是找新工作,可以来做。
目前没人知道怎么让模型发现一种新架构,带来像 Transformer 那样巨大的飞跃。你觉得这会是下一步?还缺什么?
还需要在高层规划和概念推理方面更聪明的模型。我认为,如果把我们训练数学能力的流程用于 AI 研究,大概会奏效。不过,正如我们前面说的,至少一段时间内,也许很长一段时间,我们得同意限制单个模型能变得多聪明。那样导致的进展放缓,会来自我们的决定,而不是 AI 无法做好研究。
具体来说,如果我用 AI 开发更好的 AI,我们应该期待 GPT-7 很强,因为你们有 GPT-6,或它尚未发布的版本来开发它,所以我的预期很高。可如果我背着背包走进旧金山的 OpenAI 办公室,坐到桌前……
AI 如何研发 AI
我会说“帮我提高这个模型的智能”吗?这算一个明确的研究方向吗?研发过程有多具体?迭代循环是什么样?你亲眼见证了 RSI,我很想知道它实际是什么样。
OpenAI 有个大家常讨论、听起来显而易见的问题:我们应该向 GPT-7 提什么问题?只说“给我造一个 RSI”恐怕不够,说“帮我把算力效率提高 5%”可能也不够。我觉得这大概是现在最有意思的争论之一。答案不只是问什么问题,还包括智能体蜂群等方法——我们要如何使用模型,才能真正最大化它们的能力?未来三个月我们会在这方面学到很多。
所以你们还没有一套成文的、用 AI 辅助研发 AI 的标准流程,仍然在做大量实验?
没错,仍在实验。
说到 token 预算,企业使用 AI 的一大未解问题是如何分配预算。我们不会给每位工程师设个硬上限,到额度就说“抱歉,你的街机代币用完了”。也许该这么做,但我们目前没有。认真看待 AI 规模扩张,意味着每个人使用的算力或 AI 资金都会增加。公司很快就得决定给员工多少支出权限。
曾经很多公司会在 Google 日历里显示每场会议的大致成本,按参会人员薪酬估算,但我觉得这个数字还是低估了。Paul Graham 等人提过,有人在公司里有权每周省下 17 美元零食预算;与此同时,大家却能开一场花费惊人的会议,而且毫无价值,却没有机制叫停。
我有偏见,但真心觉得,相比其他开支,即使 AI 使用有些低效,也不是公司最大的支出问题,不该优先盯着它。
等等,这不够信奉规模定律。两年后,你会愿意 Stripe 把所有收入和利润都花在 OpenAI 服务上吗?
我很乐意聊聊。
我们正在往那方向走。现在 token 大概占 Stripe 运营支出的 1% 左右。
这明显太低了。
对,我们正在努力提高。之后会到 5%、10%、20%,那时就真得认真思考合理水平是多少。你觉得稳态时会是多少?
取决于公司类型。我认为许多公司的运营支出中,AI 占几十个百分点是很明确的。总有一天,正确做法就是认真优化这项投入。
每瓦智能成本
OpenAI 让我自豪的另一点,是我们一直努力压低每单位智能的成本。我认为我们一直是这个方向的积极倡导者。不过即使按目前的价格,问题更多的还是那些 AI 用得不够多的公司,而不是用得太多的公司。
每吉瓦收入与个人智能体
尖端 AI 每吉瓦带来的收入应该上升还是下降?
应该下降。
为什么?到现在它不是一直上涨吗?如果 AI 每瓦能做的事情价值增长很快,供应又非常短缺,大家就会愿意花更多钱。
可那说明算力供给没跟上。如果看把沙子变成智能的基本成本,应该下降:能源成本、芯片成本以及供应链其他成本都应该降低。不降的话我会很失望。不过考虑到这项技术的价值,供给必须大幅增长才能降价。
所以你希望算力过剩,内存、数据中心和所有投入品都大量生产,任何人想用计算机都能用。现在每吉瓦五年总拥有成本,有人报不同数字,我们就说 700 亿美元吧。
如果降到 200 亿,我们应该高兴得多;同时每年还应该靠更聪明的模型把性能提高十倍。
两亿恐怕不合理吧?为什么不希望它尽可能低?你相信通缩型技术通常是好事。
我确实支持通缩型技术。
从现在降到 200 亿会发生什么?降到这个水平,能源必须更便宜;从熔化沙子到得到 token 的过程中,各层利润也得压缩很多。
我没现场算过。如果所有材料都免费、没人赚利润,也许在现有能源成本范围内勉强能做到。
个人智能体是现在 AI 最令人兴奋的事情之一。你们几周前推出了 Dots,其他人也在做。成功的个人智能体会具备什么?智能、上下文、工具,总共就那么几样。目前这些产品还没到让人觉得“没它我无法生活”的程度;人们谈编程智能体或 ChatGPT 时才会这么说。很快总会有人找到那个产品形态。你觉得个人智能体还没迎来 Macintosh 时刻吗?
还没有,但我认为离大众化只差几个点子。它可能很像现在的 Dots、Muse、Grokbot 等,只是能真正正常工作、可靠运行。你可以交给它更复杂的任务,它都会完成。计算机使用的动态也很有意思:并非人人都愿意拥抱智能体未来,但这不完全由他们控制,因为智能体可以直接操作电脑。你觉得这种猫鼠游戏会怎么发展?
智能体、商业与网页表单
粗略来看,大家会从正反两面争论,最后逐渐达成类似共识:你可以让 AI 代表你使用自己的电脑和软件。
这听起来像语义网:概念很好听。我不认为未来会黑白分明,也没把握最后会如何发展。作为消费者,如果我不能让 AI 在自己的电脑上替我自动处理任务,会有些恼火。我希望它像我的智能体,按我的要求做事。
我注意到一个很有意思的现象:每家公司都急着用一种特定方式给产品加 AI,也就是增加一个标签页、弹窗或聊天小组件。它往往能力出奇地强,你可以说“帮我退掉最近买的东西”,它还真能找出来,虽然有点笨拙。但消费者其实不想要这种界面。大家对自己常用的主聊天应用有很强的偏好——就是打开来办事的那个主要应用。人们想说“去这家商店找出我最近的订单并退款”,而不是每家商店各用一个聊天框。
企业很不愿意让用户通过另一个 AI 应用使用自己的服务,担心失去控制权或护城河。但我觉得这没什么,因为你的竞争力大概不是来自拼出一套 HTML,而是品牌忠诚和商品选择。新的界面会是 ChatGPT、Gemini 等里面的智能体交互。企业都不同意我的看法;不过他们很懂生意,也许他们才对。
我确实有偏见,但总体上非常同意。我买东西时极度偏好 Amazon,而不是某个我不了解、也不知道能否退货或能否快速送达的电商。如果让 ChatGPT 帮我买东西,Amazon 和其他商家二选一,我十次有十次会选 Amazon,哪怕贵一些。这跟我在 amazon.com 上点击浏览的体验无关。
如果合作伙伴不愿意这么做,也可以说我们还没做好在 ChatGPT 里为他们提供平台。但也许我有偏见。我认为电商更智能体化后 Amazon 会处于有利位置,尤其是它的履约网络构成强大壁垒;你从哪里都能用 Amazon,我非常信任它。
我越来越觉得,凡是需要人类填写的网页表单,如今都低于你的工作层级,因为你通常不是第一次创造那些信息。我们都填过医疗表格里的家族病史,令人非常恼火:父母的病史你到底要重复填多少次?这太浪费了,而且类似情况数不胜数。填网页表单时,你从来不是在创造新信息。
网页表单、应用商店与模型基准
我真希望以后再也不用在电脑上做这种假工作。我觉得任何网页表单基本都是假工作。
我同意。不过……我算是我认识的人中最早用自动填写姓名地址插件的人之一,虽然它们填得很笨拙。我当时只觉得:“我不能再做这事了。”现在我对大多数网页都有类似感觉。企业如今把 HTML 和手机应用看成商业护城河的一部分,这现象很有意思。要么他们错了,这些不是护城河;要么它们只是暂时的,他们该接受变化。
上一次类似的变化可能是应用商店,尤其是 iPhone App Store。很多 YC 初创公司都说:“我要做 iPhone 应用,这是新的分发渠道,太棒了,我可以做以前做不了的事。”于是产生了很多初创公司。大公司也觉得自己必须做应用,但又不太情愿,因为不想把和消费者的关系交给 Apple。它对移动生态很好,本质上只是一个新界面。
快问快答:大家抱怨模型刷榜,这是真问题吗?OpenAI 的模型是在针对基准调优吗?你们是不是像 Rick Rubin 那样只凭感觉觉得模型对了,不在意 SWE-bench 的分数?我们真正关心的可能有两件事:科学发现、做到人类做不到的事;以及模型是否好用。我们没有很好的“好用”基准,甚至未必有很好的衡量科学能力的基准。但我们努力不去刷榜。
我总以为刷榜现象已经结束了,结果大家还在做。你们比其他实验室更能抵挡刷榜的诱惑吗?
我相信现在是这样。
我不认为我们历史上一直如此,但现在我相信我们做得更好。行业还在摸索怎样让模型“好相处”。以前有一段模型总是吹捧用户的时期;近来又有些模型特别暴躁、爱顶嘴,反吹捧之后反而事事都要跟你唱反调、挑小毛病。现在的模型其实挺不错;我认为最新模型比过去很长一段时间的都好,但还可以更上一层楼。
Emmett Shear 多年前跟我说,他想要一个深思熟虑、能提出挑战但仍然尊重人的资深同事。我至今没听过比这更简洁贴切的描述。
和 Greg Brockman 共事多年后,你对他的统一理论是什么?
Greg Brockman 是最好的意义上的独一无二。他在 Greg Brockman 这个尺度上无可比拟,只有亲身经历才懂。那是强烈的投入、惊人的产出、极度的奉献,以及专注于完成使命的结合。很酷。
Token 定价是虚构单位
你真的讨厌把 token 当作任何东西的衡量单位,特别是定价。它并不是 AI 的标准单位,我们却走到了这一步。你们差点做了个很糟糕的决定:新模型完全不按 token 收费。用户只要给提示词,你们就报个价,像 AWS 一样,用完再寄账单。
用户对此反应非常负面,他们说:“我得知道自己到底在为什么付钱。”我问过几个人:同样的输出,你愿意多付钱,但按固定数量的 token 计价吗?哪怕我们把 token 数夸大,他们还是宁愿这样付费,因为他们知道那是个真实的东西。所以人们不只是想让我们报价,他们担心长期来看会被坑。就像有些人宁愿按 CPU 小时付费,也不愿按事情是否完成付费,即使后者更便宜。
芯片的纳米制程尺寸,比如栅极长度,如今完全是虚构的,和现实关系很小。token 会不会也变成那样,你们开始说“这是一个智能等效 token”,就像“我不敢相信这不是黄油”那样?
那是编出来的,希望不会。
用纳米来称呼跟纳米毫无关系的东西让我很不爽,实在荒唐。
对,我不想再编一个假的单位。token 某种程度上也是假单位;它们在某种意义上是真实的,但不是好单位,从商业价值角度看尤其虚。
token 唯一的辩护是不是:如果我们在浪费 token,就应该尽快解决?Claude Shannon 不会赞成我们只传噪声而不是信号。信息论上总会有一个最有用 token 数量的下限,我们最后会回到这里。
现在你得琢磨,是选小模型每百万 token 十美分,还是大模型每个 token 十美元,还得考虑思维链可能有多长。这些都是我认为没有实际价值的认知负担。
思维链算在价格里吗?
算在我们收费里吗?大多数人是这么做的。
顺便说,健力士没有我想的那么难喝,当然不如 IPA 好喝,但也没那么差。
挺好喝的。我们喜欢健力士,至少在这个播客里是这样。谢谢。