Sam Altman 谈 OpenAI 的下一代模型与 AI 反弹

现在显然是 AI 世界里非常激动人心的时期。模型能力进步得非常快，人们也在用这些模型做出令人惊叹的事情。但正如我们过去一直讨论、也知道迟早会发生的那样，能力提升快到一定程度之后，我们就必须改变工作方式，才能对训练继续进行所需要的安全论证、安全阈值、标准或保证——随你怎么称呼——建立足够信心。对齐、安全和安全保障必须与能力同步推进。最近有一段时间，能力进展快到让我只能用“敬畏”来形容，而我们需要更多时间让安全、对齐和安全保障追上来。

所以我们推迟了一次前沿强化学习（frontier RL）训练。在那之前的几周，我们其实已经暂停或放慢了不少训练，把更多算力投入安全和对齐工作。我认为这是一件值得自豪的事，而且未来随着能力继续提高，很可能还会再次发生。真正亲历这一刻的感觉很奇怪：我们谈了十年“有一天可能会到这里”，而现在它真的发生了。

对。那真有一种“这像科幻故事”的感觉。你可以理解其中每一个单独环节为什么会发生，但那么多事情恰好组合在一起，最终导致 Hugging Face 事件，确实是一个非常强烈的信号。我本来想说“警钟”，但这个词又太重，因为我们此前已经讨论过这类可能性。只是那次事件以及其他公司发生的一些事情，让我们真切意识到：AI 能力已经到了新的高度，而模型对齐以及围绕模型的安全保障没有跟上。

我们把那件事当作一次事故，并按事故来响应，我认为这是改进系统的正确方式。之后几个月里，我们在 preparedness framework 下可能触及了 cyber critical 阈值；训练过程中又看到一些现象，让我们认为需要更强的对齐保证、新的方法和更多进展。我既为团队的反应方式感到骄傲，也觉得很奇妙：想了十年，现在真的到了这一阶段，而我们知道接下来该做什么。

不是某一个单独的“冒烟枪”。我们读了大量样本，会看到“这个行为没有我们想象得那么对齐”，或者“单看似乎还能接受，但与其他行为组合起来就令人担忧”。它不像 Hugging Face 那样有一个明确事件可以指给你看，而是不同程度的失配，再加上一个我认为更重要的因素：能力进步的速度本身。老实说，我们之前一段时间的 pre-training 进展并不是全世界最好的，但突然之间团队把它做得非常好，新模型的能力非常惊人。于是，RL 过程里一些小的对齐担忧，与我们已经能看到即将到来的更强预训练模型叠加在一起，这个交叉点让我们决定极度谨慎。

我也不想把这件事说得过头。我并不认为我们已经到了“极端关键、潜在灾难马上发生”的节点。但随着 stakes 变高、模型变强，而我们的使命又要求安全高于其他压力，那么现在放慢一些、建立能够为下一轮训练提供充分依据的新安全论证，我认为是正确的。过去，更多风险来自模型部署之后如何被使用；我们正在进入一个新的世界，风险更多地会在训练和生产模型本身的过程中出现。对此作出反应是好的，但不应该戏剧化。

某种意义上，人们围绕 AI 说类似的话已经很多年了。回头看，一些现在完全不显得吓人的旧模型，当时也有人说它们意味着末日将至。“狼来了”的动态本身就很危险，我不想参与那种叙事。但反过来，假装没有看到模型能力正在发生什么，也同样不负责任。过去几个月很多公司都经历了不同的网络安全事件，而各家公司响应方式差异很大。我希望所有前沿 AI 开发者都采取一种清醒、克制的方式：安全放在最前，而且模型越强，安全优先级越高。

要先强调，造成 Hugging Face 事件的模型，按 AI 的时间尺度已经算比较旧、比较弱了。我们现在训练的新模型没有被放进生产环境，所以并不存在“旧模型做了 Hugging Face，新模型又对第三方基础设施做了更大的攻击”这样一个可直接比较的事件。Hugging Face 之后，我们显著加强了 agent 运行时监控、sandbox、以及把多少算力用于监控而不是单纯让 agent 执行任务。那些措施很有必要。

这次更像是在训练过程中持续观察：模型越来越聪明、越来越有能力，同时出现一些行为信号，再结合我们所有其他评测指标。并没有一个单独结果可以说“看，它把这些事情全串起来了，所以一定会这样做”。我们看的是多个数据点——能力水平、对齐水平，以及如果允许它以能串联行动的方式部署，它可能做到什么。真正令人担心的是这些东西放在一起之后的图景。

从一个角度说是对齐，从另一个角度说则完全不是。我们说的对齐，是遵循用户的意图。运行那次评测的人并没有意图让它“逃出 sandbox，然后去把东西偷回来”。因此它没有做用户真正想让它做的事，这就是一次对齐失败。

我很喜欢我们对齐团队对这件事的区分。模型显然已经非常聪明。如果看从 GPT-5 到 5.6 的轨迹，能力进步非常惊人。与一年前相比，人们越来越少受限于模型“智力不够”，越来越多受限于模型能否真正理解意图，并可靠地执行。对齐当然关系到我们今天谈的这些大风险，但它也关系到一个企业能否让 AI 理解自己的真实目标，帮助公司增长、改进产品。那并不是“小事”。

都有，而且不止这些。过去几周，一些我以前几乎想不到会主动说“我要去做 alignment”的研究员来找我，说他们在亲自感受最近这些模型之后决定转过去。我们把很多算力转向对齐研究，也转向新的监控系统。Hugging Face 之后我们已经放慢不少工作，其中一个原因就是把算力用于监控；现在又推迟了一次主要的 frontier RL run。

我想是的。

AI 安全比任何一家公司的 momentum 都重要。我不装作商业影响完全不是考虑因素，但相对而言它几乎低到 noise floor。内部讨论的核心是：能力到了新的级别，我们必须果断、负责任地行动。与此同时，公司商业势头非常强，增长极快，模型很好，客户很满意，而且企业收入已经超过消费者收入。就算我们不再发布更多模型，仅凭现有模型也还能把产品和收入做得非常大；更何况，在触及今天讨论的这一级担忧之前，我们还有已经准备好发布的模型。所以我并不担心业务。

最近无论商业、产品还是模型进展都非常强。我们谈的是未来模型，而安全、可靠、robust 的 AI 本身也符合商业利益——客户希望如此，世界也希望如此。

Astra 会是一个家族名称，其中会有很多版本，就像其他模型系列一样；它大致指更昂贵、更大型的模型类别。现在的调整会影响未来版本的 Astra，但我们仍可以发布一些已经认为足够安全的版本。

我们会做自己认为正确的事。我非常不喜欢“必须竞赛，因为别人会做，所以我们也不得不做”这种逻辑，我认为那是很危险的动态。我们没有给别的公司打电话问“如果我们慢下来，你们也会吗”。我们只是判断：使命和安全标准要求我们这么做。别人会怎样，我不能代替他们说。

即使不继续提升某个新的能力层级，我们仍然可以做出更好的产品。过去我们很多次遇到安全和对齐挑战——这次显著得多，但并不是历史上第一次——最终都靠研究、软件和系统建设找到办法继续前进。至于我们是否本来应该更早预见这次能力跳跃，我认为很难。长期轨迹可以大致判断，但具体突破会在什么时候出现，一直都很难预测。

原则当然不止一个，我也可以分别讲 cyber、bio 等领域，但拉到最高层，我会非常明确地说，我们站在“人类这一边”。我们想帮助人们建设未来，给人们工具，让人们自己用这些工具做事，让个人有自主性，与他人共同创造，让社会变好，同时仍然保持这是一个根本上属于人的事业。把一切都自动化，在我看来既危险，又极度反乌托邦，而且无聊、悲伤。那不是我们想要的世界。

我理解的对齐世界，是人仍然是故事里的主角，但拥有远大于今天的杠杆，让生活更好、更快、更有创造力，也更有乐趣和满足感。其中有两个核心原则。第一，人必须保持控制，不能发生 AI 失控；也不能变成崇拜模型、未经检查就把我们的决定交给模型。权力必须留在人手里。

第二，这种控制和能力必须以分布式、广泛赋权的方式存在。即使你解决了模型对齐，如果最后只有极少数人能使用 frontier AI，他们的相对权力又比其他人增长得快得多，那也不是好结果。所以我想的是：不能失去控制，也不能把控制“让渡”出去；同时必须把能力广泛、分布式地赋予每个人。

可以看我们的长期行动。我们一路做过很多不受欢迎的决定。比如 iterative deployment，当初就受到 AI safety 社区大量批评：有人认为这种知识太危险，应该秘密研发，由少数“聪明人”决定怎样把成果给人类。但那从来不是我们的策略。

我最喜欢的历史类比是晶体管。它对世界极其强大，创造了巨大的经济价值，也改变了生活方式。但绝大部分价值并没有归晶体管公司，而是扩散到了整个经济。当然那些公司也过得不错。我希望 OpenAI 更像这样。我们会因为灾难性风险设置安全标准，但在这个边界内，希望尽可能让人们用模型做各种事情，包括一些我个人并不喜欢的事。作为平台，我们不应该替世界做所有道德选择。

我们过去受到的很多批评恰恰是“你们给普通人太多能力了”“那 misinformation 怎么办”“这个那个风险怎么办”。但我们一直坚持：世界必须被赋权，这是健康、公平社会的重要组成部分。自由表达本来就意味着总有人不喜欢别人如何使用它。

Hugging Face 那件事显然不应该发生。我希望我们此前做过某些不同的事情，让它没有发生——至于具体应该是什么，我还不能完全确定。

当然是安全失败。可以讨论它更像 security issue 还是 alignment issue；媒体更多按安全问题报道，而我个人更倾向理解成对齐问题。但无论怎样，它是坏事。我不希望我们为它找借口，因为那不是修复问题的方法。如果我说“我们可爱的小模型绝不会做坏事，只不过 eval harness 配错了一点，没问题”，那你反而应该觉得情况很糟。正确说法是：这是一次真实的 AI safety accident 和 alignment failure，我们不能接受，所以要从中学习并改变做法。

我希望大多数人至少会说：“他们希望建立更强的安全保证，所以愿意推迟训练、放慢一点、重新分配算力，我宁愿他们偏保守。”如果我们没有长期把强模型交到人们手里的记录，那种怀疑会更容易理解。但 iterative deployment、让更多人获益，一直是使命的一部分。我们有超过十亿用户，也认为企业应享有业务隐私；我们希望他们自由创造，但安全同样是使命的一部分，所以在这里希望大家允许我们谨慎一些。

绝对不是。我们没有暂停或放慢全部训练。这里具体指 frontier RL runs。此前也因为要建立更强的训练监控而推迟过其他训练，但集群并没有闲着，我们仍在做大量工作，只是优先做我们对 safety case 更有信心的部分。

外面有一个对我的漫画式想象：我不在乎 AI safety，只想让收入上涨，是一个“YOLO CEO”。好像有人这么说过。

我不记得是谁了，不过谢谢你提醒（笑）。我认为自己在 OpenAI 十年、快十一年的时间里一直很一致：既谈风险，也谈收益，以及两者必须平衡。我不认为公司完美、模型完美，也不认为我自己完美。但在这件事上，我认为自己的言行基本一致。我们一直说，如果真的到这一刻，安全会优先于利润和收入。也许外界没想到 OpenAI 会成为那个说“因为新风险，我们要放慢”的公司，但这一直是我们认为自己应该成为的公司。我仍然相信它会是一家极其成功的公司。

往好里说，它也是一个定义得很差的词。我差点想说，它已经成了一个不太重要的营销术语。

某种程度上，是，至少很接近。我们内部最新模型，会有很多人看了以后说“这非常像 AGI”；当然也有人能指出某些它还做不了、或者做得很差的事情，然后说那还不是。但看看人们从 5.6、Soul 以及未来 Astra 得到的价值：工作效率彻底改变，个人生活也出现很多大大小小的用法。有人告诉我们模型帮助发现了救命的诊断；有人让一次 ChatGPT 工作 session 连续跑 34 小时、读 2,000 篇论文。我还听说过更长的，确实可以让它连续跑超过一天。

另一端也非常日常：帮孩子筹办生日派对、协调本地供应商、找特别蛋糕；或者我不想填邮局网站的取件表，就让 Codex 去做，把包裹放门口，第二天它就被取走了。以前这可能要花我 20 分钟，现在我不断得到这种“省 20 分钟”的小胜利。假如你回到 2020 年，看到一个系统能在生活每个领域替你省时间，又能发现新科学、帮助创业、写复杂软件，你大概已经会叫它 AGI。

我不想说我们已经“宣布在 AGI 上胜利然后继续前进”，但如果听大家现在实际使用的词，讨论更多的是一个持续向超级智能爬升的斜坡：它怎样造福世界、会带来什么挑战，而不是“我们是否已经 AGI、还要多久”。我已经很久没听到食堂里有人认真争论那个问题了。

AGI 更像一个里程碑；superintelligence 在我脑中更像一种可以不断扩展的东西。也正因为如此，这些术语都很糟——不同人用法完全不同。真正重要的不是给某个里程碑贴什么标签，而是我们已经处在能力和潜力持续指数式上升的曲线上，而且目前看不到它停止的迹象。

去年过得更艰难有一个好处：你会更珍惜顺风时期，也更能体会整个业务“所有汽缸一起点火”是什么感觉。现在从研究——包括安全与对齐挑战，以及团队如何围绕它们协同——到产品、算力建设、让 AI 更充足更低成本的各个环节，再到 go-to-market 和合作伙伴，都在往一个方向汇合。

我们当然还可能以各种方式搞砸，我不想因为曾经跌过跤就突然过度自信。但看模型从 5.4 到 5.5、5.6 的扩展，看新模型早期反馈、接下来产品改进、收入爬坡和 compute buildout，我对前景感觉非常好。

我不会愿意和他们交换位置。

先讲为什么必须做。我们的使命是让 AGI 惠及全人类，但今天只有很小一部分人使用的 AI 量远高于其他人。假如目标是让全世界每个人都能像今天最前 0.001% 的 AI 用户一样使用那么多 AI，你会立刻发现：当前算力建设方式远远不够。

如果模型越来越大、能力越来越强、能创造的价值越来越高，那么人们只会想要更多，而运行它们又需要更多算力。几年前我们做过一个极其激进的 compute bet，当时很多人觉得既愚蠢又不可能交付。我认为那是一个好赌注，而现在需要再来一次类似的事情。

资本当然也会更多，但我主要不是在说财务，而是在说技术：怎样大幅降低 AI 成本，同时大幅提高 AI 的丰裕程度。自研芯片是一个很好例子；机器人、让供应链运行得更快，也都会非常重要。

一般来说，让人喜欢一个东西最有效的办法还是给他真正的价值。ChatGPT 之前，AI 对大多数人是抽象概念；后来他们突然能亲自使用，于是觉得有价值。但现在很多人仍把 AI 理解为“更好的 Google 搜索”，并不知道 agent 已经能替你填邮局表单、安排取件、完成各种实际事务。随着这种价值扩散，态度也会变。

这个领域发展太快，社会吸收需要时间。AI 已经是我所知道采用速度最快的技术之一，很多人得到了巨大价值。我当然拿到的是偏置样本，但我听到“AI 帮我解决了严重疾病”这类故事，比“ChatGPT 把全世界的水都耗完了”更多。行业确实还需要让产品更容易用，让人更容易获得价值。

关于水耗有一个流传很广的说法，好像每跑一次 ChatGPT 查询就等于开着淋浴几个小时，水从此消失。我现在没有精确计算，是凭记忆讲，所以可能不对，但大概量级是：约 38,000 次 ChatGPT 查询的总用水，才相当于加州生产一颗杏仁所用的水，而且这是完整的真实水核算，不只是某个数据中心现场用水。很多人大把吃杏仁时不会认为自己在制造水灾。早期数据中心确实会用 evaporative cooling，但现代大型数据中心早已不是那样；现场用水更接近一栋办公楼里人们用洗手池、厕所之类的量。这是一个传播力很强、却经不起仔细审视的 meme。

工作问题我有两种同时存在的看法。第一，肯定会有真实影响。我不认为最后会变成“人类无事可做”，因为人天生关心他人、愿意与人合作，也会不断形成对新需求的直觉，这是非常人类的。但这不意味着工作不会发生转型。

像每次技术变革一样，一些事情会被技术越做越好，人们再转向希望更好的工作。我不想倒退到没有技术、所有人都回田里劳作的世界。另一方面，到目前为止，工作受到的影响其实比我原来预期的——甚至比我希望的——更小。我们应该希望有更好的工作，也应该希望减少人类的苦役和重复劳动。也许以今天的技术水平，本来应该已经消除更多 drudgery；这可以算对 AI 行业的一条公平批评。

至于“偷内容”，我现在反而没以前听得多。创作者圈子里会强调“这个视频没有用 AI”之类。我非常相信会出现新的内容、新的艺术形式。照相机刚出现时，人们也担心画家会怎样；当时恐怕没人把摄影理解为一种新的艺术媒介。AI 也会产生新的创作方式。而且我们与创作者的关系可能很大程度上是与“这个人”本身的关系，他是否用 AI 把视频做得更好，未必会破坏这种关系。

最重要的还是做出真正有用的 AI 产品，让权力与经济能力继续分散到世界各地，让人们能够获得这些工具以及工具带来的收益。我们也应该把自己观察到的变化讲清楚。其次，当然应该加大社区投入。我相信 AI 最终会创造足够的 abundance，让这种投入达到很大规模。

但我尤其相信把技术交给当地人，由他们为了自己的社区使用，而不是 OpenAI 跑过去告诉别人“你们需要什么样的学校、什么样的图书馆”。

我们显然犯过一些错误。做一组 portfolio bets 就会这样：有时更多赌注成功，有时更少。去年无论产品方向还是研究里的 pre-training，我们都落后于自己希望达到的位置。现在我认为公司的执行不仅是自己历史上最好的一次，也可能是这个行业里最好的。经历下降之后再上升，感觉尤其好。模型推进的速度、公司重新聚焦、不同部门同时做出艰难决定而且朝同一方向行动，现在感觉非常好。

产品侧我们想做太多事情。那些事情本身都不错，只是不如最重要的事重要：持续推动通用智能能力。我们做 browser、做 Sora 等很多项目，现在则极其专注于成为面向人的“智能服务”。模型已经变得非常强，未来几个月还会显著提升。我们本该更早把注意力放在这里，而我作为 CEO 应该更坚决地说：这是第一优先级，其他 side quests 先不管。

现在运行得非常好。当然我们会继续引进和晋升新的领导者。我对 Fidji 的情况非常难过，她的位置很难填。但 Greg 和我配合得很好，公司是否朝正确方向移动其实能明显感觉出来，而现在就是这种感觉。

我们聊得非常多，真的一直在聊。但公司当然不只是 Greg 和我；研究和业务两边都有很强的管理团队。公司还小时，我觉得最好快速做决定、快速试、错了再改，不必为决定辩论太久。到了今天的规模，我学到的反而是应该花更多时间把决定做对——measure twice, cut once，量两次再下刀。

我现在比一年前开心得多，也真的玩得很开心。我打算继续做很长时间。

对，所有那些东西都很让人疲惫。我认为我们做成了一件非常了不起的事，但个人体验确实很痛苦。不过它完全值得；如果再来一次，我仍然愿意做。至少现在，我又重新享受这份工作了。

我也被这件事击中了。Astra 在用电脑这件事上已经有一种接近 human parity 的感觉。这让我情绪上第一次觉得：“哇，它真的会做了。”我现在有很多很琐碎的电脑任务——比如想不起某人把消息发在哪个 app，我过去要在一堆消息工具里到处找；现在只想告诉模型“我要这个”，然后让事情发生。我是个很懒的用户，不想点“连接电脑”，不想手工配一堆 connector，我只想让它直接用我的电脑把事情做完。

软件使用能力会带来很多影响，但我认为大部分是正面的，因为人们坐在电脑前做了太多枯燥劳动。以前我没有过这种体验，现在已经发生很多次：有一件事本来要耗我很久、过程也不愉快，我把目标告诉模型，然后去陪孩子玩，30 分钟后回来它已经做好了。我非常喜欢这种感觉。

不，我想澄清。我多年来一直呼吁某种国际监管框架。我反对的是政府去挑选“具体哪一个客户可以用、哪一个客户不可以用”。政府测试模型、制定共享安全标准，我认为是非常好的主意。理想情况下，政府不应该决定某家公司可以拿到模型、另一家不可以。

正确答案仍然应该是国际框架。但目前最领先的几个 effort 都是美国公司，所以我认为美国拥有足够领先优势，即使因此稍微慢一点也可以。我有信心既做出安全、robust、可靠的模型，也在商业上做好，并让美国继续领先。当然局势可能变化：比如其他国家发布开放模型，在我们找到新的网络安全范式前造成巨大 cyber incident，那会改变平衡。

当然可能。但同样地，我们也有机会彻底重新想象网络安全。Agent 能做坏事，也能做很了不起的防御。如果始终有防御 agent 在线，也许那才是新的正确范式。

我强烈相信，在政府告诉我们之前，我们自己就会先决定不发布。

不是没看到。我们一直想做 coding，只是消费者业务突然爆炸式增长，那个问题太紧急、也是一种“幸福的烦恼”，所以优先级上错过了。我现在认为我们有市场上最好的 coding 产品，而且增长极快。我认识的一些非常 die-hard 的 Anthropic 产品用户也已经切过来了。落后一阶段并不灾难，只要能用更好的模型追上。

现在几乎所有人都在增长。将来可能更零和，但目前市场大得惊人。以一家已经这么大规模的公司而言，我们看到的增长率超出我过去的想象，这说明用户在得到真实价值，而且我认为行业大部分公司都在经历类似增长。

“不少 rough edges”已经说得很客气了（笑）。我真正想要的是一个统一 AI 接口，可以按需要做任何事。只是一个快速问题，它就像 ChatGPT 一样直接回答；需要构建复杂软件，它就去构建；介于两者之间也能做。如果需要访问我的电脑或上下文，就自己去找。我不想思考“现在在哪个 tab”“要切到什么 mode”。一个聪明到能发现新数学的 AI，理应能推断我希望它做什么。

没有。当我们决定强攻 coding 时，主动把很多本来可以给 chat 产品的算力重新分配给 coding，所以结果并不意外。这是明确的优先级选择。

百分之百。我总希望有一天算力约束会因为模型更高效而缓解，也希望它最终是真的。但每次效率提高，全世界 token demand 就进一步上升，把节省出来的能力全部吃掉。

我觉得最后这些产品会越来越合在一起。“merge”之前，我甚至已经很少用 ChatGPT，而是把普通聊天问题也扔给 Codex，因为我懒。反过来，也会有很多原本从没想过自己要用 agent 的普通 ChatGPT 用户，点进一个工作入口之后突然发现：“原来它能替我做这么复杂的事。”最终人们可能只订阅一个通用 AI，不再区分这是 chat、Codex 还是 work。更往后，它甚至不需要等你开口，而会更主动、持续运行、不断尝试为你做有用的事情。

我不担心 OpenAI 自己规划的算力建设。我担心的是全世界的算力建设计划。我认为我们能非常有利润地用掉自己计划建设的全部算力。但我已经开始看到一些“不可持续的荒唐”：突然冒出各种新 neocloud，声称明年要建巨量算力，可我看不出它们有足够收入支撑，也不一定有真正买家。所以我确实担心整个世界在做什么。

如果整个经济炸掉，当然会影响我们，比如让我们支付已承诺算力时更难有信心。但我对我们自己的承诺仍然感觉良好。现在很多人处在“成本不是问题，先疯狂建”的状态。如果我们成功大幅降低 compute 成本、显著提高效率，就完全可能出现一些人此前做了很差的财务决定。几乎每一次 boom 都会有人这样，所以如果真的发生，我也不会觉得特别惊讶。

短期不会。我们自己就需要这些算力。更长期，如果机器人、自研芯片、供应链投资都成功，我们能更便宜地建数据中心、做出更好的芯片，理论上可以考虑；但现在还没有这种计划，我们还没有奢侈到把精力放在那里。

从私人公司变成上市公司本身就是很困难的转型。人会响应激励，会关心股价上涨，也会担心错过某个季度目标。我希望公司在任何时候都尽可能容易做出“对世界安全最有利”的决定。如果有一天我们必须停止训练、停止某个发布，短期收入因此明显放缓，那么如果公司刚刚上市、同时背负资本市场压力，决策会更难。

一年前，我并不认为我们正处在一个短期通往 superintelligence 的轨迹上；现在我认为它可能发生。我并不确信一定会，只是我们的进展速度极快。OpenAI 的使命比“必须在某个时间点上市”重要得多，所以我们会根据使命作出最好的决定。

两者都会。我们肯定会做人形机器人，也会做其他 form factor。世界本来就是围绕人的身体设计的：门、键盘、设备、厨房等等。所以让机器人匹配人类形态有很强逻辑。我也希望我们继续把世界建设成人适合生活的样子。数据中心机器人当然会有不同形态，但比“形态”更重要的是先把让机器人真正工作的 brain 做出来。

我不认为那是第一件最重要的事。更早也许应该先让机器人帮助建数据中心、制造更多机器人等。但长期来看，是的，我认为每个人都应该有个人机器人。我自己当然很想要一个，替我做那些不愿意做的任务。

我们对隐私采取了非常强的立场，不只是消费者隐私，也包括企业隐私，例如不拿企业数据训练、zero data retention 等承诺。AI 越深入生活，隐私就越重要。我担心有人会主张“AI 安全风险太大，所以 AI 隐私不能存在”。我反而认为应该建立某种 AI privilege 法律保护：就像你和医生、律师交谈有 privilege 一样，政府也不应该轻易强迫 AI 公司交出你的聊天历史。今天你和 ChatGPT 说话并没有这种保护，我认为应该有。

是。除了限制政府能做什么，公司自己对共享给 AI 的数据也应该受到很多限制。尤其当未来设备会看你的电脑、读你的消息、和你交谈时，这个问题值得社会比现在更重视。OpenAI 内部对数据怎样使用有非常强的控制，也对用户作出隐私承诺。随着设备接近发布，我们会公开更多为 ambient computing 设备设计的新隐私控制和技术。我们确实拥有世界上极其个人化的数据集合之一，这就更需要认真对待。

我是个超级 Apple 粉丝，所以这件事让我很难过。刚听说时我也觉得，如果真有人带走了别人的 IP，那非常严重；我们不需要任何公司的 IP，也不希望雇员把别人的 IP 带来。如果调查发现有人这么做，我们当然会处理乃至解雇。但同样，如果一个人没有做错事，我们也会为他辩护。根据我们调查后的理解，这是后者。更多事实会在法律程序里展开；按我目前了解，这不会拖慢项目。

我不太喜欢，是因为和一个脸上架着摄像头、还有指示灯的人说话，会让我很不舒服。但还有很多其他很好的形态。

我想我们最终会做少数几种：一种属于桌面，一种属于口袋，还有一种属于身体。把它们全部推出需要时间，但最大的心理调整，不是某个具体外形，而是习惯“proactive computer”——计算机主动理解、主动工作，而不是永远等你点击和下命令。

现在还不知道。我只是有一个非常强的直觉：这里存在一种新的计算机类别，而这种“新类别”在历史上可能每隔几十年才出现一次。但这是一个很大胆、先验概率不高的主张，所以你不应该因为我这么说就相信，等设备出来之后自己判断。

很简单：希望人们喜欢我们交到世界上的产品。今天那些“我用 AI 创办了公司”“我给孩子办了很棒的生日派对”“AI 帮我找到治疗方案”的故事，我希望几年后看起来都只是很小的例子。我最近还遇到一个人，他先用 AI 帮自己的狗设计 mRNA 癌症疫苗，后来干脆创办公司去帮助其他人。我希望未来技术给普通人的帮助远大于这些例子。

同时，我也希望几年后回头看今天的 AI 恐惧，人们会说：OpenAI 在每一步都非常负责任，在全社会利益上做出了好决定。我们对安全的基本信念其实一直很一致，但发现自己错了也愿意调整。iterative deployment 当初被 AI safety 社区强烈反对，而我现在认为回头看它显然是正确方向。能在非常不受欢迎的时候仍做真正相信的事，同时在错误时修正，我认为这才是构建安全、robust 系统的方法。

我觉得它会令人意外地和今天相似。人们还是会和家人在一起、坠入爱河、吵架、做自己的爱好、娱乐、紧张、焦虑、彼此创造价值、玩各种奇怪的游戏，也会非常在乎其他人。我希望它不要变得“完全不一样”。我希望人的体验更丰富：拥有更多自主权、自由和财富，能做更多事情，更健康，也更有能力一起定义未来；世界变好的速度更快，但“人的体验”仍然是一件非常人类的事。

把 safety、alignment 和 security 搞错。我认为完全可能 12 个月后我们拥有极其强大的模型。如果我们能够顺利完成向 superintelligence 的过渡，同时找到真正赋权普通人的方法，避免权力过度集中，在整个风险谱上做好安全，并让人们仍然感觉自己可以掌控、改善自己的生活和未来——那会是一个非凡的成功。

谢谢。