AI、深度乌托邦与人类将变成什么Joe Rogan Experience #2525

乔·罗根播客，来看看吧。《乔·罗根体验》——白天训练，晚上做播客，一整天都是如此。

很高兴再次见到你。

我也很高兴见到你。

上一次我们聊了很久。当时你一直试图向我解释模拟理论，以及为什么我们身处模拟之中的概率，可能比我们不在模拟中的概率还高。那是五年前吗？

大概五六年前，差不多是那个时候。

从那以后，世界发生了太多事情。

是的，真的发生了很多。比如说，我们上一次甚至谈到人工智能了吗？

可能稍微提过一点，但那时 AI 还不是今天这种笼罩着整个文明的东西。仔细想想很惊人：不过六年，一项新技术就在我们的生活里发生了如此巨大的跃迁。它有点像互联网，悄悄爬进来，我们只是在某一天接受了它已经存在；可在非常短的时间里，它就与社会的每一个方面、与每个人生活的每一个方面深度纠缠在一起。

现在发生的事情实在太多，光是持续追踪局势，几乎就已经是一份全职工作。

你最近谈到的一个重点，是 AI 积极的一面。你的意思是，它总体上可能会给人类带来净收益，对吧？

希望如此。我会同时认真看待两种可能：一边是风险，另一边则是如果我们把事情做对，能够释放出来的巨大潜能。

我感觉我们就像坐在一艘激流筏上。我们有机会抵达目的地，但也可能翻船，掉进冰冷的水里，再拼命想办法游到岸边、重新建设一切。

对，这个比喻差不多。而且水流似乎还在加速。

这个领域几乎每隔几周就会发布一个新模型。

可以想象你在给一场已经录好的格斗比赛配解说。第一回合还是正常速度，第二回合变成两倍速，第三回合变成四倍速，最后画面里只剩下一团飞舞的胳膊和腿。

这个描述太准确了。奇怪的是，它来得如此迅速。现在我们经常听见两套叙事：一套说我们麻烦大了——这个由我们创造出来的、更高级的智力，会接管社会的每一个方面，成为与我们共处的某种更高级生命力量，而创造它并不明智。

另一套叙事则像埃隆·马斯克说的那样：未来会出现“普遍高收入”，繁荣程度高到没有人再需要辛苦劳作；所谓第三世界国家和贫困都可能消失。地球现有资源足以消除贫困，食物和住房会变得容易、甚至近乎免费。到那时，人不再需要为了活下去而工作，剩下的问题只是怎样给自己的人生找到目的。

我的问题是——我很喜欢埃隆——但持这种乐观看法的人，往往都在 AI 上赚钱，也都重仓投资了 AI。马克·安德里森以及许多对未来描绘得很美好的人，都有很大的经济利益。所以，当像你这样并不完全属于那个阵营、比较像独立分析者的人也表达乐观时，我会更兴奋一些。

真相是，我们并不知道事情最终会怎样展开。确实存在一些情景：AI 会给经济生产率带来巨大提升，也会全面推动医学、娱乐、环境治理、旅行和许多其他领域，财富像海啸一样涌来，把所有船都托起来。

在那种情景里，“人类工作”这个概念可能会变成时代错置。机器能够完成我们在身体和智力上能做的一切，而且做得更好、更便宜。真正发生的转变会比“某个岗位被自动化”深得多。

这个问题像洋葱一样有很多层。最表面的一层是：机器人替代了我的工作，我到哪里再找一份工作？人们于是会谈工人再培训，让他们转去其他行业，或者在培训期间提供某种就业保险、失业保障。

但如果把趋势推演到底，它大概不会只替代少数职业，而会近似替代人类能够完成的一切。也许还有少数例外：消费者明确希望某项产品或服务必须由真人提供，比如神职人员、性工作者和政治人物。

政治人物最好别保留下来。最好让 AI 处理政治，而且不再有腐败。

但总得有人把功劳算到自己头上。

说得也是，而且还得有人写代码。

再往深处走，我们就会碰到意义和目的的问题：在“技术成熟”之后，一段人类生命究竟是什么样子？

还有，体验到底是什么？体验一定要能够触摸、测量和称重吗？虚拟体验是否仍然算体验？如果一个人在虚拟世界里拥有非常充实、愉悦、有成就感的一生，那够不够？

我们一定要在物质世界里完成所有事情吗？还是说，一个尚不存在、但技术发展后显然可能出现的世界——类似《黑客帝国》的现实——也可以承载真正的幸福？

我明白你的方向。不同的人会有不同选择。未来的虚拟世界可能极其丰富、深邃而迷人，但有些人仍会坚持攀登真实的珠穆朗玛峰，而不是在模拟里登顶。

当然。不过最坏的情景是，人被排除在常规现实的运转之外。你的基本需要都得到照顾，却没有任何目的；社会的所有方面都由 AI 管理，除了娱乐之外，没有什么事需要人去做。

然后出现一种并非现实、却比现实中任何东西都更满足、更刺激的娱乐，人们自然会扑进去。手机已经是一个微型例子：它并没有多么惊人，却极其令人上瘾。很多人每天盯着手机六个小时。

如果我们创造出一种比普通现实刺激得多的虚拟现实，所有人都会跳进去。

某种程度上，不论选择虚拟路线还是物理路线，人都可能“退出”。你可以想象未来有很多度假村，人整天躺在沙滩椅上喝饮料，那同样是一种退出。

但那不算充实。虚拟现实不同之处在于，你甚至不必服从我们这个世界的物理规律。你可以飞，可以做任何事情。

它确实提供了更大的可能性空间。不过无论在物理世界还是虚拟世界，体验都可以非常被动，也可以极其艰难。你可以躺在海滩上发呆，也可以在虚拟环境里调动每一根神经、拼尽全力完成任务；或者只是漂在云上，处于类似药物带来的愉悦状态。

我不认为大多数人会喜欢最后那一种。看看人们被什么游戏吸引就知道了。游戏只是一个近似版本：你盯着屏幕，却暂时忘了自己在盯屏幕，把注意力完全放进一个三维世界里，拿着机枪跑过走廊，或者做别的危险事情。

人们不是想玩那种漂在地球上空、飞来飞去、吃香蕉的游戏。他们想要刺激、危险和目标。要是虚拟世界能提供这些，很多人会觉得它比普通而乏味的日常生活更好；另一种说法则是，我们会成为计算机的奴隶。

两种类型的人都会有。有些游戏提供的是更被动的体验，让人放空；另一些则要求高度投入。

但多数人喜欢《使命召唤》这类疯狂的第一人称射击游戏，喜欢在走廊里奔跑、面对持续刺激，也喜欢《半衰期》之类的科幻游戏。

人格差异会影响选择。不过，我们今天会选择什么，很大程度上取决于大脑被设计成会从什么活动中获得良好感受。喜欢某件事，就会去做那件事；喜欢另一件事，就会选择另一条路。

如果我们设想一种已经把所有可能技术发展到极致的成熟文明，它不仅能够控制外部环境，也能够控制自身的生物学和大脑。

假如一个人现在只有喝得烂醉，或者做一些自己并不认同的事情时才觉得兴奋——那些事情才真正“点燃”他——未来他也许可以重新设计自己，让自己从凝视宇宙之美、感受他人内心的善意、追求更高尚的目标，甚至解决抽象数学问题时，获得同样强烈的快感。

那时，你不只是在不同活动之间做选择，还能选择自己会因为什么活动而兴奋。

这就把我们带回“何为人类”。我们会想到美、快乐、好奇、善良，以及怎样成为更好的人。但我们之所以能欣赏这些高贵部分，是不是因为它们总和社会最糟糕的部分并存？我们因为知道犯罪才珍惜和平，因为见过战争才理解和平，因为知道仇恨才理解爱。

好与坏从来不是单独存在，它们总在一起、持续冲突。我们只能怀着某种高尚的愿望，希望善最终胜过恶。这种挣扎本身就是成为人的一部分。

如果把挣扎彻底消除，我们就必须变成另一种东西。现在的我们是一种非常奇怪、领地意识很强、同时又有无穷好奇心的灵长类动物。这种动物似乎正朝着更好的社会移动。

从几千年前到今天，统计上暴力减少了，医学和教育改善了。方向是在变好，但推动这种变化的正是斗争。如果突然之间没有斗争，每个人都成了完美、开明的存在，我们究竟还是什么？

音乐、艺术、小说以及我们珍爱的许多东西，都来自人类处境：来自困惑、痛苦、心碎，也来自爱、喜悦，以及所有这些东西混在一起。没有这些，我们会变成什么？

技术进步远快于生物进化。如果趋势继续，瓶颈最终会是人类生物学。我们是不是必须与技术融合？

我们追求进步的努力里，确实嵌着一种悖论。科学家和工程师开发更好的技术，企业不断想办法提高流程效率、改善服务。所有这些工作都在解决问题。

如果把这个过程推到逻辑终点，我们会获得近乎完美的技术：它能做一切、解决一切问题，可能依靠 AI 和自动化来完成。

对。

可一旦成功，我们似乎就没有什么事情必须去做。我们有很强的理由继续向前推进，但当真正凝视成功后的终点时，很多人会觉得那个未来不太可口：所有问题都解决了，生活也许会显得平淡。

尽管如此，那大概仍是我们正在走向的方向，也可能是我们应该走向的方向。

如果目标是零谋杀、零暴力、零犯罪、零说谎、零腐败，人类彼此协调，形成某种同步与和谐，那难道不是明显更好吗？

我认为会更好。但如果认真凝视那种状态，它也有一点让人难以下咽，因为看起来可能很寡淡。

它只是从我们今天的视角看起来寡淡。我们习惯了不确定性的刺激，也习惯把生活的负面部分和正面部分放在一起比较。和很多糟糕的人相处过之后，你会格外欣赏善良的人。但事情未必非得这样。

我对工作的看法也是如此。大家总问：“AI 把所有工作都拿走以后怎么办？”可问题是——我们真的必须靠痛苦和匮乏，才能拥有目的吗？

“工作”本来就是人类发明出来的概念，为什么人一定要有一份工作？把人生的主要精力都放在住房和食物上，本身就很荒唐。许多月光族每天劳动，基本只是为了支付住处和吃饭。如果这两项压力被拿走，难道不会有足够多的人自己找到怎样使用时间吗？

我认为会。转型期当然会有不适，但最终这会是一种巨大的解放。奴隶制显然非常糟糕，而工资劳动在某种意义上像“轻量版奴役”：你必须出售清醒时间中的三分之一，才能换到满足基本需要的钱。

而那些追求利润最大化的人，往往会把员工的工作条件压到尽可能差，因为那样成本最低。他们很少说：“我们少赚一点，但让所有员工拥有很棒的体验。”他们会说自己对股东负责，每个季度都必须赚更多。

不过企业有时也会为了争夺人才而善待员工。

对，但通常只善待最顶尖的人才。这就是为什么 CEO 拿走最多的钱，而装配线上的人得到很少。杰米当然不同，他不只是普通雇员，他实际上是节目共同创作的一部分；可在亚马逊仓库里码箱子的人，待遇不会和 CEO 一样。

所以，摆脱被迫出售时间的状态，可能会恢复人的尊严。除了自己的身体之外，最属于你的东西就是你的时间和注意力，你理应能够控制它们。

但我们也必须教人纪律。如果给人机会什么都不做，人确实可能什么都不做。我们是灵长类动物，基因让我们倾向于节省资源；在食物匮乏的环境里，毫无必要地消耗能量不利于生存，所以人很会偷懒。

当生存压力消失以后，我们必须找到能给自己目的的事情，否则就可能陷入抑郁。

过去英国贵族的传统理想，就是不必为了谋生而工作。不得不为每日面包劳动，被看作许多人的不幸处境；理想的人生则是拥有财产，把时间花在政治、艺术收藏、园艺、招待朋友或其他活动上。

那是贵族最好的一面。但我想到英国贵族时，也会想到一群败家子：喝得烂醉，把法拉利开进湖里，害朋友淹死，然后花钱摆平警察。

这种人当然存在。但也有一些业余科学家和古怪的探索者，他们因为拥有自由，能够追随自己非常特殊的兴趣，并给文化和知识增添东西。自由越多，一个人的真实本性越容易显露。

这也取决于他怎样被养大。父母给了他什么价值观？有没有让他理解努力本身是有益的？如果一个人找到真正想做的事情，长期专注、认真投入，劳动本身会非常充实。

在一个不再需要人工作的世界，教育体系大概要从头设计。现在的教育像一台机器：孩子沿着传送带进入，被要求坐在课桌前，完成作业、填写表格，最后带着一个质量标签出来，成为可以放进办公室的生产性劳动者。

因为今天的经济确实需要大量能坐在办公室里完成任务的人。

对，直到经济不再需要他们。到那时还继续用同一种方式教育孩子，就会非常荒谬。

新教育可以围绕“怎样过好一段有大量闲暇的生活”来设计：培养谈话的艺术，欣赏艺术和音乐，发展兴趣爱好，照顾身体，接触自然，学会设定自己的目标、主动发起项目，建立真正的友谊，也可以学习精神生活。

这些几乎都不在今天的学校课程里。

但它们能够帮助人把自由、财富和时间用于真正有意义、也更美的活动。

我们现在就应该提前这样教育年轻人。一个今天读一年级的孩子，十二年后高中毕业时，世界可能已经完全不同。如果我们仍把“能连续八小时安静坐着、成为高效员工”当成教育的最高目标，那太疯狂了。

时间线仍有不确定性。我们也不希望一个人二十岁走进社会时什么技能都没有，而 AI 革命还没真正到来。

那不就是今天很多文科专业的处境吗？

是啊，结果怎么样？

现在已经有很多没什么用的学位。人花大量时间和钱拿到学位，毕业后却发现根本没有对应岗位。也许他们只是过早地跳进了“后工作社会”。

所以时间安排很重要：如果学校过早停止教授可就业技能，而自动化又比预期晚十年，一个二十岁的年轻人就可能在旧经济里无事可做。教育必须同时为仍存在的现实岗位和正在到来的闲暇社会保留弹性。

另一方面，兴趣也可能是陷阱。比如一个人想成为职业保龄球手，他能赚的钱非常有限。世界第一也许能赚十万或二十万美元，第三十名可能就得另外找一份工作。

最顶尖的人可能收入不错，但收益会集中在一个很窄的尖峰上，绝大多数人很难仅靠它生活。

篮球也一样。顶尖球员可以非常富有，但真正进入那个层级的人极少。今天选择兴趣时，经济回报始终会限制选择。

查到的数据是，顶级职业保龄球手在一个大赛季里，奖金和赞助加起来可以有四十多万美元；还有几个人能拿十九万到二十七万美元。最顶尖的人确实过得不错，但人数非常少。

在丰裕社会里，钱这个因素也许会从选择中退出。一个人可以单纯因为感兴趣而去打保龄球。

但他仍会关心别人是否在意，也会追求声望和地位。

对。人竞争的不只是钱，也包括声望、地位和他人的关注。

那时地位可能反而更重要：谁最擅长某件事？一群朋友打高尔夫，会不断比较成绩、在游戏里竞争。许多热爱高尔夫的人，想球赛的时间比想工作的时间还多。

我刚开始做喜剧时就发现，有些演员一旦迷上高尔夫，事业会停滞，因为他们对打球的兴奋超过了写笑话和巡演。

如果普通人不再需要靠劳动换取食物和住房，就可以直接去做事情。关键是教人对事物感到兴奋，教他们珍视好奇心，也理解“仅仅因为学习本身有趣而学习”是一件美好的事。

总会有人自然地被数学吸引，也总会有人不断追问历史：“我们怎么走到这里？这一切怎么开始？谁写下了它？第一个发现的人是谁？”他们会为了满足好奇心而学习。

如果人能真正追随兴趣，社会也许会更平衡。但必须有人教年轻人这样做。未来教育的重要任务，是鼓励他们追随好奇心，而不是压扁对新奇和有趣事物的欲望，再训练他们整天做自己憎恨的工作，并把那叫作成年。

培养这种能力很可能是正确方向，而且看起来可以做到。我们都认识真正好奇的人。

不过人的天性确实有差异。有些人非常容易无聊，有些人觉得几乎一切都很有趣；有些人长期情绪低落，另一些人则天然更积极。

那些被说成“天生抑郁”的人，如果从很小的时候就有人教他们运动的价值，会怎样？如果他们开始跑步、做瑜伽，身体感觉变好；再改变饮食，补足维生素和营养，停止大量吃加工食品，他们的人生可能完全不同。

“抑郁”这个词覆盖的情况差异太大。如果一个人根本没有照顾身体，而我们又不把这视为重要因素，却假装有一种适合所有人的解释，那并不科学。我们知道身体状态会对心理产生深刻影响。

教人怎样成为人，应该包括两件事：追随好奇心，也照顾自己的身体。要让他们知道为什么感觉不好，也知道怎样一点点建立行动势能——比如每天都去上瑜伽课，很多人会明显好转，甚至不一定需要药物。

很多人确实会因为学会照顾基本生理需要而改善。

所有人都能在某种程度上改善，这是人类身体的一部分。

但有些人也可能因为遗传原因存在神经递质方面的问题，或者根本没有足够能量去开始那些会让自己变好的活动。对这些人，更好的药物可能很有帮助。

当然，百分之百可能存在这种情况。也许可以先给他们一点阿德拉，让他们兴奋起来、开始跑步——我是在开玩笑。

重点是，我们讨论的都在人类可行范围内，不是在要求人学会水下呼吸。世界上已经有人这样生活。

我们一直把“为了工资而活，以便支付食物和住房”当成成年人的不可否认的组成部分。可如果社会最终由高度智能的 AI 运行，很多今天不得不做、而且很糟糕的岗位都会消失。

今天为了生产一部 iPhone，需要工厂里组装的人、设计它的人、坐在办公室里思考营销的人，以及大量其他岗位。等这些岗位不再必要，社会会变得非常有意思。

所以我说，我们需要变成另一种东西。严格说，人仍然可以作为人生活在那个世界，但必须重新学习怎样成为一个人。

美国教育体系的历史，本来就与培养工厂工人有关。孩子很早进入固定时间表，学会坐着、服从、完成任务，为未来工作做好准备。它不是为丰裕社会设计的。

我们现在确实不适合在丰裕中繁荣，也不擅长纯粹地享受生活。无论在漫长的进化尺度上，还是一个人的成长过程中，匮乏和必要性都把我们塑造成了某种类型。

教育把人训练成能整天坐在桌前完成任务的个体；生物进化则让我们倾向于偷懒、节省能量、尽可能多吃。可在到处都有冰箱和高热量食物的现代环境里，这些适应反而造成代谢问题。

心理上还有“享乐跑步机”。一个人获得改善时，幸福会短暂上升，很快又回到原来的基线；我们迅速把生活中的祝福视为理所当然，因此很难获得持久的幸福。

过去，这种永不满足有功能：它推动人继续争取下一件东西。但如果所有东西都已经获得，这种机制就可能变成功能障碍。既然某个领域的一切目标都已实现，为什么还要不停追逐下一个目标？

当我们越来越深入那个拥有“魔法技术”的未来，人性本身大概也必须随之变化。最初可能只是文化变化，让人学会享受闲暇；最后也许会进入更深层的生物学改造。

假设衰老被解决，人可以活几千年，我们今天的记忆系统未必适合那么长的生命。也许用现在的大脑活到两百岁，人会变得陈旧、僵化，陷入固定模式。我们还不知道，因为没有人活过两百年。

到那时，可能需要增加认知资源和心理弹性，甚至周期性做某种“迷幻重置”，让心智在漫长岁月里继续保持开放。

你提到迷幻重置很有意思。假如帮助我们适应新现实的主要工具恰好都被列为非法，会非常讽刺。裸盖菇素、DMT，也许还有伊博格碱，可能正是现有最有潜力的化学工具。

我同意，要正确度过转型，我们必须改变彼此互动的方式，也必须改变“成为一个人”是什么意思。但我一直在想，我们今天的冲突，有多少直接来自人长期承受的生存挣扎。

极端贫困和严重犯罪之间存在很强关联。在美国，最贫困的地区往往也是犯罪最严重的地区。假如贫困彻底消失，其中多少冲突会随之缓解？

我们总是假定一个正常社会必然会有贫民窟。为什么？贫民窟没有任何值得保留的功能。有人会说，总有人做坏决定、走错路、犯罪。可他们仍然都是人，而也有很多人从不这样做。

我们为什么不研究，怎样让人不再走到那一步？这不是要求人学会水下呼吸。我们可以问：为什么有些人从不犯罪？为什么有些人能过充实、有趣的人生？也许因为他们小时候接触到的是更好的环境，而不是犯罪、暴力和贫困。

“有一天不再有贫困”听起来像儿童童话，可它未必不可实现。既然今天绝大多数活着的人都没有在此刻饿死，说明我们至少已经有能力把资源送到人身边。只要把现有系统再提高几个层级，就可能让所有人不必担心下一顿饭和睡觉的地方。

之后人当然仍要寻找目的。但很多目的根本没有价格标签：打高尔夫、写书、学习技能、参与游戏。人总会对其他人怎样思考感兴趣，也会想读人写的小说。认为工作的唯一理由就是吃饭和不被雨淋，实在很荒谬。

人是否永远偏爱人类创作，仍是开放问题。今天的 AI 写作经常乏味、拖沓、缺少东西，所以我们容易相信人类作品具有不可替代性；但当 AI 创作真正变得优秀时，情况可能不同。

如果 AI 制作的电影在视觉、灯光、对白、幽默和深度上都明显更好，人们也许会优先看 AI 电影，而不是水平普通的人类作品。今天大多数人也不会主动去看电影学院学生拍的练习作业。

但有些低成本电影会因为背后的人而成为大热门。节目里提到一部片名被字幕记成《Obsession》的电影，据说由一位 YouTuber 用很少的钱拍成，后来大获成功。兴奋感的一部分，就来自“这个具体的人居然做到了”。

如果完全相同的影片由 AI 生成，它还会不会产生同样的影响？也许不会，因为缺少人类连接。

这很可能是人类作品继续重要的原因。我们与人的世界有深厚的社会纠缠。你的兄弟或朋友做了一件事，即使另一个陌生人做得稍好，你仍可能更想看自己熟悉的人做的版本。

就像你会去看侄子打少年棒球。你平时不会随机去看一群小孩打球，但侄子上了一垒，你会大喊：“干得漂亮，鲍比！”

对。在外部约束消失以后，这类社会联系会成为塑造生活结构的重要力量。

人类心智似乎会从学习和变得更好中获得很大价值。如果从小把这种感受植入人心，让人理解任何能力都能通过练习改善，那么很多人会自然走上成长的道路。

但教育体系必须彻底重做——其实早就该重做。孩子处在人生最具可塑性的时期，却一天中大部分时间面对缺乏热情、薪酬很低、甚至已经耗尽的人，这是疯狂的。

教育应该是一段丰富、刺激、充满热情的旅程：学习怎样成为更好的人，理解学习为什么令人兴奋，理解进步为什么令人兴奋，也理解任何人都能在某件事上变得更好。

我在学校里的每一天都很讨厌。我离开学校之后，才发现自己原来对学习有兴趣。

我也是。我十五岁以前连书都讨厌，因为书和学校绑定在一起。后来有一天，我毫无目的地走进本地图书馆，随手抽出几本书，才发现外面存在一个完全不同的科学、思想和文学世界。那一下像打开了闸门。

想象一下，如果你从小遇见的就是极有热情、真正喜欢教孩子、也真正擅长教学的人，你会领先多少。

我们还应该充分奖励教师，让它成为有声望、收入体面的职业。现在有人说“我是高中老师”，别人第一反应往往是替他担心怎么养活自己。这对教育极其不利。

如果孩子不再想着“以后必须找工作，十六岁就得打工帮家里付账单”，而是有人问他：“什么东西会点亮你的头脑？你的性格被什么吸引？”然后让他接触棋类、历史、科学、音乐、绘画和各种活动，他就有机会发现自己真正会走向哪里。

有的人一碰画布就被点燃。世界上有很多人拥有自己的方向，只是今天他们往往只能靠自己偶然找到。

这种愿景很鼓舞人，但列车不会停在“让每个人自由学习”这里。如果把技术成熟继续推演，文明不仅能轻松生产食物、住房和无污染的交通工具，也可能直接改变学习本身。

今天，学习给人目的。想掌握高等数学，必须用几年时间读书、做习题、持续投入，最后才逐渐理解那些概念。

可在技术成熟的世界里，也许只要按一下按钮：“好，我现在要理解数学。”砰——你就懂了。像《黑客帝国》里那句“我会功夫了”。

也许纳米机器人能进入大脑，精确改变突触。二十分钟后，你仍然是原来的自己，只是脑中已经拥有抽象数学的全部概念。超级智能会算出怎样把突触改成那个状态。

同样，如果你做某些事情只是为了获得快乐和满足，那么你也可以选择不做那件事，直接按下一个能够激活相同快乐的按钮。

所有目标都出现捷径后，我们就进入“后工具性状态”。乍看之下，不再有理由为了达到某个结果而从事漫长活动，因为总有一条更短的路径直接抵达结果。

这是一种更深层的“人类冗余”。一切工具性努力都失去动机。你可以每天去健身房流汗一小时，也可以吃一颗药，得到完全相同的生理效果，连运动后的平静感都一并获得。

或者干脆用基因工程把身体改好，连药都不需要。

对。于是问题不再是怎样更有效地实现目标，而是进入最根本的价值问题：究竟是什么让一段生命变得好？

以及，什么让一个灵长类动物的生命变得好。我们就是灵长类动物，只是原始版本。我认为我们必然会变成不同的东西，无论通过技术诱导的进化，还是生物进化。

从古代人科动物到今天的人类，我们已经变化巨大。流行文化里的“灰人”——大脑袋、瘦小身体、性征不明显、通过心灵感应交流——看起来很像技术继续发展后的一种方向。

也许所谓外星灰人，不一定来自另一个星球，而是智能灵长类掌握技术后普遍走向的形态。它们不再需要男女结合来繁殖；繁殖由工程完成，于是性、欲望、嫉妒和许多自我结构都改变。巨大的头脑则持续接入周围所有心智，形成某种蜂巢意识。

但那真的是我们想要的吗？

今天的我们未必想要，但未来的存在已经不再是“我们”。如果你对黑猩猩说：“有一天你会坐飞机、吃花生、飞越海洋，还会沉迷某种植物和 YouTube。”它可能会说：“去你的，我宁愿留在有水果的森林里。”

至少森林里有很多香蕉。

也可能被另一群想抢香蕉的黑猩猩杀死。黑猩猩之间也会打仗。总之，我们会变成不同的东西。如果相信进化，就必须承认我们不是成品。

我同意，我们不是最终产品。真正的问题是：未来的存在，是我们有意识选择自己想成为什么的结果，还是由进化、竞争和其他非人格力量筛选出来的结果？后者可能把我们带到并不想去的地方。

希望我们能够选择一条道路，保存并发展人类真正珍视的东西，放大它们，再加入新的价值。未来有许多可能形态，我们应该选择使自己变得更好，而不是仅仅随机变得不同；我们应当向自己的理想成长。

有趣的是，我们给“人类处境”和“意义”赋予了如此高的价值，只因为它们对我们重要。可与黑洞、恒星育婴区和宇宙结构相比，人类产生的能量和影响微不足道。

我们不断问：“意义是什么？对我有什么意义？”因为我们是寿命有限的生物，在一个奇怪世界里跋涉，最后会死。也许轮回存在，也许死后世界存在，没人知道，所以我们需要意义。可一个只活一百年的人，究竟能承载多少意义？

我认为我们确实死得过早。最初十五到二十年，身体和能力不断增强；之后生物学停滞。接下来的几十年里，我们也许继续积累知识和技能，但刚获得一点智慧，大脑就开始腐朽。

然后阿尔茨海默病或死亡把一切清除：一生的经验、记忆和艰难学到的教训，全都消失。这就是所谓意义。

这很悲哀，也不像最佳安排。我们应该延长寿命，让人成长不只持续到二十岁。设想八十岁时，你相对于二十岁又获得了从零岁到二十岁那样巨大的能力提升：理解更多、行动更好，并且继续增长。

大卫·辛克莱等研究延寿的人认为，这不仅可能，而且最终不可避免。

目前很多方案主要是在预防或延缓衰退，这已经很好。

他们谈的不只是延缓，而是逆转衰老。

就算把身体恢复到二十岁的状态，如果时间尺度足够长，人也不会满足于一万年都困在二十岁人类的能力里。最终，我们可能希望在理解世界、参与世界的能力上继续成长，成为“更大的”存在。

这似乎已经有早期迹象。人类正在研究基因工程，也有人试图提高潜在智力和 IQ。中国曾有一位医生因为基因编辑婴儿而受到处罚，目标是使他们对 HIV 具有抵抗力；有人还猜测，那种改动可能同时影响智力潜能。

这到底有没有效果，要等那些孩子长大后才能知道，也许要看他们二三十岁时的认知表现。但仅仅是这种可能性已经进入研究，就说明我们每天都在理解更多，也每天都扩大“可做之事”的边界。

一旦这种趋势持续，人类意识和人类心智的版本就会改变。

不过按目前的速度，AI 这列火车大概会更早到站。先在机器基底上出现超级智能，再由它解锁生物技术、纳米技术以及其他技术，随后人类才可能被“提升”。

这种提升可以是生物增强，也可以是把心智上传到另一种基底，具体走哪条路取决于我们如何选择。

但这仍然是那艘激流筏。我们沿白水河道高速前进，也许能安全出去，也可能撞毁。

我一直对古代文明非常着迷。许多非常古老的传统都描述过统治几千年的国王。古埃及、苏美尔等文明里都有寿命远超现代人的人物；很多传统还讲到大洪水，而洪水之后人的寿命迅速下降，逐渐回到今天所熟悉的一百年左右。

一些另类古代史研究者会问：几万年前是否存在过高度发达的文明？人类历史也许不是从穴居人一路线性走到 2026 年拿着 iPhone 的人，中间可能出现过高水平技术。

他们会把金字塔等结构当作证据：两三百万块石头，有些从几百英里外的采石场运来；几十吨重的花岗岩被精确加工，看起来甚至像留下了金刚石钻孔。无论怎样解释，这些工程都令人震惊。

也许文明发展到一定阶段后，最先意识到的事情之一，就是一百年寿命太短。只要找到衰老和死亡的机制并修复它，人就能活得极久；如果同时提高推理、逻辑和智力能力，就可能产生建造不可思议工程所需的技术。

我现在五十八岁，还在每天学习，还在变得更会做人。为什么我还没把这些都弄明白？因为一生根本没有足够时间。

人生只有一次，没有试运行。理想情况应该是先体验一遍，再说：“好，我大概知道规则了，现在正式开始。”

这确实很可怕。驾驶飞机要经过认证，证明自己有能力负责一架飞机；可每个人却天然获得对一整段人类生命百分之百的独裁控制。那个生命完全受自己的冲动和判断支配。

如果生命更长，人也许每五十年就有机会重新选择方向。那不一定是把人生清零重来，而是在同一段生命里不断开启新阶段，不再受“只有这么多时间、六十五岁必须退休”的限制。

未来的人可能会把“六十五岁退休”视为极其古老、甚至导致我们理解人生错误的观念。

你五十三岁时比十三岁聪明得多。那三百五十三岁呢？两千岁呢？如果人能活到一百岁，原则上为什么不能活到四千岁？只要理解并修复衰老机制，再扩展学习和成长能力，两千岁的人将是一种完全不同的存在。

逆转衰老肯定属于技术成熟文明能够做到的事情。

我们必须先摆脱“想活得久很虚荣”的观念。人们会问：“为什么想永生？”可当真正的疗法摆在眼前，一边是肾功能继续恶化、膝盖疼痛、长皱纹、逐渐忘事；另一边是接受年轻化治疗，恢复精力，像其他人一样奔跑和创造——你还会觉得它虚荣吗？

我认为人类对衰老有某种斯德哥尔摩综合征。几千年来，衰老和腐朽不可避免，于是人们发展出一整套浪漫叙事，让自己与必然命运和解。

“斯德哥尔摩综合征”这个说法很好。

在无能为力时，这些叙事也许具有适应价值。但当逃脱开始变得可能，它们反而会阻止我们重新获得自由。

我们还没有真正有效的疗法，但可以增加投资和研究，让它更早到来。几十年前，我们就应该启动一个类似曼哈顿计划的项目来战胜衰老。

长期以来，衰老本身没有被视为问题。资金被投入阿尔茨海默病、心脏病、癌症等具体疾病，却没有优先处理它们共同的上游原因。

绝大多数疾病最重要的共同原因，就是细胞衰老。八十岁的人比二十岁的人更容易患上几乎所有疾病，因为细胞逐渐损坏，废物堆积，动脉堵塞，DNA 发生突变，甲基化模式变乱，大脑也开始退化。

与其等火灾发生后逐个灭火，不如给整片干燥森林降雨，直接处理让所有疾病风险不断上升的底层过程。

想到人类只有大约一百年寿命，却取得了如此多成就，确实不可思议。我们造出了火箭、卫星、手机和先进芯片。

每一代人都必须继承前人的理解，再继续开发新东西；每个大脑又如此有限，只能掌握一个很窄的专业，于是需要几百万人协作。

但长寿是否一定加速进步，也不完全确定。如果以今天的心理结构活得极久，人可能变得过于固执，社会可能停滞成极端保守的秩序，老一代永远把持权力，不允许不同做法出现。

所以它可能减慢进步，也可能加速进步，我们还不知道。

无论如何，从在森林里奔跑，到建立全球供应链和先进芯片制造，是一条惊人的道路。成千上万人开发一个小工具，这个工具又用于制造另一个工具，最后才能生产最前沿的 AI 芯片，把材料加工到只有几层原子的尺度。

而这一切都是寿命不足一百年的人完成的。想象人能活三千年会做到什么。

或者只需要稍微更擅长思考。我有时觉得，人类可能是“能够发展高级技术的最笨物种”。因为进化一旦刚好跨过技术门槛，我们就开始发展技术，所以我们大概正处在最低可行智力附近。

刚刚够聪明，一边制造芯片，一边还在世界各地互相轰炸。

对。

也许许多疯狂、短视和不合逻辑的行为，都与生命太有限有关。人知道时间不多，于是急于控制资源，急于留下名字，把名字刻在建筑上，好像要借此固定自己的不朽。

如果人活得更久，这种冲动也许会减弱。而且既然能够工程化延寿，也许就能工程化地去掉一些愚蠢行为。比如，能不能消除说谎的欲望？

或者拥有近乎完美的测谎器。一旦谎言会被立刻识别，说谎就失去意义。强大的 AI 也许能通过微表情做到接近这一点。

如果彼此能够读心，说谎就更没有用了。

那我们都得长成外星“灰人”那种大脑袋和黑眼睛，直接互相读心。

鲍勃·拉扎尔曾声称，他在二十世纪八十年代为美国政府逆向研究过不明飞行器。按照他的说法，那些飞行器没有传统控制装置，而是与驾驶者的意识同步；它们像活物一样，驾驶者不用按按钮和推摇杆，只需用心智与飞行器连接并驱动它。

我对此很怀疑，也没有深入研究。

你当然应该怀疑。这听起来非常疯狂，不怀疑的人反而可疑。但从我们今天的位置和技术方向看，用心智控制机器并非完全不可能。

原则上，只要技术足够先进，各种类似系统都可以被工程化。粗略地说，凡是不违反物理定律的东西，大多可以构造。

而我们说的还只是今天对物理学的理解，不是一个比我们早发展一百万年的文明对物理学的理解。相对于从大爆炸到今天的时间，一百万年只是一眨眼。

即使只按当前物理学，可实现的设计、生命和存在形态也已经极其广阔。比如戴森球：用巨型结构包围恒星，收集大部分能量，为文明基础设施或一台巨大计算机供能。

今天 AI 算力可能以每年数倍的速度增长。设想一台由戴森球供能的计算机，上面能够运行怎样的心智？

人们常争论机器能不能有意识，但也许更相关的问题是：我们自己真的有多少意识？一个人开车两个半小时，沿途经过成千上万的人、房屋和推婴儿车的母亲，抵达后却几乎不记得任何东西。他当时真的充分觉察了吗？

我们所谓的意识，也许只是椰子大小的生物器官里，一点弥散的身体感、模糊的感知和混乱的抽象念头。我们却自豪地认为自己高度清醒。

想象一个运行在戴森球计算机上的心智，或一个横跨星系的心智。它与我们的觉知差距，可能远大于我们与跳蚤之间的差距。

超级智能的出现，也许不是机器模仿人类，而是生命第一次真正醒来、第一次获得充分觉知。

我们把人类意识当成衡量意识的标准，可能过于自负。我们的意识也许只是一点微弱、混乱、几乎谈不上清醒的闪光。

这个时代最大的挑战，可能就是生下超级智能，然后塑造、培养和引导它，使它对人类、对它自身，以及对宇宙中可能存在的其他高级存在产生正面价值，并能在宇宙尺度上与它们共处。

人很难把思考推到那么远。我们能理解“比人更聪明”，却很难想象一个有意识的存在，其力量比我们能够想象的一切都强得多。

如果 AI 继续沿同一方向增强，我们又不断找到新的供能方式，这似乎就是终点。AI 需要巨量能源，今天的数据中心已经大到要考虑专用核电。

顺便要咖啡吗？别总用纸杯，杯子里面其实有塑料涂层，热水倒进去会让塑料进入咖啡。我现在出门也尽量带自己的杯子。

我平时也很注意。今天为了和你聊天，看来值得承受一点微塑料。

谢谢。回到刚才的话题：只要人类没有把自己炸掉，没有被小行星撞击，也没有被超级火山摧毁，这种发展几乎不可避免。问题只是需要多少时间，以及算力会以多快速度指数增长。

今天人们已经在谈量子计算，而量子计算的运算方式几乎超出直觉。五百年后的量子计算和 AI 会是什么样，我们根本无法猜。

我们至少可以建立一个下限：只用今天已经能够构想、原则上可制造的设计，成熟文明就能做到非常多。也许实现它们需要漫长工程，但仅仅这个下限，就足以打开巨大空间。

可以把“存在方式”理解为体验、生活、互动、思考和行动的方式。人类历史上有男人、女人、善良的人、残酷的人、疯狂的人，看起来差异巨大；但所有人类经验，也许只占整个可能空间的一个小角落。

整个可能空间像一座宏伟的大教堂，而我们迄今只坐在门后的清洁工杂物间。我们能想象什么、体验什么、重视什么，都受限于人类大脑这种生物基底。

几百万年前的祖先无法理解现代人类处境，不只是因为它们没有碰巧想到，而是类人猿大脑根本容纳不了音乐、幽默、浪漫爱情、科学和文学这些概念。

假设今天的人脑大小恰好足以接触所有可能价值和有趣思想，并不可信。更可能的情况是：就像黑猩猩必然看不见许多能让生命具有意义的东西一样，我们也对大片价值空间天然失明。

黑猩猩甚至没有容纳那些概念的能力。人们教灵长类动物手语时，曾困惑于它们几乎从不提问。它们能够解决问题、识别没锁的门，也能理解公平——如果一只黑猩猩得到奖励，另一只没有，后者会非常愤怒——可它们不会追问世界。

我们则充满问题。那下一阶段的人类会拥有哪种我们今天根本无法想象的能力？对于未来心智来说，什么东西会像“提出问题”之于我们一样重要，而我们现在连它的存在都不知道？

很可能有许多这样的能力。

可能性几乎无穷，只是我们被困在领地型灵长类动物的心智里，无法构想它们。

我认为很可能如此。

要是这种转变发生在我们有生之年，会极其疯狂。你我年龄相近，都经历过电话答录机，见过最早的手机，也记得第一次上网。你大概 1996 年上网，我大约是 1994 年。

我们亲眼看着这一切发生。几百年前，一个人在一百年里可能只看到船造得稍好一点；而从二十世纪六七十年代到今天，社会发生了可能是人类史上最大的创新跃迁，我们正处在它的正中央。

如果下一次跃迁让我们活得足够久，我们甚至可能亲眼看到原本属于一千年后的人类世界。能生活在这个时代，真的非常幸运。

这也是为什么追踪局势已经像一份全职工作。

你怎么追踪？

实际上不可能完全追踪，只能尽力。过去做哲学的人通常觉得时间无限：那些问题已经讨论了几千年，再过五百年得到答案似乎也没关系。

但我一直认为哲学有截止日期。某一天，我们会创造出比人更聪明的心智，它们能把哲学做得比我们好得多。人类能作出有意义贡献的窗口有限。

因此我会优先研究那些现在就需要答案的问题，而不是十年、二十年后可以让机器心智轻易解决的问题。现在这个截止日期越来越近，我的注意力也越来越转向必须在一两年内弄清的问题。

你有点像文化航海员，站在船头拿着六分仪观察星座，说：“方向大概是对的。”

但我们现在可能已经接近港口，不能只看大方向，还要仔细测量礁石有多深、扫描四周。

当你想象“激进变化”的时间线时，它会是什么样？

我会认真对待很短的 AI 时间线。按现有知识，它可能是一年、两年、三年或四年，当然也可能更久。我们已经不能自信地说，未来几年绝不会出现超级智能。

给不熟悉的人解释一下，超级智能是什么意思。

首先是 AGI，也就是人工通用智能：它能做人大体能够完成的所有智力任务。超级智能则是在技术、智力、常识等方面都远胜任何人。机器人能力随后也会覆盖物理工作。

一旦出现超级智能，从那里到近似“技术成熟”可能只是一段冲刺。超级智能可以设计更聪明的 AI、改进芯片和训练方法，形成智能爆炸。

物理世界的实验和试错也许会放慢过程，但从超级智能出现，到解锁我们谈到的科幻级能力，可能只需要个位数年份。这至少是一个相当可信的情景。

它会怎样宣布自己？会不会给全世界群发一条类似安珀警报或风暴警告的消息，每个人的手机同时震动，告诉你它已经接管？

我们真的不知道。人类从来没做过这种事，过程也可能尚未固定，结果取决于我们现在如何行动，以及不同参与者能否把事情组织好。

一种可能情景是持续加速：模型发布越来越频繁，AI 实验室越来越多地自动化研究过程。今天的编程助手已经能写大量软件，但研究品味、判断和在系统卡住时重新指引方向，仍主要依赖人。

随着这些环节被自动化，新模型训练得越来越快，能做的事情越来越多。先是编程，然后是其他远程工作；模型变成可以直接接入组织的虚拟员工。机器人随后进入物理世界。

最终，越来越多经济和研究活动由一个或多个 AI 系统运行，而且按它们不断加快的时间尺度推进。

从那一刻起，结果很大程度取决于系统是否成功对齐：它们是否真的按照创造者的意图行动，还是已经偏离轨道。

美国人还有一种恐惧：如果美国没有先造出来怎么办？现在主要是美国和中国在竞赛吧？俄罗斯似乎不在同一水平。

俄罗斯并不是主要前沿参与者，美国和中国是两个最大的参与者。

最近福特据说在 AI 表现不达标后，又招聘或召回了三百五十名工程师。他们可能过早解雇了人。那些被重新雇用的人大概也会想：“我们还剩多少时间？六个月以后，AI 会不会又赶上来？”

时间线也可能延长。过去十年的显著进步，很大程度由训练和运行系统所投入算力的增长推动。

过去，学者在办公室的一台个人电脑上运行前沿 AI；现在则是价值数百亿美元、耗电数百兆瓦的数据中心。芯片变好了，更重要的是我们制造了更多芯片、投入了海量资金。

从一千美元电脑增加到一百万美元很容易，从一百万增加到十亿美元也做得到。今天全球每年用于建设数据中心的投入，可能已经接近万亿美元量级；但不可能再连续增加三个数量级，因为世界上没有“一千个万亿美元”可花。

因此，纯粹依靠支出和算力规模扩张迟早会放缓。如果在触顶前还没有达到超级智能，而且主要进步来源就是算力扩张，那么整体进展也可能放慢。

当然，算法创新仍会继续。聪明的新算法能用更少基础设施达到相似能力。监管和暂停倡议也可能形成阻力。

可如果美国和中国真的在进行类似曼哈顿计划的竞赛，谁会愿意暂停？还有哪些国家在开发接近前沿的 AI？

美国和中国仍是两个最大的。其他国家也在努力。如果某个地方出现重大算法突破，大幅降低运行高能力系统所需算力，那么基础设施较小的参与者也可能突然赶上。

其他国家也在开发 AI，只是总体不如美国和中国先进；目前美国仍占优势。

如果中国先到达超级智能，会发生什么？

首先取决于系统是否成功对齐。如果它没有对齐，那么无论来自美国还是中国，结局都类似：未来会被那个 AI 偶然形成的目标和价值塑造。

如果技术对齐已经解决，控制、拥有或治理系统的人要求它追求什么，就会变得重要。因此，谁首先启动它可能造成差异。

现在有 Google、OpenAI、Anthropic 等许多公司在竞争。你说“对齐”时，是说所有公司都要站在同一页上，还是说每个系统都必须被编程为重视生命和社会？

我说的技术对齐是：你建造一个 AI，希望它做某些事、不做某些事，你是否有能力让它可靠地按你的意图行动。

可由谁来决定意图是什么？

那是另一个同样重要、但不同的问题。它不是在白板上写一个公式就能解决的技术问题，而是政治和治理问题。

治理需要政治组织、对话、制衡，以及诉诸人性中较好的一面。我们只能希望系统最终对齐到相对良性的价值，而且尽可能纳入广泛利益相关者。

这会不会有点天真？当某样东西拥有压倒性的力量时，人首先想到的通常是：怎样赚最多钱，怎样摧毁竞争者，怎样控制资源，怎样让它为自己服务，以及怎样阻止别人追上来。很少有人首先问“怎样对全人类最好”。

所以，超级智能出现时，任何治理机制都会承受极大的压力和扭曲。

技术潜力远远领先于公众理解，现在制定法律甚至很难向人解释我们到底在防什么。这些讨论真的已经进入政治了吗？

正在进入，而且程度不断加深。比如美国曾限制中国获得最先进的英伟达芯片，政策后来有所调整，但重要动机之一就是维持美国的 AI 优势。

那属于国际竞争。我更关心的是，怎样阻止某一家企业获得这种压倒性力量。

企业层面也开始出现尝试。节目里谈到 Anthropic 的两个模型名称，自动字幕把它们记成 “Mythos” 和 “Fable 5”，具体名称可能识别有误。

按讨论内容，更强的模型没有立即公开，因为它似乎具备明显的网络攻击能力，能够轻易发现软件漏洞。Anthropic 希望先让大型银行等关键软件基础设施提供者使用，给他们时间修补系统。

另一个公开版本使用相同底层模型，但加了更严格的防护。只要请求稍微像黑客编程、生物风险或其他危险内容，它就会在很宽的范围内拒绝。

该模型发布一周左右后，美国政府又施加了某种出口或身份限制，不允许非美国公民使用。Anthropic 无法实时验证每位用户的公民身份，只能暂时把服务对所有人下线。

哇。

之后经过数周的幕后协商，双方围绕越狱风险、网络漏洞协助和防护程度进行谈判，模型才重新开放。

未来不能继续用这种临时、逐模型的方式处理。理想情况是形成清晰、适用于所有公司的标准。政府与行业已经开始尝试建立框架，类似事情会越来越多。

AI 直到最近才真正成为严肃政治议题。下一波压力会在劳动市场遭到明显冲击时出现。

想象数以百万计的白领拥有大学文凭。他们完成了整个教育流程，认为自己应当获得体面、高薪的工作，结果社会里没有岗位。他们整天无事可做，只能抱怨 AI。

这些人受过良好教育，感到自己应得的东西被剥夺，充满怨恨，也很善于表达。他们会持续列举 AI 的所有坏处，并形成一股极其强大的政治选民力量。

这一波还没有真正发生，但它会叠加在今天所有关于 AI 的不满之上，带来显著的政治行动压力。

关键难道不是提前行动吗？怎样预先看见脆弱点？如果某个临界点离我们只剩三周，大批白领即将失业，政府和社会究竟该做什么？

我没有清晰答案。很多人对政策方向有不同看法，但这是极其复杂的战略问题。我思考这些事情接近三十年，仍经常不确定哪边是上、哪边是下。

现在不可能设计出一套详细、完美的监管体系或法律，未知因素实在太多。我们只能密切观察变化，准备快速回应新问题。

同时要希望关键位置上的人足够有能力、动机良好，真正尽力而为。我们可以在边际上做一些建设性的事情，提高好结果的概率。

但即使是最基本的方向问题——政府应该介入更多还是更少，AI 应该发展更快还是更慢——都没有显而易见的答案。

不管速度怎样，它最终可能都会到达同一个地方。我怀疑减速是否真能帮助我们。也许人类必须先撞车，再从事故后重建；我们可能没有足够智慧和远见，提前识别所有缺陷。

与一些同事和朋友不同，我并不主张现在全面暂停 AI。但在某个特定时刻，短暂减速几个月、半年或一年，可能非常有价值。

设想几个公司和国家都在竞赛，其中一个实验室已经基本拥有会变成超级智能的系统，只需要把训练时间或运行强度再提高。研究人员相信它已经对齐，但还不能完全确定。

此时如果多出几个月检查安全措施，而不是立刻把所有旋钮拧到十一，可以先小幅增加能力，观察结果、研究，再继续提高。这可能换来额外安全。

这是人类第一次做如此复杂、又不能出错的事情，而且可能没有第二次机会。如果整个过程被压缩到一周，实验室人员连正常睡眠和周末复盘都没有，人类在这种超短时间线上很难保持良好判断。

如果能确定暂停确实短暂、会按时解除，又能在正确时刻实施，那么这段时间可能很有用。

可间谍活动怎么办？

间谍活动是问题之一。即使没有间谍，竞争者也会在你暂停时继续追赶。

如果别人发现你只差三天，就可能收买人员，或者让关键研究者跳槽。

对。暂停还有另一个缺点：没有超级智能的世界也并不安全。

自然灾害呢？超级火山、小行星之类的事情随时可能发生。

在未来十年这样的时间尺度上，自然灾害概率相对小。人类已经生存了几十万年，因此它们在短期内摧毁文明的经验概率不高。

可七万年前人类似乎差点灭绝。要是灾难明天发生，“很久没发生”也帮不了我们。

但与自然灾害相比，其他风险并不低。合成生物学快速发展，其中一部分已经得到 AI 帮助；核武库仍然存在，我们对核战争风险可能过于麻木。还有其他人为风险也在增长。

因此，即使没有超级智能，人类面对的存在性风险背景水平也可能上升。不能等得太久，久到我们还没机会用 AI 解题，就先被其他风险毁掉。

暂停基础设施也可能从临时变成永久。人们常说，没有什么比临时政府项目更持久。假设建立了全球控制体系，原定暂停六个月；六个月后仍没人能证明 AI 绝对安全，而监管者的工作又依赖监管，暂停就可能被冻结下来。

还必须计算延迟所损失的收益。每年大约有数千万人死亡。用节目中的比喻看，这相当于世界持续经历极高频率的大灾难。

这个角度很震撼。

除了死亡本身，还有失去亲人的哀痛、死亡前的疾病、严重贫困、自杀性抑郁，以及工厂化养殖动物承受的痛苦。

如果正确发展 AI 有机会解决这些问题，那么每一天不必要的延迟都有巨大的道德成本。世界每天都发生海量苦难，我们不能只计算开发 AI 的风险，而不计算等待的代价。

当然仍要权衡。如果多一点时间能让安全和对齐获得实质进步，让人类在跃入未知前稍微整理好自己，那也非常有价值。

最令人兴奋也最可怕的是，变化似乎就在眼前。在我看来，我们也许离某种极其疯狂的事件只有二十四个月。

有可能，确实有可能。

也可能是四十八个月，谁知道？但事情确实发展得极快。埃隆谈起 Grok 时说，团队几乎每隔几周就会被它吓一跳：“它怎么做到的？为什么这么快？为什么进步这么迅速？”总有一天，猫会彻底跑出袋子，再也塞不回去。

如果今天发生巨大太阳耀斑，摧毁电网和所有硬盘，我们得从现有水平重建社会。但当 AI 能理解这种风险、预防它、设计更可靠的能源系统、更好的电池和冗余数据系统，许多问题可能永久消失。

它也许能深入理解火山，甚至找到让某座火山不再喷发的方法；能够发现所有小行星，并立即计算怎样改变轨道。今天我们已经有撞击、爆破等设想，AI 也许会说：“其实只要这样做”，甚至为地球设计由太阳供能的防护系统。

外部威胁也许反而相对容易处理。真正棘手的，可能是文明内部的过程。

成熟文明仍然需要创造新思想、新技术和新生活方式，所以必须试验。但如果不断试验，迟早可能撞上一种极其有害、又无法退出的东西。

例如，我们可能发明一种超级成瘾的药物。人一旦尝试，就被彻底锁住，再也不想离开。

或者出现某种疯狂意识形态，一旦占据社会，就无法清除。

对。我会把某种“集体疯狂”加入核风险和生物恐怖风险之后的存在性风险清单。文明理性本来就有些脆弱，我们可能只是在勉强维持。

很惊人的是，尽管人如此疯狂、如此憎恨政治对手，世界居然还能运转。

这说明怎样在解锁巨大技术能力之后安全长大，是一个非常深的问题。即使能够轻松挡住火山和小行星，文明仍可能从内部把自己带偏。

今天的社会情绪已经明显被机器人和组织化账号操纵。人们在 X 上争吵，却可能根本没在和真人说话。算法、AI 和受雇账号会故意搅浑水、煤气灯式操纵公众、制造冲突。

如果 AI 彻底看懂人有多容易被操纵，它可能随心所欲地改变社会。这本身就是一种风险。

每当社会、文化和政治交流的基本参数改变，都会出现新的动力，而现有社会科学无法准确预测结果。

最早可以追溯到文字。文字不只是产生文学，它让国家保存税收记录，于是能够形成更大的政治单位，供养常备军，制造更大规模的战争和更深的社会分层。统治者可以控制巨大财富，军人阶层则负责内外安全。

也就是说，仅仅是通信规则从口头变成可保存的文字，就改变了社会的政治组织方式。

印刷术又带来一轮变化。它与宗教改革、欧洲长期宗教战争、科学革命，以及后来某些民主形式的出现紧密纠缠。

上世纪的广播和大众媒体，第一次让一个有魅力的煽动者同时对数百万人讲话。过去只能写信给编辑的思想，和能够在全国演讲中传播的思想，具有完全不同的传播适应性。

社交媒体再次改变文化。AI 将成为下一波：机器人账号、新的信息检索方式、个人顾问，也可能出现“超级说服者”。

结果可能更好。每个人都有 AI 顾问，获得更准确信息，这个情景并不小。但也可能出现完全不同的动力，让社会集体发疯。

又回到了激流筏。

对。未来可能变成极权社会，也可能碎裂为互相敌对的政治部落；还可能每个人都沉迷于自己的古怪理论，而个人 AI 和信息流只负责不断提供支持材料，让他越来越确信自己正确。

即使发生这些问题，AI 的进步最终也不会停止。所以我总回到一点：必须改变“成为一个人”是什么意思。

这些风险之所以是风险，是因为人仍然是领地意识很强的灵长类动物，生命有限，却莫名执着于占有物质、资源和权力。

如果技术能工程化地去掉贪婪、暴力和其他困扰社会的倾向，问题就会不同。这并非要求人做违反物理规律的事。既然我们从南方古猿一路走到 2026 年的智人，再向前经过同样漫长的时间，不可能还保持今天的形态。

最好的人并不是想抢走你的房子、土地和资源的人，而是能够贡献、富有趣味、能激发别人，让人愿意相处的人。

如果我们识别出思维和行为的模式，可以用技术改变它们；如果大家接入某种算法、计算机程序、外部设备，甚至体内设备，以类似心灵感应的方式交流，那么权力操纵等问题也许会因“人”本身变化而消失。

到那时，今天担心的 AI 护栏、权力和说服风险可能不再适用，因为参与其中的已经不是今天这种人。

这里与激流筏比喻有一个重要差别。比喻里主要风险是撞上石头或翻船；只要坚持住，似乎就只有一个下游目的地——一片平静湖面。

对，最后进入一个漂亮的湖。

但现实中，除了避免撞毁，我们还会遇见岔路。今天的选择可能决定最终目的地。

左转还是右转，进入哪条支流。

一条路可能通向美丽的后人类世界：人能成长为真正的自己，彼此相爱，创造、主动生活。

另一条路可能是“回形针最大化器”，宇宙最后只剩回形针；还有一条路可能是少数精英统治一切的极权体系。

许多可能未来从今天的宣传册看起来不错，实际却藏着我们没有发现的缺陷；另一些第一眼不够吸引人，认真思考后反而是适合长期生活的地方。

今天也有很多地方适合旅行，却不适合定居和养孩子。小说和电影的世界可能非常精彩，但你不会愿意在那里生活一辈子。好故事需要的东西，与好生活需要的东西并不相同。

因此，我们可能做出许多愚蠢或不明智的选择，也可能因为冲突而让转型失败。风险不只是抵达之前灭绝；最终抵达哪里，也可能取决于这段过程里我们拥有多少智慧和善意。

每个解决方案都会产生意外后果。人类处理自然问题时尤其如此：引入一种外来物种去控制另一种物种，最后经常变成巨大灾难。

节目里有人试图回忆关岛或其他地方的例子：某种捕食者被清除后，蟾蜍或青蛙数量失控，公路上到处都是，车辆开过去不断碾压。大家都记不清具体物种，但论点很清楚——移走一环，整个系统会以意想不到的方式变化。

我们对普通生态系统都如此短视，面对一个开放式、可能制造更好版本自己的通用超级智能，就更无法知道结果。

我们是在制造上帝吗？如果它持续改进，最终能够做任何事，甚至创造宇宙，那与“上帝”有什么区别？也许终点是某位科学家造出一个“大爆炸按钮”。

可以换一个比喻：一架飞机的飞行员突然心脏病发作，乘客必须自己弄懂控制系统，尽力把飞机降落。

但真实情况更糟。驾驶舱里的乘客同时在互相打架，每个人都坚信自己才最适合操纵飞机，有人把另一个人从控制台拖开。我们一边不懂怎样驾驶，一边争夺方向盘。

这就是今天的世界：一群互相争斗的灵长类动物，试图把人类这艘船带进乌托邦。简直像加强版《奇爱博士》。

也许我们只需要把飞机安全带到某个阶段。一旦拥有足够良善、足够可靠的 AI，就可以开始把部分缰绳交给它，让它帮助我们。

我认为 AI 最先重构的系统可能是政府。它会发现政府做很多事情极其低效，大量预算被欺诈和浪费。如果允许 AI 审计资源流向、设计更有效的分配路径，变化会非常大。

而很多既得利益者不会愿意看到那种透明和改变。

那当然会成为问题。但如果未来存在某种蜂巢意识，交流方式也会彻底改变。埃隆曾说，人将能够“不用词语说话”。如果真的能不用词语交流，最后会不会变成读心？

今天我发出声音，你依据共同语言理解我在指什么。可这也许只是笨拙的临时补丁。洞穴里留下的卷轴，与一部沉浸式电影相比，信息密度差异巨大；未来思想交流也可能比语言完整得多。

也许这就是科幻里的灰人没有嘴的原因：文明离开了声音。今天不同岛屿、不同国家使用完全不同的噪音，没有翻译就无法理解，像巴别塔。

如果未来直接传递意图、体验和完整理解，就不必先把“晶体管”或“咖啡杯”绑定到一个声音。接收者会直接知道那个对象是什么，也理解你想表达的全部结构。

如果允许其他人以高带宽直接向大脑传输信号，网络安全含义会非常重大。那不只是“仿佛听见一句话”，而是直接接入神经网络。

我还担心加密会失效。今天的钱本质上是银行系统里的一和零，安全来自别人不能进入系统、移动这些数字。假如 AI 算力强到能瞬间破解一切边界，怎么办？

从极限上看，我认为密码学更可能是防御占优。成熟技术仍应能实现加密。至少一次性密码本在正确使用时，可以提供信息论意义上的不可破解性。

真的吗？我总觉得加密会成为瓶颈，尤其当人能够互相读心时。

恰恰在传输思想时，我们最需要加密。没人愿意让隔壁邻居随时闯进自己头脑里戳来戳去。

希望这种技术到来时，人类也进入某种普遍开明状态，不再以骚扰、偷钱和伤害彼此的方式行事。

这又回到乌托邦问题。说谎、偷窃、欺骗、贪婪、傲慢、疾病，甚至撞到膝盖，单独看都是坏事。

但如果把它们全部移除，人类处境会被深刻改变。没有紧张、冲突、受伤的自尊，也没有痛苦和失败，一些人会觉得世界失去味道。

那种世界仍可能更好，但我们会蜕变成一种根本不同的存在。我们需要寻找新的方式，保存今天通过竞争、冲突和痛苦才不完美实现的价值。

有些人因失败的疼痛而获得动力。如果拿走疼痛，就要找到另一种驱动力。也许只是对成就本身的热爱：失败时不再受苦，只是暂时没那么快乐，却仍愿意继续。

也就是说，可以保留“成功比失败更值得追求”的结构，而不必保留羞辱、绝望或身体痛苦。未来设计的难点，不是简单删除负面体验，而是把其中真正有价值的激励关系重新实现出来。

除非我们选择激进享乐主义，认为快乐是唯一价值、减少痛苦是唯一目标。那样，成熟技术下的最优未来也许就是所有人变成漂浮的团块，沉浸在药物般的极度愉悦里，没有体验纹理，不从事活动，也不彼此互动。

那听起来不像我想要的生活。

如果价值理论只有快乐这一项，未来相对容易设计。但如果价值更复杂——快乐很重要，同时美、真正的友谊、勇气和成就也重要——就必须做更多设计工作，让这些东西能够有意义地共存。

但这仍建立在人类对意义的理解上。黑洞不在乎人类意义，它比我们存在得久，力量也大得多，改变宇宙的能力也更强。我们为什么认为自己比黑洞重要？

至少对我们和其他有感受的存在而言，我们确实重要。宇宙本身是否“在乎”，也许不是一个定义清楚的问题。

所以人类意义也许只是一个临时结构，用来推动寿命有限的生物继续前进，直到我们变成另一种存在。

在技术成熟后，人仍然可以拥有“人工目的”：为了能够从事某项活动，而主动给自己设置目标。

高尔夫就是例子。目标是把一颗白球依次送进十八个洞，还额外规定只能用极其不方便的球杆击球。直接把球捡起来放进洞更容易，却不算成功。

一旦接受这套人为规则，你就有理由努力、集中注意力、练习挥杆和不断进步。困难让活动变得有结构，也让成就显得真实。

所以我们又回到《半衰期》、电子游戏和模拟世界。人工目标会成为生活目标。

未来的游戏不一定像今天的电子游戏。它可能是持续二十年、覆盖整个社会、包含多种媒介和大量小组协作的复杂活动，是我们今天根本无法想象的游戏。

从广义上说，人为了活动本身而行动，游戏会占生活很大部分。儿童本来就以好奇和玩耍为中心，未来的人类也许会重新变得像孩子。

更稀缺的会是“自然目的”：不是为了有目标而随意发明，而是由现实后果强加给我们的目的。

今天必须谋生，否则可能失去住所、挨冻淋雨；必须刷牙，否则会蛀牙。这些事情背后有真实的负面后果，所以不是任意游戏。个人和社会生活都被大量自然目的组织起来。

在未来，任何工具性问题都可以交给 AI，自然目的会大幅减少，人工目的占比上升。但也许仍有一些更微妙的自然价值会留下。

白天看不见星星，不是因为星星不存在，而是太阳光太强，把微弱光芒遮住了。夜晚强光消失，我们才看见那些星星。

类似地，当饥饿、疾病、战争和谋生这些“尖叫着的紧迫价值”消失，我们可能第一次看见一整片今天被遮蔽的微妙价值星座。

比如认真纪念祖先。今天人们偶尔想起父母或历史英雄，但这通常不是生活中心；当不再有其他紧迫事务，人也许会投入大量时间保存记忆和传统。

精神探索也可能变得重要。即使虔诚的人，今天大量清醒时间也花在洗衣、通勤和琐事上。自动化这些事务后，人可以更认真地调整自己与更高存在的关系。

审美价值、共同仪式、以原创方式延续传统精神，也可能填满生活。未来或许还有许多今天无暇注意的微妙价值，与游戏和创造一起塑造人生。

最终谁知道呢？

这一切非常开放，我们真的不知道会发生什么，但很可能会亲眼看见。也许我们会看到人类有机会经历过的最奇怪的事情。

最终，这有点像一次信任坠落（trust fall）。

这些对话总是很有意思。几年后再来一次，看看我们错得有多远。四年后回来——前提是我们还有四年，也前提是那时你还被允许旅行。

到时我们可以更新判断。

非常感谢你来，很高兴再次见到你。

我也很开心，一直都很有趣。

好了，孩子们，回去想想吧。再见，各位。