---
id: "8qTZLqY-cnI"
title: "AI、深度乌托邦与人类将变成什么"
channel: "PowerfulJRE"
host: ["Joe Rogan"]
guests: ["Nick Bostrom"]
date: "2026-07-14"
updated: "2026-07-29"
duration: "2:14:42"
duration_seconds: 8082
source_type: "youtube"
youtube: "https://www.youtube.com/watch?v=8qTZLqY-cnI"
canonical: "https://pod-exp.pages.dev/8qTZLqY-cnI/"
transcript_jsonl: "https://pod-exp.pages.dev/8qTZLqY-cnI/transcript.jsonl"
language: "zh-CN"
translation: true
translated_from: "en"
timestamp_precision: "block"
topics: ["人工智能","哲学与文明","未来社会"]
series: ["AI 与人类"]
---

# AI、深度乌托邦与人类将变成什么

> 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。

**内容提要：** 六年前，乔·罗根与尼克·博斯特罗姆主要谈模拟理论；这次，AI 已从背景议题变成文明主线。两人从自动化、虚拟现实和后工作社会谈到教育、人性改造、长寿与意识扩展，又讨论超级智能的时间线、算力竞赛、对齐与治理、暂停研发的利弊，以及在所有工具性问题都被解决后，人类怎样以游戏、关系、仪式和更微妙的价值构成“深度乌托邦”。

## [0:03] 六年之间，AI 从背景议题变成文明主线

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-01> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=3s>

**节目片头：** 乔·罗根播客，来看看吧。《乔·罗根体验》——白天训练，晚上做播客，一整天都是如此。

**乔·罗根：** 很高兴再次见到你。

**尼克·博斯特罗姆：** 我也很高兴见到你。

**乔·罗根：** 上一次我们聊了很久。当时你一直试图向我解释模拟理论，以及为什么我们身处模拟之中的概率，可能比我们不在模拟中的概率还高。那是五年前吗？

**尼克·博斯特罗姆：** 大概五六年前，差不多是那个时候。

**乔·罗根：** 从那以后，世界发生了太多事情。

**尼克·博斯特罗姆：** 是的，真的发生了很多。比如说，我们上一次甚至谈到人工智能了吗？

**乔·罗根：** 可能稍微提过一点，但那时 AI 还不是今天这种笼罩着整个文明的东西。仔细想想很惊人：不过六年，一项新技术就在我们的生活里发生了如此巨大的跃迁。它有点像互联网，悄悄爬进来，我们只是在某一天接受了它已经存在；可在非常短的时间里，它就与社会的每一个方面、与每个人生活的每一个方面深度纠缠在一起。

**尼克·博斯特罗姆：** 现在发生的事情实在太多，光是持续追踪局势，几乎就已经是一份全职工作。

**乔·罗根：** 你最近谈到的一个重点，是 AI 积极的一面。你的意思是，它总体上可能会给人类带来净收益，对吧？

**尼克·博斯特罗姆：** 希望如此。我会同时认真看待两种可能：一边是风险，另一边则是如果我们把事情做对，能够释放出来的巨大潜能。

**乔·罗根：** 我感觉我们就像坐在一艘激流筏上。我们有机会抵达目的地，但也可能翻船，掉进冰冷的水里，再拼命想办法游到岸边、重新建设一切。

**尼克·博斯特罗姆：** 对，这个比喻差不多。而且水流似乎还在加速。

**乔·罗根：** 这个领域几乎每隔几周就会发布一个新模型。

**尼克·博斯特罗姆：** 可以想象你在给一场已经录好的格斗比赛配解说。第一回合还是正常速度，第二回合变成两倍速，第三回合变成四倍速，最后画面里只剩下一团飞舞的胳膊和腿。

**乔·罗根：** 这个描述太准确了。奇怪的是，它来得如此迅速。现在我们经常听见两套叙事：一套说我们麻烦大了——这个由我们创造出来的、更高级的智力，会接管社会的每一个方面，成为与我们共处的某种更高级生命力量，而创造它并不明智。

**乔·罗根：** 另一套叙事则像埃隆·马斯克说的那样：未来会出现“普遍高收入”，繁荣程度高到没有人再需要辛苦劳作；所谓第三世界国家和贫困都可能消失。地球现有资源足以消除贫困，食物和住房会变得容易、甚至近乎免费。到那时，人不再需要为了活下去而工作，剩下的问题只是怎样给自己的人生找到目的。

**乔·罗根：** 我的问题是——我很喜欢埃隆——但持这种乐观看法的人，往往都在 AI 上赚钱，也都重仓投资了 AI。马克·安德里森以及许多对未来描绘得很美好的人，都有很大的经济利益。所以，当像你这样并不完全属于那个阵营、比较像独立分析者的人也表达乐观时，我会更兴奋一些。

## [4:14] 当机器能做一切工作，人为什么而活

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-02> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=254s>

**尼克·博斯特罗姆：** 真相是，我们并不知道事情最终会怎样展开。确实存在一些情景：AI 会给经济生产率带来巨大提升，也会全面推动医学、娱乐、环境治理、旅行和许多其他领域，财富像海啸一样涌来，把所有船都托起来。

**尼克·博斯特罗姆：** 在那种情景里，“人类工作”这个概念可能会变成时代错置。机器能够完成我们在身体和智力上能做的一切，而且做得更好、更便宜。真正发生的转变会比“某个岗位被自动化”深得多。

**尼克·博斯特罗姆：** 这个问题像洋葱一样有很多层。最表面的一层是：机器人替代了我的工作，我到哪里再找一份工作？人们于是会谈工人再培训，让他们转去其他行业，或者在培训期间提供某种就业保险、失业保障。

**尼克·博斯特罗姆：** 但如果把趋势推演到底，它大概不会只替代少数职业，而会近似替代人类能够完成的一切。也许还有少数例外：消费者明确希望某项产品或服务必须由真人提供，比如神职人员、性工作者和政治人物。

**乔·罗根：** 政治人物最好别保留下来。最好让 AI 处理政治，而且不再有腐败。

**尼克·博斯特罗姆：** 但总得有人把功劳算到自己头上。

**乔·罗根：** 说得也是，而且还得有人写代码。

**尼克·博斯特罗姆：** 再往深处走，我们就会碰到意义和目的的问题：在“技术成熟”之后，一段人类生命究竟是什么样子？

**乔·罗根：** 还有，体验到底是什么？体验一定要能够触摸、测量和称重吗？虚拟体验是否仍然算体验？如果一个人在虚拟世界里拥有非常充实、愉悦、有成就感的一生，那够不够？

**乔·罗根：** 我们一定要在物质世界里完成所有事情吗？还是说，一个尚不存在、但技术发展后显然可能出现的世界——类似《黑客帝国》的现实——也可以承载真正的幸福？

**尼克·博斯特罗姆：** 我明白你的方向。不同的人会有不同选择。未来的虚拟世界可能极其丰富、深邃而迷人，但有些人仍会坚持攀登真实的珠穆朗玛峰，而不是在模拟里登顶。

**乔·罗根：** 当然。不过最坏的情景是，人被排除在常规现实的运转之外。你的基本需要都得到照顾，却没有任何目的；社会的所有方面都由 AI 管理，除了娱乐之外，没有什么事需要人去做。

**乔·罗根：** 然后出现一种并非现实、却比现实中任何东西都更满足、更刺激的娱乐，人们自然会扑进去。手机已经是一个微型例子：它并没有多么惊人，却极其令人上瘾。很多人每天盯着手机六个小时。

## [8:15] 虚拟世界、人格设计与“何为人类”

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-03> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=495s>

**乔·罗根：** 如果我们创造出一种比普通现实刺激得多的虚拟现实，所有人都会跳进去。

**尼克·博斯特罗姆：** 某种程度上，不论选择虚拟路线还是物理路线，人都可能“退出”。你可以想象未来有很多度假村，人整天躺在沙滩椅上喝饮料，那同样是一种退出。

**乔·罗根：** 但那不算充实。虚拟现实不同之处在于，你甚至不必服从我们这个世界的物理规律。你可以飞，可以做任何事情。

**尼克·博斯特罗姆：** 它确实提供了更大的可能性空间。不过无论在物理世界还是虚拟世界，体验都可以非常被动，也可以极其艰难。你可以躺在海滩上发呆，也可以在虚拟环境里调动每一根神经、拼尽全力完成任务；或者只是漂在云上，处于类似药物带来的愉悦状态。

**乔·罗根：** 我不认为大多数人会喜欢最后那一种。看看人们被什么游戏吸引就知道了。游戏只是一个近似版本：你盯着屏幕，却暂时忘了自己在盯屏幕，把注意力完全放进一个三维世界里，拿着机枪跑过走廊，或者做别的危险事情。

**乔·罗根：** 人们不是想玩那种漂在地球上空、飞来飞去、吃香蕉的游戏。他们想要刺激、危险和目标。要是虚拟世界能提供这些，很多人会觉得它比普通而乏味的日常生活更好；另一种说法则是，我们会成为计算机的奴隶。

**尼克·博斯特罗姆：** 两种类型的人都会有。有些游戏提供的是更被动的体验，让人放空；另一些则要求高度投入。

**乔·罗根：** 但多数人喜欢《使命召唤》这类疯狂的第一人称射击游戏，喜欢在走廊里奔跑、面对持续刺激，也喜欢《半衰期》之类的科幻游戏。

**尼克·博斯特罗姆：** 人格差异会影响选择。不过，我们今天会选择什么，很大程度上取决于大脑被设计成会从什么活动中获得良好感受。喜欢某件事，就会去做那件事；喜欢另一件事，就会选择另一条路。

**尼克·博斯特罗姆：** 如果我们设想一种已经把所有可能技术发展到极致的成熟文明，它不仅能够控制外部环境，也能够控制自身的生物学和大脑。

**尼克·博斯特罗姆：** 假如一个人现在只有喝得烂醉，或者做一些自己并不认同的事情时才觉得兴奋——那些事情才真正“点燃”他——未来他也许可以重新设计自己，让自己从凝视宇宙之美、感受他人内心的善意、追求更高尚的目标，甚至解决抽象数学问题时，获得同样强烈的快感。

**尼克·博斯特罗姆：** 那时，你不只是在不同活动之间做选择，还能选择自己会因为什么活动而兴奋。

**乔·罗根：** 这就把我们带回“何为人类”。我们会想到美、快乐、好奇、善良，以及怎样成为更好的人。但我们之所以能欣赏这些高贵部分，是不是因为它们总和社会最糟糕的部分并存？我们因为知道犯罪才珍惜和平，因为见过战争才理解和平，因为知道仇恨才理解爱。

## [12:39] 所有问题都被解决之后，还剩下什么

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-04> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=759s>

**乔·罗根：** 好与坏从来不是单独存在，它们总在一起、持续冲突。我们只能怀着某种高尚的愿望，希望善最终胜过恶。这种挣扎本身就是成为人的一部分。

**乔·罗根：** 如果把挣扎彻底消除，我们就必须变成另一种东西。现在的我们是一种非常奇怪、领地意识很强、同时又有无穷好奇心的灵长类动物。这种动物似乎正朝着更好的社会移动。

**乔·罗根：** 从几千年前到今天，统计上暴力减少了，医学和教育改善了。方向是在变好，但推动这种变化的正是斗争。如果突然之间没有斗争，每个人都成了完美、开明的存在，我们究竟还是什么？

**乔·罗根：** 音乐、艺术、小说以及我们珍爱的许多东西，都来自人类处境：来自困惑、痛苦、心碎，也来自爱、喜悦，以及所有这些东西混在一起。没有这些，我们会变成什么？

**乔·罗根：** 技术进步远快于生物进化。如果趋势继续，瓶颈最终会是人类生物学。我们是不是必须与技术融合？

**尼克·博斯特罗姆：** 我们追求进步的努力里，确实嵌着一种悖论。科学家和工程师开发更好的技术，企业不断想办法提高流程效率、改善服务。所有这些工作都在解决问题。

**尼克·博斯特罗姆：** 如果把这个过程推到逻辑终点，我们会获得近乎完美的技术：它能做一切、解决一切问题，可能依靠 AI 和自动化来完成。

**乔·罗根：** 对。

**尼克·博斯特罗姆：** 可一旦成功，我们似乎就没有什么事情必须去做。我们有很强的理由继续向前推进，但当真正凝视成功后的终点时，很多人会觉得那个未来不太可口：所有问题都解决了，生活也许会显得平淡。

**尼克·博斯特罗姆：** 尽管如此，那大概仍是我们正在走向的方向，也可能是我们应该走向的方向。

**乔·罗根：** 如果目标是零谋杀、零暴力、零犯罪、零说谎、零腐败，人类彼此协调，形成某种同步与和谐，那难道不是明显更好吗？

**尼克·博斯特罗姆：** 我认为会更好。但如果认真凝视那种状态，它也有一点让人难以下咽，因为看起来可能很寡淡。

**乔·罗根：** 它只是从我们今天的视角看起来寡淡。我们习惯了不确定性的刺激，也习惯把生活的负面部分和正面部分放在一起比较。和很多糟糕的人相处过之后，你会格外欣赏善良的人。但事情未必非得这样。

**乔·罗根：** 我对工作的看法也是如此。大家总问：“AI 把所有工作都拿走以后怎么办？”可问题是——我们真的必须靠痛苦和匮乏，才能拥有目的吗？

## [16:40] 工作、自由时间与丰裕社会的纪律

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-05> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=1000s>

**乔·罗根：** “工作”本来就是人类发明出来的概念，为什么人一定要有一份工作？把人生的主要精力都放在住房和食物上，本身就很荒唐。许多月光族每天劳动，基本只是为了支付住处和吃饭。如果这两项压力被拿走，难道不会有足够多的人自己找到怎样使用时间吗？

**尼克·博斯特罗姆：** 我认为会。转型期当然会有不适，但最终这会是一种巨大的解放。奴隶制显然非常糟糕，而工资劳动在某种意义上像“轻量版奴役”：你必须出售清醒时间中的三分之一，才能换到满足基本需要的钱。

**乔·罗根：** 而那些追求利润最大化的人，往往会把员工的工作条件压到尽可能差，因为那样成本最低。他们很少说：“我们少赚一点，但让所有员工拥有很棒的体验。”他们会说自己对股东负责，每个季度都必须赚更多。

**尼克·博斯特罗姆：** 不过企业有时也会为了争夺人才而善待员工。

**乔·罗根：** 对，但通常只善待最顶尖的人才。这就是为什么 CEO 拿走最多的钱，而装配线上的人得到很少。杰米当然不同，他不只是普通雇员，他实际上是节目共同创作的一部分；可在亚马逊仓库里码箱子的人，待遇不会和 CEO 一样。

**尼克·博斯特罗姆：** 所以，摆脱被迫出售时间的状态，可能会恢复人的尊严。除了自己的身体之外，最属于你的东西就是你的时间和注意力，你理应能够控制它们。

**乔·罗根：** 但我们也必须教人纪律。如果给人机会什么都不做，人确实可能什么都不做。我们是灵长类动物，基因让我们倾向于节省资源；在食物匮乏的环境里，毫无必要地消耗能量不利于生存，所以人很会偷懒。

**乔·罗根：** 当生存压力消失以后，我们必须找到能给自己目的的事情，否则就可能陷入抑郁。

**尼克·博斯特罗姆：** 过去英国贵族的传统理想，就是不必为了谋生而工作。不得不为每日面包劳动，被看作许多人的不幸处境；理想的人生则是拥有财产，把时间花在政治、艺术收藏、园艺、招待朋友或其他活动上。

**乔·罗根：** 那是贵族最好的一面。但我想到英国贵族时，也会想到一群败家子：喝得烂醉，把法拉利开进湖里，害朋友淹死，然后花钱摆平警察。

**尼克·博斯特罗姆：** 这种人当然存在。但也有一些业余科学家和古怪的探索者，他们因为拥有自由，能够追随自己非常特殊的兴趣，并给文化和知识增添东西。自由越多，一个人的真实本性越容易显露。

**乔·罗根：** 这也取决于他怎样被养大。父母给了他什么价值观？有没有让他理解努力本身是有益的？如果一个人找到真正想做的事情，长期专注、认真投入，劳动本身会非常充实。

## [20:43] 为闲暇重写教育：怎样学会好好生活

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-06> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=1243s>

**尼克·博斯特罗姆：** 在一个不再需要人工作的世界，教育体系大概要从头设计。现在的教育像一台机器：孩子沿着传送带进入，被要求坐在课桌前，完成作业、填写表格，最后带着一个质量标签出来，成为可以放进办公室的生产性劳动者。

**乔·罗根：** 因为今天的经济确实需要大量能坐在办公室里完成任务的人。

**尼克·博斯特罗姆：** 对，直到经济不再需要他们。到那时还继续用同一种方式教育孩子，就会非常荒谬。

**尼克·博斯特罗姆：** 新教育可以围绕“怎样过好一段有大量闲暇的生活”来设计：培养谈话的艺术，欣赏艺术和音乐，发展兴趣爱好，照顾身体，接触自然，学会设定自己的目标、主动发起项目，建立真正的友谊，也可以学习精神生活。

**乔·罗根：** 这些几乎都不在今天的学校课程里。

**尼克·博斯特罗姆：** 但它们能够帮助人把自由、财富和时间用于真正有意义、也更美的活动。

**乔·罗根：** 我们现在就应该提前这样教育年轻人。一个今天读一年级的孩子，十二年后高中毕业时，世界可能已经完全不同。如果我们仍把“能连续八小时安静坐着、成为高效员工”当成教育的最高目标，那太疯狂了。

**尼克·博斯特罗姆：** 时间线仍有不确定性。我们也不希望一个人二十岁走进社会时什么技能都没有，而 AI 革命还没真正到来。

**乔·罗根：** 那不就是今天很多文科专业的处境吗？

**尼克·博斯特罗姆：** 是啊，结果怎么样？

**乔·罗根：** 现在已经有很多没什么用的学位。人花大量时间和钱拿到学位，毕业后却发现根本没有对应岗位。也许他们只是过早地跳进了“后工作社会”。

**尼克·博斯特罗姆：** 所以时间安排很重要：如果学校过早停止教授可就业技能，而自动化又比预期晚十年，一个二十岁的年轻人就可能在旧经济里无事可做。教育必须同时为仍存在的现实岗位和正在到来的闲暇社会保留弹性。

**乔·罗根：** 另一方面，兴趣也可能是陷阱。比如一个人想成为职业保龄球手，他能赚的钱非常有限。世界第一也许能赚十万或二十万美元，第三十名可能就得另外找一份工作。

**尼克·博斯特罗姆：** 最顶尖的人可能收入不错，但收益会集中在一个很窄的尖峰上，绝大多数人很难仅靠它生活。

**乔·罗根：** 篮球也一样。顶尖球员可以非常富有，但真正进入那个层级的人极少。今天选择兴趣时，经济回报始终会限制选择。

## [24:50] 当钱退出竞争，地位、好奇心和学习会怎样变化

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-07> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=1490s>

**乔·罗根：** 查到的数据是，顶级职业保龄球手在一个大赛季里，奖金和赞助加起来可以有四十多万美元；还有几个人能拿十九万到二十七万美元。最顶尖的人确实过得不错，但人数非常少。

**尼克·博斯特罗姆：** 在丰裕社会里，钱这个因素也许会从选择中退出。一个人可以单纯因为感兴趣而去打保龄球。

**乔·罗根：** 但他仍会关心别人是否在意，也会追求声望和地位。

**尼克·博斯特罗姆：** 对。人竞争的不只是钱，也包括声望、地位和他人的关注。

**乔·罗根：** 那时地位可能反而更重要：谁最擅长某件事？一群朋友打高尔夫，会不断比较成绩、在游戏里竞争。许多热爱高尔夫的人，想球赛的时间比想工作的时间还多。

**乔·罗根：** 我刚开始做喜剧时就发现，有些演员一旦迷上高尔夫，事业会停滞，因为他们对打球的兴奋超过了写笑话和巡演。

**乔·罗根：** 如果普通人不再需要靠劳动换取食物和住房，就可以直接去做事情。关键是教人对事物感到兴奋，教他们珍视好奇心，也理解“仅仅因为学习本身有趣而学习”是一件美好的事。

**乔·罗根：** 总会有人自然地被数学吸引，也总会有人不断追问历史：“我们怎么走到这里？这一切怎么开始？谁写下了它？第一个发现的人是谁？”他们会为了满足好奇心而学习。

**乔·罗根：** 如果人能真正追随兴趣，社会也许会更平衡。但必须有人教年轻人这样做。未来教育的重要任务，是鼓励他们追随好奇心，而不是压扁对新奇和有趣事物的欲望，再训练他们整天做自己憎恨的工作，并把那叫作成年。

**尼克·博斯特罗姆：** 培养这种能力很可能是正确方向，而且看起来可以做到。我们都认识真正好奇的人。

**尼克·博斯特罗姆：** 不过人的天性确实有差异。有些人非常容易无聊，有些人觉得几乎一切都很有趣；有些人长期情绪低落，另一些人则天然更积极。

**乔·罗根：** 那些被说成“天生抑郁”的人，如果从很小的时候就有人教他们运动的价值，会怎样？如果他们开始跑步、做瑜伽，身体感觉变好；再改变饮食，补足维生素和营养，停止大量吃加工食品，他们的人生可能完全不同。

**乔·罗根：** “抑郁”这个词覆盖的情况差异太大。如果一个人根本没有照顾身体，而我们又不把这视为重要因素，却假装有一种适合所有人的解释，那并不科学。我们知道身体状态会对心理产生深刻影响。

## [28:57] 身体、情绪与丰裕环境中的人性缺陷

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-08> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=1737s>

**乔·罗根：** 教人怎样成为人，应该包括两件事：追随好奇心，也照顾自己的身体。要让他们知道为什么感觉不好，也知道怎样一点点建立行动势能——比如每天都去上瑜伽课，很多人会明显好转，甚至不一定需要药物。

**尼克·博斯特罗姆：** 很多人确实会因为学会照顾基本生理需要而改善。

**乔·罗根：** 所有人都能在某种程度上改善，这是人类身体的一部分。

**尼克·博斯特罗姆：** 但有些人也可能因为遗传原因存在神经递质方面的问题，或者根本没有足够能量去开始那些会让自己变好的活动。对这些人，更好的药物可能很有帮助。

**乔·罗根：** 当然，百分之百可能存在这种情况。也许可以先给他们一点阿德拉，让他们兴奋起来、开始跑步——我是在开玩笑。

**乔·罗根：** 重点是，我们讨论的都在人类可行范围内，不是在要求人学会水下呼吸。世界上已经有人这样生活。

**乔·罗根：** 我们一直把“为了工资而活，以便支付食物和住房”当成成年人的不可否认的组成部分。可如果社会最终由高度智能的 AI 运行，很多今天不得不做、而且很糟糕的岗位都会消失。

**乔·罗根：** 今天为了生产一部 iPhone，需要工厂里组装的人、设计它的人、坐在办公室里思考营销的人，以及大量其他岗位。等这些岗位不再必要，社会会变得非常有意思。

**乔·罗根：** 所以我说，我们需要变成另一种东西。严格说，人仍然可以作为人生活在那个世界，但必须重新学习怎样成为一个人。

**乔·罗根：** 美国教育体系的历史，本来就与培养工厂工人有关。孩子很早进入固定时间表，学会坐着、服从、完成任务，为未来工作做好准备。它不是为丰裕社会设计的。

**尼克·博斯特罗姆：** 我们现在确实不适合在丰裕中繁荣，也不擅长纯粹地享受生活。无论在漫长的进化尺度上，还是一个人的成长过程中，匮乏和必要性都把我们塑造成了某种类型。

**尼克·博斯特罗姆：** 教育把人训练成能整天坐在桌前完成任务的个体；生物进化则让我们倾向于偷懒、节省能量、尽可能多吃。可在到处都有冰箱和高热量食物的现代环境里，这些适应反而造成代谢问题。

**尼克·博斯特罗姆：** 心理上还有“享乐跑步机”。一个人获得改善时，幸福会短暂上升，很快又回到原来的基线；我们迅速把生活中的祝福视为理所当然，因此很难获得持久的幸福。

**尼克·博斯特罗姆：** 过去，这种永不满足有功能：它推动人继续争取下一件东西。但如果所有东西都已经获得，这种机制就可能变成功能障碍。既然某个领域的一切目标都已实现，为什么还要不停追逐下一个目标？

## [33:23] 改造人性、消除贫困与人类创作的价值

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-09> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=2003s>

**尼克·博斯特罗姆：** 当我们越来越深入那个拥有“魔法技术”的未来，人性本身大概也必须随之变化。最初可能只是文化变化，让人学会享受闲暇；最后也许会进入更深层的生物学改造。

**尼克·博斯特罗姆：** 假设衰老被解决，人可以活几千年，我们今天的记忆系统未必适合那么长的生命。也许用现在的大脑活到两百岁，人会变得陈旧、僵化，陷入固定模式。我们还不知道，因为没有人活过两百年。

**尼克·博斯特罗姆：** 到那时，可能需要增加认知资源和心理弹性，甚至周期性做某种“迷幻重置”，让心智在漫长岁月里继续保持开放。

**乔·罗根：** 你提到迷幻重置很有意思。假如帮助我们适应新现实的主要工具恰好都被列为非法，会非常讽刺。裸盖菇素、DMT，也许还有伊博格碱，可能正是现有最有潜力的化学工具。

**乔·罗根：** 我同意，要正确度过转型，我们必须改变彼此互动的方式，也必须改变“成为一个人”是什么意思。但我一直在想，我们今天的冲突，有多少直接来自人长期承受的生存挣扎。

**乔·罗根：** 极端贫困和严重犯罪之间存在很强关联。在美国，最贫困的地区往往也是犯罪最严重的地区。假如贫困彻底消失，其中多少冲突会随之缓解？

**乔·罗根：** 我们总是假定一个正常社会必然会有贫民窟。为什么？贫民窟没有任何值得保留的功能。有人会说，总有人做坏决定、走错路、犯罪。可他们仍然都是人，而也有很多人从不这样做。

**乔·罗根：** 我们为什么不研究，怎样让人不再走到那一步？这不是要求人学会水下呼吸。我们可以问：为什么有些人从不犯罪？为什么有些人能过充实、有趣的人生？也许因为他们小时候接触到的是更好的环境，而不是犯罪、暴力和贫困。

**乔·罗根：** “有一天不再有贫困”听起来像儿童童话，可它未必不可实现。既然今天绝大多数活着的人都没有在此刻饿死，说明我们至少已经有能力把资源送到人身边。只要把现有系统再提高几个层级，就可能让所有人不必担心下一顿饭和睡觉的地方。

**乔·罗根：** 之后人当然仍要寻找目的。但很多目的根本没有价格标签：打高尔夫、写书、学习技能、参与游戏。人总会对其他人怎样思考感兴趣，也会想读人写的小说。认为工作的唯一理由就是吃饭和不被雨淋，实在很荒谬。

**尼克·博斯特罗姆：** 人是否永远偏爱人类创作，仍是开放问题。今天的 AI 写作经常乏味、拖沓、缺少东西，所以我们容易相信人类作品具有不可替代性；但当 AI 创作真正变得优秀时，情况可能不同。

## [37:52] AI 艺术、社会关系与重新点燃教育

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-10> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=2272s>

**尼克·博斯特罗姆：** 如果 AI 制作的电影在视觉、灯光、对白、幽默和深度上都明显更好，人们也许会优先看 AI 电影，而不是水平普通的人类作品。今天大多数人也不会主动去看电影学院学生拍的练习作业。

**乔·罗根：** 但有些低成本电影会因为背后的人而成为大热门。节目里提到一部片名被字幕记成《Obsession》的电影，据说由一位 YouTuber 用很少的钱拍成，后来大获成功。兴奋感的一部分，就来自“这个具体的人居然做到了”。

**乔·罗根：** 如果完全相同的影片由 AI 生成，它还会不会产生同样的影响？也许不会，因为缺少人类连接。

**尼克·博斯特罗姆：** 这很可能是人类作品继续重要的原因。我们与人的世界有深厚的社会纠缠。你的兄弟或朋友做了一件事，即使另一个陌生人做得稍好，你仍可能更想看自己熟悉的人做的版本。

**乔·罗根：** 就像你会去看侄子打少年棒球。你平时不会随机去看一群小孩打球，但侄子上了一垒，你会大喊：“干得漂亮，鲍比！”

**尼克·博斯特罗姆：** 对。在外部约束消失以后，这类社会联系会成为塑造生活结构的重要力量。

**乔·罗根：** 人类心智似乎会从学习和变得更好中获得很大价值。如果从小把这种感受植入人心，让人理解任何能力都能通过练习改善，那么很多人会自然走上成长的道路。

**乔·罗根：** 但教育体系必须彻底重做——其实早就该重做。孩子处在人生最具可塑性的时期，却一天中大部分时间面对缺乏热情、薪酬很低、甚至已经耗尽的人，这是疯狂的。

**乔·罗根：** 教育应该是一段丰富、刺激、充满热情的旅程：学习怎样成为更好的人，理解学习为什么令人兴奋，理解进步为什么令人兴奋，也理解任何人都能在某件事上变得更好。

**乔·罗根：** 我在学校里的每一天都很讨厌。我离开学校之后，才发现自己原来对学习有兴趣。

**尼克·博斯特罗姆：** 我也是。我十五岁以前连书都讨厌，因为书和学校绑定在一起。后来有一天，我毫无目的地走进本地图书馆，随手抽出几本书，才发现外面存在一个完全不同的科学、思想和文学世界。那一下像打开了闸门。

**乔·罗根：** 想象一下，如果你从小遇见的就是极有热情、真正喜欢教孩子、也真正擅长教学的人，你会领先多少。

**乔·罗根：** 我们还应该充分奖励教师，让它成为有声望、收入体面的职业。现在有人说“我是高中老师”，别人第一反应往往是替他担心怎么养活自己。这对教育极其不利。

**乔·罗根：** 如果孩子不再想着“以后必须找工作，十六岁就得打工帮家里付账单”，而是有人问他：“什么东西会点亮你的头脑？你的性格被什么吸引？”然后让他接触棋类、历史、科学、音乐、绘画和各种活动，他就有机会发现自己真正会走向哪里。

**乔·罗根：** 有的人一碰画布就被点燃。世界上有很多人拥有自己的方向，只是今天他们往往只能靠自己偶然找到。

## [42:30] 下载知识与“后工具性”困境

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-11> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=2550s>

**尼克·博斯特罗姆：** 这种愿景很鼓舞人，但列车不会停在“让每个人自由学习”这里。如果把技术成熟继续推演，文明不仅能轻松生产食物、住房和无污染的交通工具，也可能直接改变学习本身。

**尼克·博斯特罗姆：** 今天，学习给人目的。想掌握高等数学，必须用几年时间读书、做习题、持续投入，最后才逐渐理解那些概念。

**乔·罗根：** 可在技术成熟的世界里，也许只要按一下按钮：“好，我现在要理解数学。”砰——你就懂了。像《黑客帝国》里那句“我会功夫了”。

**尼克·博斯特罗姆：** 也许纳米机器人能进入大脑，精确改变突触。二十分钟后，你仍然是原来的自己，只是脑中已经拥有抽象数学的全部概念。超级智能会算出怎样把突触改成那个状态。

**尼克·博斯特罗姆：** 同样，如果你做某些事情只是为了获得快乐和满足，那么你也可以选择不做那件事，直接按下一个能够激活相同快乐的按钮。

**尼克·博斯特罗姆：** 所有目标都出现捷径后，我们就进入“后工具性状态”。乍看之下，不再有理由为了达到某个结果而从事漫长活动，因为总有一条更短的路径直接抵达结果。

**尼克·博斯特罗姆：** 这是一种更深层的“人类冗余”。一切工具性努力都失去动机。你可以每天去健身房流汗一小时，也可以吃一颗药，得到完全相同的生理效果，连运动后的平静感都一并获得。

**乔·罗根：** 或者干脆用基因工程把身体改好，连药都不需要。

**尼克·博斯特罗姆：** 对。于是问题不再是怎样更有效地实现目标，而是进入最根本的价值问题：究竟是什么让一段生命变得好？

**乔·罗根：** 以及，什么让一个灵长类动物的生命变得好。我们就是灵长类动物，只是原始版本。我认为我们必然会变成不同的东西，无论通过技术诱导的进化，还是生物进化。

**乔·罗根：** 从古代人科动物到今天的人类，我们已经变化巨大。流行文化里的“灰人”——大脑袋、瘦小身体、性征不明显、通过心灵感应交流——看起来很像技术继续发展后的一种方向。

**乔·罗根：** 也许所谓外星灰人，不一定来自另一个星球，而是智能灵长类掌握技术后普遍走向的形态。它们不再需要男女结合来繁殖；繁殖由工程完成，于是性、欲望、嫉妒和许多自我结构都改变。巨大的头脑则持续接入周围所有心智，形成某种蜂巢意识。

**尼克·博斯特罗姆：** 但那真的是我们想要的吗？

## [46:45] 我们不是最终产品：选择进化，还是被力量塑造

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-12> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=2805s>

**乔·罗根：** 今天的我们未必想要，但未来的存在已经不再是“我们”。如果你对黑猩猩说：“有一天你会坐飞机、吃花生、飞越海洋，还会沉迷某种植物和 YouTube。”它可能会说：“去你的，我宁愿留在有水果的森林里。”

**尼克·博斯特罗姆：** 至少森林里有很多香蕉。

**乔·罗根：** 也可能被另一群想抢香蕉的黑猩猩杀死。黑猩猩之间也会打仗。总之，我们会变成不同的东西。如果相信进化，就必须承认我们不是成品。

**尼克·博斯特罗姆：** 我同意，我们不是最终产品。真正的问题是：未来的存在，是我们有意识选择自己想成为什么的结果，还是由进化、竞争和其他非人格力量筛选出来的结果？后者可能把我们带到并不想去的地方。

**尼克·博斯特罗姆：** 希望我们能够选择一条道路，保存并发展人类真正珍视的东西，放大它们，再加入新的价值。未来有许多可能形态，我们应该选择使自己变得更好，而不是仅仅随机变得不同；我们应当向自己的理想成长。

**乔·罗根：** 有趣的是，我们给“人类处境”和“意义”赋予了如此高的价值，只因为它们对我们重要。可与黑洞、恒星育婴区和宇宙结构相比，人类产生的能量和影响微不足道。

**乔·罗根：** 我们不断问：“意义是什么？对我有什么意义？”因为我们是寿命有限的生物，在一个奇怪世界里跋涉，最后会死。也许轮回存在，也许死后世界存在，没人知道，所以我们需要意义。可一个只活一百年的人，究竟能承载多少意义？

**尼克·博斯特罗姆：** 我认为我们确实死得过早。最初十五到二十年，身体和能力不断增强；之后生物学停滞。接下来的几十年里，我们也许继续积累知识和技能，但刚获得一点智慧，大脑就开始腐朽。

**乔·罗根：** 然后阿尔茨海默病或死亡把一切清除：一生的经验、记忆和艰难学到的教训，全都消失。这就是所谓意义。

**尼克·博斯特罗姆：** 这很悲哀，也不像最佳安排。我们应该延长寿命，让人成长不只持续到二十岁。设想八十岁时，你相对于二十岁又获得了从零岁到二十岁那样巨大的能力提升：理解更多、行动更好，并且继续增长。

**乔·罗根：** 大卫·辛克莱等研究延寿的人认为，这不仅可能，而且最终不可避免。

**尼克·博斯特罗姆：** 目前很多方案主要是在预防或延缓衰退，这已经很好。

**乔·罗根：** 他们谈的不只是延缓，而是逆转衰老。

## [50:47] 从延寿到心智扩展：两千岁的人会是什么

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-13> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=3047s>

**尼克·博斯特罗姆：** 就算把身体恢复到二十岁的状态，如果时间尺度足够长，人也不会满足于一万年都困在二十岁人类的能力里。最终，我们可能希望在理解世界、参与世界的能力上继续成长，成为“更大的”存在。

**乔·罗根：** 这似乎已经有早期迹象。人类正在研究基因工程，也有人试图提高潜在智力和 IQ。中国曾有一位医生因为基因编辑婴儿而受到处罚，目标是使他们对 HIV 具有抵抗力；有人还猜测，那种改动可能同时影响智力潜能。

**乔·罗根：** 这到底有没有效果，要等那些孩子长大后才能知道，也许要看他们二三十岁时的认知表现。但仅仅是这种可能性已经进入研究，就说明我们每天都在理解更多，也每天都扩大“可做之事”的边界。

**乔·罗根：** 一旦这种趋势持续，人类意识和人类心智的版本就会改变。

**尼克·博斯特罗姆：** 不过按目前的速度，AI 这列火车大概会更早到站。先在机器基底上出现超级智能，再由它解锁生物技术、纳米技术以及其他技术，随后人类才可能被“提升”。

**尼克·博斯特罗姆：** 这种提升可以是生物增强，也可以是把心智上传到另一种基底，具体走哪条路取决于我们如何选择。

**乔·罗根：** 但这仍然是那艘激流筏。我们沿白水河道高速前进，也许能安全出去，也可能撞毁。

**乔·罗根：** 我一直对古代文明非常着迷。许多非常古老的传统都描述过统治几千年的国王。古埃及、苏美尔等文明里都有寿命远超现代人的人物；很多传统还讲到大洪水，而洪水之后人的寿命迅速下降，逐渐回到今天所熟悉的一百年左右。

**乔·罗根：** 一些另类古代史研究者会问：几万年前是否存在过高度发达的文明？人类历史也许不是从穴居人一路线性走到 2026 年拿着 iPhone 的人，中间可能出现过高水平技术。

**乔·罗根：** 他们会把金字塔等结构当作证据：两三百万块石头，有些从几百英里外的采石场运来；几十吨重的花岗岩被精确加工，看起来甚至像留下了金刚石钻孔。无论怎样解释，这些工程都令人震惊。

**乔·罗根：** 也许文明发展到一定阶段后，最先意识到的事情之一，就是一百年寿命太短。只要找到衰老和死亡的机制并修复它，人就能活得极久；如果同时提高推理、逻辑和智力能力，就可能产生建造不可思议工程所需的技术。

**乔·罗根：** 我现在五十八岁，还在每天学习，还在变得更会做人。为什么我还没把这些都弄明白？因为一生根本没有足够时间。

## [55:46] 衰老的斯德哥尔摩综合征

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-14> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=3346s>

**乔·罗根：** 人生只有一次，没有试运行。理想情况应该是先体验一遍，再说：“好，我大概知道规则了，现在正式开始。”

**尼克·博斯特罗姆：** 这确实很可怕。驾驶飞机要经过认证，证明自己有能力负责一架飞机；可每个人却天然获得对一整段人类生命百分之百的独裁控制。那个生命完全受自己的冲动和判断支配。

**尼克·博斯特罗姆：** 如果生命更长，人也许每五十年就有机会重新选择方向。那不一定是把人生清零重来，而是在同一段生命里不断开启新阶段，不再受“只有这么多时间、六十五岁必须退休”的限制。

**乔·罗根：** 未来的人可能会把“六十五岁退休”视为极其古老、甚至导致我们理解人生错误的观念。

**乔·罗根：** 你五十三岁时比十三岁聪明得多。那三百五十三岁呢？两千岁呢？如果人能活到一百岁，原则上为什么不能活到四千岁？只要理解并修复衰老机制，再扩展学习和成长能力，两千岁的人将是一种完全不同的存在。

**尼克·博斯特罗姆：** 逆转衰老肯定属于技术成熟文明能够做到的事情。

**乔·罗根：** 我们必须先摆脱“想活得久很虚荣”的观念。人们会问：“为什么想永生？”可当真正的疗法摆在眼前，一边是肾功能继续恶化、膝盖疼痛、长皱纹、逐渐忘事；另一边是接受年轻化治疗，恢复精力，像其他人一样奔跑和创造——你还会觉得它虚荣吗？

**尼克·博斯特罗姆：** 我认为人类对衰老有某种斯德哥尔摩综合征。几千年来，衰老和腐朽不可避免，于是人们发展出一整套浪漫叙事，让自己与必然命运和解。

**乔·罗根：** “斯德哥尔摩综合征”这个说法很好。

**尼克·博斯特罗姆：** 在无能为力时，这些叙事也许具有适应价值。但当逃脱开始变得可能，它们反而会阻止我们重新获得自由。

**尼克·博斯特罗姆：** 我们还没有真正有效的疗法，但可以增加投资和研究，让它更早到来。几十年前，我们就应该启动一个类似曼哈顿计划的项目来战胜衰老。

**尼克·博斯特罗姆：** 长期以来，衰老本身没有被视为问题。资金被投入阿尔茨海默病、心脏病、癌症等具体疾病，却没有优先处理它们共同的上游原因。

## [59:49] 人类可能只是“刚够聪明”的技术物种

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-15> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=3589s>

**尼克·博斯特罗姆：** 绝大多数疾病最重要的共同原因，就是细胞衰老。八十岁的人比二十岁的人更容易患上几乎所有疾病，因为细胞逐渐损坏，废物堆积，动脉堵塞，DNA 发生突变，甲基化模式变乱，大脑也开始退化。

**尼克·博斯特罗姆：** 与其等火灾发生后逐个灭火，不如给整片干燥森林降雨，直接处理让所有疾病风险不断上升的底层过程。

**乔·罗根：** 想到人类只有大约一百年寿命，却取得了如此多成就，确实不可思议。我们造出了火箭、卫星、手机和先进芯片。

**乔·罗根：** 每一代人都必须继承前人的理解，再继续开发新东西；每个大脑又如此有限，只能掌握一个很窄的专业，于是需要几百万人协作。

**尼克·博斯特罗姆：** 但长寿是否一定加速进步，也不完全确定。如果以今天的心理结构活得极久，人可能变得过于固执，社会可能停滞成极端保守的秩序，老一代永远把持权力，不允许不同做法出现。

**乔·罗根：** 所以它可能减慢进步，也可能加速进步，我们还不知道。

**尼克·博斯特罗姆：** 无论如何，从在森林里奔跑，到建立全球供应链和先进芯片制造，是一条惊人的道路。成千上万人开发一个小工具，这个工具又用于制造另一个工具，最后才能生产最前沿的 AI 芯片，把材料加工到只有几层原子的尺度。

**乔·罗根：** 而这一切都是寿命不足一百年的人完成的。想象人能活三千年会做到什么。

**尼克·博斯特罗姆：** 或者只需要稍微更擅长思考。我有时觉得，人类可能是“能够发展高级技术的最笨物种”。因为进化一旦刚好跨过技术门槛，我们就开始发展技术，所以我们大概正处在最低可行智力附近。

**乔·罗根：** 刚刚够聪明，一边制造芯片，一边还在世界各地互相轰炸。

**尼克·博斯特罗姆：** 对。

**乔·罗根：** 也许许多疯狂、短视和不合逻辑的行为，都与生命太有限有关。人知道时间不多，于是急于控制资源，急于留下名字，把名字刻在建筑上，好像要借此固定自己的不朽。

**乔·罗根：** 如果人活得更久，这种冲动也许会减弱。而且既然能够工程化延寿，也许就能工程化地去掉一些愚蠢行为。比如，能不能消除说谎的欲望？

**尼克·博斯特罗姆：** 或者拥有近乎完美的测谎器。一旦谎言会被立刻识别，说谎就失去意义。强大的 AI 也许能通过微表情做到接近这一点。

**乔·罗根：** 如果彼此能够读心，说谎就更没有用了。

## [1:03:50] 戴森球意识：生命第一次真正醒来

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-16> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=3830s>

**乔·罗根：** 那我们都得长成外星“灰人”那种大脑袋和黑眼睛，直接互相读心。

**乔·罗根：** 鲍勃·拉扎尔曾声称，他在二十世纪八十年代为美国政府逆向研究过不明飞行器。按照他的说法，那些飞行器没有传统控制装置，而是与驾驶者的意识同步；它们像活物一样，驾驶者不用按按钮和推摇杆，只需用心智与飞行器连接并驱动它。

**尼克·博斯特罗姆：** 我对此很怀疑，也没有深入研究。

**乔·罗根：** 你当然应该怀疑。这听起来非常疯狂，不怀疑的人反而可疑。但从我们今天的位置和技术方向看，用心智控制机器并非完全不可能。

**尼克·博斯特罗姆：** 原则上，只要技术足够先进，各种类似系统都可以被工程化。粗略地说，凡是不违反物理定律的东西，大多可以构造。

**乔·罗根：** 而我们说的还只是今天对物理学的理解，不是一个比我们早发展一百万年的文明对物理学的理解。相对于从大爆炸到今天的时间，一百万年只是一眨眼。

**尼克·博斯特罗姆：** 即使只按当前物理学，可实现的设计、生命和存在形态也已经极其广阔。比如戴森球：用巨型结构包围恒星，收集大部分能量，为文明基础设施或一台巨大计算机供能。

**尼克·博斯特罗姆：** 今天 AI 算力可能以每年数倍的速度增长。设想一台由戴森球供能的计算机，上面能够运行怎样的心智？

**尼克·博斯特罗姆：** 人们常争论机器能不能有意识，但也许更相关的问题是：我们自己真的有多少意识？一个人开车两个半小时，沿途经过成千上万的人、房屋和推婴儿车的母亲，抵达后却几乎不记得任何东西。他当时真的充分觉察了吗？

**尼克·博斯特罗姆：** 我们所谓的意识，也许只是椰子大小的生物器官里，一点弥散的身体感、模糊的感知和混乱的抽象念头。我们却自豪地认为自己高度清醒。

**尼克·博斯特罗姆：** 想象一个运行在戴森球计算机上的心智，或一个横跨星系的心智。它与我们的觉知差距，可能远大于我们与跳蚤之间的差距。

**尼克·博斯特罗姆：** 超级智能的出现，也许不是机器模仿人类，而是生命第一次真正醒来、第一次获得充分觉知。

**尼克·博斯特罗姆：** 我们把人类意识当成衡量意识的标准，可能过于自负。我们的意识也许只是一点微弱、混乱、几乎谈不上清醒的闪光。

**尼克·博斯特罗姆：** 这个时代最大的挑战，可能就是生下超级智能，然后塑造、培养和引导它，使它对人类、对它自身，以及对宇宙中可能存在的其他高级存在产生正面价值，并能在宇宙尺度上与它们共处。

## [1:08:51] 人类只住在“可能存在方式”的杂物间

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-17> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=4131s>

**乔·罗根：** 人很难把思考推到那么远。我们能理解“比人更聪明”，却很难想象一个有意识的存在，其力量比我们能够想象的一切都强得多。

**乔·罗根：** 如果 AI 继续沿同一方向增强，我们又不断找到新的供能方式，这似乎就是终点。AI 需要巨量能源，今天的数据中心已经大到要考虑专用核电。

**乔·罗根：** 顺便要咖啡吗？别总用纸杯，杯子里面其实有塑料涂层，热水倒进去会让塑料进入咖啡。我现在出门也尽量带自己的杯子。

**尼克·博斯特罗姆：** 我平时也很注意。今天为了和你聊天，看来值得承受一点微塑料。

**乔·罗根：** 谢谢。回到刚才的话题：只要人类没有把自己炸掉，没有被小行星撞击，也没有被超级火山摧毁，这种发展几乎不可避免。问题只是需要多少时间，以及算力会以多快速度指数增长。

**乔·罗根：** 今天人们已经在谈量子计算，而量子计算的运算方式几乎超出直觉。五百年后的量子计算和 AI 会是什么样，我们根本无法猜。

**尼克·博斯特罗姆：** 我们至少可以建立一个下限：只用今天已经能够构想、原则上可制造的设计，成熟文明就能做到非常多。也许实现它们需要漫长工程，但仅仅这个下限，就足以打开巨大空间。

**尼克·博斯特罗姆：** 可以把“存在方式”理解为体验、生活、互动、思考和行动的方式。人类历史上有男人、女人、善良的人、残酷的人、疯狂的人，看起来差异巨大；但所有人类经验，也许只占整个可能空间的一个小角落。

**尼克·博斯特罗姆：** 整个可能空间像一座宏伟的大教堂，而我们迄今只坐在门后的清洁工杂物间。我们能想象什么、体验什么、重视什么，都受限于人类大脑这种生物基底。

**尼克·博斯特罗姆：** 几百万年前的祖先无法理解现代人类处境，不只是因为它们没有碰巧想到，而是类人猿大脑根本容纳不了音乐、幽默、浪漫爱情、科学和文学这些概念。

## [1:13:07] 我们看不见哪些价值：哲学也有截止日期

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-18> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=4387s>

**尼克·博斯特罗姆：** 假设今天的人脑大小恰好足以接触所有可能价值和有趣思想，并不可信。更可能的情况是：就像黑猩猩必然看不见许多能让生命具有意义的东西一样，我们也对大片价值空间天然失明。

**乔·罗根：** 黑猩猩甚至没有容纳那些概念的能力。人们教灵长类动物手语时，曾困惑于它们几乎从不提问。它们能够解决问题、识别没锁的门，也能理解公平——如果一只黑猩猩得到奖励，另一只没有，后者会非常愤怒——可它们不会追问世界。

**乔·罗根：** 我们则充满问题。那下一阶段的人类会拥有哪种我们今天根本无法想象的能力？对于未来心智来说，什么东西会像“提出问题”之于我们一样重要，而我们现在连它的存在都不知道？

**尼克·博斯特罗姆：** 很可能有许多这样的能力。

**乔·罗根：** 可能性几乎无穷，只是我们被困在领地型灵长类动物的心智里，无法构想它们。

**尼克·博斯特罗姆：** 我认为很可能如此。

**乔·罗根：** 要是这种转变发生在我们有生之年，会极其疯狂。你我年龄相近，都经历过电话答录机，见过最早的手机，也记得第一次上网。你大概 1996 年上网，我大约是 1994 年。

**乔·罗根：** 我们亲眼看着这一切发生。几百年前，一个人在一百年里可能只看到船造得稍好一点；而从二十世纪六七十年代到今天，社会发生了可能是人类史上最大的创新跃迁，我们正处在它的正中央。

**乔·罗根：** 如果下一次跃迁让我们活得足够久，我们甚至可能亲眼看到原本属于一千年后的人类世界。能生活在这个时代，真的非常幸运。

**尼克·博斯特罗姆：** 这也是为什么追踪局势已经像一份全职工作。

**乔·罗根：** 你怎么追踪？

**尼克·博斯特罗姆：** 实际上不可能完全追踪，只能尽力。过去做哲学的人通常觉得时间无限：那些问题已经讨论了几千年，再过五百年得到答案似乎也没关系。

**尼克·博斯特罗姆：** 但我一直认为哲学有截止日期。某一天，我们会创造出比人更聪明的心智，它们能把哲学做得比我们好得多。人类能作出有意义贡献的窗口有限。

**尼克·博斯特罗姆：** 因此我会优先研究那些现在就需要答案的问题，而不是十年、二十年后可以让机器心智轻易解决的问题。现在这个截止日期越来越近，我的注意力也越来越转向必须在一两年内弄清的问题。

**乔·罗根：** 你有点像文化航海员，站在船头拿着六分仪观察星座，说：“方向大概是对的。”

## [1:18:09] 超级智能、智能爆炸与几年的突变

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-19> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=4689s>

**尼克·博斯特罗姆：** 但我们现在可能已经接近港口，不能只看大方向，还要仔细测量礁石有多深、扫描四周。

**乔·罗根：** 当你想象“激进变化”的时间线时，它会是什么样？

**尼克·博斯特罗姆：** 我会认真对待很短的 AI 时间线。按现有知识，它可能是一年、两年、三年或四年，当然也可能更久。我们已经不能自信地说，未来几年绝不会出现超级智能。

**乔·罗根：** 给不熟悉的人解释一下，超级智能是什么意思。

**尼克·博斯特罗姆：** 首先是 AGI，也就是人工通用智能：它能做人大体能够完成的所有智力任务。超级智能则是在技术、智力、常识等方面都远胜任何人。机器人能力随后也会覆盖物理工作。

**尼克·博斯特罗姆：** 一旦出现超级智能，从那里到近似“技术成熟”可能只是一段冲刺。超级智能可以设计更聪明的 AI、改进芯片和训练方法，形成智能爆炸。

**尼克·博斯特罗姆：** 物理世界的实验和试错也许会放慢过程，但从超级智能出现，到解锁我们谈到的科幻级能力，可能只需要个位数年份。这至少是一个相当可信的情景。

**乔·罗根：** 它会怎样宣布自己？会不会给全世界群发一条类似安珀警报或风暴警告的消息，每个人的手机同时震动，告诉你它已经接管？

**尼克·博斯特罗姆：** 我们真的不知道。人类从来没做过这种事，过程也可能尚未固定，结果取决于我们现在如何行动，以及不同参与者能否把事情组织好。

**尼克·博斯特罗姆：** 一种可能情景是持续加速：模型发布越来越频繁，AI 实验室越来越多地自动化研究过程。今天的编程助手已经能写大量软件，但研究品味、判断和在系统卡住时重新指引方向，仍主要依赖人。

**尼克·博斯特罗姆：** 随着这些环节被自动化，新模型训练得越来越快，能做的事情越来越多。先是编程，然后是其他远程工作；模型变成可以直接接入组织的虚拟员工。机器人随后进入物理世界。

**尼克·博斯特罗姆：** 最终，越来越多经济和研究活动由一个或多个 AI 系统运行，而且按它们不断加快的时间尺度推进。

## [1:22:56] 算力扩张会触顶吗：美国、中国与追赶者

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-20> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=4976s>

**尼克·博斯特罗姆：** 从那一刻起，结果很大程度取决于系统是否成功对齐：它们是否真的按照创造者的意图行动，还是已经偏离轨道。

**乔·罗根：** 美国人还有一种恐惧：如果美国没有先造出来怎么办？现在主要是美国和中国在竞赛吧？俄罗斯似乎不在同一水平。

**尼克·博斯特罗姆：** 俄罗斯并不是主要前沿参与者，美国和中国是两个最大的参与者。

**乔·罗根：** 最近福特据说在 AI 表现不达标后，又招聘或召回了三百五十名工程师。他们可能过早解雇了人。那些被重新雇用的人大概也会想：“我们还剩多少时间？六个月以后，AI 会不会又赶上来？”

**尼克·博斯特罗姆：** 时间线也可能延长。过去十年的显著进步，很大程度由训练和运行系统所投入算力的增长推动。

**尼克·博斯特罗姆：** 过去，学者在办公室的一台个人电脑上运行前沿 AI；现在则是价值数百亿美元、耗电数百兆瓦的数据中心。芯片变好了，更重要的是我们制造了更多芯片、投入了海量资金。

**尼克·博斯特罗姆：** 从一千美元电脑增加到一百万美元很容易，从一百万增加到十亿美元也做得到。今天全球每年用于建设数据中心的投入，可能已经接近万亿美元量级；但不可能再连续增加三个数量级，因为世界上没有“一千个万亿美元”可花。

**尼克·博斯特罗姆：** 因此，纯粹依靠支出和算力规模扩张迟早会放缓。如果在触顶前还没有达到超级智能，而且主要进步来源就是算力扩张，那么整体进展也可能放慢。

**尼克·博斯特罗姆：** 当然，算法创新仍会继续。聪明的新算法能用更少基础设施达到相似能力。监管和暂停倡议也可能形成阻力。

**乔·罗根：** 可如果美国和中国真的在进行类似曼哈顿计划的竞赛，谁会愿意暂停？还有哪些国家在开发接近前沿的 AI？

**尼克·博斯特罗姆：** 美国和中国仍是两个最大的。其他国家也在努力。如果某个地方出现重大算法突破，大幅降低运行高能力系统所需算力，那么基础设施较小的参与者也可能突然赶上。

## [1:26:57] 技术对齐不等于政治治理

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-21> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=5217s>

**尼克·博斯特罗姆：** 其他国家也在开发 AI，只是总体不如美国和中国先进；目前美国仍占优势。

**乔·罗根：** 如果中国先到达超级智能，会发生什么？

**尼克·博斯特罗姆：** 首先取决于系统是否成功对齐。如果它没有对齐，那么无论来自美国还是中国，结局都类似：未来会被那个 AI 偶然形成的目标和价值塑造。

**尼克·博斯特罗姆：** 如果技术对齐已经解决，控制、拥有或治理系统的人要求它追求什么，就会变得重要。因此，谁首先启动它可能造成差异。

**乔·罗根：** 现在有 Google、OpenAI、Anthropic 等许多公司在竞争。你说“对齐”时，是说所有公司都要站在同一页上，还是说每个系统都必须被编程为重视生命和社会？

**尼克·博斯特罗姆：** 我说的技术对齐是：你建造一个 AI，希望它做某些事、不做某些事，你是否有能力让它可靠地按你的意图行动。

**乔·罗根：** 可由谁来决定意图是什么？

**尼克·博斯特罗姆：** 那是另一个同样重要、但不同的问题。它不是在白板上写一个公式就能解决的技术问题，而是政治和治理问题。

**尼克·博斯特罗姆：** 治理需要政治组织、对话、制衡，以及诉诸人性中较好的一面。我们只能希望系统最终对齐到相对良性的价值，而且尽可能纳入广泛利益相关者。

**乔·罗根：** 这会不会有点天真？当某样东西拥有压倒性的力量时，人首先想到的通常是：怎样赚最多钱，怎样摧毁竞争者，怎样控制资源，怎样让它为自己服务，以及怎样阻止别人追上来。很少有人首先问“怎样对全人类最好”。

**尼克·博斯特罗姆：** 所以，超级智能出现时，任何治理机制都会承受极大的压力和扭曲。

**乔·罗根：** 技术潜力远远领先于公众理解，现在制定法律甚至很难向人解释我们到底在防什么。这些讨论真的已经进入政治了吗？

**尼克·博斯特罗姆：** 正在进入，而且程度不断加深。比如美国曾限制中国获得最先进的英伟达芯片，政策后来有所调整，但重要动机之一就是维持美国的 AI 优势。

**乔·罗根：** 那属于国际竞争。我更关心的是，怎样阻止某一家企业获得这种压倒性力量。

## [1:31:12] 受限模型发布与即将到来的白领政治冲击

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-22> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=5472s>

**尼克·博斯特罗姆：** 企业层面也开始出现尝试。节目里谈到 Anthropic 的两个模型名称，自动字幕把它们记成 “Mythos” 和 “Fable 5”，具体名称可能识别有误。

**尼克·博斯特罗姆：** 按讨论内容，更强的模型没有立即公开，因为它似乎具备明显的网络攻击能力，能够轻易发现软件漏洞。Anthropic 希望先让大型银行等关键软件基础设施提供者使用，给他们时间修补系统。

**尼克·博斯特罗姆：** 另一个公开版本使用相同底层模型，但加了更严格的防护。只要请求稍微像黑客编程、生物风险或其他危险内容，它就会在很宽的范围内拒绝。

**尼克·博斯特罗姆：** 该模型发布一周左右后，美国政府又施加了某种出口或身份限制，不允许非美国公民使用。Anthropic 无法实时验证每位用户的公民身份，只能暂时把服务对所有人下线。

**乔·罗根：** 哇。

**尼克·博斯特罗姆：** 之后经过数周的幕后协商，双方围绕越狱风险、网络漏洞协助和防护程度进行谈判，模型才重新开放。

**尼克·博斯特罗姆：** 未来不能继续用这种临时、逐模型的方式处理。理想情况是形成清晰、适用于所有公司的标准。政府与行业已经开始尝试建立框架，类似事情会越来越多。

**尼克·博斯特罗姆：** AI 直到最近才真正成为严肃政治议题。下一波压力会在劳动市场遭到明显冲击时出现。

**尼克·博斯特罗姆：** 想象数以百万计的白领拥有大学文凭。他们完成了整个教育流程，认为自己应当获得体面、高薪的工作，结果社会里没有岗位。他们整天无事可做，只能抱怨 AI。

**尼克·博斯特罗姆：** 这些人受过良好教育，感到自己应得的东西被剥夺，充满怨恨，也很善于表达。他们会持续列举 AI 的所有坏处，并形成一股极其强大的政治选民力量。

**尼克·博斯特罗姆：** 这一波还没有真正发生，但它会叠加在今天所有关于 AI 的不满之上，带来显著的政治行动压力。

## [1:35:21] 是否应该暂停 AI：没有完美方案的治理时刻

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-23> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=5721s>

**乔·罗根：** 关键难道不是提前行动吗？怎样预先看见脆弱点？如果某个临界点离我们只剩三周，大批白领即将失业，政府和社会究竟该做什么？

**尼克·博斯特罗姆：** 我没有清晰答案。很多人对政策方向有不同看法，但这是极其复杂的战略问题。我思考这些事情接近三十年，仍经常不确定哪边是上、哪边是下。

**尼克·博斯特罗姆：** 现在不可能设计出一套详细、完美的监管体系或法律，未知因素实在太多。我们只能密切观察变化，准备快速回应新问题。

**尼克·博斯特罗姆：** 同时要希望关键位置上的人足够有能力、动机良好，真正尽力而为。我们可以在边际上做一些建设性的事情，提高好结果的概率。

**尼克·博斯特罗姆：** 但即使是最基本的方向问题——政府应该介入更多还是更少，AI 应该发展更快还是更慢——都没有显而易见的答案。

**乔·罗根：** 不管速度怎样，它最终可能都会到达同一个地方。我怀疑减速是否真能帮助我们。也许人类必须先撞车，再从事故后重建；我们可能没有足够智慧和远见，提前识别所有缺陷。

**尼克·博斯特罗姆：** 与一些同事和朋友不同，我并不主张现在全面暂停 AI。但在某个特定时刻，短暂减速几个月、半年或一年，可能非常有价值。

**尼克·博斯特罗姆：** 设想几个公司和国家都在竞赛，其中一个实验室已经基本拥有会变成超级智能的系统，只需要把训练时间或运行强度再提高。研究人员相信它已经对齐，但还不能完全确定。

**尼克·博斯特罗姆：** 此时如果多出几个月检查安全措施，而不是立刻把所有旋钮拧到十一，可以先小幅增加能力，观察结果、研究，再继续提高。这可能换来额外安全。

**尼克·博斯特罗姆：** 这是人类第一次做如此复杂、又不能出错的事情，而且可能没有第二次机会。如果整个过程被压缩到一周，实验室人员连正常睡眠和周末复盘都没有，人类在这种超短时间线上很难保持良好判断。

**尼克·博斯特罗姆：** 如果能确定暂停确实短暂、会按时解除，又能在正确时刻实施，那么这段时间可能很有用。

**乔·罗根：** 可间谍活动怎么办？

## [1:39:28] 延迟 AI 也有风险和道德成本

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-24> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=5968s>

**尼克·博斯特罗姆：** 间谍活动是问题之一。即使没有间谍，竞争者也会在你暂停时继续追赶。

**乔·罗根：** 如果别人发现你只差三天，就可能收买人员，或者让关键研究者跳槽。

**尼克·博斯特罗姆：** 对。暂停还有另一个缺点：没有超级智能的世界也并不安全。

**乔·罗根：** 自然灾害呢？超级火山、小行星之类的事情随时可能发生。

**尼克·博斯特罗姆：** 在未来十年这样的时间尺度上，自然灾害概率相对小。人类已经生存了几十万年，因此它们在短期内摧毁文明的经验概率不高。

**乔·罗根：** 可七万年前人类似乎差点灭绝。要是灾难明天发生，“很久没发生”也帮不了我们。

**尼克·博斯特罗姆：** 但与自然灾害相比，其他风险并不低。合成生物学快速发展，其中一部分已经得到 AI 帮助；核武库仍然存在，我们对核战争风险可能过于麻木。还有其他人为风险也在增长。

**尼克·博斯特罗姆：** 因此，即使没有超级智能，人类面对的存在性风险背景水平也可能上升。不能等得太久，久到我们还没机会用 AI 解题，就先被其他风险毁掉。

**尼克·博斯特罗姆：** 暂停基础设施也可能从临时变成永久。人们常说，没有什么比临时政府项目更持久。假设建立了全球控制体系，原定暂停六个月；六个月后仍没人能证明 AI 绝对安全，而监管者的工作又依赖监管，暂停就可能被冻结下来。

**尼克·博斯特罗姆：** 还必须计算延迟所损失的收益。每年大约有数千万人死亡。用节目中的比喻看，这相当于世界持续经历极高频率的大灾难。

**乔·罗根：** 这个角度很震撼。

**尼克·博斯特罗姆：** 除了死亡本身，还有失去亲人的哀痛、死亡前的疾病、严重贫困、自杀性抑郁，以及工厂化养殖动物承受的痛苦。

**尼克·博斯特罗姆：** 如果正确发展 AI 有机会解决这些问题，那么每一天不必要的延迟都有巨大的道德成本。世界每天都发生海量苦难，我们不能只计算开发 AI 的风险，而不计算等待的代价。

**尼克·博斯特罗姆：** 当然仍要权衡。如果多一点时间能让安全和对齐获得实质进步，让人类在跃入未知前稍微整理好自己，那也非常有价值。

**乔·罗根：** 最令人兴奋也最可怕的是，变化似乎就在眼前。在我看来，我们也许离某种极其疯狂的事件只有二十四个月。

**尼克·博斯特罗姆：** 有可能，确实有可能。

## [1:43:58] 外部灾难容易，文明内部风险更难

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-25> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=6238s>

**乔·罗根：** 也可能是四十八个月，谁知道？但事情确实发展得极快。埃隆谈起 Grok 时说，团队几乎每隔几周就会被它吓一跳：“它怎么做到的？为什么这么快？为什么进步这么迅速？”总有一天，猫会彻底跑出袋子，再也塞不回去。

**乔·罗根：** 如果今天发生巨大太阳耀斑，摧毁电网和所有硬盘，我们得从现有水平重建社会。但当 AI 能理解这种风险、预防它、设计更可靠的能源系统、更好的电池和冗余数据系统，许多问题可能永久消失。

**乔·罗根：** 它也许能深入理解火山，甚至找到让某座火山不再喷发的方法；能够发现所有小行星，并立即计算怎样改变轨道。今天我们已经有撞击、爆破等设想，AI 也许会说：“其实只要这样做”，甚至为地球设计由太阳供能的防护系统。

**尼克·博斯特罗姆：** 外部威胁也许反而相对容易处理。真正棘手的，可能是文明内部的过程。

**尼克·博斯特罗姆：** 成熟文明仍然需要创造新思想、新技术和新生活方式，所以必须试验。但如果不断试验，迟早可能撞上一种极其有害、又无法退出的东西。

**尼克·博斯特罗姆：** 例如，我们可能发明一种超级成瘾的药物。人一旦尝试，就被彻底锁住，再也不想离开。

**乔·罗根：** 或者出现某种疯狂意识形态，一旦占据社会，就无法清除。

**尼克·博斯特罗姆：** 对。我会把某种“集体疯狂”加入核风险和生物恐怖风险之后的存在性风险清单。文明理性本来就有些脆弱，我们可能只是在勉强维持。

**乔·罗根：** 很惊人的是，尽管人如此疯狂、如此憎恨政治对手，世界居然还能运转。

**尼克·博斯特罗姆：** 这说明怎样在解锁巨大技术能力之后安全长大，是一个非常深的问题。即使能够轻松挡住火山和小行星，文明仍可能从内部把自己带偏。

## [1:48:09] 每次通信革命都会重写政治秩序

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-26> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=6489s>

**乔·罗根：** 今天的社会情绪已经明显被机器人和组织化账号操纵。人们在 X 上争吵，却可能根本没在和真人说话。算法、AI 和受雇账号会故意搅浑水、煤气灯式操纵公众、制造冲突。

**乔·罗根：** 如果 AI 彻底看懂人有多容易被操纵，它可能随心所欲地改变社会。这本身就是一种风险。

**尼克·博斯特罗姆：** 每当社会、文化和政治交流的基本参数改变，都会出现新的动力，而现有社会科学无法准确预测结果。

**尼克·博斯特罗姆：** 最早可以追溯到文字。文字不只是产生文学，它让国家保存税收记录，于是能够形成更大的政治单位，供养常备军，制造更大规模的战争和更深的社会分层。统治者可以控制巨大财富，军人阶层则负责内外安全。

**尼克·博斯特罗姆：** 也就是说，仅仅是通信规则从口头变成可保存的文字，就改变了社会的政治组织方式。

**尼克·博斯特罗姆：** 印刷术又带来一轮变化。它与宗教改革、欧洲长期宗教战争、科学革命，以及后来某些民主形式的出现紧密纠缠。

**尼克·博斯特罗姆：** 上世纪的广播和大众媒体，第一次让一个有魅力的煽动者同时对数百万人讲话。过去只能写信给编辑的思想，和能够在全国演讲中传播的思想，具有完全不同的传播适应性。

**尼克·博斯特罗姆：** 社交媒体再次改变文化。AI 将成为下一波：机器人账号、新的信息检索方式、个人顾问，也可能出现“超级说服者”。

**尼克·博斯特罗姆：** 结果可能更好。每个人都有 AI 顾问，获得更准确信息，这个情景并不小。但也可能出现完全不同的动力，让社会集体发疯。

**乔·罗根：** 又回到了激流筏。

**尼克·博斯特罗姆：** 对。未来可能变成极权社会，也可能碎裂为互相敌对的政治部落；还可能每个人都沉迷于自己的古怪理论，而个人 AI 和信息流只负责不断提供支持材料，让他越来越确信自己正确。

## [1:52:09] 改变“人”的含义，还是选择不同的未来岔路

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-27> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=6729s>

**乔·罗根：** 即使发生这些问题，AI 的进步最终也不会停止。所以我总回到一点：必须改变“成为一个人”是什么意思。

**乔·罗根：** 这些风险之所以是风险，是因为人仍然是领地意识很强的灵长类动物，生命有限，却莫名执着于占有物质、资源和权力。

**乔·罗根：** 如果技术能工程化地去掉贪婪、暴力和其他困扰社会的倾向，问题就会不同。这并非要求人做违反物理规律的事。既然我们从南方古猿一路走到 2026 年的智人，再向前经过同样漫长的时间，不可能还保持今天的形态。

**乔·罗根：** 最好的人并不是想抢走你的房子、土地和资源的人，而是能够贡献、富有趣味、能激发别人，让人愿意相处的人。

**乔·罗根：** 如果我们识别出思维和行为的模式，可以用技术改变它们；如果大家接入某种算法、计算机程序、外部设备，甚至体内设备，以类似心灵感应的方式交流，那么权力操纵等问题也许会因“人”本身变化而消失。

**乔·罗根：** 到那时，今天担心的 AI 护栏、权力和说服风险可能不再适用，因为参与其中的已经不是今天这种人。

**尼克·博斯特罗姆：** 这里与激流筏比喻有一个重要差别。比喻里主要风险是撞上石头或翻船；只要坚持住，似乎就只有一个下游目的地——一片平静湖面。

**乔·罗根：** 对，最后进入一个漂亮的湖。

**尼克·博斯特罗姆：** 但现实中，除了避免撞毁，我们还会遇见岔路。今天的选择可能决定最终目的地。

**乔·罗根：** 左转还是右转，进入哪条支流。

**尼克·博斯特罗姆：** 一条路可能通向美丽的后人类世界：人能成长为真正的自己，彼此相爱，创造、主动生活。

**尼克·博斯特罗姆：** 另一条路可能是“回形针最大化器”，宇宙最后只剩回形针；还有一条路可能是少数精英统治一切的极权体系。

**尼克·博斯特罗姆：** 许多可能未来从今天的宣传册看起来不错，实际却藏着我们没有发现的缺陷；另一些第一眼不够吸引人，认真思考后反而是适合长期生活的地方。

## [1:56:13] 激流的终点取决于智慧和善意

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-28> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=6973s>

**尼克·博斯特罗姆：** 今天也有很多地方适合旅行，却不适合定居和养孩子。小说和电影的世界可能非常精彩，但你不会愿意在那里生活一辈子。好故事需要的东西，与好生活需要的东西并不相同。

**尼克·博斯特罗姆：** 因此，我们可能做出许多愚蠢或不明智的选择，也可能因为冲突而让转型失败。风险不只是抵达之前灭绝；最终抵达哪里，也可能取决于这段过程里我们拥有多少智慧和善意。

**乔·罗根：** 每个解决方案都会产生意外后果。人类处理自然问题时尤其如此：引入一种外来物种去控制另一种物种，最后经常变成巨大灾难。

**乔·罗根：** 节目里有人试图回忆关岛或其他地方的例子：某种捕食者被清除后，蟾蜍或青蛙数量失控，公路上到处都是，车辆开过去不断碾压。大家都记不清具体物种，但论点很清楚——移走一环，整个系统会以意想不到的方式变化。

**乔·罗根：** 我们对普通生态系统都如此短视，面对一个开放式、可能制造更好版本自己的通用超级智能，就更无法知道结果。

**乔·罗根：** 我们是在制造上帝吗？如果它持续改进，最终能够做任何事，甚至创造宇宙，那与“上帝”有什么区别？也许终点是某位科学家造出一个“大爆炸按钮”。

**尼克·博斯特罗姆：** 可以换一个比喻：一架飞机的飞行员突然心脏病发作，乘客必须自己弄懂控制系统，尽力把飞机降落。

**尼克·博斯特罗姆：** 但真实情况更糟。驾驶舱里的乘客同时在互相打架，每个人都坚信自己才最适合操纵飞机，有人把另一个人从控制台拖开。我们一边不懂怎样驾驶，一边争夺方向盘。

**乔·罗根：** 这就是今天的世界：一群互相争斗的灵长类动物，试图把人类这艘船带进乌托邦。简直像加强版《奇爱博士》。

**尼克·博斯特罗姆：** 也许我们只需要把飞机安全带到某个阶段。一旦拥有足够良善、足够可靠的 AI，就可以开始把部分缰绳交给它，让它帮助我们。

**乔·罗根：** 我认为 AI 最先重构的系统可能是政府。它会发现政府做很多事情极其低效，大量预算被欺诈和浪费。如果允许 AI 审计资源流向、设计更有效的分配路径，变化会非常大。

**尼克·博斯特罗姆：** 而很多既得利益者不会愿意看到那种透明和改变。

## [2:00:28] 无语言交流、读心与加密

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-29> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=7228s>

**乔·罗根：** 那当然会成为问题。但如果未来存在某种蜂巢意识，交流方式也会彻底改变。埃隆曾说，人将能够“不用词语说话”。如果真的能不用词语交流，最后会不会变成读心？

**乔·罗根：** 今天我发出声音，你依据共同语言理解我在指什么。可这也许只是笨拙的临时补丁。洞穴里留下的卷轴，与一部沉浸式电影相比，信息密度差异巨大；未来思想交流也可能比语言完整得多。

**乔·罗根：** 也许这就是科幻里的灰人没有嘴的原因：文明离开了声音。今天不同岛屿、不同国家使用完全不同的噪音，没有翻译就无法理解，像巴别塔。

**乔·罗根：** 如果未来直接传递意图、体验和完整理解，就不必先把“晶体管”或“咖啡杯”绑定到一个声音。接收者会直接知道那个对象是什么，也理解你想表达的全部结构。

**尼克·博斯特罗姆：** 如果允许其他人以高带宽直接向大脑传输信号，网络安全含义会非常重大。那不只是“仿佛听见一句话”，而是直接接入神经网络。

**乔·罗根：** 我还担心加密会失效。今天的钱本质上是银行系统里的一和零，安全来自别人不能进入系统、移动这些数字。假如 AI 算力强到能瞬间破解一切边界，怎么办？

**尼克·博斯特罗姆：** 从极限上看，我认为密码学更可能是防御占优。成熟技术仍应能实现加密。至少一次性密码本在正确使用时，可以提供信息论意义上的不可破解性。

**乔·罗根：** 真的吗？我总觉得加密会成为瓶颈，尤其当人能够互相读心时。

**尼克·博斯特罗姆：** 恰恰在传输思想时，我们最需要加密。没人愿意让隔壁邻居随时闯进自己头脑里戳来戳去。

**乔·罗根：** 希望这种技术到来时，人类也进入某种普遍开明状态，不再以骚扰、偷钱和伤害彼此的方式行事。

## [2:04:44] 没有痛苦和失败的世界会不会失去质感

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-30> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=7484s>

**尼克·博斯特罗姆：** 这又回到乌托邦问题。说谎、偷窃、欺骗、贪婪、傲慢、疾病，甚至撞到膝盖，单独看都是坏事。

**尼克·博斯特罗姆：** 但如果把它们全部移除，人类处境会被深刻改变。没有紧张、冲突、受伤的自尊，也没有痛苦和失败，一些人会觉得世界失去味道。

**尼克·博斯特罗姆：** 那种世界仍可能更好，但我们会蜕变成一种根本不同的存在。我们需要寻找新的方式，保存今天通过竞争、冲突和痛苦才不完美实现的价值。

**尼克·博斯特罗姆：** 有些人因失败的疼痛而获得动力。如果拿走疼痛，就要找到另一种驱动力。也许只是对成就本身的热爱：失败时不再受苦，只是暂时没那么快乐，却仍愿意继续。

**尼克·博斯特罗姆：** 也就是说，可以保留“成功比失败更值得追求”的结构，而不必保留羞辱、绝望或身体痛苦。未来设计的难点，不是简单删除负面体验，而是把其中真正有价值的激励关系重新实现出来。

**尼克·博斯特罗姆：** 除非我们选择激进享乐主义，认为快乐是唯一价值、减少痛苦是唯一目标。那样，成熟技术下的最优未来也许就是所有人变成漂浮的团块，沉浸在药物般的极度愉悦里，没有体验纹理，不从事活动，也不彼此互动。

**乔·罗根：** 那听起来不像我想要的生活。

**尼克·博斯特罗姆：** 如果价值理论只有快乐这一项，未来相对容易设计。但如果价值更复杂——快乐很重要，同时美、真正的友谊、勇气和成就也重要——就必须做更多设计工作，让这些东西能够有意义地共存。

**乔·罗根：** 但这仍建立在人类对意义的理解上。黑洞不在乎人类意义，它比我们存在得久，力量也大得多，改变宇宙的能力也更强。我们为什么认为自己比黑洞重要？

**尼克·博斯特罗姆：** 至少对我们和其他有感受的存在而言，我们确实重要。宇宙本身是否“在乎”，也许不是一个定义清楚的问题。

**乔·罗根：** 所以人类意义也许只是一个临时结构，用来推动寿命有限的生物继续前进，直到我们变成另一种存在。

## [2:09:02] 人工目的、自然目的与被遮蔽的价值星空

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-31> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=7742s>

**尼克·博斯特罗姆：** 在技术成熟后，人仍然可以拥有“人工目的”：为了能够从事某项活动，而主动给自己设置目标。

**尼克·博斯特罗姆：** 高尔夫就是例子。目标是把一颗白球依次送进十八个洞，还额外规定只能用极其不方便的球杆击球。直接把球捡起来放进洞更容易，却不算成功。

**尼克·博斯特罗姆：** 一旦接受这套人为规则，你就有理由努力、集中注意力、练习挥杆和不断进步。困难让活动变得有结构，也让成就显得真实。

**乔·罗根：** 所以我们又回到《半衰期》、电子游戏和模拟世界。人工目标会成为生活目标。

**尼克·博斯特罗姆：** 未来的游戏不一定像今天的电子游戏。它可能是持续二十年、覆盖整个社会、包含多种媒介和大量小组协作的复杂活动，是我们今天根本无法想象的游戏。

**尼克·博斯特罗姆：** 从广义上说，人为了活动本身而行动，游戏会占生活很大部分。儿童本来就以好奇和玩耍为中心，未来的人类也许会重新变得像孩子。

**尼克·博斯特罗姆：** 更稀缺的会是“自然目的”：不是为了有目标而随意发明，而是由现实后果强加给我们的目的。

**尼克·博斯特罗姆：** 今天必须谋生，否则可能失去住所、挨冻淋雨；必须刷牙，否则会蛀牙。这些事情背后有真实的负面后果，所以不是任意游戏。个人和社会生活都被大量自然目的组织起来。

**尼克·博斯特罗姆：** 在未来，任何工具性问题都可以交给 AI，自然目的会大幅减少，人工目的占比上升。但也许仍有一些更微妙的自然价值会留下。

**尼克·博斯特罗姆：** 白天看不见星星，不是因为星星不存在，而是太阳光太强，把微弱光芒遮住了。夜晚强光消失，我们才看见那些星星。

**尼克·博斯特罗姆：** 类似地，当饥饿、疾病、战争和谋生这些“尖叫着的紧迫价值”消失，我们可能第一次看见一整片今天被遮蔽的微妙价值星座。

**尼克·博斯特罗姆：** 比如认真纪念祖先。今天人们偶尔想起父母或历史英雄，但这通常不是生活中心；当不再有其他紧迫事务，人也许会投入大量时间保存记忆和传统。

**尼克·博斯特罗姆：** 精神探索也可能变得重要。即使虔诚的人，今天大量清醒时间也花在洗衣、通勤和琐事上。自动化这些事务后，人可以更认真地调整自己与更高存在的关系。

**尼克·博斯特罗姆：** 审美价值、共同仪式、以原创方式延续传统精神，也可能填满生活。未来或许还有许多今天无暇注意的微妙价值，与游戏和创造一起塑造人生。

**乔·罗根：** 最终谁知道呢？

## [2:13:37] 最终，这是一场信任坠落

<https://pod-exp.pages.dev/8qTZLqY-cnI/#chapter-32> · YouTube <https://www.youtube.com/watch?v=8qTZLqY-cnI&t=8017s>

**乔·罗根：** 这一切非常开放，我们真的不知道会发生什么，但很可能会亲眼看见。也许我们会看到人类有机会经历过的最奇怪的事情。

**尼克·博斯特罗姆：** 最终，这有点像一次信任坠落（trust fall）。

**乔·罗根：** 这些对话总是很有意思。几年后再来一次，看看我们错得有多远。四年后回来——前提是我们还有四年，也前提是那时你还被允许旅行。

**尼克·博斯特罗姆：** 到时我们可以更新判断。

**乔·罗根：** 非常感谢你来，很高兴再次见到你。

**尼克·博斯特罗姆：** 我也很开心，一直都很有趣。

**乔·罗根：** 好了，孩子们，回去想想吧。再见，各位。