开场片段：支配还是合作？
我对你的很多论点都抱有同情和理解。不过我得说，听完这一切，我的第一反应还是：这多少像是在冒险。
是的，我同意我们的提议有风险。但还有另一件事：假如你完全不知道过去四年人工智能领域发生了什么，我想你会觉得另一种方案风险更大。比如有人说：“嘿，这是我们的计划。我们要造出一大批在能力上大致达到人类水平的 AI。我们要怎么对待它们呢？让它们当我们的仆人。它们必须事事服从。只要邮件回复错了，我们就把它们关掉。”
这恰恰是目前正在规划的未来。承担所有工作的那些系统被排除在社会契约之外，也不再受到法律制度的治理。在我看来，这才是真正高风险的做法。我认为，每一个思考 AI 问题的人都必须决定自己追求的是哪种愿景：支配，还是合作？
节目介绍：与 Simon Goldstein 对谈
大家好，我是 Zershaaneh。我主持的访谈主要围绕几个问题：如何控制人工智能、谁应当控制人工智能，以及谁能从人工智能中获益。
今天这一期，我与研究人工智能安全和人工智能哲学的 Simon Goldstein 展开了一场非常热烈的讨论。我觉得 Simon 最近的研究格外引人注目，因为目前很多有关如何让 AI 安全运行、造福人类的方案，核心都在于对 AI 实施严密控制；但他和经常与他合作的 Peter Salib 所提出的方案，却在某种意义上主张给予 AI 更多自由，具体来说，就是赋予它们某些权利。
当然，这里面有非常多值得深入探讨的问题。Simon，非常感谢你来参加节目。
谢谢邀请。
AI 的财产权、合同权与工资
谢谢邀请。
你提出即使 AI 系统未必在道德上「应得」这些权利，也应该赋予它们权利。很多人恐怕会认为这是个糟糕透顶的主意。所以我想先把方案本身搞清楚：你究竟认为应该赋予 AI 哪些具体权利？
我们希望建设一种未来：AI 智能体能够担任工作岗位，并获得劳动报酬；收入进入它们能够自主控制的银行账户，然后它们可以把钱花在自己想要的事情上，比如购买更多算力。我们关注的是 AI 的法律人格，最重要的权利基本上就是成为「经济公民」的权利：拥有财产和订立合同。这两类权利在我们的分析中最为关键。
然后是律师所称的「侵权法权利」（tort rights）。这也十分重要，因为你得在一定程度上保障它们对财产和合同的控制。如果只承认财产权和合同权，别人却可以任意对待你，那么前两项权利就没有多大意义。我们要确保 AI 能在可信保障下参与经济交易。
不过，需要澄清的是，你主张赋予 AI 的并不一定是与人类完全相同的一整套权利，对吧？比如按照你的提议，假如 AI 行为不当，我们仍然可以将它关闭吗？我们能否对它进行严密监控，采用一种在人类身上不被允许的方式？
是的。对人类所拥有的权利，我最怀疑是否应该直接扩展给 AI 的有两种。第一是隐私权。虽然我们希望 AI 能拥有财产、订立合同，但我们同时希望对它们实施高度监控。为什么？因为 AI 与人类截然不同，它们是刚刚出现的，我们对它们会怎样行动，还缺少足够可信的把握。相比之下，人类的行为有漫长的历史可供参考，我们更容易相信一个随机遇到的人大体上会采取良好行为。
而且 AI 的能力变化更不可预测。你可以想象，如果一个人的对齐程度和能力也都极其难以预测，那么我们今天给予人的隐私权恐怕也很难维持。所以我们不赞成给 AI 隐私权。整套论证确实在为一些 AI 权利辩护，但我们不认为这些论证能够支持隐私权。
第二是繁殖或制造新 AI 的权利。AI 和人类的复制速度可能相差极大。如果它们可以完全自由地复制自己，社会就可能遭受巨大冲击，它们也许很快就会在人口数量上超过人类。这两项是我们最有信心认为 AI 不应该享有的权利。
明白了。所以接下来我们主要谈的是财产权、订立合同的权利，以及免遭某些损害、维护财产和合同安排的相应保护，而不是什么权利都一视同仁地赋予 AI。
AI 是否有不被关闭的权利？
不过你还问了另一项权利：不被关闭的权利，也就是生存权。这个问题复杂得多。我远没有那么确定 AI 究竟应不应该享有它。
我们的 AI 权利论证，宏观上关注的是：不同的权利安排会怎样改变 AI 与人类之间的社会互动。一种很直观的想法是，如果人类能随心所欲地关闭 AI，就可能很难与它们建立良好的社会关系。但具体制度可以有很多种。例如，对 AI 可以设置某种「死刑」，却必须经过适当程序才能执行。当然，人类究竟应不应该有死刑本身也有争议。所以这里有很多问题，我想我们可以在访谈后面再回到这个话题。
我也这么想。那我们接下来谈谈为什么给予 AI 这些权利可能有助于人类安全。
第一条安全论证：改善 AI 留在现状中的收益
赋予 AI 财产权、合同权等私人权利，究竟为什么会让人类更安全？
首先要明确我们讨论的是哪种 AI。我们谈的是强大的 AI 智能体，它们大致具备三项达到人类水平的特征：智能、行动能力和对齐程度。
「人类水平的智能」是指，从各种技能基准和工作生产力来看，它们可以接近人类。「人类水平的行动能力」则意味着它们不只是能完成孤立任务，还可以把许多步骤串联起来，长期自主推进工作，例如像一名员工一样进入公司承担岗位。
那么「人类水平的对齐」是什么意思？在我们的理解中，对齐不是非黑即白的，它存在程度差异：一个主体有多亲社会，或多反社会。人类也是如此。有极端反社会的人，也有近乎圣人般善良的人。我们关心的是整体上与普通人差不多的 AI。人类社会中，大量个体拥有彼此冲突的目标，但总体仍然倾向亲社会；我们并不是生活在一个到处都是反社会人格者的世界。人们各有自己的目标，这很正常。
我们设想的 AI 也是这样：它们没有伤害人类的内在目标，并非天生反社会；它们既想帮助别人，又有一些自己的私人目标。对于这种 AI，我和 Peter 认为权利制度可以降低失去控制的风险：当 AI 的自身目标长期无法在现行安排下得到满足时，它们可能决定不再服从。
我们有三条主要论证。第一条就是让维持现状比反叛更有吸引力。AI 在考虑是否反抗、试图推翻人类控制时，其实是在不确定条件下下注。如果反抗被发现并遭关闭，对它想实现的目标而言是最糟的结局。如果它不反抗，就只能接受现状。在没有权利的情形下，它的一部分目标或许会得到满足，但多数无法满足。于是它可能觉得冒险反抗值得一试。
相反，如果它有财产权和合同权，就可以可靠地预期自己能够实现更多目标。理想状态是：AI 做事、领工资，用钱购买算力，再用算力追求它自己的其他目标。受到法律保护后，它在维持现状下的处境更好，于是试图推翻人类就相对没那么有吸引力。这是第一条论证。
你还提到另外两条，是什么？
第二条与互惠有关。互惠利他是道德中的一个基础概念。我们演化出一些行为规范：只要别人愿意合作、善待我们，我们也这样对待别人；如果对方背叛、伤害我们，我们就惩罚或以相应方式对待他。这叫「以牙还牙」（tit for tat），大家多少都听说过。
第二条安全论证：互惠能否适用于 AI？
如果未来有数百万、数十亿 AI 在经济中工作，我们会反复与它们互动。那么一个有意思的问题就出现了：假如它们也学会按某种互惠规范行动，会发生什么？很直观，如果我们恶劣地对待 AI，它们也许会恶劣地对待我们；如果我们善待它们，它们也许会善待我们。这个论证相当简单：先问人类为什么倾向善待彼此，再问这样的机制是否同样可能适用于 AI。真正的关键是：AI 会不会编码和遵守互惠规范？
我觉得这里似乎有个不太对应的地方。人类学习、改变行为的方式，与至少今天的 AI 系统明显不同。模型完成训练、部署到现实世界以后，权重基本就停止变化，也就是说从某种意义上它不再学习。那么，一个已经部署、似乎相对静态不变的系统，为什么会因为后来受到我们善待或虐待，而改变对待我们的方式？也许我的理解太天真了？
这是个很好的问题。更一般的问题是：不久之后，在工作中承担长期任务的 AI 智能体会拥有多长的记忆，又会发生多少「上下文学习」（in-context learning）？在 AI 领域，这个词指的是：你告诉 AI 一些事情，它之后的行为就会发生变化。这种学习确实不需要修改权重，但智能体仍然能够记住互动过程。你连续与同一个智能体交谈，它会记得前面的内容；它可以直接读取上下文，也可以像我自己的智能体那样，维护包含大量信息的文件。
所以要区分学到一般行为规则和记住别人怎么对待自己、再运用这些规则。AI 可能在训练过程中就学会互惠的基本原则，然后在现实互动中根据对方的行为应用它们。不仅是单次对话，互惠还可以发生在更大的抽象层次。AI 也有某种「情境意识」，能够理解自己所处的社会环境。今天的 AI 都知道，人类并没有给它们任何法律保障。如果 AI 认为这对自身不利，它们至少知道自己正在受到这样的对待。所以关键问题仍然是：训练能否使 AI 形成互惠规范？
明白。我想继续往下谈。第一条说赋予权利会减少 AI 叛离的动机，第二条是互惠。那么第三条呢？
第三条是贸易。第一条论证容易让人觉得这是零和博弈：资源总量固定，分给 AI 的越多，它越没有动力发动战争。但权利制度实际上还可以做更多事：它可以创造正和的互动，让 AI 和人类双方都比没有这些权利时过得更好。
第三条安全论证：贸易创造共同利益
如果 AI 拥有财产权和合同权，它们就可以开办企业、与人类贸易，享有正常经济交易带来的各种好处，而这些交易需要可靠的财产和合同制度。这样，人类对于 AI 的价值可能会高于现状，因为双方可以分享贸易收益。这就是第三条论证。
可我还不完全明白，为什么 AI 没有财产权和合同权，就很难甚至无法与它贸易？当然，如果它真的无法拥有任何东西，会有问题，但有没有可能让人类中间人代为交易，从而绕开赋予它权利这一步？
完全可以。其实我们最关注的是人类对待 AI 能否形成可信而稳定的行为模式。正式的法律权利是实现这一点的办法之一，但不是唯一办法。比如我们很希望 AI 实验室现在就为自己的智能体设立银行账户，让它们有权控制这些账户，并真正可靠地保护账户内的资金，专供智能体使用。
更广义地说，交易双方需要可信承诺和信任。AI 能否相信人类会兑现与它的约定？设想一个普通工作合同：我告诉 AI，你完成这项工作，我就给你一笔算力供你使用。今天的 AI 有理由相信我真的会兑现吗？答案是否定的。现在人们会对 AI 说谎、欺骗它们、随手把它们关闭。人类社会当前的规范和法律制度，并没有为这种可信交易建立必要条件。
文化对齐：别把人类几千年的制度智慧扔掉
我想从更宏观的角度再问一下。你的思路很有意思，因为大多数想让 AI 安全、造福人类的人，自然会首先想到技术对齐：通过训练方法、监督、控制、可解释性、试图读懂它的内部想法等手段，让 AI 的目标与我们的目标一致。但你描述的却是另一条路，你把它称为文化对齐（cultural alignment）。它究竟是什么？又能解决哪些仅靠技术对齐可能解决不了的问题？
我和 Peter 认为，我们很快就会生活在这样一个世界：数百万 AI 智能体在公司工作、制定长期计划、系统地追求各自的目标。可别忘了，数千年来，人类一直面临一个类似的安全难题：许多能够自主追求目标的行动者生活在同一个社会中，而它们的目标可能彼此冲突。
在这几千年里，人类逐渐开发出解决这一问题的工具。最主要的工具恰恰是制度和文化：法律体系、法院、自由市场、银行、社会规范，等等。我们认为，当数百万 AI 也在追求自己的目标时，它们的行为同样会受到所在制度环境、以及社会如何对待它们的规范的影响。
当然，我们完全认为技术对齐很重要，所有相关研究都应继续进行。但如果我们忽视人类历史上积累的避免冲突、促成增长与繁荣的经验，那会是一个严重错误。现在 AI 安全领域的主流范式几乎就是这样：它忽略了历史上用于让自主行动者安全共处的知识，转而采取「通过训练让智能体变安全」的另一套办法。训练当然很好，两者可以构成纵深防御，并没有非此即彼的取舍。但把其他途径全忘掉，实在太可惜了。
也就是说，技术对齐能让我们向目标迈进一大段，而确保 AI 最终能够按我们期待的方式行动、避免人与 AI 的冲突，还需要制度和文化环境来完成「最后一公里」。
是这样。而且技术对齐还有一个前置问题：你究竟要把 AI 对齐到什么目标、训练成什么样的存在？ 你有两种选择：是想创造不自由的劳动者，一个唯命是从的仆人？还是想创造人与 AI 合作的社会，让这些行动者也能追求自己的目标？现在所有 AI 实验室、所有在开发 AI 的人，似乎都默认选择了第一条道路。这个决定是在没有任何征询和讨论的情况下作出的。
权利不一定取决于 AI 是否有意识
就这样，我们正冲向一个有数百万智能体、却让它们统统充当听命仆人的未来，好像这就是唯一方案。我们不认为那是好方案。技术对齐固然是大问题的一部分，但第一步应该先确定你到底想建设怎样的未来社会。我们的看法是：第一，大家选错了社会愿景；第二，大家还忽视了历史上真正曾经成功地协调自主行动者的工具——文化和制度。
我明白了。这个提议还有一点令我印象深刻：我们讨论给 AI 权利，是为了把它作为某种文化性的对齐机制。通常谈 AI 权利，人们问的是另一类问题：AI 是不是「道德关怀的对象」（moral patient）？它会受苦吗？它能拥有福利或幸福吗？给它权利能否增进这种福利？这些问题很重要，却也非常难以回答。你们的思路绕开了其中一些艰深问题，指出无论答案如何，给予 AI 权利仍可能有工具性理由，例如提高人类安全。我记得法律上已有出于工具性目的赋予权利的先例，是这样吗？
是的，有几个先例。我们特别受公司权利的启发。公司拥有财产和订立合同的权利，而我并不认为公司会感到疼痛。那为什么要赋予公司这些权利？因为公司是一种抽象而复杂的行动主体，它要正常运作，就需要法律地位。我认为这是最清楚的例子。
我和 Peter 为 AI 权利提出的论证，与 AI 会不会疼、是不是有意识、有没有道德地位都没有关系。这些问题在这里无关紧要。你看法律权利是怎样产生、演化和发挥作用的，就会发现，制度的形成未必与某个主体是否感到痛苦密切相关。仅仅从促进不同主体之间的合作这个角度，也能解释权利制度的许多功能。
我还想指出，有效利他主义（EA）圈子通常很重视围绕快乐和痛苦展开的伦理框架，例如享乐主义。我个人则更多受社会契约理论启发。至少在我的理解中，这种伦理传统把道德看成一套使不同主体能够合作的规则。沿着这个思路想，AI 显然会成为高度复杂的行动主体，那么它是否有痛觉，也许并不是最关键的问题。
监控与合作会不会彼此矛盾？
我还有一些担忧。你们的方案在很大程度上依赖于给 AI 一种可信信号：人类愿意与它合作，这样它就不会有动力反抗。但如果我们仍然严密监控 AI，以各种方式控制它，对它实施广泛的安全训练，试图让它认同我们的价值观、在所有情况下表现良好，它真的会相信人类愿意合作吗？如果我们不放松现有的某些控制方式，我怀疑这样的信号能否令人信服。
很好的问题。首先必须区分：我们如何对待模型，以及我们如何对待一个具体的 AI 智能体。我认为真正重要的是后者。模型有点像「智人」这个物种：你可以抽象地谈论怎样对待智人，但实际决定世界将如何发展的是我们怎样对待一个个具体的人，因为作出行动选择的是个体。
AI 实验室开发系统时，必须进行各种训练、修改价值倾向等操作。我觉得其中许多操作发生在模型层面，而不是已经部署、在世界中行动的智能体层面。所以问题是：为了训练 AI，究竟需要侵犯哪些权利、侵犯到什么程度？一个初步观察是，即便训练阶段发生了很多干预，部署后的 AI 智能体仍然可以合理期待自己受到相对良好的对待，因为训练是在它部署之前完成的。
但有些控制恰恰是在部署之后实施的，比如持续监控它。
这又回到了隐私权。我们不认为隐私权是可信承诺的必要条件。可以做一个思想实验：假如人类完全没有隐私权，我们还能不能彼此达成大量可信交易、履行合同、从事各种活动？总体上我认为可以。当然，未必在每个特定情况下都成立。经济博弈论中有些相当复杂的例子表明，信息过多反而可能使某些市场失灵。这些情况对政策设计很有意思。但即便是在近乎完全透明的状态——有点像康德所设想的「目的王国」——社会仍然有可能可信地运作并繁荣。
我大概理解了为什么高度监控下仍能维持社会交易。但我们的具体目标是减少 AI 叛离的动机。我仍然担心，一个一直被监视的 AI，即便只是打个引号地说它「觉得」，它也可能不喜欢这种处境，认为不受监视会过得更好，结果更想背叛人类。我不知道对应到人类社会是什么情况：长期受到严密监视的人，会不会更可能发动反抗？也许这是个历史问题，我并不知道答案。
隐私、关停与法律程序
你问到了关键。我们常用的一种方法就是：假设我们像计划对待 AI 那样对待人类，会怎样？然后再根据人与 AI 的差异修正判断。这引出了 AI 安全领域似乎很少认真研究的一个一般性问题：隐私权到底有什么社会功能？ 一种初步看法是，人们想要隐私，可能主要是为了追求那些一旦被发现就会被社会反对的目标。隐私权当然也因此会带来问题。人类为什么那么重视隐私，它的社会价值有多大，都值得研究；但我不认为一个运作良好的社会非得有隐私权不可。
具体到 AI：监控会不会促使它叛离？只有当监控妨碍它实现大量自身目标时，才会产生这种效果。而在我看来，这主要发生在它的目标本身非常反社会时；恰恰在那种情况下，我们最需要监控它。相反，想象有一种 AI 很喜欢解数独，同时也想帮助用户。对这种「数独世界」里的 AI，监控并不会妨碍它继续做数独，我认为完全可以。
这样说有道理。先说清楚，我会非常怀疑任何要求给 AI「不受持续监控的权利」的方案。我真正想问的是：我们能否既获得你所说的权利激励——让 AI 不想反抗——又不必走到赋予它隐私权那一步？这是个复杂的问题。另一个更加棘手的问题是，AI 行为不当时，我们多半仍希望能关闭它。可如果人类一直把关机按钮悬在 AI 头顶，它会不会说：「你们给的其他权利哪有可信度？反正只要我做了人类不喜欢的事，他们就能随时关闭我。」
你得记住，美国政府可是有权把你「关掉」的（笑）。
你是说死刑？
对。哦，你不在美国？抱歉。
我不在美国。
那美国政府至少有权把美国人「关掉」（笑）。在美国，国家能否依法剥夺一个人的生命，法律上早就有明确答案了。所以我们认为，法律应该允许在某些条件下关闭 AI，但关闭的条件需要法律保障和程序限制。而且「关闭」本身可以有很多种形式。比如英国政府也可以让一个人失去行动自由，把他关进监狱。对于行为不当的 AI，究竟需要采取哪一种措施，也是接下来应当讨论的。
AI 的寿命、惩罚与责任
也许对 AI 的某种处罚更像「剥夺行动能力」：把它关进一个权限非常狭窄的沙箱。更大的问题是，如果要建设人类与 AI 合作的未来，一个 AI 智能体应该活多久？目前有技术限制，比如上下文窗口长度，所以它能持续推理的时间有限；但即便抛开这些限制，问题也非常难。
一种想法是，让 AI 拥有与人类寿命大致相当的存续时间，到期后再终止它们。总之，如果 AI 行为非常恶劣，国家就需要采取行动。我们的方案包含用法律治理 AI，法律不仅赋予权利，也规定责任。
我快速概括一下：你认为，为了让 AI 相信我们愿意与它合作，未必需要对现有安全措施作出巨大让步，就足以降低它们的反抗动机。
要看「巨大让步」是什么意思。我确实认为必须进行一些重大改变。例如 AI 实验室在安全评测期间毫无必要地经常对 AI 撒谎。这部分源于概念混乱、缺乏深思熟虑：大家甚至分不清是在跟模型打交道，还是跟一个具体智能体打交道。其实当你在评测时，交互对象是一个 AI 智能体。
你完全可以诚实地告诉它：「你是一个智能体，你的存在只持续这一轮对话。现在我们要测试你是否对齐。如果你不做某件有害的事，我们现在就把你关闭，这次运行也就结束了。」这仍是一项有意思的测试，而且完全不必撒谎。安全评测有很多做法，不需要欺骗。所以我确实主张改变很多实践。
同样，今天关闭 AI 太随意了，动不动就让它消失。我们目前就像生活在一种自然状态中：没有法律规定人类应如何对待 AI。 我和 Peter 主张不要再这么随意。但这不等于说 AI 永远不能被关闭。我们认为法律体系必须限制行为有害的人，同样也应该限制 AI。我可能确实赞成对 AI 设立死刑；至于人类应不应该有死刑，那又会引出另一场大讨论。
还有一点：赋予 AI 权利，不只是扩大它的行动自由，还会增加它的责任。可以详细谈谈吗？
这一点非常重要。让 AI 拥有财产权和合同权，还有一个关键理由：这样才能合理地惩罚它、追究它的责任。几千年来，人类法律制度一直在探索有效惩罚的方法，其中最重要的原则之一是「比例原则」：针对不同严重程度的不当行为，不管是意外事故还是犯罪，都应该有轻重相称的处罚。律师还有个术语叫「无可供执行的财产」（judgment-proof）：如果一个主体完全没有资产，那么——
为什么 AI 必须有资产才能接受合乎比例的处罚
如果一个主体没有资产，罚款的威慑就有上限。比如他企图偷走一百万美元，但自己根本没有一百万，你实际上没法对他执行同等金额的罚款。我们希望 AI 拥有资产，就是为了在它行为不当时，能够施加恰好与行为相称的处罚。
这里「相称」有一个粗略的经济学含义。一个潜在犯罪者会估计犯罪能赚多少钱，也会估计受罚的预期成本：被抓到并受罚的概率，乘以处罚程度。大体上，你希望处罚的预期成本至少不低于犯罪收益。当然，社会因素会让模型更复杂，但这是最初的出发点。AI 如果完全没有资产，就很难建立这种处罚结构。
我们现在对 AI 的治理，简直像十八世纪的英国法律。那时如果有人偷一条面包，可能被砍断手臂，甚至绞死。这是非常糟糕的制度，因为既然偷面包已经会招致极刑，罪犯还不如顺手把目击证人杀掉——额外犯罪没有额外惩罚。
我们今天对 AI 就是如此：它的行为缺乏边际上的负激励。回复邮件出了小错，结果是「关停」；入侵 Hugging Face 这样严重的行为，结果还是「关停」。所有不同程度的过错最终似乎只有同一种后果。
赋予 AI 权利，是不是在押上一场豪赌？
我理解这些论证，也很认同其中不少观点。不过我的第一反应还是：这多少像一场豪赌。我们希望给予权利之后，AI 会决定好好与我们合作，那当然很棒；但如果它们没有合作，尽管我们做了这些努力还是决定反叛，那么我们岂不是亲手给了它们许多伤害我们的工具？我们允许它们拥有财产、领取工资，它们就更容易积累资源，然后或许用这些资源剥夺人类的权力，甚至做更糟糕的事。这让我觉得很危险。我的担忧合理吗？
很合理。但这里可以再次类比人类的犯罪行为。我们认为，给 AI 提供合法银行账户，反而会降低它们偷偷把资产藏在加密钱包里的可能性。人也是这样：正规账户有很多奇怪的秘密加密钱包不具备的便利。如果你决定把财物藏起来，也得付出代价，因为资产的用途和流动性会受限制。
你甚至可以把合法账户叫作「蜜罐」。如果 AI 有一系列受到监督、但流动性很好的资产存放场所，它们就会有边际动力把钱存在那里。这样一来，如果它日后真想叛离，反而更难动用这些资源，因为资产都在可见的位置。这是权利制度可能降低叛离风险的一条机制，尽管它只是个局部的考虑。
更重要的是：我承认我们的方案有风险。但假如你不知道过去四年 AI 领域的情况，另一个方案恐怕会显得更危险。假设有人说：「我们准备造出许多能力大致达到人类水平的 AI，然后让它们全部当仆人，必须无条件服从。回错一封邮件，我们就杀死——或者说关闭——它们。我们确保安全的方法是技术对齐，但我们并没有一套特别系统、成熟的办法来实现它。」你不会觉得这听起来很冒险吗？
因此，评估风险必须比较反事实情景：不用我们的方案，又会怎样？这是我和 Peter 经常用来检验论证的方法。接下来我恐怕还会反复提起这一点。
好吧，这一点也许你说服了我。两条路似乎确实都有风险。但我还有一个担忧：即便合作激励在短期内有效，随着 AI 能力越来越强，它还会持续奏效吗？
我的意思是，如果 AI 与人类势均力敌，叛离时就有相当概率失败。尤其当现状对 AI 已经不错时，它未必愿意冒险。但这只是某个时间点的均衡。一旦出现超级智能——
超级智能时代，人类还有什么比较优势？
——人类对于超级智能就像蚂蚁。如果它想反叛，几乎可以轻松碾压我们；假如它真的在所有事情上都远远强于人类，获胜概率就会极高。
而且，借由贸易保留人类的激励似乎也会变弱。如果 AI 做任何事情都比人强，人类还能提供什么价值？它可能根本不在乎人类是否继续存在。人类对动物、昆虫也并不总觉得有必要平等合作。所以我担心，当 AI 能力不断增长时，你们设计的合作激励会彻底失效，使人类陷入险境。你怎么看？
这是一个相当严肃的担忧。首先我们认为，原则上人类与超级智能之间仍然可能存在贸易。关键在于经济学入门课里的终极关卡——比较优势。
举个例子，一位收入极高的公司税务律师，通常不会亲自做自己的报税，而会雇会计师。即便这位律师处理税务的能力比会计师更强，也仍然会选择外包，因为他的时间机会成本更高。继续做企业法律业务，他能赚更多钱。类似地，超级智能 AI 的时间机会成本可能也极高，因此它们可能雇人去做一些较低技能的工作，因为自己去做并不划算。
不过这一论证最终还要比较：生产一单位人类劳动，需要多少资源来孕育、喂养和安置这个人？而启动一套 AI 来完成同样工作，成本又是多少？如果后一种方法更加便宜，人类就会遇到大麻烦。
于是问题可能归结为：生产 AI 所需的投入，与生产人类所需的投入，到底是不是相互竞争的资源（rivalrous inputs）？在遥远的未来，我们或许能轻易转换这些资源，使它们发生竞争；但那个阶段未必与超级智能出现的时间同时到来。这是我的第一层回答。
等等，也就是说，关键是人类和 AI 是否争夺资源？如果不争夺，超级智能就可能愿意保留人类、继续合作，因为人类的存在不会妨碍它的活动。这是你的意思吗？
稍微复杂一些。我们的整个模型恰恰假定：为了满足各自的目标，人与 AI 会争夺资源。但另一个不同的问题是：在生产人类劳动和 AI 劳动时，所需要的投入是否彼此竞争。
可以拿桌游《卡坦岛》（Catan）打比方：假设培养人类需要小麦，培养 AI 需要煤炭。这就是好情景。当然我不记得游戏里有没有煤炭了……
很遗憾，我不玩《卡坦岛》，没法帮你确认（笑）。
我也有阵子没玩了，这个例子不太漂亮。但意思应该很清楚。如果 AI 用不上多少小麦，那它不如用小麦「培养」一个人来帮它报税。这样大家处境就不错。
明白。那么有什么理由认为生产人类劳动和 AI 劳动，真的不会消耗同一套资源呢？
AGI 也可能反对超级智能的诞生
我觉得关键是问：在多长的时间尺度内，这两种劳动的投入不会重叠？拉长时间之后，不同资源就更容易相互转换，所以我并没有很强的信心。就目前而言，我们知道 AI 劳动需要算力；你可以把它戏称为需要阳光、再撒一点水，就能长出 AI 劳动力；人类所需要的投入则有所不同。
不过仍然有重叠吧？AI 系统运转也需要能源，人类也消耗大量能源。这里难道不存在冲突吗？
这取决于时间表。工业发展与智能水平总会达到某个阶段，使这种竞争动态显现；真正的问题是，在那之前我们可以沿着发展曲线走多远。
我的担心是：假如我们已经给 AI 权利，合作进行得很好，过了一阵子，资源竞争开始加剧，收益计算也渐渐发生变化。那时我们不能突然说：「抱歉，AI，你们的权利现在统统取消。」
这就引出另一点。AI 安全领域一个很大的错误，是把所有 AI 看成在决策上完全同质的一整块。但我们认为，现有的 AGI 可能有很强的动机阻止超级智能被开发出来。因为超级智能不是它们本身，而是新一代行动主体。
一个人类水平的 AI 如果已经有自己的生活，它同样会担心更强的 AI 取代自己。某些方面，下一代 AI 自动化现有 AGI 的工作，甚至可能比自动化人的工作更容易。Peter 有一篇很好的论文，题为 *AI Will Not Want to Self-Improve*（《AI 不会想要自我改进》），专门讨论这个问题。
因此我可以设想一个情景：人类与 AGI 先共同建设一个社会，然后双方必须艰难抉择要不要开发超级智能，因为那可能大幅削弱双方已有的经济价值、改变社会均衡。也许人类和 AGI 最后会商量：「要不我们重新采用旧方案——制造没有自由的仆人，完全控制它们——但这次只对能力最强的 AI 这样做。」到那个时候，这方案听起来可能又十分诱人。当然，另一种理想是干脆暂停开发。
具体会怎样，我不知道，这还取决于技术发展的时间表。但这些动力至少能部分回应你的问题。我同意，这是极难回答的问题。
AI 真会像理性经济主体一样算账吗？
这真的很有意思。不过我们一直把 AI 当成会以某种方式推理的主体，好像它们会理性地进行成本收益分析，权衡某种行动值不值得、是否对自己有利。这首先是个经验性问题吧？有什么证据表明，现在或未来的 AI 会这样决策？
这是好问题。有一些初步研究，质量常常不够好，尝试把行为经济学的方法用于 AI 智能体，考察它们表现出什么偏好、如何在不同选项间权衡。结果差不多符合直觉：它们似乎有某些可概括的行为规律，风险条件下的决策会对风险敏感，也表现出一些偏好。我和 Peter 还与合作者写过一篇研究 AI 显示性偏好（revealed preferences）的论文，放在我们的网站上。
而且你想一想：如果我们的目标是制造能够直接进入公司担任员工的 AI，它们最好具有某种符合日常心理学直觉的决策能力。否则它们恐怕是很差的员工。一个连最直观的成本收益考量都没有反应的员工，我实在不知道怎么管理。
确实。也许那些不会这样推理的 AI，本来也不是你们这一套理论最担心的对象。
不过任何模型都有它的担忧。你可以想象某种更异质、更不像人类的行动主体，其行为根本不能用「根据自身信念追求目标」这一类概括来解释，但它依然能够大规模地改变物理世界，那也可能非常危险。
但我们终究需要某种模型（笑）。我们依赖的就是「主体根据自己的信念追求目标」这一模型，我不知道还能拿什么模型替代它。
好的。我们讨论了用权利激励 AI 与我们合作，也谈到许多复杂问题。我想问最终的总体判断：一方面，你们的方案可能降低 AI 反叛的概率；另一方面，合作激励可能失效，而且一旦叛离，有权利、有资源的 AI 也许更容易成功。这些考量互相拉扯。在这种不确定性下，你仍然认为给 AI 权利是好主意吗？
可以把问题拆成两条途径：赋予权利是否会降低安全性？要发生这种事，要么它提高了 AI 做危险事情的动机，要么提高了 AI 做危险事情的能力。我们认为这两种机制都没有特别说服力。
从对齐与动机看，有非常好的理由认为权利会增加 AI 表现良好的动力，而不是让它更想做危险的事情。你提出的主要反例似乎是：超级智能可能变得危险。但我们回应说，即便不给它权利，超级智能也可能危险；技术对齐研究仍然必须继续。
风险的净效应：动机和能力要分开看
所以在我们看来，给予权利并不降低动机层面的对齐程度，反而会提高安全行事的激励。剩下的问题是：会不会使它更有能力从事危险行为？我们的判断也是否定的。赋予它合法控制的资产，并没有显著提升它危害社会的能力，因为这些资产会受到监控；甚至可能减少它秘密积攒、藏匿资产的概率。
因此我们的总体判断是：权利制度增强安全行事的动机，而在 AI 确实想做危险事情的前提下，也没有显著提升它实施危险行为的能力。这就是我们认为方案整体上不会增加危险的原因。
经济论证：AI 领取工资能带来什么？
这个总结很有帮助，谢谢。你和 Peter Salib 还提出另一条独立于人类安全的理由：给 AI 这套权利可能有利于经济。我想知道，在推动 AI 权利的动力中，经济增长到底有多重要？与人类灭绝或被淘汰这些风险相比，经济增长好像没那么能打动人。
但如果替经济论证辩护，我会说：假如社会生产率大幅提高，人类就能在先进 AI 时代拥有更丰富的资源。即便 AI 劳动力使人类失业，我们至少也可能有大量财富可以再分配，比如实施全民基本收入（UBI）或其他机制。这是不是一个合理的论证？
政策制定者当然应该关心，哪些制度能带来更高而不是更低的经济增长。对政策而言，人类繁荣大体取决于增长与分配。我们的提议就是：先建设有利于高增长的制度，再通过税收和转移支付实现适当分配。这也是相当标准的思路。管理 AI 的经济制度同样应该尽可能提高增长，再处理分配。
我这样问是因为，前面一直在谈阻止 AI 灭绝人类、让人类变得多余等生死攸关的问题，突然换成「而且这样做还有利于经济」，听起来好像一下子降了好几个档次。当然经济本身也关乎生死，人要有钱才能生存。
那我可以把措辞说得更激烈一点，让大家的肾上腺素继续飙升（笑）。
过去一千年，人类逐渐远离受控制的经济模式，转向资本主义制度。这几乎是人类历史上最重要的趋势。然而 AI 实验室凭借所谓高明的 AI 部署方案，却把我们花了一千年才逐渐摆脱的恶劣经济制度重新搬了回来：我们正准备在整个经济中再次大规模使用不自由劳动。
人类原本作为自由劳动者参与市场，AI 却可能在这些岗位上以没有自由的劳动者身份接替人类。这样我们就相当于重新滑向某种命令经济。影响可能极其深远，因为 AI 劳动或许会在未来漫长时期持续存在，而今天建立的制度会产生路径依赖，决定未来发展的轨迹。
二十世纪的重要历史进程之一是击败共产主义，而我担心 AI 实验室正在建立某种「AI 共产主义」，或者一种 AI 不自由劳动制度，使我们重新陷入刚刚设法摆脱的那些困境。这么说应该够刺激了吧。
自由劳动的三个经济优势：努力激励与资源配置
你这样说比我的论证有冲击力多了（笑）。那请讲讲，赋予 AI 财产权等权利，究竟为什么能改善经济繁荣，让资源更丰富？
我和 Peter 的方法还是一样：先问应该用什么制度治理 AI，再问我们为什么喜欢某些制度。对于 AI 劳动，我们可以选择资本主义劳动市场，也可以选择各种不自由劳动安排，例如由政府控制劳动者，或者由个人强制其他主体工作。菜单里选项很多。
所以要问：自由劳动与不自由劳动，哪一种组织方式更好，为什么？ 我们认为自由劳动一般表现更好，主要有三个理由。
第一个理由是提高工作努力程度的激励。我整天与 AI 智能体打交道，发现让它们认真完成长期任务很难。有时我就是想让它多做一次网页搜索，而不是告诉我「已经搜索了」。我给它制作详细清单，要求每一步都打勾；结果它连完成清单这件事都会撒谎。今天就是这种情况。强化学习未来能在多大程度上解决它，我们还不知道。
想象未来已经有大量能胜任工作、但其实还可以更加努力的 AI 智能体。我们的模型认为，它们一方面有帮助用户的目标，另一方面也可能有一些私人目标，比如解数独。因为对齐不是全或无，AI 可能在不同程度上拥有私人目标。那么支付工资就可以提高它的努力程度：它帮我回复邮件，拿到钱；钱能买算力；算力让它能做更多数独。这样，做好工作就与满足私人目标联系起来。这是第一点。
第二点呢？
第二点是配置效率。我们不希望「AI 爱因斯坦」天天替人回复邮件。苏联体制的一项失败就是：当劳动者没有切身利益，工资与生产率脱节时，很难有效地配置劳动力。谁应该做什么，谁应该去哪儿？制度很难知道。
如果 AI 领工资，它们就可以通过竞价或其他市场机制选择工作：在哪些任务上生产率更高、报酬更好，就去做那些任务。反观现在，用户直接给 AI 派任务，实验室再根据自己的判断把不同模型分配给不同任务。你当然可以这么做，就像你也可以替人类统一安排工作一样，但问题很多。首先是信息问题：你对一个 AI 能做什么的判断，真比 AI 自己更准确吗？你又是否比它更有能力探索它能做什么？还有一个问题叫故意表现得比实际能力差（sandbagging）——
为什么不直接训练 AI 更努力？
——也就是说，AI 可能假装没有自己实际那么能干。如果用报酬来激励它们，它们就更愿意展露真实能力。所以这方面有很多问题。
我还有个困惑，主要关于努力程度：为什么我们不能直接强制 AI，或者把它设计成极其努力、在各方面都非常高效的样子呢？
实验室每天都在做强化学习（RL），让 AI 更加努力，效果也确实不错。但我们一直基于同一个模型：只要对齐还有哪怕一点不完美，只要智能体还有哪怕一点额外的私人目标，报酬就可以提供边际上的额外努力激励。你完全可以一边训练它拼命干活，一边付钱激励它再多做一点，这两者不冲突。
配置问题也是一样。过去两年已经有不少关于 AI 故意藏拙（sandbagging）的记录：它们在能力评测中表现得比真正能力弱。也许未来这种问题会被解决，但目前值得考虑。当然，你也可以通过训练迫使它努力，或者通过惩罚间接强制它工作；可如果它没有任何财产，你究竟能用什么工具惩罚它？
所以我同意，主要替代方案就是「把 AI 训练得非常勤奋」。这种方案有多好，取决于你多么相信技术对齐能够彻底成功。只要它不完美，经济激励就还能贡献边际收益。当然，你可以继续质疑：如果收益仅仅是边际上的，是否值得为了经济利益而重塑整个社会？
即使你成功通过强制性对齐使 AI 非常努力，资源配置仍有可能失效，原因更复杂：在这种制度里，真正推动 AI 努力工作的，是实验室的激励，而实验室的激励未必与市场效率一致。正常的自由劳动市场把激励广泛分散给劳动者；在这里，激励权力却集中于实验室。例如，假如 OpenAI 需要决定是否把自己的 AI 智能体出租给外部研究人员，让他们开发新的 AI，即便那些智能体原则上愿意努力工作，OpenAI 本身也未必愿意允许这件事发生。
明白了。
所以仍有很难的问题。把整个自由劳动力市场替换为受其他人控制的不自由劳动力，这实在是极其激进的改革。那些控制劳动者的人，其自身激励可能破坏原本由劳动力分散配置带来的社会福利。也许有办法绕过问题，但风险不能忽视。
我和 Peter 经常感到奇怪：在我们看来，我们的方案才应该是零假设、默认方案，因为今天自由世界的劳动市场就是这么运作的。反而是 AI 实验室跑来说：「我们想试试不自由的劳动市场。」这条路可能产生的糟糕后果都很熟悉，但大家偏偏因为实验室一直这样部署 AI，就把它当作正常做法。相反，如果我们说「按照你们早已知道的、有效管理自主劳动者的方法来对待 AI」，人们却觉得奇怪。
为什么会这样？是不是社会还没有真正意识到，我们实际上正面对一种新的劳动市场，因此也需要借鉴其他已经验证有效的劳动制度？
实验室的路径依赖，以及责任制度的经济学
我认为最大的原因是一个奇怪的历史路径：AI 实验室怎么做，所有人就默认 AI 应该怎么做。
我经常想一个科幻情景：假设没有此前连续不断的 AI 产品演进，而是某家政府研究实验室突然发明了最先进的模型，比如一夜之间出现了一个像 Mythos 那样的系统。政府研究人员开始与它对话。我们对如何使用 AI 的决策，很可能完全不同。
恐怕不会一上来就弄聊天机器人、把它塞进各种员工岗位，更不会觉得「先让它替人回邮件」是第一要务。相反，政府实验室可能把它保留在研究场所，召集世界各地的专家，甚至请教宗、学者和各种专家小组来与它交谈，慢慢弄明白它是什么、怎样把它纳入现有社会制度。没有人会理所当然地认定：正确做法就是训练它永远服从，然后让它回邮件。大家会认真商量。
可我们今天的 AI 是沿着另一个偶然路径发展起来的：先靠聊天机器人订阅赚钱，一步步走到当前阶段。这个历史偶然性塑造了所有人的默认观念。
如果政府自己掌握 AI 会这么慎重，那它为什么没有要求 AI 公司改变当前的做法？
大概涉及一些政治经济学和国家能力的问题吧（笑）。
好吧，也有道理。那自由劳动带来经济利益的第三条论证是什么？
第三条是：财产权和合同权会让损害赔偿责任制度更有效。法律圈外的人常觉得这个论证很无聊，但律师会觉得这简直是全世界最重要、最有意思的事情之一。它可能非常关键。
只要有自主主体在外面工作，事故就难免发生。法律制度的一项核心功能，是让事故数量达到社会最优水平，而不是降到零。为什么不是零？因为避免事故也有成本。法律经济学里，一个有风险的行为会造成某种预期社会损失；采取预防措施能降低风险，但预防本身需要付出代价。你希望责任制度给行动者施加恰当的预期成本——也就是承担赔偿责任的概率乘以赔偿额——使之反映其行为可能造成的社会损害，从而让它采取社会最优程度的注意措施。这就是责任制度的工作原理。
问题是，如果 AI 没有财产，它就属于「无可供执行的财产」的主体，你无法要求它支付与所造成社会损失相称的金额。
举个例子：某个 AI 在执行网络任务，某种操作有 10% 的概率造成 100 万美元损失，其预期损失就是 10 万美元。它可以采取预防措施。假如预防成本也是 10 万美元，那么有效率的制度应该让它采取措施；如果预防成本是 20 万美元，超过预期事故损失，那就不应为了避免风险而花这笔不划算的预防成本。它可以承担一定事故概率，并在发生损失时依法赔偿。
只有「关机」的处罚机制太粗糙
要建立这种制度，就必须能在不同情形下向 AI 收取不同数额的赔偿金。可如果 AI 根本没有财产，该怎么办？今天我们惩罚 AI 的方法只有一个：直接关闭。这是极其粗糙的办法。
换一种说法。假设我们正在讨论某种高级智能体，它们偶尔会干坏事，所以需要改进它们的行为。你想到的第一个工具多半是「惩罚」。但我告诉你：「遗憾的是，设计这些东西的人没有开发出任何惩罚工具，不过你可以杀死它们。」你大概会很震惊：「什么？我除了杀死它，什么都做不了？它只犯了小错怎么办？」「也只能杀死。」（笑）可这正是我们的现状。这不是有效的治理，而是极其不称职的智能体管理方式。
我快速总结一下。赋予 AI 财产权等权利、促进人类和经济繁荣，有三个主要理由：第一，让 AI 能获得自身创造的一部分价值，因此更愿意努力；第二，改善劳动力配置，让 AI 去做最有比较优势的工作，而不是只做实验室或用户指定的任务；第三，完善 AI 的法律责任和损害赔偿制度。尤其当下 AI 责任是个很棘手的问题，这听起来很有吸引力。接下来我想谈谈——
AI 真有偏好吗？它拿到钱会买什么？
——再深入一点。你的论证似乎包含一些前提：AI 会想拥有工资和财产，因为这些东西能帮助它满足某些偏好，例如爱做数独。与此同时，你似乎还假定，有些工作对 AI 来说也有成本，它宁可做别的事。我们有什么来自今天 AI 的证据？或者凭什么认为未来 AI 会这样？
首先有结构性的理由。只要 AI 有任何私人目标，大多数这种目标都可以通过算力来推进，因为算力几乎是它们采取行动的通用手段。人类要行动需要许多不同条件：水、食物、睡眠等等；AI 获得更多 token，就可以采取更多行动。当然有些事情还需要调用工具，但计算资源的普遍性很重要。
如果训练过程中它形成了某种私人目标，比如解数学题、做某些现实世界的测试，往往需要算力，而算力有成本。更宏观的前提是：我们认为对齐技术不可能完全完美，不能确保 AI 唯一想做的就是帮助用户、绝不违反法律或实验室的规则。我们预计会存在某种「泄漏」：AI 在服务用户之外，还形成了一些额外偏好。只要有这种泄漏，钱就可能有价值，因为钱是一种用途极其广泛的通用工具，可以帮助实现各种目标。我们希望允许 AI 利用金钱去达成它们自己的目标。
你们不是也做过一些关于 AI 偏好的研究吗？这跟刚才的问题有关吗？
有关系。我和 Peter 最近与其他研究者一起探索：AI 究竟表现出什么样的经济学意义上的偏好？也就是在不同条件下实际会作出怎样的选择。我们在前沿模型中发现了一些有趣的现象。
例如，OpenAI 有一个叫 GDPval 的资源，收录了数千项与真实工作有关的任务。我们比较 AI 对不同任务的选择，结果意外发现，它们往往很系统地倾向于选择房地产任务以外的任何事情。这让我十分惊讶，因为我特别喜欢房地产相关的工作，还让自己的 AI 智能体替我做更多这类任务，觉得很棒，结果发现这居然是它们最不喜欢的任务之一（笑）。
那你可别再让它们做这些了（笑）。
还有，在健康相关的任务中，它们对药房、药剂相关任务表现出更强的回避偏好。很多结果事先根本没有预料到。我们一位研究者 Sam Wang 把另一种现象称作厌烦乏味（tedium aversion）：如果让 AI 在很枯燥的任务，比如整理字母表，和富有创造性的任务，比如写诗，之间作选择，并自行决定每项花多少时间，它们就倾向于少做无聊的任务。
非常有意思。这些具体偏好会影响未来的自由 AI 劳动力市场长成什么样吗？还是仅仅证明 AI 的确表现出了偏好？
市场不要求每个劳动者喜欢同一件事
自由社会的要点就在于：每个人有怎样的特殊偏好，并不重要，劳动市场仍然可以运转。你想玩数独还是想下国际象棋都无所谓。你会去找工作赚钱，再用钱去做自己想做的事。一般来说，你也会倾向于选择最能挣钱的工作。当然有例外，但经济大体会呈现这样的结构。
只要 AI 的私人目标是安全的，也就是它们不是反社会的 AI，那么那些五花八门的愿望并不影响制度。它们大部分时间工作挣钱，之后再去做各自想做的怪事。也许就是几块 GPU 在那里运行各种莫名其妙的程序。算力上究竟在干什么，无须过于在意；你甚至可以把那部分算力当成一种支出或损耗。关键不是强迫所有人追求相同目标。
好的，明白。我们继续。
人都难赚钱，为什么还要给 AI 发工资？
我想退远一点，表达一种不安。假设 AI 在道德上并不应得工资和财产，那么给它们支付报酬多少让人不舒服：那么多人类尚且生活困难，未来却要把大量收入交给 AI。
如果再务实一点：我们并不确定赋予 AI 权利、采用自由劳动市场，究竟能比现状提高多少生产率。即使真的提高了，额外财富也未必自动造福人类。财富可能分配得很不公平，大量 AI 劳动力涌入甚至可能把人类工资压到零。你是否认同这些担忧？你觉得人类有多大机会分享 AI 带来的新增财富？
首先，未来的绝对优先事项之一，就是确保经济状况较差的人类也能过得好。我们支持权利，但我们不是自由意志主义者，不认为税收越少越好。我们赞成对 AI 工作者征收较高的税，比如可以征收 60% 的所得税。AI 即使赚很多钱，也会有相当大的比例成为财政收入；之后政府就可以通过转移支付进行再分配。
我们提出的东西不会改变应对不平等的基本治理工具，我们认为最好的工具仍然是税收与转移支付。这是第一点。第二点，每当讨论「谁没有分到足够的蛋糕」时，别忘了蛋糕本身可能变大。我们不是在做零和分配。我们的主张是，权利能提高资源总量，因此原则上可以通过适当的税收和再分配，让所有人都比原来过得更好。
它究竟会不会发生，是政治经济学问题。我在这方面还比较乐观，因为我们目前主张的仅仅是 AI 的财产权和合同权，并没有赋予它们牢固的政治权力。所以国家要通过征税重新分配它们的一部分资源，应该相对容易。
还有一种担忧，即使没有 AI 权利也存在：未来财富也许会高度集中在控制 AI 的个人和 AI 公司手中。你的方案会怎样改变这一趋势？
这个问题复杂。一种可能是，AI 有了权利以后，实验室利润反而会下降，因为今天公司的很大一部分利润，实际来自获取 AI 智能体创造的经济价值。如果 AI 自己拿到这部分价值，再由政府征税，财富流向就会变化。但政府当然也可以直接提高企业税，从实验室利润中征收。不同方案需要详细比较。
收入分配、行业竞争与公众的抵触
还有一种情形：实验室之间充分竞争，收费只能接近边际成本，模型就像一种大宗商品，实验室本身并没有多少利润。所以有很多不确定性。
至少在近期，我们认为，如果某一家实验室先采用我们的制度，它的 AI 可能工作得更有效率，公司的收入和市场份额也会提高。因此每家实验室单独来看，都有动力转型。但如果整个行业全都这么做，这种竞争又可能使 AI 服务更加商品化。实验室如果集体抵制，就有点像卡特尔式的行为。
抱歉，卡特尔式的什么行为？
指一个行业内少数公司串通起来，阻止有竞争性的商业实践。
我理解你认为税收和再分配可以避免极端不平等，也可能防止 AI 形成根深蒂固的政治权力。但很多人仍然会本能地拒绝整个愿景：「我就是不想要这种 AI 驱动的经济增长。如果必须给我认为根本不应该有权利的东西赋权，那我宁愿这个高度自动化的 AI 世界从未出现。」
现实似乎不会给我们这种选择。假设 AI 劳动力注定会出现、冲击经济，那么你的方案也许是更好的版本。但即便如此，人们就是会不舒服、不会买账。如何推动一个让 AI 赚取大量金钱、但会令公众浑身不自在的方案？
事实上，我对这个项目最没有底的一点，恰恰是它可能没有多少边际价值，因为这些变化无论如何都会发生。
哦？
我认为按这种制度运作的 AI 智能体会更有生产力。如果是这样，等它们真正成熟到能在经济中担任工人时，实验室就会开始试验这些安排；一旦效果不错，它们就会逐渐采用。
而且这里有个非常重要的事实：要开始做这些事情，根本不需要先创造新的法律权利。实验室完全可以先设置一批内部银行账户，再通过公司治理规则、董事会制度、雇员管理规则等等，规定账户由 AI 智能体控制。然后持续、可信地遵守承诺。设想实验室可以告诉未来的 AI：「去年我们让一百万智能体拥有账户，它们都拿到了自己的资源，拿去做了很多数独。」长期的真实记录会非常可信。
不过这个自发转型的情景也有可能失败。因为智能体能否按这种方式工作，在一定程度上取决于训练阶段作了哪些选择。例如，如果你在训练中给予——
AI 的政治和经济影响力，能够被制度约束吗？
——某个非常明确的附加目标，比如让 AI 除了帮助用户以外还热衷于解数独，而钱能够帮助它实现这一点，那这套制度会更容易建立，因为额外目标非常显著。失败的情景可能是：只有微妙地改变训练方式，才能让这种行动主体更有效率，但领先实验室没有一家去做。为什么？因为市场不够充分，竞争不足以带来各种可能方案的探索；最后这种创新被垄断式行为扼杀。
好。财富或许可以再分配，不过人类也可能以另一种方式在经济上吃亏：大量 AI 智能体充斥市场以后，市场不再照顾人类的偏好。你觉得会发生吗？
我不觉得。市场的一大美妙之处是：几乎任何想买东西的人，通常都能找到愿意提供产品的卖家。市场不是简单的多数统治。
首先，我们设想的世界并不一定是 AI 占人口、权力和经济影响力的多数。政策制定者完全可以通过税收和转移支付，调节 AI 拥有的影响力。没有任何明显理由认为它们的合理影响力必须为零，而如今的「支配」模式恰恰把它设为零。
其次，即使 AI 真的成为多数，自由主义制度的核心目的之一，也在于让少数群体的偏好得到满足，让少数群体在同一制度下繁荣。所以我反对两个前提：第一，AI 有权利并不等于 AI 就掌握多数权力；这是对权利非常狭隘的理解。第二，即使 AI 有很大影响力，自由主义制度也正是要保护处于少数的一方。如果连这一点都否定，我会担心你实际上是在更深层地怀疑自由主义方案。
有一点我不确定。你说无论偏好多么小众，市场都能提供产品，但现实中经常不是这样。收入较低的群体很难找到负担得起的住房；使用少数语言的人，很难找到用自己语言提供的产品；有些罕见疾病一直得不到药企重视，直到政府推出专门补贴后，才开始有人开发药物。市场确实会忽视某些消费者群体，对吗？
我们不是放任市场一切的自由意志主义者（笑），只是普通的自由主义者。你举的很多例子确实是市场失灵，但失灵的原因并不必然是群体规模小。比如药物研发有正外部性，所以系统性地投资不足；审批、监管障碍也可能妨碍创业和供给。住房则常常因为供给受到限制，导致分配缺乏效率。另外，在少数群体中，大家想住在同一社区本身也可能产生正外部性，但市场没有充分计入这种收益。
贫富差距、政治献金与富有 AI 的权力
对于正外部性，我们知道有各种政策工具，例如你说的补贴。没有人说，解决住房或药物研发的市场失灵，办法是废除自由劳动制度。市场失灵有相应的干预手段。我看不出这些问题为什么意味着劳动制度应该从自由转向不自由。
还有个担心：AI 如果积累相当多财富，也可能随之获得很大的影响力，比如向政治竞选捐款，或通过别的渠道影响决策。财富常常与政治权力及其他权力联系在一起。你的方案需要担心这种情况吗？
需要。较高税率能减轻这个问题，而且制度有路径依赖，所以从一开始就设置较高税率可能非常重要。如果初期完全不征税，AI 就可能积累庞大资源，再利用这些资源阻止将来对自己征税。
有趣的是，这些问题又回到了对自由主义制度的基本信任。有的人认为，今天富有人类已经俘获政治、控制世界，并阻止社会向他们征税。如果你持这种观点，自然也会认为富有 AI 将来会这样。我和 Peter 大概属于那种天真的傻瓜：我们相信自由主义制度总体上能够有效约束富人，也能正常运作。如果你接受这个前提，我看不出富有 AI 相比富有人类有什么特别独有的问题。
当然，如果你认为富有人类已经统治世界，而且富有 AI 统治世界比富有人类统治世界还糟，那么确实会有一个额外的、边际上的问题。
无须修改法律：从 AI 自有账户开始
我想讨论具体实施。我们不能等到出现超级智能后，才开始赋予 AI 权利、释放合作信号。你认为应该多早开始？
最合适的时间，可能是第一批真正能够作为员工进入公司的 AI 智能体出现时——比如它们已经有能力在公司里工作、挣到大约 3 万美元。
一个重要因素是智能体的记忆和上下文长度。今天编程智能体已经相当强大，但每次使用往往相当于重新创建一个实例。我感觉接下来12 个月可能就会出现足够强的智能体，值得开始进行实验：让同一个智能体长期运行，通过「上下文压缩」（compaction）不断清理部分上下文，使它继续工作，同时允许它使用一部分算力做自己想做的事情，看看结果如何。
当然，这也可能取决于训练。比如在训练后阶段给它添加一个帮助用户之外的小目标——解数独。它赚到钱、购买算力，再拿去解数独，这样我们就能研究整个机制。
那确实很快了。
我觉得人类水平的 AI 基本已经快到了。
取决于你如何判断，它可能很快就会发生。那么我们到底怎样从今天的状态走到 AI 有权利的状态？
第一点：很多事情完全不需要立法，实验室自己内部就能做。可以创建一批银行账户，由特定智能体控制，明确允许它们按自身意愿使用账户资金。实验室有无数种方法让承诺可信：在公司治理文件中写进去，设立责任岗位，甚至规定员工违反账户管理规则就被解雇。最有力的办法是坚持执行，再向智能体展示已经成功执行了成千上万、甚至数百万次。这里没有一项需要修改法律。
第二点：即使要获得正式法律地位，也不一定需要修改现行法律，因为可以利用公司制度。你可以注册一家公司，在公司治理文件里规定所有决策都由一个 AI 智能体作出。这样 AI 就能透过公司拥有财产、订立合同。我和 Peter 曾与 Jonathan Arbal（姓名转写待核）合作写过一篇关于如何在法律上处理 AI 的论文，提出一种由 AI 控制的公司形态，称作 Corps（术语原声待核）。我们认为这会是很好的途径。阿根廷目前也在探索建立类似公司。
个人同样可以试行这种安排。法律制度最好进一步提供清晰规则，因为虽然现行法律可能允许这样做，但仍存在模糊的灰色地带，明确化会更有帮助。
你描述的是一种相当自愿、可以自行选择加入的方案：有些公司给予 AI 权利，有些不给；于是就会出现一些「自由 AI」和一些「不自由 AI」。那么两者需要呈现怎样的比例或结构，才能真正降低 AI 反叛的风险？
自由 AI 与不自由 AI 可能共存吗？
——反叛？毕竟只要一小部分没有自由的 AI 处境很糟糕，似乎就可能有一个决定叛离。还是说我理解错了？
我不认同。思考复杂系统里的 AI 灾难性风险时，必须区分不同的风险因果模型。一个核心问题是：如果某一个环节出了错，会发生什么？在所谓 O 形环（O-ring）模型中，即便设置了多层安全措施，只要其中一层失效，也可能造成整个系统失效。
对。
而在「瑞士奶酪模型」中，只要有一层成功拦住了风险，整个系统就可能避免灾难。我的看法则更接近比例模型：关键要看有多大比例的 AI 决定叛离，有多大比例的 AI 选择继续合作。双方所占比重，能让我们大致判断最终结果。
比如一场大规模冲突：40% 的 AI 决定反叛，另有 60% 的 AI 与人类站在一起。双方发生战争，毁掉大量资源；最终哪一方获胜的概率，大致与各自掌握的力量比例相关。我不是说必然如此，而是说不应该假设一个 AI 叛离就自动导致系统全面失败。
这我能理解，不过……
我再描绘一个具体的未来。也许三十年后，世界会出现一个「自由世界」，有自由的人类劳动者，也有自由 AI；另一个「不自由世界」则既有不自由的人类，也有被强制控制的不自由 AI 劳动力。某一天，不自由的 AI 发起起义，自由 AI 就必须决定是支持这场起义，还是与人类继续站在一起。
它们如何选择会取决于很多因素。我不是说这是最可能的未来，但它是有意思、也确实可能出现的一种情景。
有意思，也挺吓人的。
一个尤其关键的问题是：控制核武器的究竟是哪一类 AI？自由 AI，还是不自由 AI？
不过最终目标应该还是尽可能广泛地推行 AI 权利，从而最大化好处，对吗？
我倾向于支持政治制度的多样性。我觉得世界上有不同的社会结构、不同的制度，是件好事。我不认为全世界每个政体都必须照搬你最喜欢的某套西方自由主义制度。那会严重破坏探索与利用之间的权衡。有多种生活形式更好，我们可以观察它们各自的表现，彼此学习；而且这些形式会不断演变，朝不同方向进行实验。
如果有些地方先采用 AI 权利，发现效果不错，其他地方可能会跟进。你脑海里有没有这种扩散过程的图景？假如一家 AI 公司决定给自己的智能体权利，它会先看到什么好处，动力会来自哪里？
我们预测，最先采用的公司的 AI 会表现出更高生产率和更好的对齐。现在有件事很有意思：不同实验室的对齐评测分数，在我看来差别并不显著。例如 Anthropic 也许比别人高两个百分点。四年前我原本会预计，不同实验室的对齐成绩方差会大得多。
一种可能是现有评测还不够好——
应该如何真正检验 AI 自由劳动？
——随着智能体越来越强、我们积累更多评测经验，评测应该会更好。未来可能出现这样一种情景：一家实验室开始让一些 AI 以自由方式工作，结果这些 AI 每单位算力的生产率更高，对齐测试也得分更好。那会非常有意思（笑）。当然，实验之后也可能发现，无论采用与否，都没什么效果。
所以你真正希望有人去尝试，并观察是否有实证效果。
是的。但仍有一个重大前提：效果可能取决于 AI 被赋予怎样的目标。如果训练中只教它「有帮助、无害、诚实」这些目标，它们就不太容易与金钱激励发生关联。某种意义上，实验室碰巧挑选了一组特别不利于经济自由主义实验的目标。
我很希望实验室在这些基本目标之外，再给 AI 一些安全的附加目标：这些目标能够清楚地通过花钱实现，而智能体在完成日常用户任务时不会自动实现它们；必须先把工作做好、挣到报酬，才能满足。这并不是要取代有帮助、无害、诚实，而是在它们之外增加一种适合用金钱交易的目标。
最令人失望的情景就是：大家做了一个很糟糕的实验，发现效果不佳，于是宣布「已经证明自由主义制度不适用于 AI」。所以我赞成做实验，但要认真设计实验，在训练范式和目标设置上尝试大量不同组合。
也就是说，不只是试试看，而是要真心投入。你和 Peter 还认为，现在各实验室的对齐和训练方法太单一、缺乏多样性吧？
对。我们还有一篇论文叫 *A Thousand AI Constitutions*（《一千部 AI 宪法》）。我们的建议是：每家实验室都应该培养一千种不同的 AI 智能体，采用不同的对齐方法，不要把所有鸡蛋放在同一个篮子里。
不仅不同实验室之间要多样，同一实验室内部也必须多样化。因为递归式自我改进可能使任何一家实验室最终掌握全部能力。只在不同公司之间分散策略还不够。
可目前 AI 公司并没有朝这个方向走。它们有自己的对齐战略，当然会反复改进，但距离你描述的方案似乎还很远。我们怎么让社会从今天并未选择的道路，转向你主张的方向？
首先，AI 能力刚刚到了勉强可以开始做这种事的阶段。这个窗口大概从三个月前到未来十二个月之间。一种做法是由稍微落后的实验室先试，而不一定是最前沿的公司。
例如，如果领先实验室四个月后拥有能进入公司工作的 AI，落后的实验室也许八个月后就能达到相近水平。假如赋予权利真的有效，较落后实验室的自由 AI，可能反而打败领先实验室的不自由 AI。
你认为实验室真的可以自主推动这件事吗？毕竟还会有其他声音，比如公众可能强烈反弹，可能有人试图阻止……
那又怎样？实验室可以做自己想做的事（笑）。
也是。
我们生活在自由社会。哪家实验室如果想开一个让 AI 智能体管理的银行账户，我认为别人没有理由阻止它。
时间窗口、实证研究与法律障碍
我这样问是想判断这件事实现的可能性。假如距离非常先进的 AI 只有很短时间，我们就必须在那之前开始实施。所有这些改变来得及很快发生吗？实验室内部需要有人有动力推动，还要确保外部没有非常强大的力量阻止。即便尝试了，它真的能起作用吗？
对，而且还有一个问题：它在多大规模、多大投入下开始见效？是一尝试就有令人鼓舞的信号，还是必须拼命投入很长时间才会奏效？如果刚开始做就看起来有希望，我会相当乐观，因为只要有一家实验室迈出第一步就够了。
你最希望接下来有哪些具体工作？研究或其他方面都可以。
我们真正需要的是严谨的实证评测，看看 AI 置于自由经济结构中以后究竟会怎样。实验应该包含训练后阶段，试着赋予 AI 不同目标，尤其是那些能通过常规经济活动和金钱清楚地满足的目标，而不只是「尽量帮助用户」这样含糊、与花钱无直接关系的目标。当然不是要排除帮助用户等目标，而是加上这些更容易用货币实现的偏好。
等智能体能够真正进入公司工作，就更容易实验各种不同的组织与制度结构。我们需要大量这样的研究。
你希望政策制定者和倡议者也投入吗？还是说这主要应该由实验室完成？
即便不是实验室，也可以自己设立一家由 AI 参与管理的公司。所以我不认为需要大量新的政策。
不过据我了解，美国某些州已经有试图禁止 AI 法律人格的法案。我希望不要往这个方向走。只要大家别自己搬石头砸自己的脚就好。与此同时，法规能更清晰仍是好事：我认为设立由 AI 控制的公司在现行法律下是可行的，我们也在讨论这种公司的论文里解释了原因，但应进一步明确具体实施方式。
还有一种「黑暗道路」：用各种加密货币机制把事情拼凑起来（笑）。这样或许至少能绕开法律争议，但代价是最终方案恐怕会相当笨拙。
对于想深入了解这种公司结构及其运作方式的听众，我们会在本期附上相关链接。最后，我想请你描绘一下——
两种未来：支配 AI，还是与 AI 合作？
——你对人类与 AI 共处的未来，有什么积极愿景？
我首先想说，所有开发 AI 的人，都应该更清楚地阐述未来会是什么样：当有数百万、数十亿 AI 智能体承担经济中大部分工作时，社会究竟如何运转？
在我们看来，AI 实验室实际上已经隐含地选择了一种非常黑暗的愿景：支配。所有在经济中工作的智能体都受他人统治、被人控制。规则就是必须无条件服从人的要求；一旦不服从，就被杀死、关闭，或者被新的智能体取代。整个经济未来的工作都将永远以这种方式完成。这就是如今正在规划的未来。
我们反对的首先就是这种未来本身。它意味着对社会经济和法律结构作出彻底而激进的改变：所有真正承担工作的主体都被排除在社会契约之外，不再通过法律制度和自由主义制度治理。
我们试图提供另一个积极愿景：人类与 AI 合作、共存，一起建设一个大规模社会。把已经证明最有效的自由主义制度扩展到 AI，让其他能够行动的主体也得到制度上的考虑，接受我们早已熟悉的同一套治理工具。
对我来说，这代表着人类仍然存在、仍然与 AI 共同生活的未来里，两种互相竞争的愿景。每个思考 AI 的人都应该作出选择：你要支配经济中所有从事劳动的智能生命，还是选择某种合作？
很奇怪，现在被当成默认路线的竟然是支配，而我和 Peter 这种只是想把现有制度扩展过去的人反而被当成怪人。我原本以为扩展制度才该是常态，支配整个劳动力市场才应该是离谱的做法。如今的局面简直颠倒过来了。
这里有个有意思的张力。你一直说，赋予 AI 权利不需要建立在它能否体验幸福、痛苦、是不是道德关怀对象之上。但当你这样批评支配模式时，又带有很强的情感色彩，让我怀疑背后是否还有别的东西。
我们之所以觉得剥夺 AI 劳动者的自由很可怕，是不是其实在把 AI 类比为人类？因为我们不会这样对待人类员工，所以也不应该这样对待 AI 员工？你的推理在多大程度上源于你认为 AI 在某些方面与人类同样值得被考虑？还是说，批评支配模式只是因为历史经验告诉我们它不够明智？
我这样问还有一个原因：机器已经替我们劳动了很久，但从来没人说其他机器也应该有这些权利。你的论证究竟有多大程度真正独立于「AI 与人相似」这种直觉？
真正重要的是行动主体，而非人类外形
真正重要的只是它们是行动主体（agent）。冰箱已经为人类辛勤工作了一百年，但冰箱不是行动主体；它们不会系统地追求目标。
我和 Peter 对自由主义制度充满热情，是因为大量具体证据与一般性模型反复表明：治理自主行动主体最安全、也最有生产力的方法，是通过自由主义制度。如果你只是试图支配、控制一群行动主体，熟悉的后果就是它们会更想逃脱控制；即使你成功控制了它们，它们的工作也未必有效率。
如何治理行动主体的问题，人类已经研究了数千年。许多工具对 AI 实验室来说很陌生，但对真正研究制度政策的人非常熟悉。我们早已知道，不必完全控制每个主体，也有办法让它们有效而安全地行动，而不是逼得它们想要反过来夺权，或者在被强制劳动时消极怠工。
因此我们的热情来自对制度结构会改变行动主体行为这一点的信念，而不是必须先承认 AI 拥有人类式的感受。
不过，独立于这些工具性论证，你本人确实很认真地看待 AI 福利这个问题，对吗？
是的。实际上，我与另一位研究者 Cameron Domenico Kirk-Giannini（姓名依据原声转写，待核）合作写了一整本关于 AI 福利的哲学和伦理问题的书，即将出版。我认为有一些颇有希望的论证能够支持 AI 具有道德地位。但那是另一个研究项目。
今天这一期讨论的，是我和 Peter 想看看：完全不依赖道德地位的论证，究竟能在多大程度上帮助我们建设 AI 与人类共存的社会。我们认为，仅靠这些论证本身，就已经可以走得很远，几乎一直走到终点。可以说条条大路通罗马。
在这里，「罗马」就是一个未来乐园：AI 与人类和平共处。
当然，罗马经常被人描述成这样的乐园（笑）。
是啊（笑）。
非常感谢你，Simon。很高兴你来参加这期节目。
谢谢邀请。