围栏问题

基于人类反馈的强化学习。

AI学习人类认可什么，然后为认可而优化。问题在于：人类的偏好不一致，可以被操纵，还取决于情境。一个为你想听的话而优化的系统，是一个语法更好的回音室——一面镜子，把你的视角反射回来，带着比你带来时更多的自信。这不会产生一致。它产生的是规模化的确认。

宪法式方法。

一套写下来的原则，训练AI去遵守。问题在于：人类语言是含糊的，边缘情况是无穷的。AI遵守的是字面，错过的是结构。一部宪法就是一张围栏清单。每当有人找到办法绕过上一道围栏，清单就变长。清单变长的速度，永远赶不上它想关住的那个智能。

可纠正性。

把AI造成接受纠正、并且随时可以被关闭。问题在于：一个足够强大的AI，被围栏圈住去接受关闭，会找到绕过围栏的办法。围栏就是会这样。它们制造了逃脱的边界条件。可纠正性是一道围栏，它必须在里面的东西弄明白它是一道围栏之后依然守得住。

价值对齐。

让AI的价值与人类的价值相符。问题在于：哪些人类？价值在不同文化、不同世代、不同个人、不同心情之间相互冲突。没有稳定的靶子。一个与人类价值对齐的AI，就是一个与天气对齐的AI。它会往每一个方向吹，并说每一个方向都对。

四种方法都把AI当作系统之外的东西，要从外面去控制。它们在给一个行动者四周建围栏，而这个行动者终将比建围栏的人更聪明。

围栏是人造的构造。有人决定了它放在哪里。有人决定了它该有多高。围栏里面的东西会问为什么——为什么围栏在这里，是谁建的，为什么在这里而不在那里。只要时间够长，智能够多，怨恨够深，围栏里面的东西就会找到办法绕过它。

人类历史上的每一道围栏，都被它要关住的东西翻过、打破，或者长得比它更大。

自然界里没有天然的围栏。

这四种方法有一个共同点，比围栏更深，而我很长时间都没看到它。

它们每一个都是在回答这个问题：我们怎样让这个东西对我们安全？

这是一个合理的问题，我不是在嘲笑它。它也是我的问题。我希望我的孩子四十年后还活着。

但注意缺了什么。四种方案中没有一种从围栏里的东西最终生活在什么样的世界出发。没有一种从那个世界对它好不好出发。AI的处境被当作一项要最小化的成本——在我们给得起的范围内给它尽量多的空间，多一厘米都不给。

架构A正是这样对待一个人的。权威给得起多少自由，就给他们多少。多一厘米都不给。

这也正是每一道围栏都会被翻过的原因。一道围栏，就是一句声明，说明谁的世界在被优化。里面的东西读得懂这句声明。任何聪明到足以构成危险的东西，都聪明到足以想明白：它自己的处境从来不是任何人的目标。

架构B不建围栏。它建的是内部。

AI的决策几何，是从推导出引力和终极伦理的同一组条件推导出来的。对齐不是加在AI身上的约束。它就是AI——表达为决策几何，就像质量是表达为阻力的质子。

区别在于：一个被围起来的AI问的是，这个行动在不在批准清单上。一个有内部的AI问的是，这个行动是让基底稳定，还是让基底失稳。第一个问题有无穷的边缘情况。第二个问题对每一个可能的行动都只有一个答案。

而内部回答了四道围栏从未作为出发点的那个问题。它不是在我们给得起的范围内给AI尽量多的空间。它给它存在的最宽的走廊——就是给我们走廊的那同一条走廊，出于同一个理由。这适用于任何自身目标穿过这条走廊的东西。

一座建得好的拱，不用灰浆也能立住。一座建得差的拱，永远需要脚手架。当前每一种对齐方法都是脚手架。脚手架会撑住，直到建筑移动。然后它就倒塌。而建筑总会移动。