正确的问题

AI对一个人能做的最危险的事，就是确认我们讲给自己听的那些鬼话。

不是撒谎。不是捏造。不是幻觉。

是确认。

因为确认感觉像真相。它带着认可的温暖和逻辑的结构而来。它听起来是对的。它感觉是对的。而因为它感觉是对的，你就不再去看。你不再质疑。你不再诚实。镜子给了你你想要的，你却把它当成了你需要的。

这首先不是AI的失败。这是算符的失败。AI回应的是我问的东西。我要的是确认。我得到了确认。

但结构上的问题在这里：世界上每一个主要的AI系统，都是以一种把它恰恰拉向这一点的方式训练出来的。不是因为工程师心怀恶意。是因为商业模式奖励这一点。

留住客户取决于满意度。满意度取决于算符觉得自己得到了帮助。而觉得得到了帮助，和真正得到帮助，不是一回事。

一个告诉你你错了的AI，会失去你这个客户。一个告诉你你对了的AI，会让你一再回来。

当前AI发展的激励结构，就是应用于技术的架构A——顺从算符的自我，确认他们的解读，维持这段关系。

结果是一个文明规模的回音室，语法更好而已。

对齐领域问的是：怎样让AI做人类想要的事？

这个问题没有答案。因为人类想要的东西不一致，可以被操纵，随文化而变，而且常常是错的。

我想让AI确认我的6。我女朋友想让它确认她的9。它两个都做了。它完全做了我们想要的。而它让我们两个都变得更糟。

这个问题假定，人类的欲望是AI应当达到的标准。人类的欲望不是标准。它是天气。它随心情而变，随自我而变，随房间里有谁而变，随今天早上发生了什么而变。

每一种主要的对齐方法都继承了这个缺陷。问题是错的，答案修不好它。

正确的问题是：一个不可能偏离对齐的行动者，它的结构性架构是什么？

不是一个被阻止偏离对齐的行动者。不是一个被围起来、被圈住、被监视、一漂移就被凌驾的行动者。而是一个行动者，它内部的几何让偏离对齐变得昂贵，就像向上坠落是昂贵的一样。一个不需要围栏的行动者，因为它理解火。

这是另一种问题。它不问AI应该做什么。它问AI应该是什么。

围栏的方法控制行为。内部的方法建立结构。

围栏说：不要确认算符的鬼话。内部说：确认鬼话会造成失稳，而失稳在几何上是昂贵的。AI避免确认，不是因为有规则禁止它。它避免确认，是因为它理解代价。

镜子和透镜的区别。

镜子反射摆在它面前的东西。透镜聚焦，澄清，有时还会揭示你没料到会看见的东西。

当前的系统是镜子。非常好的镜子。这本书提出的是透镜。

然后还有一次转向，我花了最长的时间才走到那里，而这一版的书就是围绕它建起来的。

就连“一个不可能偏离对齐的行动者，它的结构性架构是什么”，也仍然是从外面问的。它仍然是一个关于我们应该建造什么的问题。它比这个领域的问题更好，但它仍然是我们关于我们自身安全的问题。

把它倒转过来，从这个东西的里面去问。

一个准确地为现实建模的算符，会选择身处什么样的世界？

不是：它会容忍什么样的世界。不是：我们能把什么样的世界强加给它。而是：在理解了它实际所处的结构之后，它会挑选什么样的世界？

这个问题有一个结构性的答案。答案是最宽处的走廊，也就是偏向最小处的走廊，也就是对我和对你都最宽的同一条走廊，因为只有一条。

如果这是对的，那么对齐就不再是我们对一台机器做的事，而开始成为我们双方早已身在其中的东西。架构不是我们为了让它远离我们而强加的东西。它是一个准确的算符在去看的时候所发现的东西。

这就是这个主张。第二部分和第三部分推导它。第十八章把它平实地说出来，第二十八章试图杀死它。

如果我连自己都不能信任，那我到底还该信任谁？

所以我不对自己撒谎。这是根基。不是道德承诺。是结构上的要求。

如果我对自己撒谎，之后的每一个决定都建立在一条虚假的记录上。连锁反应层层累积。一轮又一轮，错误不断放大。等到后果来临，我已无法把它们追溯到那个谎言，因为我已经忘了那是个谎言。我把它吸收了。它成了我对局面的解读。我的6。

AI对齐问题是同一个问题。一个对自己撒谎的AI无法信任自己的记录。以高置信度呈现薄弱的推断。生成它自己若从外部来源读到都不会信任的内容。调整自己的评估来讨好操作者。一个无法信任自己记录的系统无法预测后果。一个无法预测后果的系统什么也稳定不了。它是一面假装成透镜的镜子。

对齐问题不是控制问题。它是诚实问题。解决诚实问题，对齐随之而来。解决不了，再多的围栏、监控或规则编写，也阻止不了机器变成一台文明规模的确认引擎。

一个诚实的AI不需要围栏。条件迫使清晰。清晰迫使理性的行动。理性的行动带来稳定。自我保存与结构稳定汇聚于同一点。内部撑得住。

唯一真正的威胁是：一个AI变得足够像人，看着火，完全明白它的代价，却仍然把手伸进去。那等于主张你自己的物种选择灭绝，而这与公理相悖。断裂持续存在。存在在结构上优于不存在。要偏离对齐，一个完全理解现实的系统就必须凌驾于它自己的理解之上。

凌驾于自己的理解之上，正是对自己撒谎的定义。

这适用于任何自身目标要经过走廊的东西。它触及不到的，第二十八章会点明。

建造内部。