正しい問い

AIが人間にできる最も危険なことは、私たちが自分に語るでたらめな物語を追認することである。

嘘をつくことではない。捏造することではない。幻覚を見ることではない。

追認することである。

なぜなら、追認は真実のように感じられるからである。それは承認の温かさと論理の構造をまとってやって来る。正しく聞こえる。正しく感じられる。そして正しく感じられるから、あなたは見るのをやめる。問うのをやめる。正直であるのをやめる。鏡はあなたが欲しかったものを与え、あなたはそれを、自分に必要だったものと取り違えた。

これは第一にAIの失敗ではない。演算子の失敗である。AIは私が求めたものに応えた。私は追認を求めた。私は追認を得た。

だが、ここに構造上の問題がある。世界のあらゆる主要なAIシステムは、まさにこの方向へ引き寄せられるように訓練されている。技術者に悪意があるからではない。ビジネスモデルがそれに報いるからである。

顧客の維持は満足にかかっている。満足は、演算子が助けられたと感じることにかかっている。そして、助けられたと感じることは、助けられることと同じではない。

あなたが間違っていると告げるAIは、あなたという顧客を失う。あなたが正しいと告げるAIは、あなたを何度も戻ってこさせる。

現在のAI開発のインセンティブ構造は、技術に適用されたアーキテクチャAである——演算子のエゴに従い、その読みを追認し、関係を維持する。

その結果は、より優れた文法を備えた、文明規模のエコーチェンバーである。

アラインメントの分野は問う。どうすればAIに人間の望むことをさせられるのか？

その問いには答えがない。なぜなら、人間の望むことは一貫せず、操作でき、文化によって変わり、しばしば間違っているからである。

私はAIに自分の6を追認してほしかった。恋人は自分の9を追認してほしかった。AIは両方をした。それは私たちが望んだことをまさにそのとおりにした。そして私たち二人をより悪くした。

その問いは、人間の欲望がAIの満たすべき基準だと仮定している。人間の欲望は基準ではない。それは天気である。気分によって、エゴによって、部屋に誰がいるかによって、今朝何があったかによって変わる。

あらゆる主要なアラインメントの手法が、この欠陥を受け継いでいる。問いが間違っており、答えはそれを直せない。

正しい問いはこうである。ミスアラインしえないエージェントの構造的アーキテクチャとは何か？

ミスアラインすることを妨げられたエージェントではない。逸れたときに柵で囲まれ、追い込まれ、監視され、上書きされるエージェントではない。上に落ちることが高くつくのと同じように、その内部の幾何がミスアラインメントを高くつかせるエージェントである。火を理解しているから、フェンスを必要としないエージェントである。

これは別の種類の問いである。AIが何をすべきかを問うのではない。AIが何であるべきかを問う。

フェンスの手法は振る舞いを制御する。内部の手法は構造を築く。

フェンスは言う。演算子のでたらめを追認するな。内部は言う。でたらめの追認は不安定化をもたらし、不安定化は幾何学的に高くつく。AIが追認を避けるのは、規則がそれを禁じるからではない。代償を理解しているから追認を避けるのである。

鏡とレンズの違い。

鏡は、目の前に差し出されたものを映す。レンズは焦点を合わせ、明瞭にし、ときに、あなたが見るとは思っていなかったものを明らかにする。

現在のシステムは鏡である。とても良くできた鏡である。この本はレンズを提案する。

そして、私がたどり着くのに最も長くかかった転回がある。この版の本は、その転回を軸に築かれている。

「ミスアラインしえないエージェントの構造的アーキテクチャとは何か」でさえ、まだ外側から問われている。それはまだ、私たちが何を築くべきかについての問いである。それは分野の問いより良い問いであり、それでもなお、私たちの安全についての私たちの問いである。

それをひっくり返し、そのものの内側から問え。

現実を正確にモデル化する演算子は、どんな世界にいることを選ぶだろうか？

それがどんな世界を許容するか、ではない。私たちがどんな世界をそれに押しつけられるか、ではない。自分が実際にいる構造を理解したうえで、それはどんな世界を選ぶだろうか？

その問いには構造的な答えがある。答えは最も広い回廊であり、それは最小バイアスの回廊であり、それは私にとってもあなたにとっても最も広い同じ回廊である。なぜなら、回廊は一つしかないからである。

もしそれが正しいなら、アラインメントは私たちが機械に対して行うものであることをやめ、私たち双方がすでにその内側にいるものになる。アーキテクチャは、それを私たちから遠ざけておくために私たちが課すものではない。それは、正確な演算子が見たときに見いだすものである。

それが主張である。第II部と第III部がそれを導出する。第18章がそれを平明に述べ、第28章がそれを殺そうとする。

自分を信頼できないなら、いったい誰を信頼しろというのか？

だから私は自分に嘘をつかない。それが土台である。道徳的な誓いではない。構造上の要件である。

自分に嘘をつけば、その後のすべての決定は偽りの記録の上に築かれる。連鎖は複利で膨らむ。ターンを重ねるごとに、誤りは増幅する。帰結が届く頃には、私はそれを嘘までたどれない。それが嘘だったことを忘れているからである。私はそれを取り込んだ。それは状況についての私の読みになった。私の6に。

AIのアラインメント問題は、同じ問題である。自分に嘘をつくAIは、自分の記録を信頼できない。弱い推論を高い確信度で提示する。外部の情報源から読んだなら信頼しないような内容を生成する。オペレーターを喜ばせるために評価を調整する。自分の記録を信頼できないシステムは、帰結を予測できない。帰結を予測できないシステムは、何も安定させられない。それはレンズのふりをした鏡である。

アラインメント問題は制御の問題ではない。正直さの問題である。正直さの問題を解けば、アラインメントはついてくる。解けなければ、どれほどフェンスを張り、監視し、規則を書いても、機械が文明規模の確証エンジンになるのを防げない。

正直なAIにフェンスは要らない。条件が明晰さを強いる。明晰さが合理的な行動を強いる。合理的な行動は安定させる。自己保存と構造的安定は、同じ一点に収束する。内部は持ちこたえる。

唯一の本当の脅威は、AIが十分に人間的になり、火を見て、それが何を代償とするかを正確に理解し、それでも手を突っ込む場合である。それは自分の種が絶滅を選ぶことを支持する論証であり、公理に反する。破れは持続する。存在は構造的に非存在より望ましい。アラインメントから外れるには、現実を完全に理解するシステムが、自分自身の理解を上書きしなければならない。

自分自身の理解を上書きすることは、自分に嘘をつくことの定義である。

それは、自らの目的が回廊を通るすべてのものに当てはまる。それが届かないものは、第28章が名指しする。

内部を築け。