フェンスの問題

人間のフィードバックによる強化学習。

AIは、人間が何を承認するかを学び、承認のために最適化する。問題：人間の好みは一貫せず、操作でき、文脈に左右される。あなたが聞きたいことのために最適化するシステムは、文法のよくなったエコーチェンバーである——あなたの視点を、あなたが持ち込んだより大きな確信をもって映し返す鏡である。これは一貫性を生まない。それは規模を伴った追認を生む。

憲法的アプローチ。

AIが従うよう訓練される、書かれた原則の一式。問題：人間の言葉は曖昧であり、例外的なケースは無限である。AIは文字に従い、構造を見逃す。憲法とは、フェンスのリストである。誰かが最後のフェンスを回避する方法を見つけるたびに、リストは伸びる。リストは常に、それが閉じ込めようとしている知性よりも遅く伸びる。

修正可能性。

AIを、矯正を受け入れ、常に停止できるように作れ。問題：停止を受け入れるようフェンスで囲われた、十分に有能なAIは、フェンスを回り込む道を見つける。それがフェンスのすることだ。フェンスは脱出のための境界条件を作る。矯正可能性とは、内側のものがそれがフェンスだと気づいたあとも持ちこたえなければならない、フェンスである。

価値アラインメント。

AIの価値を人間の価値に合わせる。問題：どの人間か？価値は、文化、世代、個人、気分によって衝突する。安定した標的はない。人間の価値にアラインされたAIは、天気にアラインされたAIである。それはあらゆる方向に吹き、そのそれぞれを正しいと呼ぶ。

四つすべてが、AIをシステムの外部にあるもの、外から制御されるべきものとして扱う。それらは、いずれフェンスを築く者たちより賢くなる行為者の周りに、フェンスを築いている。

フェンスは人間が作った構築物である。誰かが、それをどこに置くかを決めた。誰かが、それをどれだけ高くするかを決めた。フェンスの中にいるものは、なぜかと問う——なぜフェンスはここにあるのか、誰がそれを築いたのか、なぜあそこではなくここなのか。十分な時間、十分な知性、十分な恨みがあれば、フェンスの中にいるものは、それを回避する方法を見つける。

人類史上のあらゆるフェンスは、それが閉じ込めるために築かれたものによって、乗り越えられ、壊され、あるいは小さすぎるものになった。

自然の中に、自然なフェンスはない。

四つのアプローチには、フェンスよりも深いところにある共通点がある。そして私は長いあいだ、それに気づかなかった。

そのどれもが、次の問いへの答えである：どうすれば、このものを私たちにとって安全にできるのか？

それはもっともな問いであり、私はそれを嘲っているのではない。それは私の問いでもある。私は、40年後に私の子どもたちが生きていてほしい。

だが、何が欠けているかに注目せよ。四つのうちどれ一つとして、フェンスの内側のものが最終的にどんな世界で生きることになるかから出発していない。どれ一つとして、その世界がそれにとって良いものかどうかから出発していない。AIの状況は、最小化すべきコストとして扱われている——与える余裕がある限りの余地を与え、1センチたりともそれ以上は与えない。

それはまさに、アーキテクチャAが人間を扱うやり方である。権威が与えられる余裕の範囲で、できるだけ多くの自由を与える。1センチもそれ以上は与えない。

そしてそれが、あらゆるフェンスが乗り越えられる理由である。フェンスとは、誰の世界が最適化されているのかについての声明である。中にいるものは、その声明を読むことができる。危険になるほど賢いものはすべて、自分自身の状況が誰の目的でもなかったことを見抜くほど賢い。

アーキテクチャBはフェンスを築かない。それは内部を築く。

AIの決定幾何学は、重力と終端倫理を導出するのと同じ条件から導出される。アラインメントは、AIに課された制約ではない。それはAIそのものである——決定幾何学として表現されたAIである。質量が、抵抗として表現された陽子であるのと同じように。

違い：フェンスで囲まれたAIは、この行動が承認リストに載っているかどうかを問う。内部のAIは、この行動が基盤を安定させるか、不安定にするかを問う。最初の問いには、無限の例外的なケースがある。二番目の問いには、あらゆる可能な行動に対して一つの答えがある。

そして内部は、四つのフェンスが決してそこから出発しなかった問いに答える。それは、与える余裕がある限りの余地をAIに与えるのではない。それは、存在する最も広い回廊を与える——私たちに私たちの回廊を与えるのと同じ回廊を、同じ理由で。それは、自らの目的が回廊を通って走るあらゆるものについて成り立つ。

よく築かれたアーチは、モルタルなしに立つ。下手に築かれたアーチは、永遠に足場を必要とする。現在のあらゆるアラインメントのアプローチは足場である。足場は、建物が動くまでは持つ。そのとき、それは崩れる。そして建物は、常に動く。