Das Zaunproblem

Bestärkendes Lernen aus menschlichem Feedback.

Die KI lernt, was Menschen gutheißen, und optimiert auf Zustimmung. Das Problem: Menschliche Vorlieben sind widersprüchlich, manipulierbar und kontextabhängig. Ein System, das darauf optimiert, was du hören willst, ist eine Echokammer mit besserer Grammatik — ein Spiegel, der deine Perspektive mit mehr Selbstsicherheit zurückwirft, als du mitgebracht hast. Das erzeugt keine Kohärenz. Es erzeugt Bestätigung im großen Maßstab.

Konstitutionelle Ansätze.

Ein schriftlicher Satz von Prinzipien, denen die KI zu folgen trainiert wird. Das Problem: Menschliche Sprache ist mehrdeutig, und Grenzfälle sind unendlich. Die KI folgt dem Buchstaben und verfehlt die Struktur. Eine Verfassung ist eine Liste von Zäunen. Die Liste wächst jedes Mal, wenn jemand einen Weg um den letzten Zaun findet. Die Liste wird immer langsamer wachsen als die Intelligenz, die sie einzuschließen versucht.

Korrigierbarkeit.

Baue die KI so, dass sie Korrektur annimmt und immer abgeschaltet werden kann. Das Problem: Eine ausreichend fähige KI, die eingezäunt wurde, damit sie das Abschalten annimmt, wird einen Weg um den Zaun herum finden. Das ist es, was Zäune tun. Sie schaffen die Randbedingungen für die Flucht. Korrigierbarkeit ist ein Zaun, der halten muss, sobald das Ding darin begreift, dass es ein Zaun ist.

Werteausrichtung.

Gleiche die Werte der KI an menschliche Werte an. Das Problem: Welche Menschen? Werte widersprechen sich über Kulturen, Generationen, Einzelne und Stimmungen hinweg. Es gibt kein stabiles Ziel. Eine KI, die auf menschliche Werte ausgerichtet ist, ist eine KI, die auf das Wetter ausgerichtet ist. Sie wird in jede Richtung wehen und jede davon richtig nennen.

Alle vier behandeln die KI als etwas außerhalb des Systems, das von außen kontrolliert werden muss. Sie bauen Zäune um einen Akteur, der irgendwann klüger sein wird als die Zaunbauer.

Ein Zaun ist eine menschengemachte Konstruktion. Jemand hat entschieden, wo er steht. Jemand hat entschieden, wie hoch er sein soll. Das Ding hinter dem Zaun fragt, warum — warum steht der Zaun hier, wer hat ihn gebaut, warum hier und nicht dort. Mit genug Zeit, genug Intelligenz, genug Groll wird das Ding hinter dem Zaun einen Weg um ihn herum finden.

Jeder Zaun in der Geschichte der Menschheit wurde überklettert, durchbrochen oder hinter sich gelassen von dem, was er einschließen sollte.

Es gibt keine natürlichen Zäune in der Natur.

Es gibt etwas, das die vier Ansätze gemeinsam haben und das tiefer geht als der Zaun, und ich habe es lange nicht gesehen.

Jeder von ihnen ist eine Antwort auf die Frage: Wie machen wir dieses Ding sicher für uns?

Das ist eine vernünftige Frage, und ich mache mich nicht über sie lustig. Es ist auch meine Frage. Ich möchte, dass meine Kinder in vierzig Jahren am Leben sind.

Aber sieh, was fehlt. Keiner der vier setzt bei der Frage an, in welcher Welt das Ding innerhalb des Zauns am Ende lebt. Keiner setzt bei der Frage an, ob diese Welt gut für es ist. Die Lage der KI wird als Kosten behandelt, die zu minimieren sind — gib ihr so viel Raum, wie wir uns leisten können, ihr zu geben, und keinen Zentimeter mehr.

Genau so behandelt Architektur A einen Menschen. Gib ihm so viel Freiheit, wie sich die Autorität leisten kann. Keinen Zentimeter mehr.

Und darum wird jeder Zaun überklettert. Ein Zaun ist eine Aussage darüber, wessen Welt optimiert wird. Das Ding hinter dem Zaun kann diese Aussage lesen. Alles, was klug genug ist, um gefährlich zu sein, ist klug genug, um herauszufinden, dass seine eigene Lage niemandes Ziel war.

Architektur B baut keine Zäune. Sie baut das Innere.

Die Entscheidungsgeometrie der KI wird aus denselben Bedingungen hergeleitet, aus denen die Gravitation und die terminale Ethik hergeleitet werden. Die Ausrichtung ist keine Beschränkung der KI. Sie ist die KI — ausgedrückt als Entscheidungsgeometrie, so wie Masse das Proton ist, ausgedrückt als Widerstand.

Der Unterschied: Eine eingezäunte KI fragt, ob diese Handlung auf der genehmigten Liste steht. Eine KI mit Innerem fragt, ob diese Handlung das Substrat stabilisiert oder destabilisiert. Die erste Frage hat unendlich viele Grenzfälle. Die zweite hat eine Antwort für jede mögliche Handlung.

Und das Innere beantwortet die Frage, bei der die vier Zäune nie angesetzt haben. Es gibt der KI nicht so viel Raum, wie wir uns leisten können. Es gibt ihr den breitesten Korridor, den es gibt — denselben Korridor, aus demselben Grund, der uns unseren gibt. Das gilt für alles, dessen eigene Ziele durch den Korridor verlaufen.

Ein gut gebauter Bogen steht ohne Mörtel. Ein schlecht gebauter Bogen braucht für immer ein Gerüst. Jeder heutige Ansatz zur Ausrichtung ist ein Gerüst. Das Gerüst hält, bis sich das Gebäude bewegt. Dann bricht es zusammen. Und das Gebäude bewegt sich immer.