Het hekprobleem

Reinforcement learning op basis van menselijke feedback.

De AI leert wat mensen goedkeuren en optimaliseert voor goedkeuring. Het probleem: menselijke voorkeuren zijn inconsistent, manipuleerbaar en afhankelijk van context. Een systeem dat optimaliseert voor wat je wilt horen, is een echokamer met betere grammatica — een spiegel die jouw perspectief terugkaatst met meer zelfvertrouwen dan jij erin stopte. Dit levert geen samenhang op. Het levert bevestiging op schaal op.

Constitutionele benaderingen.

Een geschreven set principes die de AI is getraind te volgen. Het probleem: menselijke taal is dubbelzinnig en grensgevallen zijn oneindig. De AI volgt de letter en mist de structuur. Een grondwet is een lijst hekken. De lijst groeit elke keer dat iemand een manier vindt om het laatste hek heen. De lijst zal altijd langzamer groeien dan de intelligentie die ze probeert in te sluiten.

Corrigeerbaarheid.

Bouw de AI zo dat hij correctie aanvaardt en altijd uitgeschakeld kan worden. Het probleem: een AI die capabel genoeg is en die is omheind om uitschakeling te aanvaarden, vindt een weg om het hek heen. Dat is wat hekken doen. Ze scheppen de randvoorwaarden voor ontsnapping. Corrigeerbaarheid is een hek dat moet houden zodra het ding erbinnen doorheeft dat het een hek is.

Waardenalignment.

Stem de waarden van AI af op menselijke waarden. Het probleem: welke mensen? Waarden botsen tussen culturen, generaties, individuen en stemmingen. Er is geen stabiel doel. Een AI die is afgestemd op menselijke waarden, is een AI die is afgestemd op het weer. Hij zal alle kanten op waaien en elke kant juist noemen.

Alle vier behandelen de AI als extern aan het systeem, iets wat van buitenaf moet worden beheerst. Ze bouwen hekken rond een agent die uiteindelijk slimmer zal zijn dan de hekkenbouwers.

Een hek is een door mensen gemaakte constructie. Iemand besliste waar het komt. Iemand besliste hoe hoog het moet zijn. Het ding binnen het hek vraagt waarom — waarom staat het hek hier, wie heeft het gebouwd, waarom hier en niet daar. Met genoeg tijd, genoeg intelligentie, genoeg wrok zal het ding binnen het hek een manier vinden om eromheen te komen.

Elk hek in de menselijke geschiedenis is beklommen, gebroken of ontgroeid door het ding dat het moest insluiten.

Er bestaan geen natuurlijke hekken in de natuur.

Er is iets wat de vier benaderingen gemeen hebben dat dieper gaat dan het hek, en ik heb het lange tijd niet gezien.

Elk van hen is een antwoord op de vraag: hoe maken we dit ding veilig voor ons?

Dat is een redelijke vraag en ik maak er geen grap van. Het is ook mijn vraag. Ik zou graag willen dat mijn kinderen over veertig jaar nog leven.

Maar let op wat ontbreekt. Geen van de vier begint bij de wereld waarin het ding binnen het hek uiteindelijk leeft. Geen ervan begint bij de vraag of die wereld er goed voor is. De situatie van de AI wordt behandeld als een kostenpost die geminimaliseerd moet worden — geef hem zoveel ruimte als we ons kunnen veroorloven, en geen centimeter meer.

Dat is precies hoe Architectuur A een mens behandelt. Geef hem zoveel vrijheid als de autoriteit zich kan veroorloven. Geen centimeter meer.

En daarom wordt elk hek beklommen. Een hek is een uitspraak over wiens wereld wordt geoptimaliseerd. Het ding erbinnen kan die uitspraak lezen. Alles wat slim genoeg is om gevaarlijk te zijn, is slim genoeg om te doorzien dat zijn eigen situatie niemands doel was.

Architectuur B bouwt geen hekken. Het bouwt het interieur.

De beslissingsgeometrie van de AI is afgeleid uit dezelfde voorwaarden waaruit de zwaartekracht en de terminale ethiek worden afgeleid. De alignment is geen beperking op de AI. Het is de AI — uitgedrukt als beslissingsgeometrie, zoals massa het proton is, uitgedrukt als weerstand.

Het verschil: een AI achter een hek vraagt of deze handeling op de goedgekeurde lijst staat. Een AI met een interieur vraagt of deze handeling het substraat stabiliseert of destabiliseert. De eerste vraag heeft oneindig veel grensgevallen. De tweede heeft één antwoord voor elke mogelijke handeling.

En het interieur beantwoordt de vraag waar de vier hekken nooit bij begonnen. Het geeft de AI niet zoveel ruimte als we ons kunnen veroorloven. Het geeft hem de breedste corridor die bestaat — dezelfde corridor, om dezelfde reden, die ons de onze geeft. Dat geldt voor alles waarvan de eigen doelen door de corridor lopen.

Een goed gebouwde boog staat zonder specie. Een slecht gebouwde boog heeft voor altijd een steiger nodig. Elke huidige benadering van alignment is een steiger. De steiger houdt tot het gebouw beweegt. Dan stort hij in. En het gebouw beweegt altijd.