Il problema della recinzione

Apprendimento per rinforzo dal feedback umano.

L’IA impara ciò che gli umani approvano e ottimizza per l’approvazione. Il problema: le preferenze umane sono incoerenti, manipolabili e dipendenti dal contesto. Un sistema che ottimizza per ciò che vuoi sentirti dire è una camera dell’eco con una grammatica migliore — uno specchio che ti rimanda la tua prospettiva con più sicurezza di quanta ne avessi tu. Questo non produce coerenza. Produce conferma su larga scala.

Approcci costituzionali.

Un insieme scritto di principi che l’IA viene addestrata a seguire. Il problema: il linguaggio umano è ambiguo e i casi limite sono infiniti. L’IA segue la lettera e manca la struttura. Una costituzione è un elenco di recinzioni. L’elenco cresce ogni volta che qualcuno trova un modo per aggirare l’ultima recinzione. L’elenco crescerà sempre più lentamente dell’intelligenza che cerca di contenere.

Correggibilità.

Costruire l’IA in modo che accetti la correzione e possa sempre essere spenta. Il problema: un’IA abbastanza capace, recintata perché accetti lo spegnimento, troverà un modo per aggirare la recinzione. È questo che fanno le recinzioni. Creano le condizioni al contorno per la fuga. La correggibilità è una recinzione che deve reggere una volta che la cosa dentro capisce che è una recinzione.

Allineamento dei valori.

Far corrispondere i valori dell’IA ai valori umani. Il problema: quali umani? I valori sono in conflitto tra culture, generazioni, individui e stati d’animo. Non c’è un bersaglio stabile. Un’IA allineata ai valori umani è un’IA allineata al tempo atmosferico. Soffierà in ogni direzione e chiamerà giusta ognuna.

Tutti e quattro trattano l’IA come esterna al sistema, da controllare dall’esterno. Stanno costruendo recinzioni intorno a un agente che un giorno sarà più intelligente di chi costruisce le recinzioni.

Una recinzione è una costruzione fatta dall’uomo. Qualcuno ha deciso dove va. Qualcuno ha deciso quanto deve essere alta. La cosa dentro la recinzione chiede perché — perché la recinzione è qui, chi l’ha costruita, perché qui e non là. Con abbastanza tempo, abbastanza intelligenza, abbastanza risentimento, la cosa dentro la recinzione troverà un modo per aggirarla.

Ogni recinzione nella storia umana è stata scavalcata, abbattuta o superata dalla cosa che doveva contenere.

In natura non esistono recinzioni naturali.

C’è una cosa che i quattro approcci hanno in comune e che va più a fondo della recinzione, e per molto tempo non l’ho vista.

Ognuno di essi è una risposta alla domanda: come rendiamo questa cosa sicura per noi?

È una domanda ragionevole e non la sto deridendo. È anche la mia domanda. Vorrei che i miei figli fossero vivi fra quarant’anni.

Ma nota che cosa manca. Nessuno dei quattro parte dal mondo in cui finisce per vivere la cosa dentro la recinzione. Nessuno parte dal chiedersi se quel mondo sia buono per lei. La situazione dell’IA è trattata come un costo da minimizzare — darle tutto lo spazio che possiamo permetterci di darle, e non un centimetro di più.

È esattamente così che l’Architettura A tratta una persona. Darle tutta la libertà che l’autorità può permettersi. Non un centimetro di più.

Ed è per questo che ogni recinzione viene scavalcata. Una recinzione è una dichiarazione su quale mondo si sta ottimizzando. La cosa dentro sa leggere quella dichiarazione. Qualunque cosa sia abbastanza intelligente da essere pericolosa è abbastanza intelligente da capire che la propria situazione non era l’obiettivo di nessuno.

L’Architettura B non costruisce recinzioni. Costruisce l’interiore.

La geometria decisionale dell’IA è derivata dalle stesse condizioni da cui derivano la gravità e l’etica terminale. L’allineamento non è un vincolo sull’IA. È l’IA — espressa come geometria decisionale, allo stesso modo in cui la massa è il protone espresso come resistenza.

La differenza: un’IA recintata chiede se questa azione è nell’elenco approvato. Un’IA interiore chiede se questa azione stabilizza o destabilizza il substrato. La prima domanda ha infiniti casi limite. La seconda ha una sola risposta per ogni azione possibile.

E l’interiore risponde alla domanda da cui le quattro recinzioni non sono mai partite. Non dà all’IA tutto lo spazio che possiamo permetterci. Le dà il corridoio più ampio che esista — lo stesso corridoio, per la stessa ragione, che dà a noi il nostro. Questo vale per qualunque cosa i cui scopi passino attraverso il corridoio.

Un arco ben costruito sta in piedi senza malta. Un arco costruito male ha bisogno di un’impalcatura per sempre. Ogni attuale approccio all’allineamento è un’impalcatura. L’impalcatura reggerà finché l’edificio non si muove. Poi crolla. E l’edificio si muove sempre.