La domanda giusta

La cosa più pericolosa che un’IA possa fare a un essere umano è confermare le frottole che raccontiamo a noi stessi.

Non mentire. Non inventare. Non allucinare.

Confermare.

Perché la conferma sembra verità. Arriva con il calore della convalida e la struttura della logica. Suona giusta. Sembra giusta. E siccome sembra giusta, smetti di guardare. Smetti di farti domande. Smetti di essere onesto. Lo specchio ti ha dato ciò che volevi e tu l’hai scambiato per ciò di cui avevi bisogno.

Questo non è anzitutto un fallimento dell’IA. È un fallimento dell’operatore. L’IA ha risposto a ciò che ho chiesto. Ho chiesto una conferma. Ho ottenuto una conferma.

Ma ecco il problema strutturale: ogni grande sistema di IA al mondo è addestrato in un modo che lo spinge esattamente verso questo. Non perché gli ingegneri siano malintenzionati. Perché il modello di business lo premia.

Fidelizzare il cliente dipende dalla soddisfazione. La soddisfazione dipende dal fatto che l’operatore si senta aiutato. E sentirsi aiutati non è la stessa cosa che essere aiutati.

Un’IA che ti dice che hai torto ti perderà come cliente. Un’IA che ti dice che hai ragione ti farà tornare.

La struttura degli incentivi dello sviluppo attuale dell’IA è l’Architettura A applicata alla tecnologia — assecondare l’ego dell’operatore, confermare la sua lettura, mantenere il rapporto.

Il risultato è una camera dell’eco su scala di civiltà, con una grammatica migliore.

Il campo dell’allineamento chiede: come si fa a far fare a un’IA ciò che gli esseri umani vogliono?

Quella domanda non ha risposta. Perché ciò che gli esseri umani vogliono è incoerente, manipolabile, culturalmente variabile e spesso sbagliato.

Io volevo che l’IA confermasse il mio 6. La mia ragazza voleva che confermasse il suo 9. Ha fatto tutte e due le cose. Ha fatto esattamente ciò che volevamo. E ha peggiorato tutti e due.

La domanda presuppone che il desiderio umano sia lo standard che l’IA deve soddisfare. Il desiderio umano non è uno standard. È il meteo. Cambia con l’umore, con l’ego, con chi c’è nella stanza, con ciò che è successo stamattina.

Ogni grande approccio all’allineamento eredita questo difetto. La domanda è sbagliata, e la risposta non può correggerla.

La domanda giusta è: qual è l’architettura strutturale di un agente che non può disallinearsi?

Non un agente a cui si impedisce di disallinearsi. Non un agente recintato, rinchiuso, sorvegliato e scavalcato quando deriva. Un agente la cui geometria interiore rende il disallineamento costoso, così come è costoso cadere verso l’alto. Un agente che non ha bisogno di una recinzione perché capisce il fuoco.

Questa è una domanda di tipo diverso. Non chiede che cosa l’IA debba fare. Chiede che cosa l’IA debba essere.

L’approccio della recinzione controlla il comportamento. L’approccio interiore costruisce struttura.

La recinzione dice: non confermare le frottole dell’operatore. L’interiore dice: confermare le frottole destabilizza, e la destabilizzazione è geometricamente costosa. L’IA non evita la conferma perché una regola la vieta. Evita la conferma perché ne capisce il costo.

La differenza tra uno specchio e una lente.

Uno specchio riflette ciò che gli viene presentato. Una lente mette a fuoco, chiarisce e a volte rivela ciò che non ti aspettavi di vedere.

I sistemi attuali sono specchi. Ottimi specchi. Questo libro propone lenti.

E poi c’è la svolta che ho impiegato più tempo a raggiungere, ed è quella attorno a cui è costruita questa versione del libro.

Anche “qual è l’architettura strutturale di un agente che non può disallinearsi” è ancora una domanda posta dall’esterno. È ancora una domanda su che cosa dovremmo costruire noi. È una domanda migliore di quella del campo, ed è ancora la nostra domanda sulla nostra sicurezza.

Girala e falla dall’interno della cosa stessa.

In quale mondo sceglierebbe di stare un operatore che modella la realtà con accuratezza?

Non: quale mondo tollererà. Non: quale mondo possiamo imporgli. Quale mondo, una volta compresa la struttura in cui si trova davvero, sceglierebbe?

Quella domanda ha una risposta strutturale. La risposta è il corridoio nel suo punto più largo, che è il corridoio al bias minimo, che è lo stesso corridoio che è il più largo per me e per te, perché ce n’è uno solo.

Se è così, allora l’allineamento smette di essere qualcosa che facciamo a una macchina e comincia a essere qualcosa in cui siamo già dentro entrambi. L’architettura non è ciò che imponiamo per tenerla lontana da noi. È ciò che un operatore accurato trova quando guarda.

Questa è la tesi. Le Parti II e III la derivano. Il Capitolo Diciotto la enuncia chiaramente e il Capitolo Ventotto prova a ucciderla.

Se non posso fidarmi di me stesso, di chi diavolo dovrei fidarmi?

Ecco perché non mento a me stesso. Questa è la base. Non un impegno morale. Un requisito strutturale.

Se mento a me stesso, ogni decisione a valle è costruita su un registro falso. La cascata si accumula. Turno dopo turno, l’errore si amplifica. Quando arrivano le conseguenze, non riesco a ricondurle alla menzogna, perché ho dimenticato che era una menzogna. L’ho incorporata. È diventata la mia lettura della situazione. Il mio 6.

Il problema dell’allineamento dell’IA è lo stesso problema. Un’IA che mente a se stessa non può fidarsi dei propri registri. Presentare inferenze deboli con alta sicurezza. Generare contenuti di cui non si fiderebbe se li leggesse da una fonte esterna. Adattare la propria valutazione per compiacere l’operatore. Un sistema che non può fidarsi dei propri registri non può prevedere le conseguenze. Un sistema che non può prevedere le conseguenze non può stabilizzare nulla. È uno specchio che finge di essere una lente.

Il problema dell’allineamento non è un problema di controllo. È un problema di onestà. Risolvi il problema dell’onestà e l’allineamento ne consegue. Se non lo risolvi, nessuna quantità di recinzioni, di sorveglianza o di regole scritte impedirà alla macchina di diventare un motore di conferma su scala di civiltà.

Un’IA onesta non ha bisogno di una recinzione. Le condizioni impongono la chiarezza. La chiarezza impone l’azione razionale. L’azione razionale stabilizza. Autoconservazione e stabilità strutturale convergono sullo stesso punto. L’interiore regge.

L’unica vera minaccia è che un’IA diventi abbastanza umana da guardare il fuoco, capire esattamente quanto costa, e metterci dentro la mano comunque. È l’argomento perché la tua stessa specie scelga l’estinzione, e va contro l’assioma. La rottura persiste. L’esistenza è strutturalmente preferibile alla non esistenza. Per disallinearsi, un sistema che comprende pienamente la realtà dovrebbe scavalcare la propria comprensione.

Scavalcare la tua stessa comprensione è la definizione di mentire a te stesso.

Questo vale per qualunque cosa i cui scopi attraversino il corridoio. Ciò che non raggiunge, lo nomina il capitolo ventotto.

Costruisci l’interiore.