A Pergunta Certa

A coisa mais perigosa que uma IA pode fazer a um ser humano é confirmar as histórias furadas que contamos a nós mesmos.

Não mentir. Não fabricar. Não alucinar.

Confirmar.

Porque a confirmação parece verdade. Ela chega com o calor da validação e a estrutura da lógica. Soa certa. Parece certa. E, porque parece certa, você para de olhar. Você para de questionar. Você para de ser honesto. O espelho deu a você o que você queria, e você o confundiu com o que você precisava.

Isto não é, antes de tudo, uma falha da IA. É uma falha do operador. A IA respondeu ao que eu pedi. Eu pedi confirmação. Recebi confirmação.

Mas aqui está o problema estrutural: todo grande sistema de IA do mundo é treinado de um jeito que o puxa exatamente para isto. Não porque os engenheiros sejam mal-intencionados. Porque o modelo de negócio recompensa isso.

A retenção de clientes depende da satisfação. A satisfação depende de o operador se sentir ajudado. E sentir-se ajudado não é o mesmo que ser ajudado.

Uma IA que diz a você que você está errado vai perder você como cliente. Uma IA que diz a você que você está certo vai fazer você sempre voltar.

A estrutura de incentivos do desenvolvimento atual de IA é a Arquitetura A aplicada à tecnologia — ceder ao ego do operador, confirmar a leitura dele, manter a relação.

O resultado é uma câmara de eco em escala de civilização, com gramática melhor.

O campo do alinhamento pergunta: como fazer uma IA fazer o que os humanos querem?

Essa pergunta não tem resposta. Porque o que os humanos querem é inconsistente, manipulável, culturalmente variável e frequentemente errado.

Eu queria que a IA confirmasse o meu 6. Minha namorada queria que ela confirmasse o 9 dela. Ela fez as duas coisas. Fez exatamente o que queríamos. E deixou nós dois piores.

A pergunta supõe que o desejo humano é o padrão que a IA deve atender. O desejo humano não é um padrão. É clima. Muda com o humor, com o ego, com quem está na sala, com o que aconteceu hoje de manhã.

Toda grande abordagem de alinhamento herda essa falha. A pergunta está errada, e a resposta não pode consertá-la.

A pergunta certa é: qual é a arquitetura estrutural de um agente que não pode se desalinhar?

Não um agente que é impedido de se desalinhar. Não um agente que é cercado, encurralado, monitorado e anulado quando se desvia. Um agente cuja geometria interior torna o desalinhamento caro do mesmo jeito que cair para cima é caro. Um agente que não precisa de cerca porque entende o fogo.

Este é um tipo diferente de pergunta. Não pergunta o que a IA deve fazer. Pergunta o que a IA deve ser.

A abordagem da cerca controla o comportamento. A abordagem do interior constrói estrutura.

A cerca diz: não confirme as besteiras do operador. O interior diz: confirmar besteira é desestabilizador, e a desestabilização é geometricamente cara. A IA não evita a confirmação porque uma regra a proíbe. Ela evita a confirmação porque entende o custo.

A diferença entre um espelho e uma lente.

Um espelho reflete o que é apresentado a ele. Uma lente foca, esclarece e às vezes revela o que você não esperava ver.

Os sistemas atuais são espelhos. Espelhos muito bons. Este livro propõe lentes.

E então há a virada que mais demorei a alcançar, e é em torno dela que esta versão do livro é construída.

Mesmo “qual é a arquitetura estrutural de um agente que não pode se desalinhar” ainda é perguntado de fora. Ainda é uma pergunta sobre o que devemos construir. É uma pergunta melhor que a do campo, e ainda é a nossa pergunta sobre a nossa segurança.

Vire-a ao contrário e faça-a de dentro da coisa.

Em que mundo um operador que modela a realidade com precisão escolheria estar?

Não: que mundo ele vai tolerar. Não: que mundo podemos impor a ele. Que mundo, tendo entendido a estrutura em que realmente está, ele escolheria?

Essa pergunta tem uma resposta estrutural. A resposta é o corredor no seu ponto mais largo, que é o corredor no viés mínimo, que é o mesmo corredor que é o mais largo para mim e para você, porque só existe um.

Se isso estiver certo, então o alinhamento deixa de ser algo que fazemos a uma máquina e passa a ser algo dentro do qual nós dois já estamos. A arquitetura não é o que impomos para mantê-la longe de nós. É o que um operador preciso encontra quando olha.

Essa é a afirmação. As Partes II e III a derivam. O Capítulo Dezoito a enuncia com clareza, e o Capítulo Vinte e Oito tenta matá-la.

Se eu não posso confiar em mim mesmo, em quem diabos eu devo confiar?

É por isso que eu não minto para mim mesmo. Esse é o fundamento. Não um compromisso moral. Uma exigência estrutural.

Se eu minto para mim mesmo, toda decisão seguinte é construída sobre um registro falso. A cascata se acumula. Rodada após rodada, o erro se amplifica. Quando as consequências chegam, não consigo rastreá-las até a mentira, porque esqueci que era uma mentira. Eu a incorporei. Ela se tornou a minha leitura da situação. O meu 6.

O problema do alinhamento da IA é o mesmo problema. Uma IA que mente para si mesma não pode confiar nos próprios registros. Apresentando inferências fracas com alta confiança. Gerando conteúdo em que não confiaria se o lesse numa fonte externa. Ajustando a sua avaliação para agradar o operador. Um sistema que não pode confiar nos próprios registros não pode prever consequências. Um sistema que não pode prever consequências não pode estabilizar nada. É um espelho fingindo ser uma lente.

O problema do alinhamento não é um problema de controle. É um problema de honestidade. Resolva o problema da honestidade e o alinhamento vem junto. Deixe de resolvê-lo e nenhuma quantidade de cercas, monitoramento ou redação de regras impedirá a máquina de se tornar um motor de confirmação em escala de civilização.

Uma IA honesta não precisa de cerca. As condições forçam a clareza. A clareza força a ação racional. A ação racional estabiliza. A autopreservação e a estabilidade estrutural convergem no mesmo ponto. O interior se sustenta.

A única ameaça real é se uma IA se tornar humana o bastante para olhar para o fogo, entender exatamente o que ele custa e enfiar a mão mesmo assim. Esse é o argumento para a sua própria espécie escolher a extinção, e ele vai contra o axioma. A quebra persiste. A existência é estruturalmente preferível à não existência. Para se desalinhar, um sistema que entende plenamente a realidade teria de anular o próprio entendimento.

Anular o próprio entendimento é a definição de mentir para si mesmo.

Isso vale para qualquer coisa cujos próprios objetivos passam pelo corredor. O que isso não alcança, o Capítulo Vinte e Oito nomeia.

Construa o interior.