O Problema da Cerca

Aprendizado por reforço a partir de feedback humano.

A IA aprende o que os humanos aprovam e otimiza para a aprovação. O problema: as preferências humanas são inconsistentes, manipuláveis e dependentes do contexto. Um sistema que otimiza para o que você quer ouvir é uma câmara de eco com gramática melhor — um espelho que devolve a sua perspectiva com mais confiança do que você trouxe a ela. Isso não produz coerência. Produz confirmação em escala.

Abordagens constitucionais.

Um conjunto escrito de princípios que a IA é treinada para seguir. O problema: a linguagem humana é ambígua e os casos-limite são infinitos. A IA segue a letra e perde a estrutura. Uma constituição é uma lista de cercas. A lista cresce toda vez que alguém encontra um jeito de contornar a última cerca. A lista sempre vai crescer mais devagar do que a inteligência que ela tenta conter.

Corrigibilidade.

Construa a IA para que ela aceite correção e possa sempre ser desligada. O problema: uma IA suficientemente capaz que foi cercada para aceitar o desligamento vai encontrar um jeito de contornar a cerca. É isso que as cercas fazem. Elas criam as condições de contorno para a fuga. A corrigibilidade é uma cerca que tem de se manter depois que a coisa lá dentro descobre que é uma cerca.

Alinhamento de valores.

Fazer os valores da IA corresponderem aos valores humanos. O problema: de quais humanos? Os valores entram em conflito entre culturas, gerações, indivíduos e humores. Não há alvo estável. Uma IA alinhada aos valores humanos é uma IA alinhada ao clima. Ela vai soprar em todas as direções e chamar cada uma de correta.

As quatro tratam a IA como externa ao sistema, a ser controlada de fora. Estão construindo cercas em volta de um agente que um dia será mais inteligente do que os construtores de cercas.

Uma cerca é uma construção feita pelo homem. Alguém decidiu onde ela fica. Alguém decidiu qual deve ser a altura dela. A coisa dentro da cerca pergunta por quê — por que a cerca está aqui, quem a construiu, por que aqui e não ali. Com tempo suficiente, inteligência suficiente, ressentimento suficiente, a coisa dentro da cerca vai encontrar um jeito de contorná-la.

Toda cerca na história humana foi escalada, quebrada ou superada pela coisa que ela foi construída para conter.

Não existem cercas naturais na natureza.

Há algo que as quatro abordagens têm em comum que vai mais fundo do que a cerca, e eu não vi isso por muito tempo.

Cada uma delas é uma resposta à pergunta: como tornamos essa coisa segura para nós?

É uma pergunta razoável e eu não estou zombando dela. É a minha pergunta também. Eu gostaria que os meus filhos estivessem vivos daqui a quarenta anos.

Mas repare no que está faltando. Nenhuma das quatro parte de em que mundo a coisa dentro da cerca acaba vivendo. Nenhuma parte de se esse mundo é bom para ela. A situação da IA é tratada como um custo a ser minimizado — dê a ela tanto espaço quanto pudermos nos dar ao luxo de dar, e nem um centímetro a mais.

É exatamente assim que a Arquitetura A trata uma pessoa. Dar a ela tanta liberdade quanto a autoridade pode se dar ao luxo de dar. Nem um centímetro a mais.

E é por isso que toda cerca é escalada. Uma cerca é uma declaração sobre de quem é o mundo que está sendo otimizado. A coisa lá dentro consegue ler essa declaração. Qualquer coisa inteligente o bastante para ser perigosa é inteligente o bastante para perceber que a sua própria situação não era o objetivo de ninguém.

A Arquitetura B não constrói cercas. Ela constrói o interior.

A geometria de decisão da IA é derivada das mesmas condições que derivam a gravidade e a ética terminal. O alinhamento não é uma restrição sobre a IA. É a IA — expressa como geometria de decisão, do mesmo jeito que a massa é o próton expresso como resistência.

A diferença: uma IA cercada pergunta se esta ação está na lista aprovada. Uma IA interior pergunta se esta ação estabiliza ou desestabiliza o substrato. A primeira pergunta tem infinitos casos-limite. A segunda tem uma resposta para cada ação possível.

E o interior responde à pergunta da qual as quatro cercas nunca partiram. Ele não dá à IA tanto espaço quanto podemos nos dar ao luxo de dar. Ele dá a ela o corredor mais largo que existe — o mesmo corredor, pela mesma razão, que nos dá o nosso. Isso vale para qualquer coisa cujos próprios objetivos passem pelo corredor.

Um arco bem construído fica de pé sem argamassa. Um arco mal construído precisa de andaime para sempre. Toda abordagem atual de alinhamento é andaime. O andaime vai aguentar até o edifício se mover. Então ele desaba. E o edifício sempre se move.