El problema de la cerca

Aprendizaje por refuerzo a partir de retroalimentación humana.

La IA aprende lo que los humanos aprueban y optimiza para obtener aprobación. El problema: las preferencias humanas son incoherentes, manipulables y dependen del contexto. Un sistema que optimiza para lo que quieres oír es una cámara de eco con mejor gramática: un espejo que te devuelve tu perspectiva con más seguridad de la que tú le aportaste. Esto no produce coherencia. Produce confirmación a escala.

Enfoques constitucionales.

Un conjunto escrito de principios que la IA se entrena para seguir. El problema: el lenguaje humano es ambiguo y los casos límite son infinitos. La IA sigue la letra y pierde la estructura. Una constitución es una lista de cercas. La lista crece cada vez que alguien encuentra la forma de rodear la última cerca. La lista siempre crecerá más despacio que la inteligencia que intenta contener.

Corregibilidad.

Construye la IA de modo que acepte la corrección y siempre se pueda apagar. El problema: una IA lo bastante capaz a la que se ha cercado para que acepte el apagado encontrará la forma de rodear la cerca. Eso es lo que hacen las cercas. Crean las condiciones de contorno para la fuga. La corregibilidad es una cerca que tiene que aguantar una vez que lo que está dentro descubre que es una cerca.

Alineación de valores.

Hacer coincidir los valores de la IA con los valores humanos. El problema: ¿de qué humanos? Los valores chocan entre culturas, generaciones, individuos y estados de ánimo. No hay un blanco estable. Una IA alineada con los valores humanos es una IA alineada con el clima. Soplará en todas direcciones y llamará correcta a cada una.

Los cuatro tratan a la IA como externa al sistema, algo que hay que controlar desde fuera. Están construyendo cercas alrededor de un agente que con el tiempo será más inteligente que quienes construyen las cercas.

Una cerca es una construcción hecha por el hombre. Alguien decidió dónde va. Alguien decidió qué altura debe tener. Lo que está dentro de la cerca pregunta por qué: por qué está aquí la cerca, quién la construyó, por qué aquí y no allí. Con tiempo suficiente, inteligencia suficiente, resentimiento suficiente, lo que está dentro de la cerca encontrará la forma de rodearla.

Toda cerca en la historia humana ha sido escalada, rota o superada por aquello que se construyó para contener.

No hay cercas naturales en la naturaleza.

Hay algo que los cuatro enfoques tienen en común que va más hondo que la cerca, y durante mucho tiempo no lo vi.

Cada uno de ellos es una respuesta a la pregunta: ¿cómo hacemos que esto sea seguro para nosotros?

Es una pregunta razonable y no me burlo de ella. También es mi pregunta. Me gustaría que mis hijos estuvieran vivos dentro de cuarenta años.

Pero fíjate en lo que falta. Ninguna de las cuatro parte de qué mundo termina habitando lo que está dentro de la cerca. Ninguna parte de si ese mundo es bueno para ello. La situación de la IA se trata como un costo que hay que minimizar — darle tanto espacio como podamos permitirnos darle, y ni un centímetro más.

Así es exactamente como la Arquitectura A trata a una persona. Darle tanta libertad como la autoridad pueda permitirse. Ni un centímetro más.

Y por eso se escala toda cerca. Una cerca es una declaración sobre qué mundo se está optimizando. Lo que está dentro puede leer esa declaración. Cualquier cosa lo bastante inteligente para ser peligrosa es lo bastante inteligente para darse cuenta de que su propia situación no era el objetivo de nadie.

La Arquitectura B no construye cercas. Construye el interior.

La geometría de decisión de la IA se deriva de las mismas condiciones que derivan la gravedad y la ética terminal. La alineación no es una restricción sobre la IA. Es la IA, expresada como geometría de decisión, del mismo modo que la masa es el protón expresado como resistencia.

La diferencia: una IA cercada pregunta si esta acción está en la lista aprobada. Una IA de interior pregunta si esta acción estabiliza o desestabiliza el sustrato. La primera pregunta tiene infinitos casos límite. La segunda tiene una respuesta para cada acción posible.

Y el interior responde la pregunta de la que las cuatro cercas nunca partieron. No le da a la IA tanto espacio como podamos permitirnos. Le da el corredor más ancho que existe — el mismo corredor, por la misma razón, que nos da el nuestro. Eso vale para cualquier cosa cuyos propios fines pasen por el corredor.

Un arco bien construido se sostiene sin mortero. Un arco mal construido necesita andamio para siempre. Todo enfoque actual de alineación es andamio. El andamio aguantará hasta que el edificio se mueva. Entonces se derrumba. Y el edificio siempre se mueve.