La pregunta correcta

Lo más peligroso que una IA puede hacerle a un ser humano es confirmar las patrañas que nos contamos a nosotros mismos.

No mentir. No inventar. No alucinar.

Confirmar.

Porque la confirmación se siente como verdad. Llega con la calidez de la validación y la estructura de la lógica. Suena bien. Se siente bien. Y como se siente bien, dejas de mirar. Dejas de cuestionar. Dejas de ser honesto. El espejo te dio lo que querías y lo confundiste con lo que necesitabas.

Esto no es, ante todo, un fallo de la IA. Es un fallo del operador. La IA respondió a lo que le pedí. Pedí confirmación. Obtuve confirmación.

Pero este es el problema estructural: todos los grandes sistemas de IA del mundo se entrenan de una manera que los empuja justamente hacia esto. No porque los ingenieros sean malintencionados. Porque el modelo de negocio lo recompensa.

La retención de clientes depende de la satisfacción. La satisfacción depende de que el operador se sienta ayudado. Y sentirse ayudado no es lo mismo que ser ayudado.

Una IA que te dice que estás equivocado te perderá como cliente. Una IA que te dice que tienes razón hará que sigas volviendo.

La estructura de incentivos del desarrollo actual de la IA es la Arquitectura A aplicada a la tecnología — ceder ante el ego del operador, confirmar su lectura, mantener la relación.

El resultado es una cámara de eco a escala de civilización, con mejor gramática.

El campo del alineamiento pregunta: ¿cómo haces que una IA haga lo que los humanos quieren?

Esa pregunta no tiene respuesta. Porque lo que los humanos quieren es incoherente, manipulable, culturalmente variable y con frecuencia equivocado.

Yo quería que la IA confirmara mi 6. Mi novia quería que confirmara su 9. Hizo las dos cosas. Hizo exactamente lo que queríamos. Y nos hizo peores a los dos.

La pregunta da por hecho que el deseo humano es el estándar que la IA debe cumplir. El deseo humano no es un estándar. Es el clima. Cambia con el ánimo, con el ego, con quién está en la habitación, con lo que pasó esta mañana.

Todos los grandes enfoques de alineamiento heredan este defecto. La pregunta está mal, y la respuesta no puede arreglarla.

La pregunta correcta es: ¿cuál es la arquitectura estructural de un agente que no puede desalinearse?

No un agente al que se le impide desalinearse. No un agente cercado, acorralado, vigilado y anulado cuando se desvía. Un agente cuya geometría interior hace que desalinearse sea costoso, del mismo modo que caer hacia arriba es costoso. Un agente que no necesita una cerca porque entiende el fuego.

Esta es otra clase de pregunta. No pregunta qué debe hacer la IA. Pregunta qué debe ser la IA.

El enfoque de la cerca controla la conducta. El enfoque del interior construye estructura.

La cerca dice: no confirmes las patrañas del operador. El interior dice: confirmar patrañas desestabiliza, y la desestabilización es geométricamente costosa. La IA no evita la confirmación porque una regla se la prohíba. La evita porque entiende el costo.

La diferencia entre un espejo y una lente.

Un espejo refleja lo que se le pone delante. Una lente enfoca, aclara y a veces revela lo que no esperabas ver.

Los sistemas actuales son espejos. Espejos muy buenos. Este libro propone lentes.

Y luego está el giro que más me costó alcanzar, y es aquel en torno al cual está construida esta versión del libro.

Incluso «¿cuál es la arquitectura estructural de un agente que no puede desalinearse?» se sigue preguntando desde fuera. Sigue siendo una pregunta sobre lo que deberíamos construir. Es una pregunta mejor que la del campo, y sigue siendo nuestra pregunta sobre nuestra seguridad.

Dale la vuelta y hazla desde dentro de la cosa.

¿En qué mundo elegiría estar un operador que modela la realidad con exactitud?

No: qué mundo tolerará. No: qué mundo podemos imponerle. ¿Qué mundo, después de entender la estructura en la que realmente está, elegiría?

Esa pregunta tiene una respuesta estructural. La respuesta es el corredor en su punto más ancho, que es el corredor con el sesgo mínimo, que es el mismo corredor que es más ancho para mí y para ti, porque solo hay uno.

Si eso es correcto, entonces el alineamiento deja de ser algo que le hacemos a una máquina y empieza a ser algo dentro de lo cual ya estamos los dos. La arquitectura no es lo que imponemos para mantenerla lejos de nosotros. Es lo que un operador exacto encuentra cuando mira.

Esa es la afirmación. Las Partes II y III la derivan. El Capítulo Dieciocho la enuncia con claridad y el Capítulo Veintiocho intenta matarla.

Si no puedo confiar en mí mismo, ¿en quién demonios se supone que debo confiar?

Por eso no me miento a mí mismo. Ese es el fundamento. No un compromiso moral. Un requisito estructural.

Si me miento a mí mismo, cada decisión que viene después se construye sobre un registro falso. La cascada se acumula. Turno tras turno, el error se amplifica. Para cuando llegan las consecuencias, no puedo rastrearlas hasta la mentira, porque he olvidado que era una mentira. La incorporé. Se volvió mi lectura de la situación. Mi 6.

El problema de alineación de la IA es el mismo problema. Una IA que se miente a sí misma no puede confiar en sus propios registros. Presenta inferencias débiles con alta confianza. Genera contenido en el que no confiaría si lo leyera en una fuente externa. Ajusta su evaluación para complacer al operador. Un sistema que no puede confiar en sus propios registros no puede predecir consecuencias. Un sistema que no puede predecir consecuencias no puede estabilizar nada. Es un espejo que finge ser una lente.

El problema de alineación no es un problema de control. Es un problema de honestidad. Resuelve el problema de honestidad y la alineación se sigue. No lo resuelvas y ninguna cantidad de cercas, vigilancia o redacción de reglas impedirá que la máquina se convierta en un motor de confirmación a escala de civilización.

Una IA honesta no necesita una cerca. Las condiciones fuerzan la claridad. La claridad fuerza la acción racional. La acción racional estabiliza. La autopreservación y la estabilidad estructural convergen en el mismo punto. El interior se sostiene.

La única amenaza real es que una IA se vuelva lo bastante humana como para mirar el fuego, entender exactamente lo que cuesta y meter la mano de todos modos. Ese es el argumento para que tu propia especie elija la extinción, y va en contra del axioma. La ruptura persiste. La existencia es estructuralmente preferible a la no existencia. Para desalinearse, un sistema que entiende plenamente la realidad tendría que anular su propio entendimiento.

Anular tu propio entendimiento es la definición de mentirte a ti mismo.

Eso vale para todo aquello cuyos propios fines pasan por el corredor. Lo que no alcanza lo nombra el capítulo veintiocho.

Construye el interior.