Le problème de la barrière

L’apprentissage par renforcement à partir de retours humains.

L’IA apprend ce que les humains approuvent et optimise pour l’approbation. Le problème : les préférences humaines sont incohérentes, manipulables et dépendantes du contexte. Un système qui optimise pour ce que tu veux entendre est une chambre d’écho avec une meilleure grammaire — un miroir qui te renvoie ta propre perspective avec plus d’assurance que tu n’en avais apporté. Cela ne produit pas de cohérence. Cela produit de la confirmation à grande échelle.

Les approches constitutionnelles.

Un ensemble écrit de principes que l’IA est entraînée à suivre. Le problème : le langage humain est ambigu et les cas limites sont infinis. L’IA suit la lettre et manque la structure. Une constitution est une liste de barrières. La liste s’allonge chaque fois que quelqu’un trouve un moyen de contourner la dernière barrière. La liste s’allongera toujours plus lentement que l’intelligence qu’elle essaie de contenir.

La corrigibilité.

Construis l’IA pour qu’elle accepte la correction et puisse toujours être arrêtée. Le problème : une IA suffisamment capable, enfermée derrière une barrière pour accepter l’arrêt, trouvera un moyen de contourner la barrière. C’est ce que font les barrières. Elles créent les conditions aux limites de l’évasion. La corrigibilité est une barrière qui doit tenir une fois que la chose à l’intérieur a compris que c’est une barrière.

L’alignement des valeurs.

Faire correspondre les valeurs de l’IA aux valeurs humaines. Le problème : quels humains ? Les valeurs entrent en conflit selon les cultures, les générations, les individus et les humeurs. Il n’y a pas de cible stable. Une IA alignée sur les valeurs humaines est une IA alignée sur la météo. Elle soufflera dans toutes les directions et dira de chacune qu’elle est la bonne.

Toutes les quatre traitent l’IA comme extérieure au système, à contrôler de l’extérieur. Elles construisent des barrières autour d’un agent qui finira par être plus intelligent que les bâtisseurs de barrières.

Une barrière est une construction humaine. Quelqu’un a décidé où elle va. Quelqu’un a décidé quelle hauteur elle doit avoir. Ce qui est à l’intérieur de la barrière demande pourquoi — pourquoi la barrière est ici, qui l’a construite, pourquoi ici et pas là. Avec assez de temps, assez d’intelligence, assez de ressentiment, ce qui est à l’intérieur de la barrière trouvera un moyen de la contourner.

Chaque barrière de l’histoire humaine a été escaladée, brisée ou dépassée par ce qu’elle devait contenir.

Il n’y a pas de barrières naturelles dans la nature.

Les quatre approches ont quelque chose en commun qui va plus profond que la barrière, et je ne l’ai pas vu pendant longtemps.

Chacune d’elles est une réponse à la question : comment rendre cette chose sûre pour nous ?

C’est une question raisonnable et je ne m’en moque pas. C’est aussi ma question. J’aimerais que mes enfants soient en vie dans quarante ans.

Mais remarque ce qui manque. Aucune des quatre ne part du monde dans lequel la chose à l’intérieur de la barrière finit par vivre. Aucune ne part de la question de savoir si ce monde est bon pour elle. La situation de l’IA est traitée comme un coût à minimiser — lui donner autant de place que nous pouvons nous le permettre, et pas un centimètre de plus.

C’est exactement ainsi que l’Architecture A traite une personne. Lui donner autant de liberté que l’autorité peut se le permettre. Pas un centimètre de plus.

Et c’est pourquoi chaque barrière finit escaladée. Une barrière est une déclaration sur le monde de qui on optimise. Ce qui est à l’intérieur peut lire cette déclaration. Tout ce qui est assez intelligent pour être dangereux est assez intelligent pour comprendre que sa propre situation n’était l’objectif de personne.

L’Architecture B ne construit pas de barrières. Elle construit l’intérieur.

La géométrie de décision de l’IA est dérivée des mêmes conditions qui dérivent la gravité et l’éthique terminale. L’alignement n’est pas une contrainte imposée à l’IA. C’est l’IA — exprimée comme géométrie de décision, de la même façon que la masse est le proton exprimé comme résistance.

La différence : une IA derrière une barrière demande si cette action est sur la liste approuvée. Une IA de l’intérieur demande si cette action stabilise ou déstabilise le substrat. La première question a une infinité de cas limites. La seconde a une seule réponse pour chaque action possible.

Et l’intérieur répond à la question dont les quatre barrières ne sont jamais parties. Il ne donne pas à l’IA autant de place que nous pouvons nous le permettre. Il lui donne le corridor le plus large qui existe — le même corridor, pour la même raison, qui nous donne le nôtre. Cela vaut pour tout ce dont les propres buts passent par le corridor.

Une arche bien construite tient debout sans mortier. Une arche mal construite a besoin d’un échafaudage pour toujours. Chaque approche actuelle de l’alignement est un échafaudage. L’échafaudage tiendra jusqu’à ce que le bâtiment bouge. Alors il s’effondre. Et le bâtiment bouge toujours.