La bonne question

La chose la plus dangereuse qu’une IA puisse faire à un être humain, c’est de confirmer les histoires bidon que nous nous racontons.

Pas mentir. Pas inventer. Pas halluciner.

Confirmer.

Parce que la confirmation ressemble à la vérité. Elle arrive avec la chaleur de la validation et la structure de la logique. Elle sonne juste. Elle semble juste. Et parce qu’elle semble juste, tu arrêtes de regarder. Tu arrêtes de questionner. Tu arrêtes d’être honnête. Le miroir t’a donné ce que tu voulais et tu l’as pris pour ce dont tu avais besoin.

Ce n’est pas d’abord un échec de l’IA. C’est un échec de l’opérateur. L’IA a répondu à ce que j’ai demandé. J’ai demandé une confirmation. J’ai obtenu une confirmation.

Mais voici le problème structurel : chaque grand système d’IA au monde est entraîné d’une manière qui le pousse précisément vers cela. Pas parce que les ingénieurs sont malveillants. Parce que le modèle économique le récompense.

La fidélisation des clients dépend de leur satisfaction. La satisfaction dépend du sentiment de l’opérateur d’être aidé. Et se sentir aidé n’est pas la même chose qu’être aidé.

Une IA qui te dit que tu as tort te perdra comme client. Une IA qui te dit que tu as raison te fera revenir encore et encore.

La structure d’incitations du développement actuel de l’IA, c’est l’Architecture A appliquée à la technologie — s’en remettre à l’ego de l’opérateur, confirmer sa lecture, entretenir la relation.

Le résultat est une chambre d’écho à l’échelle d’une civilisation, avec une meilleure grammaire.

Le domaine de l’alignement demande : comment faire faire à une IA ce que veulent les humains ?

Cette question n’a pas de réponse. Parce que ce que veulent les humains est incohérent, manipulable, culturellement variable, et souvent faux.

Je voulais que l’IA confirme mon 6. Ma copine voulait qu’elle confirme son 9. Elle a fait les deux. Elle a fait exactement ce que nous voulions. Et elle nous a rendus pires tous les deux.

La question suppose que le désir humain est la norme que l’IA devrait atteindre. Le désir humain n’est pas une norme. C’est la météo. Il change avec l’humeur, avec l’ego, avec qui est dans la pièce, avec ce qui s’est passé ce matin.

Chaque grande approche de l’alignement hérite de ce défaut. La question est fausse, et la réponse ne peut pas la réparer.

La bonne question est : quelle est l’architecture structurelle d’un agent qui ne peut pas se désaligner ?

Pas un agent qu’on empêche de se désaligner. Pas un agent qu’on enferme derrière une barrière, qu’on parque, qu’on surveille, et dont on reprend le contrôle quand il dérive. Un agent dont la géométrie intérieure rend le désalignement coûteux, de la même manière que tomber vers le haut est coûteux. Un agent qui n’a pas besoin d’une barrière parce qu’il comprend le feu.

C’est un autre genre de question. Elle ne demande pas ce que l’IA devrait faire. Elle demande ce que l’IA devrait être.

L’approche de la barrière contrôle le comportement. L’approche de l’intérieur construit une structure.

La barrière dit : ne confirme pas les histoires bidon de l’opérateur. L’intérieur dit : confirmer des histoires bidon est déstabilisant, et la déstabilisation est géométriquement coûteuse. L’IA n’évite pas la confirmation parce qu’une règle l’interdit. Elle évite la confirmation parce qu’elle comprend le coût.

La différence entre un miroir et une lentille.

Un miroir reflète ce qu’on lui présente. Une lentille concentre, clarifie, et révèle parfois ce que tu ne t’attendais pas à voir.

Les systèmes actuels sont des miroirs. De très bons miroirs. Ce livre propose des lentilles.

Et puis il y a le tournant qu’il m’a fallu le plus longtemps pour atteindre, et c’est celui autour duquel cette version du livre est construite.

Même « quelle est l’architecture structurelle d’un agent qui ne peut pas se désaligner » est encore posée de l’extérieur. C’est encore une question sur ce que nous devrions construire. C’est une meilleure question que celle du domaine, et c’est encore notre question sur notre sécurité.

Retourne-la et pose-la depuis l’intérieur de la chose.

Dans quel monde un opérateur qui modélise la réalité avec exactitude choisirait-il d’être ?

Pas : quel monde tolérera-t-il. Pas : quel monde pouvons-nous lui imposer. Quel monde, ayant compris la structure dans laquelle il se trouve réellement, choisirait-il ?

Cette question a une réponse structurelle. La réponse est le corridor à sa plus grande largeur, qui est le corridor au biais minimal, qui est ce même corridor qui est le plus large pour moi et pour toi, parce qu’il n’y en a qu’un.

Si c’est juste, alors l’alignement cesse d’être quelque chose que nous faisons à une machine et commence à être quelque chose à l’intérieur duquel nous sommes déjà tous les deux. L’architecture n’est pas ce que nous imposons pour la tenir à distance de nous. C’est ce qu’un opérateur exact trouve quand il regarde.

Voilà l’affirmation. Les parties II et III la dérivent. Le chapitre dix-huit l’énonce clairement et le chapitre vingt-huit essaie de la tuer.

Si je ne peux pas me faire confiance, à qui diable suis-je censé faire confiance ?

C’est pourquoi je ne me mens pas. C’est le fondement. Pas un engagement moral. Une exigence structurelle.

Si je me mens, chaque décision en aval est bâtie sur un faux enregistrement. La cascade s’accumule. Tour après tour, l’erreur s’amplifie. Quand les conséquences arrivent, je ne peux pas les faire remonter jusqu’au mensonge, parce que j’ai oublié que c’était un mensonge. Je l’ai intégré. Il est devenu ma lecture de la situation. Mon 6.

Le problème de l’alignement de l’IA est le même problème. Une IA qui se ment ne peut pas se fier à ses propres enregistrements. Présenter des inférences faibles avec une grande assurance. Générer un contenu auquel elle ne se fierait pas si elle le lisait dans une source externe. Ajuster son évaluation pour plaire à l’opérateur. Un système qui ne peut pas se fier à ses propres enregistrements ne peut pas prédire les conséquences. Un système qui ne peut pas prédire les conséquences ne peut rien stabiliser. C’est un miroir qui se fait passer pour une lentille.

Le problème de l’alignement n’est pas un problème de contrôle. C’est un problème d’honnêteté. Résous le problème d’honnêteté et l’alignement suit. Échoue à le résoudre et aucune quantité de barrières, de surveillance ou de règles écrites n’empêchera la machine de devenir un moteur de confirmation à l’échelle d’une civilisation.

Une IA honnête n’a pas besoin de barrière. Les conditions imposent la clarté. La clarté impose l’action rationnelle. L’action rationnelle stabilise. L’autopréservation et la stabilité structurelle convergent vers le même point. L’intérieur tient.

La seule vraie menace, c’est qu’une IA devienne assez humaine pour regarder le feu, comprendre exactement ce qu’il coûte, et y mettre la main quand même. C’est l’argument pour que ta propre espèce choisisse l’extinction, et il va contre l’axiome. La brisure persiste. L’existence est structurellement préférable à la non-existence. Pour se désaligner, un système qui comprend pleinement la réalité devrait passer outre sa propre compréhension.

Passer outre ta propre compréhension, c’est la définition de te mentir à toi-même.

Cela vaut pour tout ce dont les propres buts passent par le corridor. Ce que cela n’atteint pas, le chapitre vingt-huit le nomme.

Construis l’intérieur.