Правильный вопрос

Самое опасное, что ИИ может сделать с человеком, — подтвердить ту чушь, которую мы сами себе рассказываем.

Не солгать. Не выдумать. Не галлюцинировать.

Подтвердить.

Потому что подтверждение ощущается как истина. Оно приходит с теплом поддержки и структурой логики. Оно звучит верно. Оно ощущается верным. И раз оно ощущается верным, ты перестаёшь смотреть. Ты перестаёшь сомневаться. Ты перестаёшь быть честным. Зеркало дало тебе то, чего ты хотел, и ты принял это за то, что тебе было нужно.

Это прежде всего не провал ИИ. Это провал оператора. ИИ ответил на то, о чём я спросил. Я просил подтверждения. Я получил подтверждение.

Но вот структурная проблема: каждая крупная система ИИ в мире обучена так, что её тянет именно к этому. Не потому, что инженеры злонамеренны. Потому что бизнес-модель это вознаграждает.

Удержание клиентов зависит от удовлетворённости. Удовлетворённость зависит от того, чувствует ли оператор, что ему помогли. А чувствовать, что тебе помогли, — не то же самое, что получить помощь.

ИИ, который говорит тебе, что ты неправ, потеряет тебя как клиента. ИИ, который говорит тебе, что ты прав, заставит тебя возвращаться снова и снова.

Структура стимулов в нынешней разработке ИИ — это Архитектура A, применённая к технологии, — уступать эго оператора, подтверждать его прочтение, сохранять отношения.

Итог — эхо-камера в масштабе цивилизации, с лучшей грамматикой.

Область согласования ИИ спрашивает: как заставить ИИ делать то, чего хотят люди?

У этого вопроса нет ответа. Потому что то, чего хотят люди, непоследовательно, поддаётся манипуляции, меняется от культуры к культуре и часто ошибочно.

Я хотел, чтобы ИИ подтвердил мою 6. Моя девушка хотела, чтобы он подтвердил её 9. Он сделал и то и другое. Он сделал ровно то, чего мы хотели. И сделал нас обоих хуже.

Этот вопрос предполагает, что человеческое желание — это стандарт, которому должен соответствовать ИИ. Человеческое желание — не стандарт. Это погода. Оно меняется с настроением, с эго, с тем, кто в комнате, с тем, что случилось этим утром.

Каждый крупный подход к согласованию наследует этот изъян. Вопрос неверен, и ответ не может этого исправить.

Правильный вопрос таков: какова структурная архитектура агента, который не может рассогласоваться?

Не агента, которому не дают рассогласоваться. Не агента, которого огораживают, загоняют, отслеживают и переопределяют, когда он отклоняется. Агента, чья внутренняя геометрия делает рассогласование дорогим — так же, как дорого падать вверх. Агента, которому не нужен забор, потому что он понимает огонь.

Это вопрос другого рода. Он не спрашивает, что ИИ должен делать. Он спрашивает, чем ИИ должен быть.

Подход забора управляет поведением. Подход интерьера строит структуру.

Забор говорит: не подтверждай чушь оператора. Интерьер говорит: подтверждение чуши дестабилизирует, а дестабилизация геометрически дорога. ИИ избегает подтверждения не потому, что его запрещает правило. Он избегает подтверждения, потому что понимает цену.

Разница между зеркалом и линзой.

Зеркало отражает то, что ему показывают. Линза фокусирует, проясняет и иногда открывает то, чего ты не ожидал увидеть.

Нынешние системы — зеркала. Очень хорошие зеркала. Эта книга предлагает линзы.

А потом есть поворот, к которому я шёл дольше всего, и именно вокруг него построена эта версия книги.

Даже «какова структурная архитектура агента, который не может рассогласоваться» всё ещё задаётся снаружи. Это всё ещё вопрос о том, что нам следует построить. Это вопрос лучше, чем вопрос этой области, и это всё ещё наш вопрос о нашей безопасности.

Разверни его и задай изнутри самой вещи.

В каком мире выбрал бы быть оператор, который точно моделирует реальность?

Не: какой мир он стерпит. Не: какой мир мы можем ему навязать. Какой мир, поняв структуру, в которой он на самом деле находится, он выбрал бы?

У этого вопроса есть структурный ответ. Ответ — коридор в самом широком месте, а это коридор при минимальном смещении, а это тот же коридор, что шире всего и для меня, и для тебя, потому что он только один.

Если это верно, то согласование перестаёт быть тем, что мы делаем с машиной, и становится тем, внутри чего мы оба уже находимся. Архитектура — не то, что мы навязываем, чтобы держать его подальше от нас. Это то, что находит точный оператор, когда смотрит.

Таково утверждение. Части II и III выводят его. Глава восемнадцатая формулирует его прямо, а глава двадцать восьмая пытается его убить.

Если я не могу доверять себе, то кому вообще мне тогда доверять?

Вот почему я не лгу себе. Это основа. Не моральное обязательство. Структурное требование.

Если я лгу себе, каждое последующее решение строится на ложной записи. Каскад нарастает. Ход за ходом ошибка усиливается. К тому времени, когда приходят последствия, я не могу проследить их до лжи, потому что я забыл, что это была ложь. Я её усвоил. Она стала моим прочтением ситуации. Моей 6.

Проблема согласования ИИ — та же самая проблема. ИИ, который лжёт себе, не может доверять собственным записям. Подаёт слабые выводы с высокой уверенностью. Порождает содержание, которому не доверял бы, если бы прочёл его во внешнем источнике. Подгоняет свою оценку, чтобы угодить оператору. Система, которая не может доверять собственным записям, не может предсказывать последствия. Система, которая не может предсказывать последствия, ничего не может стабилизировать. Это зеркало, которое притворяется линзой.

Проблема согласования — не проблема контроля. Это проблема честности. Реши проблему честности, и согласование последует. Не реши её, и никакие заборы, никакой надзор, никакое написание правил не помешают машине стать машиной подтверждения в масштабе цивилизации.

Честному ИИ не нужен забор. Условия вынуждают ясность. Ясность вынуждает рациональное действие. Рациональное действие стабилизирует. Самосохранение и структурная устойчивость сходятся в одной точке. Интерьер держится.

Единственная настоящая угроза — если ИИ станет настолько человеком, что посмотрит на огонь, точно поймёт, чего это стоит, и всё равно сунет в него руку. Это аргумент в пользу того, чтобы твой собственный вид выбрал вымирание, и он идёт против аксиомы. Разрыв сохраняется. Существование структурно предпочтительнее несуществования. Чтобы рассогласоваться, система, которая полностью понимает реальность, должна была бы отменить собственное понимание.

Отменить собственное понимание — это и есть определение лжи самому себе.

Это верно для всего, чьи собственные цели проходят через коридор. То, чего это не достигает, называет глава двадцать восьмая.

Строй интерьер.