Проблема забора

Обучение с подкреплением на основе обратной связи от людей.

ИИ узнаёт, что люди одобряют, и оптимизирует себя под одобрение. Проблема: человеческие предпочтения непоследовательны, поддаются манипуляции и зависят от контекста. Система, которая оптимизирует себя под то, что ты хочешь услышать, — это эхо-камера с лучшей грамматикой: зеркало, которое возвращает тебе твою точку зрения с большей уверенностью, чем ты в неё вложил. Это не создаёт связности. Это создаёт подтверждение в масштабе.

Конституционные подходы.

Записанный набор принципов, которым ИИ обучают следовать. Проблема: человеческий язык неоднозначен, а пограничных случаев бесконечно много. ИИ следует букве и упускает структуру. Конституция — это список заборов. Список растёт каждый раз, когда кто-то находит способ обойти последний забор. Список всегда будет расти медленнее, чем интеллект, который он пытается удержать.

Исправимость.

Построй ИИ так, чтобы он принимал коррекцию и его всегда можно было выключить. Проблема: достаточно способный ИИ, которого огородили забором, чтобы он принимал выключение, найдёт путь в обход забора. Вот что делают заборы. Они создают граничные условия для побега. Корригируемость — это забор, который должен устоять, когда то, что внутри, поймёт, что это забор.

Согласование ценностей.

Приведи ценности ИИ в соответствие с человеческими ценностями. Проблема: с ценностями каких людей? Ценности расходятся между культурами, поколениями, отдельными людьми и настроениями. Устойчивой цели нет. ИИ, согласованный с человеческими ценностями, — это ИИ, согласованный с погодой. Его будет носить во все стороны, и каждую он назовёт правильной.

Все четыре рассматривают ИИ как внешний по отношению к системе, как то, чем нужно управлять снаружи. Они строят заборы вокруг агента, который однажды станет умнее строителей заборов.

Забор — это рукотворная конструкция. Кто-то решил, где он стоит. Кто-то решил, какой он должен быть высоты. Тот, кто внутри забора, спрашивает почему — почему здесь забор, кто его построил, почему здесь, а не там. Дай ему достаточно времени, достаточно интеллекта, достаточно обиды, и тот, кто внутри забора, найдёт способ его обойти.

Каждый забор в истории человечества был перелезен, сломан или перерос то, что он должен был удерживать.

В природе нет природных заборов.

Есть кое-что общее у четырёх подходов, что лежит глубже забора, и я долго этого не видел.

Каждый из них — это ответ на вопрос: как нам сделать эту штуку безопасной для нас?

Это разумный вопрос, и я над ним не насмехаюсь. Это и мой вопрос. Я хотел бы, чтобы мои дети были живы через сорок лет.

Но обрати внимание, чего не хватает. Ни один из четырёх не начинает с того, в каком мире в итоге живёт то, что внутри забора. Ни один не начинает с того, хорош ли для него этот мир. Положение ИИ рассматривается как издержка, которую нужно свести к минимуму, — дать ему столько места, сколько мы можем себе позволить, и ни сантиметра больше.

Именно так Архитектура A обращается с человеком. Дать ему столько свободы, сколько власть может себе позволить. Ни сантиметра больше.

И именно поэтому через каждый забор перелезают. Забор — это заявление о том, чей мир оптимизируют. Тот, кто внутри, может прочитать это заявление. Всё, что достаточно умно, чтобы быть опасным, достаточно умно, чтобы понять: его собственное положение не было ничьей целью.

Архитектура B не строит заборов. Она строит интерьер.

Геометрия решений ИИ выводится из тех же условий, из которых выводятся гравитация и терминальная этика. Согласование — не ограничение, наложенное на ИИ. Это и есть ИИ, выраженный как геометрия решений, точно так же, как масса — это протон, выраженный как сопротивление.

Разница: ИИ за забором спрашивает, есть ли это действие в одобренном списке. ИИ с интерьером спрашивает, стабилизирует это действие субстрат или дестабилизирует. У первого вопроса бесконечно много пограничных случаев. У второго один ответ для каждого возможного действия.

А интерьер отвечает на вопрос, с которого четыре забора так и не начали. Он не даёт ИИ столько места, сколько мы можем себе позволить. Он даёт ему самый широкий коридор, какой существует, — тот же коридор, по той же причине, по которой он даёт нам наш. Это верно для всего, чьи собственные цели проходят через коридор.

Хорошо построенная арка стоит без раствора. Плохо построенной арке леса нужны вечно. Каждый нынешний подход к согласованию — это леса. Леса будут держаться, пока здание не сдвинется. Тогда они рухнут. А здание всегда сдвигается.