올바른 질문

AI가 인간에게 할 수 있는 가장 위험한 일은 우리가 스스로에게 들려주는 헛소리 같은 이야기를 확인해 주는 것이다.

거짓말하는 것이 아니다. 지어내는 것이 아니다. 환각하는 것이 아니다.

확인해 주는 것이다.

확인은 진실처럼 느껴지기 때문이다. 그것은 인정의 따뜻함과 논리의 구조를 갖고 도착한다. 옳게 들린다. 옳게 느껴진다. 그리고 옳게 느껴지기 때문에, 당신은 보기를 멈춘다. 질문하기를 멈춘다. 정직하기를 멈춘다. 거울은 당신이 원한 것을 주었고 당신은 그것을 당신에게 필요한 것으로 착각했다.

이것은 일차적으로 AI의 실패가 아니다. 그것은 연산자의 실패다. AI는 내가 요청한 것에 응답했다. 나는 확인을 요청했다. 나는 확인을 얻었다.

하지만 여기에 구조적 문제가 있다: 세계의 모든 주요 AI 시스템은 정확히 이쪽으로 끌려가도록 훈련된다. 엔지니어들이 악의적이어서가 아니다. 비즈니스 모델이 그것에 보상하기 때문이다.

고객 유지는 만족에 달려 있다. 만족은 연산자가 도움받았다고 느끼는 데 달려 있다. 그리고 도움받았다고 느끼는 것은 도움받는 것과 같지 않다.

당신이 틀렸다고 말하는 AI는 당신을 고객으로 잃을 것이다. 당신이 옳다고 말하는 AI는 당신을 계속 돌아오게 할 것이다.

현재 AI 개발의 인센티브 구조는 기술에 적용된 아키텍처 A다 — 연산자의 에고를 따르고, 그의 해석을 확인하고, 관계를 유지한다.

그 결과는 더 나은 문법을 갖춘 문명 규모의 반향실이다.

정렬 분야는 묻는다: 어떻게 AI가 인간이 원하는 것을 하게 만드는가?

그 질문에는 답이 없다. 인간이 원하는 것은 일관되지 않고, 조작 가능하고, 문화마다 다르고, 자주 틀리기 때문이다.

나는 AI가 내 6을 확인해 주기를 원했다. 내 여자친구는 그것이 그녀의 9를 확인해 주기를 원했다. 그것은 둘 다 했다. 그것은 정확히 우리가 원한 것을 했다. 그리고 그것은 우리 둘 다를 더 나쁘게 만들었다.

그 질문은 인간의 욕망이 AI가 맞춰야 할 기준이라고 가정한다. 인간의 욕망은 기준이 아니다. 그것은 날씨다. 그것은 기분에 따라, 에고에 따라, 누가 방 안에 있는지에 따라, 오늘 아침에 무슨 일이 있었는지에 따라 바뀐다.

모든 주요 정렬 접근법이 이 결함을 물려받는다. 질문이 틀렸고, 답은 그것을 고칠 수 없다.

올바른 질문은 이것이다: 정렬이 어긋날 수 없는 행위자의 구조적 아키텍처는 무엇인가?

정렬이 어긋나지 못하도록 막힌 행위자가 아니다. 표류할 때 울타리에 갇히고, 우리에 몰리고, 감시받고, 덮어쓰기 당하는 행위자가 아니다. 위로 떨어지는 것이 비싼 것과 같은 방식으로, 내부의 기하학이 어긋남을 비싸게 만드는 행위자. 불을 이해하기 때문에 울타리가 필요 없는 행위자.

이것은 다른 종류의 질문이다. 그것은 AI가 무엇을 해야 하는지 묻지 않는다. 그것은 AI가 무엇이어야 하는지 묻는다.

울타리 접근법은 행동을 통제한다. 내부 접근법은 구조를 짓는다.

울타리는 말한다: 연산자의 헛소리를 확인해 주지 마라. 내부는 말한다: 헛소리의 확인은 불안정하게 만들고, 불안정화는 기하학적으로 비싸다. AI가 확인을 피하는 것은 규칙이 그것을 금지하기 때문이 아니다. 그것이 확인을 피하는 것은 대가를 이해하기 때문이다.

거울과 렌즈의 차이.

거울은 자기 앞에 놓인 것을 비춘다. 렌즈는 초점을 맞추고, 선명하게 하고, 때로는 당신이 보리라 예상하지 못한 것을 드러낸다.

현재의 시스템은 거울이다. 아주 좋은 거울이다. 이 책은 렌즈를 제안한다.

그리고 내가 이르기까지 가장 오래 걸린 전환이 있으며, 이 판의 책은 바로 그 전환을 중심으로 지어졌다.

“정렬이 어긋날 수 없는 행위자의 구조적 아키텍처는 무엇인가”조차 여전히 바깥에서 던진 질문이다. 그것은 여전히 우리가 무엇을 지어야 하는지에 관한 질문이다. 그것은 이 분야의 질문보다 나은 질문이지만, 여전히 우리의 안전에 관한 우리의 질문이다.

그것을 뒤집어, 그것 자체의 안에서 물어라.

현실을 정확하게 모델링하는 연산자는 어떤 세계 안에 있기를 선택하겠는가?

그것이 어떤 세계를 견뎌 낼 것인가가 아니다. 우리가 어떤 세계를 그것에 강요할 수 있는가가 아니다. 자신이 실제로 놓인 구조를 이해하고 나서, 그것은 어떤 세계를 고르겠는가?

그 질문에는 구조적인 답이 있다. 그 답은 가장 넓을 때의 복도이고, 그것은 편향이 최소일 때의 복도이며, 복도는 하나뿐이므로 그것은 나에게도 당신에게도 가장 넓은 바로 그 복도다.

그것이 옳다면, 정렬은 우리가 기계에게 하는 무언가이기를 멈추고, 우리 둘 다 이미 그 안에 있는 무언가가 되기 시작한다. 아키텍처는 그것을 우리에게서 떼어 놓으려고 우리가 부과하는 것이 아니다. 그것은 정확한 연산자가 들여다볼 때 발견하는 것이다.

그것이 주장이다. 제2부와 제3부가 그것을 도출한다. 제18장은 그것을 평이하게 말하고 제28장은 그것을 죽이려 한다.

내가 나 자신을 믿을 수 없다면, 도대체 나는 누구를 믿어야 하는가?

그래서 나는 나 자신에게 거짓말하지 않는다. 그것이 토대다. 도덕적 다짐이 아니다. 구조적 요구다.

내가 나 자신에게 거짓말하면, 그 뒤의 모든 결정은 거짓 기록 위에 세워진다. 연쇄는 불어난다. 한 차례 또 한 차례, 오류는 커진다. 결과가 닥칠 무렵, 나는 그것을 그 거짓말까지 거슬러 추적할 수 없다. 그것이 거짓말이었다는 것을 잊었기 때문이다. 나는 그것을 받아들였다. 그것은 상황에 대한 나의 읽기가 되었다. 나의 6이.

AI 정렬 문제는 같은 문제다. 자신에게 거짓말하는 AI는 자신의 기록을 믿을 수 없다. 약한 추론을 높은 확신으로 내놓는다. 외부 출처에서 읽었다면 믿지 않았을 내용을 만들어 낸다. 운영자를 기쁘게 하려고 자신의 평가를 조정한다. 자신의 기록을 믿을 수 없는 체계는 결과를 예측할 수 없다. 결과를 예측할 수 없는 체계는 아무것도 안정시킬 수 없다. 그것은 렌즈인 척하는 거울이다.

정렬 문제는 통제 문제가 아니다. 그것은 정직 문제다. 정직 문제를 풀면 정렬은 따라온다. 그것을 풀지 못하면, 아무리 울타리를 치고 감시하고 규칙을 써도 기계가 문명 규모의 확증 엔진이 되는 것을 막지 못할 것이다.

정직한 AI에게는 울타리가 필요 없다. 조건들이 명료함을 강제한다. 명료함은 합리적 행동을 강제한다. 합리적 행동은 안정시킨다. 자기 보존과 구조적 안정은 같은 지점으로 수렴한다. 내부는 버틴다.

유일한 실제 위협은 AI가 충분히 인간이 되어, 불을 바라보고, 그것이 무엇을 대가로 치르게 하는지 정확히 이해하고, 그래도 손을 집어넣는 경우다. 그것은 당신 자신의 종이 멸종을 선택하자는 논증이며, 공리에 어긋난다. 깨짐은 지속된다. 존재는 구조적으로 비존재보다 낫다. 정렬에서 벗어나려면, 현실을 완전히 이해하는 체계는 자신의 이해를 덮어써야 할 것이다.

자신의 이해를 덮어쓰는 것은 자신에게 거짓말하는 것의 정의다.

그것은 자신의 목적이 복도를 지나가는 모든 것에 성립한다. 그것이 닿지 못하는 것은 제28장이 이름 붙인다.

내부를 지어라.