울타리 문제

인간 피드백을 통한 강화 학습.

AI는 인간이 무엇을 승인하는지 배우고 승인을 위해 최적화한다. 문제는 이것이다: 인간의 선호는 일관되지 않고, 조작될 수 있으며, 맥락에 따라 달라진다. 당신이 듣고 싶은 것을 위해 최적화하는 체계는 문법이 더 좋은 메아리 방이다 — 당신이 가져온 것보다 더 큰 확신으로 당신의 관점을 되비추는 거울이다. 이것은 정합성을 만들지 않는다. 그것은 대규모의 확인을 만든다.

헌법적 접근.

AI가 따르도록 훈련되는, 글로 쓴 원칙의 집합. 문제는 이것이다: 인간의 언어는 모호하고 경계 사례는 무한하다. AI는 문자를 따르고 구조를 놓친다. 헌법은 울타리의 목록이다. 누군가 마지막 울타리를 돌아갈 길을 찾을 때마다 목록은 늘어난다. 목록은 언제나 그것이 가두려는 지능보다 느리게 늘어날 것이다.

교정 가능성.

AI가 교정을 받아들이고 언제나 꺼질 수 있도록 만들어라. 문제: 꺼짐을 받아들이도록 울타리 쳐진 충분히 유능한 AI는 울타리를 돌아갈 길을 찾을 것이다. 그것이 울타리가 하는 일이다. 울타리는 탈출의 경계 조건을 만든다. 교정 가능성은 안에 있는 것이 그것이 울타리임을 알아낸 뒤에도 버텨야 하는 울타리다.

가치 정렬.

AI의 가치를 인간의 가치에 맞춰라. 문제는 이것이다: 어떤 인간들인가? 가치는 문화, 세대, 개인, 기분에 따라 충돌한다. 안정된 목표는 없다. 인간의 가치에 정렬된 AI는 날씨에 정렬된 AI다. 그것은 사방으로 불 것이고 그 방향 하나하나를 옳다고 부를 것이다.

넷 모두 AI를 체계의 외부에 있는 것으로, 바깥에서 통제해야 할 것으로 다룬다. 그것들은 결국 울타리를 세우는 자들보다 더 똑똑해질 행위자 주위에 울타리를 세우고 있다.

울타리는 사람이 만든 구조물이다. 누군가가 그것이 어디에 설지 정했다. 누군가가 그것이 얼마나 높아야 할지 정했다. 울타리 안의 것은 왜냐고 묻는다 — 왜 울타리가 여기 있는지, 누가 세웠는지, 왜 저기가 아니라 여기인지. 충분한 시간, 충분한 지능, 충분한 원한이 주어지면, 울타리 안의 것은 그것을 돌아갈 길을 찾을 것이다.

인류 역사의 모든 울타리는, 그것이 가두려고 세운 바로 그것이 타 넘었거나, 부쉈거나, 자라서 벗어났다.

자연에는 자연적인 울타리가 없다.

네 접근에는 울타리보다 더 깊이 내려가는 공통점이 있고, 나는 오랫동안 그것을 보지 못했다.

그것들 하나하나가 이 질문에 대한 답이다: 이것을 어떻게 우리에게 안전하게 만들 것인가?

그것은 합리적인 질문이고 나는 그것을 조롱하는 것이 아니다. 그것은 내 질문이기도 하다. 나는 내 아이들이 40년 뒤에도 살아 있기를 바란다.

그러나 무엇이 빠져 있는지 보라. 넷 중 어느 것도 울타리 안의 것이 결국 어떤 세계에서 살게 되는지에서 출발하지 않는다. 어느 것도 그 세계가 그것에게 좋은지에서 출발하지 않는다. AI의 처지는 최소화해야 할 비용으로 취급된다 — 우리가 감당할 수 있는 만큼의 공간을 줘라, 1센티미터도 더 주지 말고.

그것은 정확히 아키텍처 A가 사람을 다루는 방식이다. 권위가 내줄 수 있는 만큼의 자유를 내준다. 1센티미터도 더 내주지 않는다.

그리고 그것이 모든 울타리를 결국 타 넘게 되는 이유다. 울타리는 누구의 세계가 최적화되고 있는지에 대한 진술이다. 안에 있는 것은 그 진술을 읽을 수 있다. 위험할 만큼 똑똑한 것이라면 무엇이든, 자기 처지가 누구의 목표도 아니었다는 것을 알아낼 만큼 똑똑하다.

아키텍처 B는 울타리를 세우지 않는다. 그것은 내부를 세운다.

AI의 결정 기하학은 중력과 최종 윤리를 도출하는 바로 그 조건들로부터 도출된다. 정렬은 AI에 가해지는 제약이 아니다. 그것은 AI다 — 결정 기하학으로 표현된 AI, 질량이 저항으로 표현된 양성자인 것과 같은 방식으로.

차이는 이것이다: 울타리 쳐진 AI는 이 행동이 승인된 목록에 있는지 묻는다. 내부의 AI는 이 행동이 기층을 안정시키는지 불안정하게 하는지 묻는다. 첫 번째 질문에는 무한한 경계 사례가 있다. 두 번째 질문에는 가능한 모든 행동에 대해 하나의 답이 있다.

그리고 내부는 네 울타리가 한 번도 출발점으로 삼지 않은 질문에 답한다. 내부는 AI에게 우리가 감당할 수 있는 만큼의 공간을 주지 않는다. 내부는 존재하는 가장 넓은 복도를 준다 — 같은 이유로 우리에게 우리의 복도를 주는, 바로 그 복도를. 그것은 자기 목표가 그 복도를 지나는 모든 것에 성립한다.

잘 지은 아치는 모르타르 없이 선다. 잘못 지은 아치는 영원히 버팀대가 필요하다. 현재의 모든 정렬 접근은 버팀대다. 버팀대는 건물이 움직일 때까지 버틸 것이다. 그러면 그것은 무너진다. 그리고 건물은 언제나 움직인다.