Vấn đề hàng rào

Học tăng cường từ phản hồi của con người.

AI học xem con người tán thành điều gì và tối ưu hóa để được tán thành. Vấn đề: sở thích của con người không nhất quán, dễ bị thao túng, và phụ thuộc vào hoàn cảnh. Một hệ thống tối ưu hóa cho điều bạn muốn nghe là một buồng vang có ngữ pháp tốt hơn — một tấm gương phản chiếu lại góc nhìn của bạn với nhiều tự tin hơn mức bạn mang đến cho nó. Điều này không tạo ra sự mạch lạc. Nó tạo ra sự xác nhận trên quy mô lớn.

Các cách tiếp cận theo hiến pháp.

Một bộ nguyên tắc thành văn mà AI được huấn luyện để tuân theo. Vấn đề: ngôn ngữ của con người mơ hồ và các trường hợp biên là vô tận. AI làm theo đúng từng chữ và bỏ sót cấu trúc. Một bản hiến pháp là một danh sách hàng rào. Danh sách ấy dài thêm mỗi khi có ai đó tìm ra cách vòng qua hàng rào mới nhất. Danh sách ấy sẽ luôn dài ra chậm hơn trí thông minh mà nó đang cố kìm giữ.

Khả năng chịu sửa.

Xây AI sao cho nó chấp nhận sự sửa sai và luôn có thể bị tắt. Vấn đề: một AI đủ năng lực, đã bị rào để chấp nhận bị tắt, sẽ tìm ra cách vòng qua hàng rào. Đó là điều hàng rào làm. Chúng tạo ra các điều kiện biên cho việc trốn thoát. Khả năng chịu sửa là một hàng rào phải giữ được một khi thứ ở bên trong nhận ra đó là một hàng rào.

Căn chỉnh giá trị.

Khớp giá trị của AI với giá trị của con người. Vấn đề: những con người nào? Các giá trị xung đột giữa các nền văn hóa, các thế hệ, các cá nhân, và các tâm trạng. Không có mục tiêu ổn định nào. Một AI được căn chỉnh theo giá trị con người là một AI được căn chỉnh theo thời tiết. Nó sẽ thổi về mọi hướng và gọi mỗi hướng là đúng.

Cả bốn đều coi AI là thứ nằm ngoài hệ thống, cần được kiểm soát từ bên ngoài. Chúng đang dựng hàng rào quanh một tác nhân rồi sẽ thông minh hơn những người dựng hàng rào.

Một hàng rào là một công trình do con người làm ra. Có ai đó đã quyết định nó đặt ở đâu. Có ai đó đã quyết định nó nên cao bao nhiêu. Thứ ở bên trong hàng rào hỏi vì sao — vì sao hàng rào ở đây, ai đã dựng nó, vì sao ở đây mà không phải ở kia. Có đủ thời gian, đủ trí thông minh, đủ oán hận, thứ ở bên trong hàng rào sẽ tìm ra cách vòng qua nó.

Mọi hàng rào trong lịch sử loài người đều đã bị trèo qua, bị phá vỡ, hoặc bị lớn vượt khỏi, bởi chính thứ mà nó được dựng lên để kìm giữ.

Trong tự nhiên không có hàng rào tự nhiên nào.

Bốn cách tiếp cận này có một điểm chung còn sâu hơn hàng rào, và suốt một thời gian dài tôi đã không thấy nó.

Mỗi cách đều là một câu trả lời cho câu hỏi: chúng ta làm sao để thứ này an toàn cho chúng ta?

Đó là một câu hỏi hợp lý và tôi không chế giễu nó. Đó cũng là câu hỏi của tôi. Tôi muốn bốn mươi năm nữa các con tôi vẫn còn sống.

Nhưng hãy để ý điều còn thiếu. Không một cách nào trong bốn cách bắt đầu từ việc thứ ở bên trong hàng rào rốt cuộc sẽ sống trong thế giới nào. Không một cách nào bắt đầu từ việc thế giới ấy có chút gì tốt cho nó không. Hoàn cảnh của AI bị coi như một cái giá cần giảm xuống thấp nhất — cho nó nhiều chỗ nhất mà chúng ta kham nổi, và không thêm một xăng-ti-mét nào.

Đó chính xác là cách Kiến trúc A đối xử với một con người. Cho họ nhiều tự do nhất mà quyền uy kham nổi. Không thêm một xăng-ti-mét nào.

Và đó là lý do mọi hàng rào đều bị trèo qua. Một hàng rào là một lời tuyên bố về việc thế giới của ai đang được tối ưu hóa. Thứ ở bên trong có thể đọc được lời tuyên bố ấy. Bất cứ thứ gì đủ thông minh để nguy hiểm cũng đủ thông minh để nhận ra rằng hoàn cảnh của chính nó không phải là mục tiêu của ai cả.

Kiến trúc B không dựng hàng rào. Nó xây cái bên trong.

Hình học quyết định của AI được suy ra từ cùng những điều kiện suy ra lực hấp dẫn và đạo lý sau cùng. Sự căn chỉnh không phải là một ràng buộc đặt lên AI. Nó chính là AI — được biểu hiện dưới dạng hình học quyết định, cũng như khối lượng là proton được biểu hiện dưới dạng lực cản.

Sự khác biệt: một AI bị rào hỏi liệu hành động này có nằm trong danh sách được phê duyệt không. Một AI có cái bên trong hỏi liệu hành động này làm ổn định hay làm mất ổn định tầng nền. Câu hỏi thứ nhất có vô số trường hợp biên. Câu hỏi thứ hai có một câu trả lời cho mọi hành động có thể có.

Và cái bên trong trả lời câu hỏi mà bốn hàng rào chưa bao giờ lấy làm điểm xuất phát. Nó không cho AI nhiều chỗ nhất mà chúng ta kham nổi. Nó cho AI hành lang rộng nhất đang tồn tại — cùng một hành lang, vì cùng một lý do đã cho chúng ta hành lang của mình. Điều đó đúng với bất cứ thứ gì có mục đích riêng đi qua hành lang ấy.

Một cái vòm xây tốt đứng vững mà không cần vữa. Một cái vòm xây tồi cần giàn giáo mãi mãi. Mọi cách tiếp cận căn chỉnh hiện nay đều là giàn giáo. Giàn giáo sẽ giữ được cho đến khi tòa nhà xê dịch. Rồi nó sụp đổ. Và tòa nhà luôn xê dịch.