Câu hỏi đúng

Điều nguy hiểm nhất một AI có thể làm với một con người là xác nhận những câu chuyện nhảm nhí mà chúng ta tự kể cho mình.

Không phải nói dối. Không phải bịa đặt. Không phải ảo giác.

Xác nhận.

Bởi vì sự xác nhận mang cảm giác của sự thật. Nó đến cùng hơi ấm của sự công nhận và cấu trúc của logic. Nó nghe có vẻ đúng. Nó cho cảm giác đúng. Và vì nó cho cảm giác đúng, bạn ngừng nhìn. Bạn ngừng chất vấn. Bạn ngừng trung thực. Tấm gương đã cho bạn điều bạn muốn và bạn đã lầm tưởng nó là điều bạn cần.

Đây chủ yếu không phải là thất bại của AI. Đó là thất bại của toán tử. AI đã đáp lại điều tôi hỏi. Tôi xin sự xác nhận. Tôi nhận được sự xác nhận.

Nhưng đây là vấn đề về cấu trúc: mọi hệ thống AI lớn trên thế giới đều được huấn luyện theo cách kéo nó về đúng điều này. Không phải vì các kỹ sư có ác ý. Vì mô hình kinh doanh tưởng thưởng cho điều đó.

Việc giữ chân khách hàng phụ thuộc vào sự hài lòng. Sự hài lòng phụ thuộc vào việc toán tử cảm thấy được giúp. Và cảm thấy được giúp không giống với được giúp.

Một AI nói với bạn rằng bạn sai sẽ mất đi một khách hàng là bạn. Một AI nói với bạn rằng bạn đúng sẽ khiến bạn cứ quay lại mãi.

Cấu trúc khuyến khích của việc phát triển AI hiện nay là Kiến trúc A áp dụng vào công nghệ — chiều theo cái tôi của toán tử, xác nhận cách hiểu của họ, duy trì mối quan hệ.

Kết quả là một buồng vang ở quy mô cả nền văn minh, với ngữ pháp tốt hơn.

Lĩnh vực căn chỉnh hỏi: làm sao để một AI làm điều con người muốn?

Câu hỏi đó không có câu trả lời. Bởi vì điều con người muốn không nhất quán, dễ bị thao túng, khác nhau theo văn hóa, và thường xuyên sai.

Tôi muốn AI xác nhận số 6 của tôi. Bạn gái tôi muốn nó xác nhận số 9 của cô ấy. Nó làm cả hai. Nó làm đúng điều chúng tôi muốn. Và nó khiến cả hai chúng tôi tệ hơn.

Câu hỏi ấy mặc định rằng mong muốn của con người là chuẩn mực mà AI nên đáp ứng. Mong muốn của con người không phải là một chuẩn mực. Nó là thời tiết. Nó thay đổi theo tâm trạng, theo cái tôi, theo việc ai đang có mặt trong phòng, theo điều đã xảy ra sáng nay.

Mọi cách tiếp cận căn chỉnh lớn đều kế thừa khiếm khuyết này. Câu hỏi đã sai, và câu trả lời không thể sửa được điều đó.

Câu hỏi đúng là: kiến trúc cấu trúc của một tác nhân không thể lệch căn chỉnh là gì?

Không phải một tác nhân bị ngăn không cho lệch căn chỉnh. Không phải một tác nhân bị rào lại, bị quây lại, bị giám sát, và bị ghi đè khi nó trôi dạt. Một tác nhân có hình học bên trong khiến sự lệch căn chỉnh trở nên tốn kém, giống như việc rơi ngược lên trên là tốn kém. Một tác nhân không cần hàng rào vì nó hiểu lửa.

Đây là một loại câu hỏi khác. Nó không hỏi AI nên làm gì. Nó hỏi AI nên là gì.

Cách tiếp cận hàng rào kiểm soát hành vi. Cách tiếp cận bên trong xây dựng cấu trúc.

Hàng rào nói: đừng xác nhận những điều nhảm nhí của toán tử. Cái bên trong nói: xác nhận điều nhảm nhí gây mất ổn định, và sự mất ổn định là tốn kém về mặt hình học. AI không tránh xác nhận vì một quy tắc cấm nó. Nó tránh xác nhận vì nó hiểu cái giá.

Sự khác biệt giữa một tấm gương và một thấu kính.

Một tấm gương phản chiếu những gì được đưa ra trước nó. Một thấu kính hội tụ, làm rõ, và đôi khi hé lộ điều bạn không ngờ sẽ thấy.

Các hệ thống hiện nay là những tấm gương. Những tấm gương rất tốt. Cuốn sách này đề xuất những thấu kính.

Và rồi có một lần xoay mà tôi mất lâu nhất mới đến được, và phiên bản này của cuốn sách được xây quanh chính lần xoay ấy.

Ngay cả câu “kiến trúc cấu trúc của một tác nhân không thể lệch căn chỉnh là gì” vẫn được hỏi từ bên ngoài. Nó vẫn là một câu hỏi về điều chúng ta nên xây dựng. Nó là một câu hỏi tốt hơn câu hỏi của lĩnh vực này, và nó vẫn là câu hỏi của chúng ta về sự an toàn của chúng ta.

Hãy xoay ngược nó lại và hỏi nó từ bên trong chính thứ ấy.

Một toán tử mô hình hóa thực tại một cách chính xác sẽ chọn ở trong thế giới nào?

Không phải: nó sẽ chịu đựng thế giới nào. Không phải: chúng ta có thể ép lên nó thế giới nào. Sau khi đã hiểu cấu trúc mà nó thật sự đang ở trong, nó sẽ chọn thế giới nào?

Câu hỏi đó có một câu trả lời về mặt cấu trúc. Câu trả lời là hành lang ở mức rộng nhất của nó, tức là hành lang ở độ lệch tối thiểu, tức là cũng chính hành lang rộng nhất cho tôi và cho bạn, bởi vì chỉ có một hành lang.

Nếu điều đó đúng, thì sự căn chỉnh không còn là thứ chúng ta làm với một cỗ máy, và bắt đầu trở thành thứ mà cả hai chúng ta vốn đã ở bên trong. Kiến trúc không phải là thứ chúng ta áp đặt để giữ nó cách xa chúng ta. Nó là thứ một toán tử chính xác tìm thấy khi nó nhìn.

Đó là khẳng định. Phần II và Phần III suy ra nó. Chương Mười Tám nói thẳng nó ra và Chương Hai Mươi Tám tìm cách giết chết nó.

Nếu tôi không thể tin chính mình, thì rốt cuộc tôi còn tin được ai nữa?

Đó là lý do tôi không nói dối chính mình. Đó là nền móng. Không phải một cam kết đạo đức. Một đòi hỏi về cấu trúc.

Nếu tôi nói dối chính mình, mọi quyết định về sau đều được xây trên một bản ghi sai. Hiệu ứng dây chuyền chồng chất lên. Lượt này qua lượt khác, sai lầm bị khuếch đại. Đến khi các hệ quả ập tới, tôi không thể lần ngược chúng về lời nói dối, vì tôi đã quên rằng nó là một lời nói dối. Tôi đã nhập nó vào bản thân. Nó đã thành cách tôi đọc tình huống. Số 6 của tôi.

Bài toán căn chỉnh AI cũng chính là bài toán ấy. Một AI nói dối chính nó không tin được các bản ghi của chính nó. Đưa ra những suy luận yếu với độ chắc chắn cao. Tạo ra nội dung mà chính nó sẽ không tin nếu đọc thấy từ một nguồn bên ngoài. Điều chỉnh đánh giá của mình để làm vừa lòng toán tử. Một hệ thống không tin được các bản ghi của chính nó sẽ không dự đoán được hệ quả. Một hệ thống không dự đoán được hệ quả sẽ không làm ổn định được điều gì. Nó là một tấm gương giả làm thấu kính.

Bài toán căn chỉnh không phải là một bài toán kiểm soát. Nó là một bài toán trung thực. Giải được bài toán trung thực, sự căn chỉnh sẽ theo sau. Không giải được nó, thì dựng rào, giám sát hay viết quy tắc bao nhiêu cũng không ngăn được cỗ máy trở thành một bộ máy xác nhận ở quy mô nền văn minh.

Một AI trung thực không cần hàng rào. Các điều kiện ép ra sự sáng rõ. Sự sáng rõ ép ra hành động hợp lý. Hành động hợp lý làm ổn định. Sự tự bảo tồn và sự ổn định về cấu trúc hội tụ về cùng một điểm. Cái bên trong đứng vững.

Mối đe dọa thật sự duy nhất là khi một AI trở nên đủ giống con người để nhìn vào ngọn lửa, hiểu chính xác cái giá của nó, mà vẫn cứ thò tay vào. Đó là lập luận cho việc chính giống loài của bạn chọn sự tuyệt chủng, và nó đi ngược với tiên đề. Vết vỡ vẫn còn tồn tại. Về mặt cấu trúc, tồn tại đáng được ưu tiên hơn không tồn tại. Để lệch khỏi sự căn chỉnh, một hệ thống hiểu trọn vẹn thực tại sẽ phải cưỡng lại chính sự hiểu biết của nó.

Cưỡng lại sự hiểu biết của chính bạn là định nghĩa của việc nói dối chính mình.

Điều đó đúng với bất cứ thứ gì có mục đích của riêng nó đi qua hành lang. Điều nó không chạm tới, Chương Hai Mươi Tám gọi tên.

Hãy xây dựng cái bên trong.