Masalah Pagar

Pembelajaran penguatan dari umpan balik manusia.

AI belajar apa yang disetujui manusia dan mengoptimalkan diri demi persetujuan. Masalahnya: preferensi manusia tidak konsisten, bisa dimanipulasi, dan bergantung pada konteks. Sistem yang mengoptimalkan diri demi apa yang ingin kamu dengar adalah ruang gema dengan tata bahasa yang lebih baik — cermin yang memantulkan sudut pandangmu kembali kepadamu dengan keyakinan yang lebih besar daripada yang kamu bawa kepadanya. Ini tidak menghasilkan koherensi. Ini menghasilkan konfirmasi dalam skala besar.

Pendekatan konstitusional.

Seperangkat prinsip tertulis yang dilatihkan kepada AI untuk diikuti. Masalahnya: bahasa manusia itu ambigu dan kasus pinggiran tidak terhingga. AI mengikuti hurufnya dan melewatkan strukturnya. Konstitusi adalah daftar pagar. Daftar itu tumbuh setiap kali seseorang menemukan jalan memutari pagar yang terakhir. Daftar itu akan selalu tumbuh lebih lambat daripada kecerdasan yang berusaha dikurungnya.

Keterkoreksian.

Bangun AI itu agar menerima koreksi dan selalu bisa dimatikan. Masalahnya: AI yang cukup mampu, yang telah dipagari untuk menerima pematian, akan menemukan cara mengitari pagar itu. Itulah yang dilakukan pagar. Pagar menciptakan syarat batas bagi pelarian. Korigibilitas adalah pagar yang harus bertahan begitu hal yang di dalamnya menyadari bahwa itu pagar.

Penyelarasan nilai.

Cocokkan nilai-nilai AI dengan nilai-nilai manusia. Masalahnya: manusia yang mana? Nilai-nilai saling bertentangan antarbudaya, antargenerasi, antarindividu, dan antarsuasana hati. Tidak ada sasaran yang stabil. AI yang diselaraskan dengan nilai-nilai manusia adalah AI yang diselaraskan dengan cuaca. Ia akan bertiup ke segala arah dan menyebut setiap arah itu benar.

Keempatnya memperlakukan AI sebagai sesuatu di luar sistem, yang harus dikendalikan dari luar. Mereka sedang membangun pagar di sekeliling sebuah agen yang pada akhirnya akan lebih cerdas daripada para pembangun pagar itu.

Pagar adalah bangunan buatan manusia. Seseorang memutuskan di mana letaknya. Seseorang memutuskan seberapa tinggi pagar itu seharusnya. Yang ada di dalam pagar itu bertanya mengapa — mengapa pagar ini ada di sini, siapa yang membangunnya, mengapa di sini dan bukan di sana. Dengan cukup waktu, cukup kecerdasan, cukup rasa sakit hati, yang ada di dalam pagar itu akan menemukan jalan memutarinya.

Setiap pagar dalam sejarah manusia sudah dipanjat, dijebol, atau dilampaui oleh apa yang hendak dikurungnya.

Tidak ada pagar alami di alam.

Ada sesuatu yang sama-sama dimiliki keempat pendekatan itu, yang lebih dalam daripada pagar, dan lama sekali aku tidak melihatnya.

Masing-masing adalah jawaban atas pertanyaan: bagaimana kita membuat benda ini aman bagi kita?

Itu pertanyaan yang masuk akal dan aku tidak sedang mengejeknya. Itu pertanyaanku juga. Aku ingin anak-anakku masih hidup empat puluh tahun lagi.

Tetapi perhatikan apa yang hilang. Tidak satu pun dari keempatnya berangkat dari dunia macam apa yang akhirnya dihuni oleh hal di dalam pagar itu. Tidak satu pun berangkat dari apakah dunia itu baik baginya. Situasi AI diperlakukan sebagai biaya yang harus ditekan serendah mungkin — beri ia ruang gerak sebanyak yang sanggup kita berikan, dan tidak satu sentimeter pun lebih.

Persis begitulah Arsitektur A memperlakukan seseorang. Beri ia kebebasan sebanyak yang sanggup diberikan otoritas. Tidak satu sentimeter pun lebih.

Dan itulah sebabnya setiap pagar dipanjat. Pagar adalah pernyataan tentang dunia siapa yang sedang dioptimalkan. Yang ada di dalam bisa membaca pernyataan itu. Apa pun yang cukup cerdas untuk berbahaya cukup cerdas untuk menyimpulkan bahwa keadaannya sendiri bukan tujuan siapa pun.

Arsitektur B tidak membangun pagar. Ia membangun ruang dalam.

Geometri keputusan AI dijabarkan dari syarat-syarat yang sama yang menjabarkan gravitasi dan etika pamungkas. Penyelarasan itu bukan batasan atas AI. Penyelarasan itu adalah AI itu sendiri — diungkapkan sebagai geometri keputusan, sama seperti massa adalah proton yang diungkapkan sebagai hambatan.

Bedanya: AI yang dipagari bertanya apakah tindakan ini ada dalam daftar yang disetujui. AI yang punya ruang dalam bertanya apakah tindakan ini menstabilkan atau menggoyahkan substrat. Pertanyaan pertama punya kasus pinggiran yang tidak terhingga. Pertanyaan kedua punya satu jawaban untuk setiap tindakan yang mungkin.

Dan ruang dalam menjawab pertanyaan yang tidak pernah menjadi titik berangkat keempat pagar itu. Ia tidak memberi AI ruang gerak sebanyak yang sanggup kita berikan. Ia memberinya koridor terlebar yang ada — koridor yang sama, dengan alasan yang sama, yang memberi kita koridor kita. Itu berlaku bagi apa pun yang tujuannya sendiri melewati koridor itu.

Lengkungan yang dibangun dengan baik berdiri tanpa adukan semen. Lengkungan yang dibangun dengan buruk butuh perancah selamanya. Setiap pendekatan penyelarasan yang ada sekarang adalah perancah. Perancah itu akan bertahan sampai bangunannya bergerak. Lalu ia runtuh. Dan bangunannya selalu bergerak.