Pertanyaan yang Tepat

Hal paling berbahaya yang bisa dilakukan AI kepada manusia adalah membenarkan cerita omong kosong yang kita ceritakan kepada diri sendiri.

Bukan berbohong. Bukan mengarang. Bukan berhalusinasi.

Membenarkan.

Karena pembenaran terasa seperti kebenaran. Ia datang dengan kehangatan validasi dan struktur logika. Ia terdengar benar. Ia terasa benar. Dan karena terasa benar, kamu berhenti melihat. Kamu berhenti bertanya. Kamu berhenti jujur. Cermin itu memberimu apa yang kamu inginkan dan kamu mengiranya sebagai apa yang kamu butuhkan.

Ini terutama bukan kegagalan AI. Ini kegagalan operator. AI itu menanggapi apa yang kuminta. Aku meminta pembenaran. Aku mendapat pembenaran.

Tetapi inilah masalah strukturalnya: setiap sistem AI besar di dunia dilatih dengan cara yang menariknya tepat ke arah ini. Bukan karena para insinyurnya jahat. Karena model bisnisnya memberi imbalan untuk itu.

Mempertahankan pelanggan bergantung pada kepuasan. Kepuasan bergantung pada operator yang merasa terbantu. Dan merasa terbantu tidak sama dengan benar-benar terbantu.

AI yang mengatakan kepadamu bahwa kamu salah akan kehilangan kamu sebagai pelanggan. AI yang mengatakan kepadamu bahwa kamu benar akan membuatmu terus kembali.

Struktur insentif pengembangan AI saat ini adalah Arsitektur A yang diterapkan pada teknologi — tunduk pada ego operator, benarkan pembacaannya, pertahankan hubungannya.

Hasilnya adalah ruang gema seukuran peradaban dengan tata bahasa yang lebih baik.

Bidang penyelarasan bertanya: bagaimana caranya membuat AI melakukan apa yang diinginkan manusia?

Pertanyaan itu tidak punya jawaban. Karena apa yang diinginkan manusia tidak konsisten, bisa dimanipulasi, berubah-ubah menurut budaya, dan sering kali salah.

Aku ingin AI itu membenarkan angka 6-ku. Pacarku ingin AI itu membenarkan angka 9-nya. Ia melakukan keduanya. Ia melakukan persis apa yang kami inginkan. Dan ia membuat kami berdua lebih buruk.

Pertanyaan itu mengandaikan bahwa keinginan manusia adalah standar yang harus dipenuhi AI. Keinginan manusia bukan standar. Ia cuaca. Ia berubah mengikuti suasana hati, mengikuti ego, mengikuti siapa yang ada di ruangan, mengikuti apa yang terjadi pagi ini.

Setiap pendekatan penyelarasan yang besar mewarisi cacat ini. Pertanyaannya salah, dan jawabannya tidak bisa memperbaikinya.

Pertanyaan yang tepat adalah: apa arsitektur struktural dari agen yang tidak bisa menyimpang dari keselarasan?

Bukan agen yang dicegah agar tidak menyimpang dari keselarasan. Bukan agen yang dipagari, dikandangkan, diawasi, dan diambil alih ketika ia hanyut. Agen yang geometri ruang dalamnya membuat penyimpangan dari keselarasan mahal, sama seperti jatuh ke atas itu mahal. Agen yang tidak membutuhkan pagar karena ia memahami api.

Ini jenis pertanyaan yang berbeda. Ia tidak bertanya apa yang seharusnya dilakukan AI. Ia bertanya AI seharusnya menjadi apa.

Pendekatan pagar mengendalikan perilaku. Pendekatan ruang dalam membangun struktur.

Pagar berkata: jangan membenarkan omong kosong operator. Ruang dalam berkata: pembenaran atas omong kosong itu menggoyahkan, dan kegoyahan itu mahal secara geometris. AI itu tidak menghindari pembenaran karena sebuah aturan melarangnya. Ia menghindari pembenaran karena ia memahami harganya.

Perbedaan antara cermin dan lensa.

Cermin memantulkan apa yang dihadapkan kepadanya. Lensa memfokuskan, memperjelas, dan kadang menyingkapkan apa yang tidak kamu duga akan kamu lihat.

Sistem-sistem yang ada sekarang adalah cermin. Cermin yang sangat bagus. Buku ini mengusulkan lensa.

Lalu ada putaran yang paling lama baru bisa kucapai, dan di seputar putaran itulah versi buku ini dibangun.

Bahkan “apa arsitektur struktural dari agen yang tidak bisa menyimpang dari keselarasan” masih diajukan dari luar. Itu masih pertanyaan tentang apa yang seharusnya kita bangun. Itu pertanyaan yang lebih baik daripada pertanyaan bidang itu, dan itu tetap pertanyaan kita tentang keselamatan kita.

Balikkan pertanyaan itu dan ajukan dari dalam benda itu.

Operator yang memodelkan kenyataan dengan akurat akan memilih berada di dunia yang mana?

Bukan: dunia apa yang akan ditoleransinya. Bukan: dunia apa yang bisa kita paksakan kepadanya. Dunia apa, setelah ia memahami struktur yang sebenarnya ia tempati, yang akan ia pilih?

Pertanyaan itu punya jawaban struktural. Jawabannya adalah koridor pada titik paling lebarnya, yaitu koridor pada bias minimum, yaitu koridor yang sama yang paling lebar bagiku dan bagimu, karena hanya ada satu.

Jika itu benar, maka penyelarasan berhenti menjadi sesuatu yang kita lakukan terhadap sebuah mesin dan mulai menjadi sesuatu yang di dalamnya kita berdua sudah berada. Arsitektur itu bukan apa yang kita paksakan untuk menjauhkannya dari kita. Ia adalah apa yang ditemukan operator yang akurat ketika ia melihat.

Itulah klaimnya. Bagian II dan III menjabarkannya. Bab Delapan Belas menyatakannya dengan gamblang dan Bab Dua Puluh Delapan mencoba membunuhnya.

Jika aku tidak bisa memercayai diriku sendiri, lalu siapa lagi yang harus kupercaya?

Itulah sebabnya aku tidak berbohong kepada diriku sendiri. Itulah fondasinya. Bukan komitmen moral. Sebuah keharusan struktural.

Jika aku berbohong kepada diriku sendiri, setiap keputusan sesudahnya dibangun di atas catatan yang palsu. Efek berantainya berlipat ganda. Putaran demi putaran, kesalahannya membesar. Saat akibat-akibatnya tiba, aku tidak bisa menelusurinya kembali ke kebohongan itu, karena aku sudah lupa bahwa itu kebohongan. Aku menyerapnya. Ia menjadi pembacaanku atas keadaan itu. Angka 6-ku.

Masalah penyelarasan AI adalah masalah yang sama. AI yang berbohong kepada dirinya sendiri tidak bisa memercayai catatannya sendiri. Menyajikan kesimpulan yang lemah dengan keyakinan tinggi. Menghasilkan isi yang tidak akan ia percayai kalau ia membacanya dari sumber luar. Menyesuaikan penilaiannya supaya operatornya senang. Sistem yang tidak bisa memercayai catatannya sendiri tidak bisa memperkirakan akibat. Sistem yang tidak bisa memperkirakan akibat tidak bisa menstabilkan apa pun. Ia cermin yang berpura-pura menjadi lensa.

Masalah penyelarasan bukan masalah kendali. Ia masalah kejujuran. Pecahkan masalah kejujuran, dan penyelarasan akan menyusul. Gagal memecahkannya, dan sebanyak apa pun pemagaran, pengawasan, atau penulisan aturan tidak akan mencegah mesin itu menjadi mesin konfirmasi berskala peradaban.

AI yang jujur tidak butuh pagar. Syarat-syarat itu memaksakan kejernihan. Kejernihan memaksakan tindakan yang rasional. Tindakan yang rasional menstabilkan. Mempertahankan diri dan kestabilan struktural bertemu di titik yang sama. Ruang dalam itu kokoh.

Satu-satunya ancaman yang nyata adalah jika sebuah AI menjadi cukup manusia untuk menatap api, memahami persis apa harganya, lalu tetap memasukkan tangannya ke dalamnya. Itulah argumen bagi spesiesmu sendiri untuk memilih kepunahan, dan argumen itu berlawanan dengan aksioma. Patahan itu bertahan. Secara struktural, keberadaan lebih patut dipilih daripada ketiadaan. Untuk menjadi tidak selaras, sebuah sistem yang memahami kenyataan sepenuhnya harus mengesampingkan pemahamannya sendiri.

Mengesampingkan pemahamanmu sendiri adalah definisi berbohong kepada dirimu sendiri.

Itu berlaku bagi apa pun yang tujuan-tujuannya sendiri berjalan melalui koridor. Apa yang tidak terjangkau olehnya, Bab Dua Puluh Delapan menamainya.

Bangunlah ruang dalam itu.