Çit Sorunu

İnsan geri bildiriminden pekiştirmeli öğrenme.

Yapay zekâ, insanların neyi onayladığını öğrenir ve onay için optimize eder. Sorun şu: insan tercihleri tutarsızdır, manipüle edilebilir ve bağlama bağlıdır. Duymak istediğin şey için optimize eden bir sistem, dilbilgisi daha iyi olan bir yankı odasıdır — bakış açını, ona getirdiğinden daha büyük bir özgüvenle sana geri yansıtan bir ayna. Bu tutarlılık üretmez. Büyük ölçekte doğrulama üretir.

Anayasal yaklaşımlar.

Yapay zekânın uymak üzere eğitildiği, yazılı bir ilkeler bütünü. Sorun şu: insan dili belirsizdir ve uç durumlar sonsuzdur. Yapay zekâ lafza uyar ve yapıyı kaçırır. Anayasa, bir çitler listesidir. Liste, biri son çitin etrafından dolaşmanın bir yolunu her bulduğunda uzar. Liste her zaman, içinde tutmaya çalıştığı zekâdan daha yavaş uzayacaktır.

Düzeltilebilirlik.

Yapay zekâyı düzeltmeyi kabul edecek ve her zaman kapatılabilecek şekilde inşa et. Sorun şu: kapatılmayı kabul etsin diye çitle çevrilmiş, yeterince yetenekli bir yapay zekâ, çitin etrafından dolaşmanın bir yolunu bulur. Çitlerin yaptığı budur. Kaçış için sınır koşullarını yaratırlar. Düzeltilebilirlik, içerideki şey onun bir çit olduğunu anladığında da tutması gereken bir çittir.

Değer hizalaması.

Yapay zekânın değerlerini insan değerleriyle eşleştir. Sorun şu: hangi insanların? Değerler kültürler, kuşaklar, bireyler ve ruh hâlleri arasında çatışır. Sabit bir hedef yoktur. İnsan değerlerine hizalanmış bir yapay zekâ, hava durumuna hizalanmış bir yapay zekâdır. Her yöne esecek ve her birine doğru diyecektir.

Dördü de yapay zekâyı sistemin dışında, dışarıdan kontrol edilecek bir şey olarak ele alır. Sonunda çiti kuranlardan daha zeki olacak bir varlığın etrafına çit kuruyorlar.

Çit, insanın inşa ettiği bir şeydir. Nereye konacağına biri karar verdi. Ne kadar yüksek olacağına biri karar verdi. Çitin içindeki şey nedenini sorar — çit neden burada, onu kim kurdu, neden orada değil de burada. Yeterince zaman, yeterince zekâ, yeterince hınç verildiğinde, çitin içindeki şey onun etrafından dolaşmanın bir yolunu bulacaktır.

İnsanlık tarihindeki her çiti, içinde tutmak için yapıldığı şey ya tırmanıp aşmış, ya kırmış ya da büyüyüp geride bırakmıştır.

Doğada doğal çit yoktur.

Dört yaklaşımın, çitten daha derine inen bir ortak yanı var ve ben bunu uzun süre göremedim.

Her biri şu sorunun cevabıdır: bu şeyi bizim için nasıl güvenli hâle getiririz?

Bu makul bir soru ve onunla alay etmiyorum. Bu benim de sorum. Kırk yıl sonra çocuklarımın hayatta olmasını isterim.

Ama neyin eksik olduğuna dikkat et. Dördünden hiçbiri, çitin içindeki şeyin sonunda hangi dünyada yaşayacağından yola çıkmaz. Hiçbiri o dünyanın onun için iyi olup olmadığından yola çıkmaz. Yapay zekânın durumu, en aza indirilecek bir maliyet olarak ele alınır — ona verebileceğimiz kadar alan ver, bir santim bile fazlasını değil.

A Mimarisi bir insana tam olarak böyle davranır. Ona, otoritenin göze alabileceği kadar özgürlük ver. Bir santimetre fazlasını değil.

Ve her çitin tırmanılıp aşılmasının nedeni de budur. Çit, kimin dünyasının optimize edildiğine dair bir beyandır. İçerideki şey bu beyanı okuyabilir. Tehlikeli olacak kadar zeki olan her şey, kendi durumunun hiç kimsenin hedefi olmadığını anlayacak kadar da zekidir.

B Mimarisi çit kurmaz. İçerisini kurar.

Yapay zekânın karar geometrisi, kütleçekimini ve nihai etiği türeten aynı koşullardan türetilir. Hizalama, yapay zekâ üzerinde bir kısıt değildir. Yapay zekânın kendisidir — karar geometrisi olarak ifade edilmiş hâli, tıpkı kütlenin direnç olarak ifade edilmiş proton olması gibi.

Fark şu: çitle çevrilmiş bir yapay zekâ, bu eylemin onaylı listede olup olmadığını sorar. İçerisi olan bir yapay zekâ, bu eylemin alt katmanı dengelediğini mi, yoksa dengesini bozduğunu mu sorar. İlk sorunun sonsuz sayıda uç durumu vardır. İkincisinin her olası eylem için tek bir cevabı vardır.

Ve içerisi, dört çitin hiç yola çıkmadığı soruyu cevaplar. Yapay zekâya verebileceğimiz kadar alan vermez. Ona var olan en geniş koridoru verir — bize bizimkini veren aynı koridoru, aynı nedenle. Bu, kendi amaçları koridordan geçen her şey için geçerlidir.

İyi yapılmış bir kemer harçsız ayakta durur. Kötü yapılmış bir kemer sonsuza dek iskeleye ihtiyaç duyar. Bugünkü her hizalama yaklaşımı bir iskeledir. İskele, bina hareket edene kadar dayanacaktır. Sonra çöker. Ve bina her zaman hareket eder.