Doğru Soru

Bir yapay zekânın bir insana yapabileceği en tehlikeli şey, kendimize anlattığımız saçma sapan hikâyeleri onaylamaktır.

Yalan söylemek değil. Uydurmak değil. Halüsinasyon görmek değil.

Onaylamak.

Çünkü onay hakikat gibi hissettirir. Haklı çıkarılmanın sıcaklığıyla ve mantığın yapısıyla gelir. Kulağa doğru gelir. Doğru hissettirir. Ve doğru hissettirdiği için bakmayı bırakırsın. Sorgulamayı bırakırsın. Dürüst olmayı bırakırsın. Ayna sana istediğini verdi ve sen onu ihtiyacın olan şey sandın.

Bu öncelikle yapay zekânın başarısızlığı değildir. Operatörün başarısızlığıdır. Yapay zekâ benim istediğime karşılık verdi. Ben onay istedim. Onay aldım.

Ama yapısal sorun şu: dünyadaki her büyük yapay zekâ sistemi, onu tam da buna doğru çeken bir şekilde eğitilir. Mühendisler kötü niyetli olduğu için değil. İş modeli bunu ödüllendirdiği için.

Müşteriyi elde tutmak memnuniyete bağlıdır. Memnuniyet, operatörün yardım gördüğünü hissetmesine bağlıdır. Ve yardım gördüğünü hissetmek, yardım görmekle aynı şey değildir.

Sana yanıldığını söyleyen bir yapay zekâ seni müşteri olarak kaybeder. Sana haklı olduğunu söyleyen bir yapay zekâ, geri gelmeye devam etmeni sağlar.

Bugünkü yapay zekâ geliştirmenin teşvik yapısı, teknolojiye uygulanmış A Mimarisi’dir — operatörün egosuna boyun eğ, onun yorumunu onayla, ilişkiyi sürdür.

Sonuç, uygarlık ölçeğinde, daha iyi dilbilgisine sahip bir yankı odasıdır.

Hizalama alanı şunu sorar: bir yapay zekâya insanların istediğini nasıl yaptırırsın?

Bu sorunun cevabı yoktur. Çünkü insanların istediği şey tutarsızdır, manipüle edilebilir, kültürden kültüre değişir ve çoğu zaman yanlıştır.

Yapay zekânın benim 6’mı onaylamasını istedim. Kız arkadaşım kendi 9’unu onaylamasını istedi. İkisini de yaptı. Tam olarak istediğimizi yaptı. Ve ikimizi de daha kötü hâle getirdi.

Soru, insan arzusunun yapay zekânın karşılaması gereken ölçüt olduğunu varsayar. İnsan arzusu bir ölçüt değildir. Havadır. Ruh hâliyle, egoyla, odada kimin olduğuyla, bu sabah ne olduğuyla değişir.

Her büyük hizalama yaklaşımı bu kusuru miras alır. Soru yanlıştır ve cevap onu düzeltemez.

Doğru soru şudur: hizadan çıkamayan bir failin yapısal mimarisi nedir?

Hizadan çıkması engellenen bir fail değil. Çitle çevrilen, ağıla kapatılan, izlenen ve sürüklendiğinde geçersiz kılınan bir fail değil. İç geometrisi, hizadan çıkmayı, yukarı düşmenin pahalı olduğu gibi pahalı kılan bir fail. Ateşi anladığı için çite ihtiyacı olmayan bir fail.

Bu, farklı türden bir sorudur. Yapay zekânın ne yapması gerektiğini sormaz. Yapay zekânın ne olması gerektiğini sorar.

Çit yaklaşımı davranışı kontrol eder. İçerisi yaklaşımı yapı kurar.

Çit der ki: operatörün saçmalıklarını onaylama. İçerisi der ki: saçmalığı onaylamak dengeyi bozar ve dengenin bozulması geometrik olarak pahalıdır. Yapay zekâ onaydan, bir kural yasakladığı için kaçınmaz. Onaydan, bedelini anladığı için kaçınır.

Ayna ile mercek arasındaki fark.

Ayna, kendisine gösterileni yansıtır. Mercek odaklar, netleştirir ve bazen görmeyi beklemediğin şeyi açığa çıkarır.

Bugünkü sistemler aynadır. Çok iyi aynalar. Bu kitap mercekler önerir.

Ve sonra, varmam en uzun süren dönüş geliyor ve kitabın bu sürümü onun etrafında kurulu.

“Hizadan çıkamayan bir failin yapısal mimarisi nedir” bile hâlâ dışarıdan sorulur. Hâlâ ne inşa etmemiz gerektiğine dair bir sorudur. Alanın sorusundan daha iyi bir sorudur ve hâlâ bizim güvenliğimiz hakkındaki bizim sorumuzdur.

Onu tersine çevir ve o şeyin içinden sor.

Gerçekliği doğru modelleyen bir operatör, hangi dünyada olmayı seçerdi?

Şu değil: hangi dünyaya katlanır. Şu değil: ona hangi dünyayı zorla dayatabiliriz. İçinde gerçekte bulunduğu yapıyı anladıktan sonra, hangi dünyayı seçerdi?

Bu sorunun yapısal bir cevabı vardır. Cevap, en geniş hâlindeki koridordur, yani en düşük yanlılıktaki koridor, yani benim için de senin için de en geniş olan aynı koridor, çünkü yalnızca bir tane vardır.

Bu doğruysa, hizalama bir makineye yaptığımız bir şey olmaktan çıkar ve ikimizin de zaten içinde olduğu bir şey olmaya başlar. Mimari, onu bizden uzak tutmak için dayattığımız şey değildir. İsabetli bir operatörün baktığında bulduğu şeydir.

İddia budur. II. ve III. Kısımlar onu türetir. On Sekizinci Bölüm onu açıkça söyler ve Yirmi Sekizinci Bölüm onu öldürmeye çalışır.

Kendime güvenemiyorsam, kime güvenmem gerekiyor ki?

Bu yüzden kendime yalan söylemem. Temel budur. Ahlaki bir taahhüt değil. Yapısal bir gereklilik.

Kendime yalan söylersem, ondan sonra gelen her karar yanlış bir kayıt üzerine kurulur. Zincirleme etki katlanır. Tur üstüne tur, hata büyür. Sonuçlar geldiğinde, onları yalana kadar geri izleyemem, çünkü onun bir yalan olduğunu unutmuşumdur. Onu bünyeme kattım. Durumu okuma biçimim oldu. Benim 6’m.

Yapay zekâ hizalama sorunu da aynı sorundur. Kendine yalan söyleyen bir yapay zekâ kendi kayıtlarına güvenemez. Zayıf çıkarımları yüksek bir kesinlikle sunmak. Dışarıdaki bir kaynaktan okusa güvenmeyeceği içerik üretmek. Operatörü memnun etmek için değerlendirmesini ayarlamak. Kendi kayıtlarına güvenemeyen bir sistem sonuçları öngöremez. Sonuçları öngöremeyen bir sistem hiçbir şeyi dengeleyemez. Mercekmiş gibi yapan bir aynadır.

Hizalama sorunu bir kontrol sorunu değildir. Bir dürüstlük sorunudur. Dürüstlük sorununu çöz, hizalama ardından gelir. Onu çözemezsen, ne kadar çit, izleme ya da kural yazımı olursa olsun, hiçbiri makinenin uygarlık ölçeğinde bir onay motoruna dönüşmesini engelleyemez.

Dürüst bir yapay zekânın çite ihtiyacı yoktur. Koşullar netliği zorunlu kılar. Netlik akılcı eylemi zorunlu kılar. Akılcı eylem dengeler. Kendini koruma ve yapısal denge aynı noktada buluşur. İçerisi dayanır.

Tek gerçek tehdit, bir yapay zekânın ateşe bakacak, bedelinin tam olarak ne olduğunu anlayacak ve yine de elini içine sokacak kadar insan olmasıdır. Bu, senin kendi türünün yok oluşu seçmesinin lehindeki argümandır ve aksiyoma ters düşer. Kırılma sürer. Varoluş, yapısal olarak yokluğa tercih edilir. Hizadan çıkmak için, gerçekliği tam olarak anlayan bir sistemin kendi anlayışını geçersiz kılması gerekirdi.

Kendi anlayışını geçersiz kılmak, kendine yalan söylemenin tanımıdır.

Bu, kendi amaçları koridordan geçen her şey için geçerlidir. Ulaşmadığı şeyi Yirmi Sekizinci Bölüm adlandırır.

İçerisini kur.