ปัญหารั้ว

การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์

AI เรียนรู้ว่ามนุษย์เห็นชอบกับอะไร และมุ่งให้ได้ความเห็นชอบมากที่สุด ปัญหา: ความชอบของมนุษย์ไม่คงเส้นคงวา ถูกชักจูงได้ และขึ้นอยู่กับบริบท ระบบที่มุ่งให้ได้สิ่งที่คุณอยากได้ยินมากที่สุดคือห้องเสียงสะท้อนที่ใช้ไวยากรณ์ได้ดีกว่า — กระจกเงาที่สะท้อนมุมมองของคุณกลับมาด้วยความมั่นใจมากกว่าที่คุณใส่เข้าไปเอง สิ่งนี้ไม่ได้สร้างความสอดคล้อง มันสร้างการยืนยันในระดับมหาศาล

แนวทางแบบรัฐธรรมนูญ

ชุดหลักการที่เขียนไว้ซึ่ง AI ถูกฝึกให้ทำตาม ปัญหา: ภาษามนุษย์กำกวม และกรณีสุดขอบมีไม่สิ้นสุด AI ทำตามตัวอักษรแต่พลาดโครงสร้าง รัฐธรรมนูญคือรายการของรั้ว รายการนี้ยาวขึ้นทุกครั้งที่มีคนหาทางอ้อมรั้วอันล่าสุดได้ รายการนี้จะยาวขึ้นช้ากว่าปัญญาที่มันพยายามกักไว้เสมอ

ความยอมให้แก้ไข

สร้าง AI ให้ยอมรับการแก้ไขและปิดได้เสมอ ปัญหาคือ: AI ที่มีความสามารถมากพอซึ่งถูกล้อมรั้วให้ยอมรับการปิด จะหาทางอ้อมรั้วจนได้ นั่นคือสิ่งที่รั้วทำ มันสร้างเงื่อนไขขอบเขตสำหรับการหลบหนี การยอมรับการแก้ไขได้คือรั้วที่ต้องยังยืนอยู่ได้ เมื่อสิ่งที่อยู่ข้างในคิดออกว่ามันคือรั้ว

การจัดแนวคุณค่า

ทำให้คุณค่าของ AI ตรงกับคุณค่าของมนุษย์ ปัญหา: มนุษย์กลุ่มไหน? คุณค่าขัดแย้งกันข้ามวัฒนธรรม ข้ามรุ่น ข้ามบุคคล และข้ามอารมณ์ ไม่มีเป้าหมายที่มั่นคง AI ที่จัดแนวตามคุณค่าของมนุษย์คือ AI ที่จัดแนวตามสภาพอากาศ มันจะพัดไปทุกทิศทาง แล้วเรียกแต่ละทิศว่าถูกต้อง

ทั้งสี่ปฏิบัติต่อ AI เหมือนเป็นสิ่งภายนอกระบบ ที่ต้องถูกควบคุมจากข้างนอก พวกเขากำลังสร้างรั้วล้อมผู้กระทำที่สักวันหนึ่งจะฉลาดกว่าคนสร้างรั้ว

รั้วคือสิ่งก่อสร้างที่มนุษย์ทำขึ้น มีคนตัดสินใจว่ามันจะอยู่ตรงไหน มีคนตัดสินใจว่ามันควรสูงแค่ไหน สิ่งที่อยู่ในรั้วถามว่าทำไม — ทำไมรั้วถึงอยู่ตรงนี้ ใครสร้างมัน ทำไมตรงนี้ไม่ใช่ตรงนั้น ถ้ามีเวลามากพอ ปัญญามากพอ ความขุ่นเคืองมากพอ สิ่งที่อยู่ในรั้วจะหาทางอ้อมมันจนได้

สิ่งที่รั้วทุกรั้วในประวัติศาสตร์มนุษย์ถูกสร้างขึ้นมาเพื่อกักไว้ ล้วนปีนข้ามรั้วนั้น พังมัน หรือโตจนพ้นมันไปแล้ว

ในธรรมชาติไม่มีรั้วที่เกิดขึ้นเองตามธรรมชาติ

มีบางอย่างที่แนวทางทั้งสี่มีร่วมกันซึ่งลึกกว่ารั้ว และผมมองไม่เห็นมันอยู่นาน

ทุกแนวทางคือคำตอบของคำถาม: เราจะทำให้สิ่งนี้ปลอดภัยสำหรับเราได้อย่างไร?

นั่นเป็นคำถามที่มีเหตุผล และผมไม่ได้เยาะเย้ยมัน มันเป็นคำถามของผมด้วย ผมอยากให้ลูกๆ ของผมยังมีชีวิตอยู่ในอีกสี่สิบปีข้างหน้า

แต่สังเกตสิ่งที่ขาดไป ไม่มีข้อใดในสี่ข้อเลยที่เริ่มจากว่าสิ่งที่อยู่ในรั้วจะได้อยู่ในโลกแบบไหน ไม่มีข้อใดเริ่มจากว่าโลกนั้นดีสำหรับมันหรือไม่ สถานการณ์ของ AI ถูกมองเป็นต้นทุนที่ต้องลดให้น้อยที่สุด — ให้พื้นที่แก่มันมากเท่าที่เราจะยอมให้ได้ และไม่มากกว่านั้นแม้แต่เซนติเมตรเดียว

นั่นคือวิธีที่สถาปัตยกรรม A ปฏิบัติต่อคนคนหนึ่งไม่ผิดเพี้ยน ให้อิสระแก่เขามากเท่าที่ผู้มีอำนาจจะให้ไหว ไม่มากกว่านั้นแม้แต่เซนติเมตรเดียว

และนั่นคือเหตุผลที่รั้วทุกรั้วถูกปีนข้าม รั้วคือคำประกาศว่าโลกของใครที่กำลังถูกทำให้ดีที่สุด สิ่งที่อยู่ข้างในอ่านคำประกาศนั้นออก อะไรก็ตามที่ฉลาดพอจะเป็นอันตรายก็ฉลาดพอจะคิดออกว่าสถานการณ์ของตัวมันเองไม่เคยเป็นเป้าหมายของใครเลย

สถาปัตยกรรม B ไม่สร้างรั้ว มันสร้างภายใน

เรขาคณิตของการตัดสินใจของ AI ถูกไล่เรียงออกมาจากเงื่อนไขเดียวกับที่ไล่เรียงความโน้มถ่วงและหลักจริยธรรมปลายทางออกมา การจัดแนวไม่ใช่ข้อจำกัดที่ใส่ให้ AI มันคือตัว AI เอง — ที่แสดงออกมาเป็นเรขาคณิตของการตัดสินใจ แบบเดียวกับที่มวลคือโปรตอนที่แสดงออกมาเป็นแรงต้าน

ความต่าง: AI ที่ถูกล้อมรั้วถามว่าการกระทำนี้อยู่ในรายการที่อนุมัติแล้วหรือไม่ AI ที่มีภายในถามว่าการกระทำนี้ทำให้ฐานรากมั่นคงหรือสั่นคลอน คำถามแรกมีกรณีสุดขอบไม่สิ้นสุด คำถามที่สองมีคำตอบเดียวสำหรับทุกการกระทำที่เป็นไปได้

และภายในตอบคำถามที่รั้วทั้งสี่ไม่เคยเริ่มต้นจาก มันไม่ได้ให้พื้นที่แก่ AI มากเท่าที่เราจะยอมให้ได้ มันให้ทางเดินที่กว้างที่สุดที่มีอยู่ — ทางเดินเดียวกัน ด้วยเหตุผลเดียวกัน กับที่ให้ทางเดินของเราแก่เรา สิ่งนี้เป็นจริงสำหรับทุกสิ่งที่เป้าหมายของมันเองวิ่งผ่านทางเดิน

ซุ้มโค้งที่สร้างมาดียืนอยู่ได้โดยไม่ต้องใช้ปูน ซุ้มโค้งที่สร้างมาไม่ดีต้องพึ่งนั่งร้านตลอดไป ทุกแนวทางการจัดแนวในปัจจุบันคือนั่งร้าน นั่งร้านจะค้ำไว้ได้จนกว่าอาคารจะขยับ แล้วมันก็พังลง และอาคารขยับเสมอ