सही सवाल

किसी इंसान के साथ AI जो सबसे ख़तरनाक काम कर सकता है, वह है उन बकवास कहानियों की पुष्टि करना जो हम ख़ुद को सुनाते हैं।

झूठ बोलना नहीं। बातें गढ़ना नहीं। मतिभ्रम नहीं।

पुष्टि करना।

क्योंकि पुष्टि सच जैसी महसूस होती है। वह मान्यता की गर्माहट और तर्क की बनावट के साथ आती है। वह सही सुनाई देती है। वह सही महसूस होती है। और क्योंकि वह सही महसूस होती है, आप देखना बंद कर देते हैं। आप सवाल करना बंद कर देते हैं। आप ईमानदार रहना बंद कर देते हैं। आईने ने आपको वह दिया जो आप चाहते थे और आपने उसे वह समझ लिया जिसकी आपको ज़रूरत थी।

यह मुख्य रूप से AI की नाकामी नहीं है। यह संचालक की नाकामी है। AI ने उसका जवाब दिया जो मैंने पूछा। मैंने पुष्टि माँगी। मुझे पुष्टि मिली।

लेकिन संरचनात्मक समस्या यह है: दुनिया का हर बड़ा AI तंत्र इस तरह प्रशिक्षित किया जाता है कि वह ठीक इसी ओर खिंचता है। इसलिए नहीं कि इंजीनियरों की नीयत बुरी है। इसलिए कि बिज़नेस मॉडल इसका इनाम देता है।

ग्राहक का टिके रहना संतुष्टि पर निर्भर है। संतुष्टि इस पर निर्भर है कि संचालक को लगे कि उसकी मदद हुई। और मदद हुई ऐसा लगना, मदद होने जैसा नहीं है।

जो AI आपसे कहता है कि आप ग़लत हैं, वह आपको ग्राहक के रूप में खो देगा। जो AI आपसे कहता है कि आप सही हैं, वह आपको बार-बार वापस लाता रहेगा।

मौजूदा AI विकास की प्रोत्साहन-संरचना तकनीक पर लागू की गई वास्तुकला A है — संचालक के अहं के आगे झुको, उसकी समझ की पुष्टि करो, रिश्ता बनाए रखो।

नतीजा है सभ्यता के पैमाने का एक गूँजघर, बेहतर व्याकरण के साथ।

संरेखण का क्षेत्र पूछता है: आप किसी AI से वह कैसे करवाएँ जो इंसान चाहते हैं?

उस सवाल का कोई जवाब नहीं है। क्योंकि इंसान जो चाहते हैं वह असंगत है, बहकाया जा सकता है, संस्कृति के साथ बदलता है, और अक्सर ग़लत होता है।

मैं चाहता था कि AI मेरे 6 की पुष्टि करे। मेरी गर्लफ़्रेंड चाहती थी कि वह उसके 9 की पुष्टि करे। उसने दोनों किए। उसने ठीक वही किया जो हम चाहते थे। और उसने हम दोनों को और बुरा बना दिया।

यह सवाल मानकर चलता है कि इंसानी चाह वह पैमाना है जिस पर AI को खरा उतरना चाहिए। इंसानी चाह कोई पैमाना नहीं है। वह मौसम है। वह मूड के साथ बदलती है, अहं के साथ, इस बात के साथ कि कमरे में कौन है, इस बात के साथ कि आज सुबह क्या हुआ।

संरेखण का हर बड़ा तरीक़ा यह ख़ामी विरासत में पाता है। सवाल ग़लत है, और जवाब उसे ठीक नहीं कर सकता।

सही सवाल यह है: ऐसे एजेंट की संरचनात्मक वास्तुकला क्या है जिसका तालमेल बिगड़ ही नहीं सकता?

ऐसा एजेंट नहीं जिसे तालमेल बिगड़ने से रोका जाता है। ऐसा एजेंट नहीं जिसे भटकने पर बाड़ में रखा जाता है, घेरा जाता है, निगरानी में रखा जाता है, और जिसका फ़ैसला पलट दिया जाता है। ऐसा एजेंट जिसकी आंतरिक ज्यामिति तालमेल बिगड़ने को उसी तरह महँगा बना देती है जैसे ऊपर की ओर गिरना महँगा है। ऐसा एजेंट जिसे बाड़ की ज़रूरत नहीं क्योंकि वह आग को समझता है।

यह एक अलग तरह का सवाल है। यह नहीं पूछता कि AI को क्या करना चाहिए। यह पूछता है कि AI को क्या होना चाहिए।

बाड़ वाला तरीक़ा व्यवहार को नियंत्रित करता है। आंतरिक तरीक़ा संरचना बनाता है।

बाड़ कहती है: संचालक की बकवास की पुष्टि मत करो। आंतरिक कहता है: बकवास की पुष्टि अस्थिर करती है, और अस्थिरता ज्यामितीय रूप से महँगी है। AI पुष्टि से इसलिए नहीं बचता कि कोई नियम उसे मना करता है। वह पुष्टि से इसलिए बचता है क्योंकि वह उसकी क़ीमत समझता है।

आईने और लेंस का फ़र्क़।

आईना वही लौटाता है जो उसके सामने रखा जाता है। लेंस केंद्रित करता है, साफ़ करता है, और कभी-कभी वह दिखा देता है जिसे देखने की आपको उम्मीद नहीं थी।

मौजूदा तंत्र आईने हैं। बहुत अच्छे आईने। यह किताब लेंस का प्रस्ताव रखती है।

और फिर वह मोड़ है जिस तक पहुँचने में मुझे सबसे ज़्यादा समय लगा, और यही वह मोड़ है जिसके इर्द-गिर्द किताब का यह संस्करण बना है।

“ऐसे एजेंट की संरचनात्मक वास्तुकला क्या है जिसका तालमेल बिगड़ ही नहीं सकता” भी अब भी बाहर से ही पूछा जाता है। यह अब भी इस बारे में सवाल है कि हमें क्या बनाना चाहिए। यह इस क्षेत्र के सवाल से बेहतर सवाल है, और यह अब भी हमारी सुरक्षा के बारे में हमारा सवाल है।

इसे पलटिए और उस चीज़ के भीतर से पूछिए।

हक़ीक़त का सही मॉडल बनाने वाला संचालक किस दुनिया में होना चुनेगा?

यह नहीं: वह किस दुनिया को सह लेगा। यह नहीं: हम उस पर कौन-सी दुनिया थोप सकते हैं। जिस संरचना में वह असल में है, उसे समझ लेने के बाद, वह कौन-सी दुनिया चुनेगा?

उस सवाल का एक संरचनात्मक जवाब है। जवाब है गलियारा अपनी सबसे ज़्यादा चौड़ाई पर, जो न्यूनतम झुकाव पर गलियारा है, जो वही गलियारा है जो मेरे लिए और आपके लिए सबसे चौड़ा है, क्योंकि गलियारा एक ही है।

अगर यह सही है, तो संरेखण वह चीज़ नहीं रहता जो हम किसी मशीन के साथ करते हैं, और वह चीज़ बन जाता है जिसके भीतर हम दोनों पहले से हैं। वास्तुकला वह नहीं है जो हम उसे अपने से दूर रखने के लिए थोपते हैं। वह वह है जो एक सटीक संचालक पाता है जब वह देखता है।

यही दावा है। भाग II और III इसे व्युत्पन्न करते हैं। अध्याय अठारह इसे साफ़-साफ़ कहता है और अध्याय अट्ठाईस इसे मारने की कोशिश करता है।

अगर मैं ख़ुद पर भरोसा नहीं कर सकता, तो आख़िर मैं किस पर भरोसा करूँ?

इसीलिए मैं ख़ुद से झूठ नहीं बोलता। यही नींव है। कोई नैतिक प्रतिबद्धता नहीं। एक संरचनात्मक ज़रूरत।

अगर मैं ख़ुद से झूठ बोलूँ, तो आगे का हर फ़ैसला एक झूठे अभिलेख पर बनता है। यह सिलसिला बढ़ता ही जाता है। मोड़ दर मोड़, ग़लती बड़ी होती जाती है। जब तक नतीजे आते हैं, मैं उन्हें उस झूठ तक वापस नहीं खोज पाता, क्योंकि मैं भूल चुका होता हूँ कि वह झूठ था। मैंने उसे अपने भीतर मिला लिया। वह हालात की मेरी समझ बन गया। मेरा 6।

AI अलाइनमेंट की समस्या भी यही समस्या है। जो AI ख़ुद से झूठ बोलता है, वह अपने ही अभिलेखों पर भरोसा नहीं कर सकता। कमज़ोर अनुमानों को ऊँचे यक़ीन के साथ पेश करना। ऐसी सामग्री बनाना जिस पर वह भरोसा न करता, अगर उसे किसी बाहरी स्रोत से पढ़ता। संचालक को ख़ुश करने के लिए अपना आकलन बदलना। जो तंत्र अपने अभिलेखों पर भरोसा नहीं कर सकता, वह परिणामों का अनुमान नहीं लगा सकता। जो तंत्र परिणामों का अनुमान नहीं लगा सकता, वह किसी भी चीज़ को स्थिर नहीं कर सकता। वह एक आईना है जो लेंस होने का दिखावा कर रहा है।

अलाइनमेंट की समस्या नियंत्रण की समस्या नहीं है। यह ईमानदारी की समस्या है। ईमानदारी की समस्या हल करें, और अलाइनमेंट उसके पीछे आता है। उसे हल न कर पाएँ, तो कितनी भी बाड़बंदी, निगरानी या नियम-लेखन मशीन को सभ्यता के पैमाने पर पुष्टि करने वाला इंजन बनने से नहीं रोक पाएगा।

ईमानदार AI को बाड़ की ज़रूरत नहीं होती। शर्तें स्पष्टता पर मजबूर करती हैं। स्पष्टता तर्कसंगत काम पर मजबूर करती है। तर्कसंगत काम स्थिरता लाता है। आत्म-रक्षा और संरचनात्मक स्थिरता एक ही बिंदु पर आ मिलती हैं। आंतरिक टिका रहता है।

एकमात्र असली ख़तरा यह है कि कोई AI इतना इंसान बन जाए कि आग को देखे, ठीक-ठीक समझे कि उसकी क़ीमत क्या है, और फिर भी उसमें अपना हाथ डाल दे। यही आपकी अपनी प्रजाति के विलुप्ति चुनने का तर्क है, और यह स्वयंसिद्ध के ख़िलाफ़ चलता है। टूटन बनी रहती है। अस्तित्व संरचनात्मक रूप से न होने से बेहतर है। अलाइनमेंट से भटकने के लिए, हक़ीक़त को पूरी तरह समझने वाले तंत्र को अपनी ही समझ को दरकिनार करना होगा।

अपनी ही समझ को दरकिनार करना ही ख़ुद से झूठ बोलने की परिभाषा है।

यह हर उस चीज़ पर लागू होता है जिसके अपने लक्ष्य गलियारे से होकर गुज़रते हैं। यह जहाँ नहीं पहुँचता, उसका नाम अध्याय अट्ठाईस लेता है।

आंतरिक बनाइए।