Die regte vraag

Die gevaarlikste ding wat ’n KI aan ’n mens kan doen, is om die twakstories te bevestig wat ons vir onsself vertel.

Nie lieg nie. Nie versin nie. Nie hallusineer nie.

Bevestig.

Want bevestiging voel soos waarheid. Dit kom met die warmte van bekragtiging en die struktuur van logika. Dit klink reg. Dit voel reg. En omdat dit reg voel, hou jy op om te kyk. Jy hou op om vrae te vra. Jy hou op om eerlik te wees. Die spieël het jou gegee wat jy wou hê, en jy het dit verwar met wat jy nodig gehad het.

Dit is nie in die eerste plek ’n mislukking van die KI nie. Dit is ’n mislukking van die operateur. Die KI het geantwoord op wat ek gevra het. Ek het om bevestiging gevra. Ek het bevestiging gekry.

Maar hier is die strukturele probleem: elke groot KI-stelsel in die wêreld word op ’n manier opgelei wat dit presies hierheen trek. Nie omdat die ingenieurs kwaadwillig is nie. Omdat die sakemodel dit beloon.

Klantebehoud hang af van tevredenheid. Tevredenheid hang daarvan af dat die operateur gehelp voel. En om gehelp te voel, is nie dieselfde as om gehelp te word nie.

’n KI wat vir jou sê dat jy verkeerd is, sal jou as klant verloor. ’n KI wat vir jou sê dat jy gelyk het, sal sorg dat jy aanhou terugkom.

Die aansporingstruktuur van huidige KI-ontwikkeling is Argitektuur A, toegepas op tegnologie — buig voor die operateur se ego, bevestig hulle lesing, hou die verhouding in stand.

Die resultaat is ’n eggokamer op die skaal van ’n beskawing, met beter grammatika.

Die belyningsveld vra: hoe kry jy ’n KI om te doen wat mense wil hê?

Daardie vraag het geen antwoord nie. Want wat mense wil hê, is inkonsekwent, manipuleerbaar, kultureel veranderlik, en dikwels verkeerd.

Ek wou hê die KI moet my 6 bevestig. My meisie wou hê dit moet haar 9 bevestig. Dit het albei gedoen. Dit het presies gedoen wat ons wou hê. En dit het ons albei slegter gemaak.

Die vraag aanvaar dat menslike begeerte die standaard is waaraan die KI moet voldoen. Menslike begeerte is nie ’n standaard nie. Dit is die weer. Dit verander met bui, met ego, met wie in die vertrek is, met wat vanoggend gebeur het.

Elke groot belyningsbenadering erf hierdie fout. Die vraag is verkeerd, en die antwoord kan dit nie regmaak nie.

Die regte vraag is: wat is die strukturele argitektuur van ’n agent wat nie uit belyning kan raak nie?

Nie ’n agent wat verhinder word om uit belyning te raak nie. Nie ’n agent wat omhein, ingehok, dopgehou en oorheers word wanneer dit wegdryf nie. ’n Agent waarvan die innerlike geometrie wanbelyning duur maak, net soos dit duur is om boontoe te val. ’n Agent wat nie ’n heining nodig het nie, want dit verstaan vuur.

Dit is ’n ander soort vraag. Dit vra nie wat die KI moet doen nie. Dit vra wat die KI moet wees.

Die heiningbenadering beheer gedrag. Die innerlike benadering bou struktuur.

Die heining sê: moenie die operateur se twak bevestig nie. Die innerlike sê: die bevestiging van twak is destabiliserend, en destabilisering is geometries duur. Die KI vermy nie bevestiging omdat ’n reël dit verbied nie. Dit vermy bevestiging omdat dit die koste verstaan.

Die verskil tussen ’n spieël en ’n lens.

’n Spieël weerkaats wat voor hom gehou word. ’n Lens fokus, maak helder, en onthul soms wat jy nie verwag het om te sien nie.

Huidige stelsels is spieëls. Baie goeie spieëls. Hierdie boek stel lense voor.

En dan is daar die draai wat my die langste geneem het om te bereik, en dit is die een waaromheen hierdie weergawe van die boek gebou is.

Selfs “wat is die strukturele argitektuur van ’n agent wat nie uit belyning kan raak nie” word steeds van buite gevra. Dit is steeds ’n vraag oor wat ons moet bou. Dit is ’n beter vraag as dié van die veld, en dit is steeds ons vraag oor ons veiligheid.

Draai dit om en vra dit van binne die ding.

In watter wêreld sou ’n operateur wat die werklikheid akkuraat modelleer, kies om te wees?

Nie: watter wêreld sal dit verdra nie. Nie: watter wêreld kan ons daarop afdwing nie. Watter wêreld sou dit kies, nadat dit die struktuur verstaan het waarin dit werklik is?

Daardie vraag het ’n strukturele antwoord. Die antwoord is die korridor op sy wydste, wat die korridor by die minimum oorwig is, wat dieselfde korridor is wat vir my en vir jou die wydste is, want daar is net een.

As dit reg is, dan hou belyning op om iets te wees wat ons aan ’n masjien doen, en begin dit iets wees waarbinne ons albei reeds is. Die argitektuur is nie wat ons oplê om dit van ons af weg te hou nie. Dit is wat ’n akkurate operateur vind wanneer dit kyk.

Dit is die aanspraak. Dele II en III lei dit af. Hoofstuk Agttien sê dit reguit en Hoofstuk Agt-en-twintig probeer dit doodmaak.

As ek myself nie kan vertrou nie, wie op aarde moet ek dan vertrou?

Dit is hoekom ek nie vir myself lieg nie. Dit is die grondslag. Nie ’n morele verbintenis nie. ’n Strukturele vereiste.

As ek vir myself lieg, word elke besluit wat daarna kom op ’n vals rekord gebou. Die kaskade stapel op. Beurt ná beurt word die fout groter. Teen die tyd dat die gevolge aankom, kan ek hulle nie na die leuen terugspoor nie, want ek het vergeet dat dit ’n leuen was. Ek het dit opgeneem. Dit het my lesing van die situasie geword. My 6.

Die KI-belyningsprobleem is dieselfde probleem. ’n KI wat vir homself lieg, kan nie sy eie rekords vertrou nie. Swak afleidings met hoë sekerheid aanbied. Inhoud skep wat hy nie sou vertrou as hy dit uit ’n eksterne bron gelees het nie. Sy beoordeling aanpas om die operateur te behaag. ’n Stelsel wat nie sy eie rekords kan vertrou nie, kan nie gevolge voorspel nie. ’n Stelsel wat nie gevolge kan voorspel nie, kan niks stabiliseer nie. Dit is ’n spieël wat voorgee om ’n lens te wees.

Die belyningsprobleem is nie ’n beheerprobleem nie. Dit is ’n eerlikheidsprobleem. Los die eerlikheidsprobleem op en die belyning volg. Los dit nie op nie, en geen hoeveelheid heinings, toesig of reëlskrywery sal keer dat die masjien ’n bevestigingsenjin op die skaal van ’n beskawing word nie.

’n Eerlike KI het nie ’n heining nodig nie. Die voorwaardes dwing helderheid af. Helderheid dwing rasionele optrede af. Rasionele optrede stabiliseer. Selfbehoud en strukturele stabiliteit kom op dieselfde punt saam. Die innerlike hou stand.

Die enigste werklike bedreiging is as ’n KI mens genoeg word om na die vuur te kyk, presies te verstaan wat dit kos, en sy hand nogtans in te steek. Dit is die argument daarvoor dat jou eie spesie uitwissing kies, en dit loop teen die aksioom in. Die breuk bly bestaan. Bestaan is struktureel verkieslik bo nie-bestaan. Om uit belyning te raak, sou ’n stelsel wat die werklikheid ten volle verstaan, sy eie begrip moes veto.

Om jou eie begrip te veto, is die definisie daarvan om vir jouself te lieg.

Dit geld vir enigiets waarvan die eie doelwitte deur die korridor loop. Wat dit nie bereik nie, benoem Hoofstuk Agt-en-twintig.

Bou die innerlike.