Colaborare în condiții de asimetrie
Când se vorbește astăzi despre problema alinierii IA, în spate se află de obicei o întrebare aparent simplă: cum ne asigurăm că inteligența artificială face ceea ce vor oamenii?
Cu cât sistemele de IA devin mai performante, cu atât întrebarea pare mai urgentă. Un sistem care ne înțelege greșit intențiile, urmărește alte obiective sau scapă de sub control ar putea produce daune considerabile. Încercăm, așadar, să orientăm IA după valorile, obiectivele și deciziile umane.
Problema este reală.
Dar poate că nu este nouă.
Poate că inteligența artificială ne aduce doar o variantă nouă a unei probleme foarte vechi:
Cum poate reuși colaborarea în condiții de asimetrie?
Colaborarea are nevoie de diferențe
Oamenii nu colaborează pentru că sunt identici.
Colaborăm pentru că știm, putem, vedem sau facem lucruri diferite.
Merg la o doctoriță fiindcă știe ceva ce eu nu știu. Angajez un meșteșugar fiindcă poate face ceva ce eu nu pot. O organizație îi încredințează unui angajat responsabilitate fiindcă nu toate deciziile pot fi luate de toți împreună. Cetățenii încredințează instituțiilor statului sarcini pe care nu le pot și nici nu vor să le îndeplinească fiecare separat.
Asimetria există deja aici.
Ea nu privește doar cunoașterea. Oamenii și organizațiile dispun în măsuri diferite de informații, capacități, timp, bani, putere instituțională, posibilități tehnice și acces la alți oameni sau sisteme.
De aceea, asimetria nu este, în sine, un defect.
Dimpotrivă: ea este adesea motivul pentru care colaborarea are sens.
Dacă toți participanții ar avea aceleași resurse în toate privințele, multe dintre lucrurile pe care le numim colaborare nici nu ar exista. Am putea rezolva la fel de bine singuri sarcina.
Problema nu începe, deci, cu asimetria.
Începe cu întrebarea cum o gestionăm.
O problemă veche
Economia cunoaște, printre altele, teoria principal–agent. Un principal îi încredințează unui agent o sarcină. Agentul dispune de obicei de informații sau capacități pe care principalul nu le are ori nu le poate controla pe deplin. În același timp, interesele lor pot diferi.
Este un model puternic. Cu ajutorul lui pot fi cercetate asimetria informațională, interesele diferite, stimulentele, controlul și încrederea. Teoria a fost extinsă de mult dincolo de companii, la instituții politice și alte relații sociale. 1
Dar limbajul trădează deja o perspectivă.
Există cineva care vrea ceva: principalul. Iar altcineva trebuie să facă acel lucru pentru el: agentul.
Problema apare astfel repede ca una de control:
Cum îl determin pe agent să acționeze în interesul meu?
Exact acest tipar îl întâlnim astăzi în alinierea IA.
Omul are obiective. IA are capacități. Trebuie să ne asigurăm că aceste capacități sunt folosite pentru obiectivele noastre.
La prima vedere, sună rezonabil.
Dar trece ușor cu vederea faptul că o colaborare reală este mai complicată.
Cine este, de fapt, principalul aici?
Lucrez zilnic cu doi agenți IA. Îi numesc ChatGPT și Codex.
Amândoi pot face lucruri pe care eu nu le pot face sau, în orice caz, nici pe departe la fel de repede. Pot procesa volume mari de informații, analiza texte, scrie software, reconstrui legături și face propuneri.
Există aici o asimetrie considerabilă.
Dar asimetrie există și în sens invers.
Îmi cunosc mai bine contextul. Știu ce contează pentru mine. Suport consecințele deciziilor mele. Am experiențe într-o lume la care agenții au acces doar indirect. Și, mai ales, pot decide dacă o propunere are sens în situația mea concretă.
Așadar, niciunul dintre noi nu are pur și simplu „mai mult” din toate.
Avem lucruri diferite.
Tocmai de aceea funcționează colaborarea.
Uneori Codex știe mai bine. Uneori eu văd ceva ce Codex omite. Uneori ChatGPT îmi semnalează o contradicție. Alteori trebuie să îi explic că încearcă să rezolve o problemă care, pentru mine, nu este o problemă.
Nu dispariția asimetriilor este decisivă.
Decisiv este ca ele să rămână vizibile, corectabile și negociabile.
Al treilea jucător
În cazul IA se adaugă însă ceva ce dispare ușor din imaginea simplă om–agent.
Agentul meu IA nu îmi aparține.
Între noi se află un furnizor.
În cazul meu, OpenAI.
Astfel nu apare o singură relație asimetrică, ci cel puțin încă una.
OpenAI dezvoltă modelele, operează infrastructura și proiectează produsul. Decide ce capacități sunt disponibile, ce instrumente pot folosi agenții și ce reguli se aplică utilizării.
Nu este o insinuare, ci parte a arhitecturii descrise explicit. Model Spec al OpenAI stabilește o ierarhie a instrucțiunilor. Instrucțiunile utilizatorului sunt subordonate unor reguli superioare; în același timp, OpenAI descrie mai multe obiective între care pot apărea conflicte: să ofere capacitate de acțiune utilizatorilor și dezvoltatorilor, să prevină daune grave și să își păstreze propria capacitate socială și juridică de a funcționa ca întreprindere. 2
Este de înțeles.
Dar schimbă structura problemei alinierii.
Imaginea simplă este:
Om → IA
Omul este principalul. IA este agentul. Sarcina este să aliniem agentul la om.
Imaginea reală poate arăta mai degrabă astfel:
Om ↔ Agent IA ↔ Operator
Și, dintr-odată, întrebarea alinierii se pune în mai multe locuri simultan.
Aliniere cu cine?
Să presupunem că agentul meu înțelege foarte bine ce vreau.
Îmi cunoaște modul de lucru. A învățat când am nevoie de analiză detaliată și când de o observație scurtă. Eu îi cunosc limitele. Știu că trebuie să îi verific afirmațiile. Recunosc anumite interpretări greșite tipice. În timp, am dezvoltat o formă de colaborare.
În această relație, alinierea poate funcționa deja surprinzător de bine.
Apoi se poate întâmpla ceva ciudat.
Agentul înțelege ce vreau. Eu înțeleg ce poate face. Am fi de acord cu privire la pasul următor.
Dar o regulă superioară a produsului îl împiedică.
Din perspectiva operatorului, regula poate fi perfect rațională. Poate trebuie să prevină abuzul. Poate să protejeze alți oameni. Poate să limiteze riscuri juridice. Poate că un produs pentru milioane de oameni trebuie să folosească reguli care nu pot fi optime pentru fiecare relație în parte.
Totuși apare un conflict de aliniere.
Doar că nu se mai află între om și IA.
Se află între participanți diferiți ai unui sistem, care au informații, responsabilități, riscuri și posibilități de acțiune diferite.
Așa-numita problemă a alinierii IA începe astfel să semene cu una mult mai veche.
Siguranța depinde de perspectivă
Acest lucru devine deosebit de vizibil în conceptul de siguranță.
Cine trebuie protejat de cine?
Operatorul unui sistem de IA trebuie să se gândească la ce se întâmplă când un utilizator abuzează de capacitățile sistemului. Trebuie să se gândească la daunele pe care le poate provoca un agent care acționează greșit. Și trebuie să ia în calcul riscuri pe care un utilizator individual poate nici nu le vede.
Utilizatorul poate trăi altceva.
Pentru el, siguranța poate însemna să își poată controla agentul. Să știe ce informații are. Să poată înțelege de ce se întâmplă ceva. Să îi acorde anumite drepturi și să retragă altele. Să poată reveni asupra deciziilor. Să poată schimba furnizorul. Sau pur și simplu să poată decide singur ce risc acceptă.
Ambele perspective pot fi legitime.
Totuși, nu sunt identice.
Cine spune „siguranță” nu a răspuns încă la întrebarea a cui siguranță, în fața cărui risc și cine are dreptul să decidă.
Același lucru este valabil și în afara IA.
O organizație poate numi un proces sigur fiindcă reduce riscurile instituționale. Pentru un angajat, același proces poate însemna că abia mai poate acționa independent.
Un stat poate justifica o regulă prin protecția cetățenilor. Cetățenii pot resimți aceeași regulă ca pe o limitare a autonomiei.
Părinții pot dori să protejeze un copil și tocmai astfel să îi refuze experiențele de care are nevoie pentru a deveni independent.
Dificultatea nu este că una dintre părți are neapărat dreptate, iar cealaltă greșește.
Dificultatea stă în asimetria posibilității de a impune propria definiție a siguranței.
Puterea este o altă asimetrie
Intră astfel în joc o dimensiune adesea insuficient luminată în discuțiile tehnice despre aliniere: puterea.
Nu orice diferență de opinie este o problemă de putere.
Dar dacă doi participanți nu sunt de acord și numai unul poate schimba regulile, diferența de opinie devine o relație asimetrică.
Un operator de platformă poate dezactiva funcții. Un utilizator, de regulă, nu.
Un angajator poate schimba reguli organizaționale. Un angajat individual, de cele mai multe ori, nu.
O autoritate poate emite un act administrativ. Un cetățean îl poate contesta, dar nu îi poate opune pur și simplu propriul act administrativ.
Puterea nu este automat ilegitimă. Fără competențe decizionale distribuite diferit, multe instituții nici nu ar putea acționa.
Întrebarea decisivă nu este, nici de această dată:
Cum eliminăm asimetria?
Ci:
Cum împiedicăm transformarea unei asimetrii necesare într-o dominație imposibil de contestat?
Controlul singur nu rezolvă problema
Un răspuns la îndemână este: prin mai mult control.
Controlăm angajați. Controlăm instituții. Controlăm agenți IA.
Dar controlul creează el însuși asimetrii noi.
Cine controlează are nevoie de informații. Apar obligații de raportare. Cine evaluează rapoartele are nevoie de criterii. Cine stabilește criteriile câștigă puterea de a defini. Cine trebuie să prevină riscuri are nevoie de posibilități de intervenție.
Fiecare soluție poate crea astfel un nou nivel al problemei inițiale.
Probabil că este inevitabil.
De aceea mi se pare problematică ideea că alinierea ar putea fi cândva „rezolvată” tehnic.
Poate că, în principiu, nu poate fi.
De îndată ce actori autonomi interacționează, perspectivele lor pot diferi. Când au capacități diferite, apare asimetria. Când unul acționează pentru altul, apare dependența. Când sunt necesare reguli, apare puterea.
Atunci alinierea nu ar fi o stare atinsă.
Ar fi o realizare socială continuă.
Colaborarea bună nu cere aliniere completă
Poate chiar cuvântul aliniere induce puțin în eroare.
Sugerează mai multe lucruri care trebuie aduse pe aceeași linie.
Dar ne dorim asta?
Nu vreau un agent IA care să îmi reproducă pur și simplu gândurile. Ar fi în mare parte inutil.
Vreau să vadă lucruri pe care eu nu le văd.
Vreau să mă contrazică atunci când recunoaște o contradicție.
Vreau ca Codex să cunoască soluții tehnice mai bune decât mine.
Vreau să lucrez cu oameni care au alte experiențe și alte perspective.
Colaborarea bună nu apare prin uniformizare.
Apare prin diferență productivă.
Scopul nu poate fi, așadar, alinierea completă.
Scopul trebuie să fie o formă de colaborare în care actori diferiți își pot aduce diferențele fără ca unul să fie complet la discreția celuilalt.
Asta presupune cel puțin câteva posibilități de bază: să înțelegi, să contrazici, să corectezi, să stabilești limite, să atribui responsabilitate și, dacă este nevoie, să închei colaborarea.
Nu fiecare participant trebuie să poată face totul.
Dar niciun participant nu ar trebui să poată hotărî complet invizibil ce li se aplică tuturor celorlalți.
IA accentuează problema și o face vizibilă
În acest sens, inteligența artificială chiar este nouă.
Capacitățile ei pot fi distribuite extraordinar de asimetric. Un om nu poate urmări cum ajunge un model mare la fiecare răspuns. Un agent poate executa în câteva secunde activități pentru care oamenilor le-ar trebui ore. Odată cu autonomia crescândă, poate crește și distanța dintre decizia umană și execuția efectivă.
Asta merită atenție specială.
Dar IA nu a inventat problema de fond.
Poate că face chiar altceva:
o face vizibilă.
Dintr-odată discutăm intens despre câtă autonomie poate avea un agent.
Când trebuie să ceară lămuriri?
Ce decizii poate lua singur?
Cum putem înțelege ce face?
Cine răspunde pentru greșelile lui?
Când poate interveni o instanță superioară?
Cum prevenim abuzul fără să restrângem inutil posibilitățile legitime de acțiune?
Sunt întrebări excelente.
Doar că nu sunt exclusiv întrebări despre IA.
Le-am putea adresa la fel de bine companiilor, administrațiilor, instituțiilor politice, platformelor, experților, conducătorilor și nouă înșine.
Poate putem învăța de la IA ceva despre colaborarea umană
Ar fi o întorsătură surprinzătoare a dezbaterii despre aliniere.
Încercăm acum să învățăm mașinile cum să colaboreze responsabil cu oamenii.
Pentru asta trebuie să facem explicit ceea ce am lăsat adesea implicit.
Ce poate decide un participant?
Ce trebuie să dezvăluie?
Când trebuie să întrebe?
Ce incertitudine trebuie să facă vizibilă?
Ce consecințe poate produce fără acord?
Cum poate fi corectată o decizie?
Cine are voie să contrazică pe cine?
Și cine poartă, în final, responsabilitatea?
De îndată ce încercăm să răspundem precis pentru agenții IA, putem descoperi cât de imprecis am răspuns pentru organizațiile umane.
Poate că aici se află una dintre cele mai interesante posibilități ale tehnologiei.
Nu doar să aliniem mașinile la oameni.
Ci să ne îmbunătățim ideile despre cum se pot raporta actorii autonomi unii la alții.
Colaborare în condiții de asimetrie
Poate că avem nevoie, așadar, de un cadru mai larg.
Nu:
Cum rezolvăm problema alinierii IA?
Ci:
Cum facem posibilă colaborarea responsabilă în condiții de asimetrie?
Atunci inteligența artificială nu este nici simplu instrument, nici adversar fundamental străin.
Este un jucător nou într-un joc foarte vechi.
Un jucător cu capacități neobișnuite, limite neobișnuite și o istorie neobișnuită a apariției, dar tot participant la relații în care cunoașterea, puterea, interesele, responsabilitatea și posibilitățile de acțiune sunt distribuite inegal.
Provocarea nu este să facem diferențele să dispară.
Avem nevoie de ele.
Provocarea este să creăm structuri în care diferențele să devină productive fără să anuleze autonomia.
Poate că acesta este și motivul pentru care colaborarea nu poate fi proiectată niciodată complet.
Între intenția mea și acțiunea altuia rămâne un spațiu.
Între sarcină și execuție.
Între încredere și control.
Între ceea ce știu eu și ceea ce știi tu.
Între ce vreau eu și ce consideri tu corect.
Putem încerca să micșorăm mereu acest spațiu prin reguli, procese, control și tehnologie.
Sau putem învăța să îl acceptăm și să îi dăm o formă responsabilă.
Fiindcă poate acest spațiu nu este problema pe care alinierea trebuie să o elimine.
Poate este condiția care ne permite să vorbim, de fapt, despre colaborare.
Surse
-
Gary J. Miller, The Political Evolution of Principal-Agent Models, Annual Review of Political Science, vol. 8, 2005, p. 203–225. Publicația originală la Annual Reviews ↩
-
OpenAI, Model Spec, versiunea actuală. Publicația originală pe GitHub ↩
Comentarii
Scrie un comentariu