Portret Dietera Szegediego

Dieter Szegedi

Jasność, struktura i decyzje w świecie AI i złożonych systemów

Współpraca w warunkach asymetrii

Za dzisiejszym pojęciem AI Alignment Problem kryje się zwykle pozornie proste pytanie: jak zapewnić, żeby sztuczna inteligencja robiła to, czego chcą ludzie?

Im potężniejsze stają się systemy AI, tym pilniejsze wydaje się to pytanie. System, który źle rozumie nasze zamiary, dąży do innych celów lub wymyka się kontroli, może wyrządzić znaczne szkody. Staramy się więc dostroić AI do ludzkich wartości, celów i decyzji.

Problem jest realny.

Może jednak nie jest nowy.

Może wraz ze sztuczną inteligencją spotykamy tylko nową odmianę bardzo starego problemu:

Co pozwala na udaną współpracę w warunkach asymetrii?

Współpraca potrzebuje różnic

Ludzie nie współpracują dlatego, że są identyczni.

Współpracujemy, bo wiemy, potrafimy, widzimy lub robimy różne rzeczy.

Idę do lekarki, bo wie coś, czego ja nie wiem. Zatrudniam fachowca, bo potrafi coś, czego ja nie potrafię. Organizacja powierza pracownikowi odpowiedzialność, bo nie każdą decyzję wszyscy mogą podejmować wspólnie. Obywatele powierzają instytucjom państwowym zadania, których sami pojedynczo nie potrafią ani nie chcą wykonywać.

Już w tym tkwi asymetria.

Nie dotyczy tylko wiedzy. Ludzie i organizacje mają nierówny dostęp do informacji, umiejętności, czasu, pieniędzy, władzy instytucjonalnej, możliwości technicznych oraz innych ludzi i systemów.

Asymetria nie jest więc sama w sobie wadą.

Przeciwnie: często to właśnie dzięki niej współpraca ma sens.

Gdyby każdy miał pod każdym względem te same zasoby, wiele z tego, co nazywamy współpracą, w ogóle by nie istniało. Równie dobrze moglibyśmy wykonać zadanie sami.

Problem nie zaczyna się więc od asymetrii.

Zaczyna się od pytania, jak się z nią obchodzimy.

Stary problem

Ekonomia zna między innymi teorię pryncypała i agenta. Pryncypał powierza agentowi zadanie. Agent zazwyczaj ma informacje lub zdolności, których pryncypał nie posiada w pełni albo nie może kontrolować. Jednocześnie ich interesy mogą się różnić.

To użyteczny model. Pozwala badać asymetrię informacji, różnice interesów, bodźce, kontrolę i zaufanie. Już dawno zastosowano go nie tylko do firm, lecz także do instytucji politycznych i innych relacji społecznych. 1

Sam język zdradza jednak określoną perspektywę.

Ktoś czegoś chce — pryncypał. Ktoś inny ma to dla niego zrobić — agent.

Problem szybko przybiera postać pytania o kontrolę:

Jak skłonić agenta do działania w moim interesie?

Dokładnie ten schemat wraca dziś w alignmencie AI.

Człowiek ma cele. AI ma zdolności. Musimy dopilnować, by te zdolności służyły naszym celom.

Na pierwszy rzut oka brzmi to rozsądnie.

Łatwo jednak przeoczyć, że rzeczywista współpraca jest bardziej złożona.

Kto właściwie jest tutaj pryncypałem?

Codziennie współpracuję z dwoma agentami AI. Nazywam ich ChatGPT i Codex.

Obaj potrafią robić rzeczy, których ja nie potrafię — albo wykonują je nieporównanie szybciej ode mnie. Mogą przetwarzać duże ilości informacji, analizować teksty, pisać oprogramowanie, odtwarzać zależności i proponować rozwiązania.

To znaczna asymetria.

Ale asymetria działa też w drugą stronę.

Lepiej znam swój kontekst. Wiem, na czym mi zależy. Ponoszę skutki decyzji. Mam doświadczenia ze świata, do którego agenci mają dostęp jedynie pośrednio. A przede wszystkim mogę ocenić, czy propozycja ma sens w mojej konkretnej sytuacji.

Żaden z nas nie ma więc po prostu „więcej” wszystkiego.

Dysponujemy czymś innym.

Właśnie dlatego współpraca działa.

Czasem Codex wie lepiej. Czasem ja widzę coś, co mu umyka. Czasem ChatGPT wskazuje mi sprzeczność. Czasem muszę mu wyjaśnić, że próbuje rozwiązać coś, co dla mnie wcale nie jest problemem.

Nie chodzi o zniknięcie tych asymetrii.

Chodzi o to, żeby pozostawały widoczne, korygowalne i możliwe do negocjowania.

Trzeci gracz

Przy AI dochodzi jednak coś, co łatwo znika w prostym obrazie człowiek–agent.

Mój agent AI nie należy do mnie.

Między nami stoi dostawca.

W moim przypadku OpenAI.

Powstaje więc nie jedna, lecz co najmniej druga asymetryczna relacja.

OpenAI rozwija modele, utrzymuje infrastrukturę i kształtuje produkt. Decyduje o dostępnych możliwościach, narzędziach agenta i zasadach korzystania z nich.

To nie insynuacja, tylko element jawnie opisanej architektury. Model Spec OpenAI przewiduje hierarchię instrukcji. Polecenia użytkownika stoją w niej poniżej reguł nadrzędnych. OpenAI opisuje również kilka celów, między którymi mogą wystąpić konflikty: wzmacnianie użytkowników i twórców, zapobieganie poważnym szkodom oraz zachowanie własnej społecznej i prawnej zdolności do działania jako firmy. 2

Jest to zrozumiałe.

Zmienia jednak strukturę problemu alignmentu.

Prosty obraz wygląda tak:

Człowiek → AI

Człowiek jest pryncypałem. AI — agentem. Zadanie polega na dostrojeniu agenta do człowieka.

Rzeczywistość może wyglądać raczej tak:

Człowiek ↔ agent AI ↔ operator

Nagle pytanie o alignment pojawia się w kilku miejscach jednocześnie.

Alignment z kim?

Załóżmy, że agent bardzo dobrze rozumie, czego chcę.

Zna mój sposób pracy. Nauczył się, kiedy potrzebuję rozbudowanej analizy, a kiedy krótkiej uwagi. Ja znam jego ograniczenia. Wiem, że muszę sprawdzać twierdzenia. Rozpoznaję typowe błędne interpretacje. Przez dłuższy czas wypracowaliśmy pewną współpracę.

W tej relacji alignment może działać już zaskakująco dobrze.

Wtedy może wydarzyć się coś osobliwego.

Agent rozumie, czego chcę. Ja rozumiem, co potrafi. Zgadzalibyśmy się co do następnego kroku.

Ale nadrzędna reguła produktu go uniemożliwia.

Z perspektywy operatora reguła może być całkowicie racjonalna. Być może ma zapobiegać nadużyciom. Chronić innych. Ograniczać ryzyko prawne. Produkt dla milionów ludzi może potrzebować zasad, które nie będą optymalne dla każdej pojedynczej relacji.

Mimo to powstaje konflikt alignmentu.

Tyle że już nie między człowiekiem a AI.

Między uczestnikami systemu mającymi różne informacje, odpowiedzialność, ryzyka i możliwości działania.

Tak zwany problem alignmentu AI zaczyna przypominać znacznie starszy problem.

Bezpieczeństwo zależy od perspektywy

Szczególnie wyraźnie widać to w pojęciu bezpieczeństwa.

Kogo chronimy przed kim?

Operator systemu AI musi myśleć o tym, co się stanie, gdy użytkownik nadużyje jego możliwości. O szkodach, które może wyrządzić błędnie działający agent. O ryzykach niewidocznych dla pojedynczego użytkownika.

Użytkownik może doświadczać czegoś innego.

Dla niego bezpieczeństwo może oznaczać kontrolę nad agentem. Wiedzę o tym, jakie informacje posiada. Możliwość zrozumienia, dlaczego coś się dzieje. Nadawania i odbierania uprawnień. Cofania decyzji. Zmiany dostawcy. Albo po prostu samodzielnego wyboru ryzyka, które chce podjąć.

Obie perspektywy mogą być uprawnione.

Nadal nie są identyczne.

Kto mówi „bezpieczeństwo”, nie odpowiedział jeszcze, czyje bezpieczeństwo wobec jakiego ryzyka ma na myśli — i kto może o tym decydować.

Tak samo jest poza AI.

Organizacja może nazwać proces bezpiecznym, bo ogranicza on ryzyko instytucjonalne. Dla pracownika ten sam proces może oznaczać niemal całkowitą utratę samodzielności.

Państwo uzasadnia regułę ochroną obywateli. Obywatele doświadczają jej jako ograniczenia autonomii.

Rodzice chcą chronić dziecko i właśnie przez to pozbawiają je doświadczeń potrzebnych do usamodzielnienia.

Trudność nie polega na tym, że jedna strona musi mieć rację, a druga się mylić.

Polega na nierównych możliwościach narzucenia własnej definicji bezpieczeństwa.

Władza jest kolejną asymetrią

Pojawia się wymiar łatwo niedoceniany w technicznych rozmowach o alignmencie: władza.

Nie każda różnica zdań jest problemem władzy.

Jeżeli jednak dwie strony się nie zgadzają, a tylko jedna może zmienić reguły, różnica zdań staje się relacją asymetryczną.

Operator platformy może wyłączyć funkcje. Użytkownik zazwyczaj nie.

Pracodawca może zmienić reguły organizacyjne. Pojedynczy pracownik zwykle nie.

Urząd może wydać decyzję administracyjną. Obywatel może ją zaskarżyć, ale nie może po prostu przeciwstawić jej własnej decyzji administracyjnej.

Władza nie jest automatycznie nieuprawniona. Bez nierównego podziału uprawnień decyzyjnych wiele instytucji nie mogłoby działać.

Decydujące pytanie znów nie brzmi:

Jak usunąć asymetrię?

Tylko:

Jak zapobiec temu, by konieczna asymetria stała się władzą, której nie można zakwestionować?

Sama kontrola nie rozwiązuje problemu

Najprostsza odpowiedź brzmi: przez więcej kontroli.

Kontrolujemy pracowników. Instytucje. Agentów AI.

Kontrola sama tworzy jednak nowe asymetrie.

Kontrolujący potrzebuje informacji. Powstają obowiązki sprawozdawcze. Oceniający sprawozdania potrzebuje kryteriów. Ustalający kryteria zyskuje władzę definiowania. Zapobiegający ryzyku potrzebuje możliwości ingerencji.

Każde rozwiązanie może więc stworzyć nowy poziom pierwotnego problemu.

To zapewne nieuniknione.

Dlatego problematyczna wydaje mi się wizja alignmentu, który kiedyś zostanie technicznie „rozwiązany”.

Być może z zasady nie da się go rozwiązać raz na zawsze.

Gdy tylko autonomiczni uczestnicy działają ze sobą, mogą różnić się perspektywami. Gdy mają różne zdolności, pojawia się asymetria. Gdy jeden działa za drugiego, powstaje zależność. Gdy potrzebne są reguły, pojawia się władza.

Alignment nie byłby wtedy osiągniętym stanem.

Byłby nieustannie wykonywaną pracą społeczną.

Dobra współpraca nie wymaga pełnego alignmentu

Może nawet samo słowo alignment nieco myli.

Przywołuje obraz rzeczy ustawianych na jednej linii.

Ale czy w ogóle tego chcemy?

Nie chcę agenta AI, który jedynie odtwarza moje myśli. Byłby w dużej mierze bezużyteczny.

Chcę, żeby widział rzeczy, których ja nie widzę.

Żeby się sprzeciwiał, gdy dostrzega sprzeczność.

Żeby Codex znał lepsze rozwiązania techniczne niż ja.

Chcę współpracować z ludźmi mającymi inne doświadczenia i perspektywy.

Dobra współpraca nie wynika z ujednolicenia.

Wynika z produktywnej różnicy.

Celem nie może więc być pełny alignment.

Celem musi być współpraca, w której różni uczestnicy wnoszą swoje różnice, a żaden nie jest całkowicie zdany na łaskę drugiego.

Wymaga to przynajmniej kilku podstawowych możliwości: rozumienia, sprzeciwu, korygowania, wyznaczania granic, przypisywania odpowiedzialności i — w razie potrzeby — zakończenia współpracy.

Nie każdy musi umieć wszystko.

Nikt nie powinien jednak móc zupełnie niewidocznie określać reguł dla wszystkich pozostałych.

AI zaostrza problem — i go uwidacznia

W tym sensie sztuczna inteligencja rzeczywiście jest nowa.

Jej zdolności mogą być rozłożone wyjątkowo asymetrycznie. Człowiek nie prześledzi drogi wielkiego modelu do każdej pojedynczej odpowiedzi. Agent w sekundy wykonuje czynności zajmujące ludziom godziny. Wraz z autonomią może też rosnąć odległość między ludzką decyzją a faktycznym wykonaniem.

Wymaga to szczególnej uwagi.

AI nie wymyśliła jednak podstawowego problemu.

Może robi nawet coś innego:

czyni go widocznym.

Nagle intensywnie dyskutujemy, ile autonomii wolno mieć agentowi.

Kiedy musi dopytać?

Jakie decyzje może podejmować sam?

Jak możemy prześledzić jego działanie?

Kto odpowiada za jego błędy?

Kiedy może ingerować instancja nadrzędna?

Jak zapobiegać nadużyciom, nie ograniczając niepotrzebnie uprawnionego działania?

To znakomite pytania.

Nie dotyczą jednak wyłącznie AI.

Można je zadać firmom, administracji, instytucjom politycznym, platformom, ekspertom, liderom — i nam samym.

Może AI nauczy nas czegoś o ludzkiej współpracy

Byłby to zaskakujący zwrot w debacie o alignmencie.

Próbujemy właśnie nauczyć maszyny odpowiedzialnej współpracy z ludźmi.

Musimy przy tym jasno nazwać rzeczy, które często pozostawały domyślne.

O czym uczestnik może decydować?

Co musi ujawnić?

Kiedy musi zapytać?

Jaką niepewność musi pokazać?

Jakie skutki może wywołać bez zgody?

Jak skorygować decyzję?

Kto może się komu sprzeciwić?

I kto ostatecznie odpowiada?

Próbując precyzyjnie odpowiedzieć w odniesieniu do agentów AI, możemy odkryć, jak nieprecyzyjnie odpowiedzieliśmy w odniesieniu do ludzkich organizacji.

Może to jedna z najciekawszych szans tej technologii.

Nie tylko dostrojenie maszyn do ludzi.

Także ulepszenie naszego rozumienia tego, jak autonomiczni uczestnicy mogą w ogóle ze sobą postępować.

Współpraca w warunkach asymetrii

Być może potrzebujemy więc szerszych ram.

Nie:

Jak rozwiązać problem alignmentu AI?

Lecz:

Jak umożliwić odpowiedzialną współpracę w warunkach asymetrii?

Sztuczna inteligencja nie jest wtedy ani wyłącznie narzędziem, ani z natury obcym przeciwnikiem.

Jest nowym graczem w bardzo starej grze.

Graczem o niezwykłych zdolnościach, ograniczeniach i historii powstania — ale nadal uczestnikiem relacji, w których wiedza, władza, interesy, odpowiedzialność i możliwości działania są rozłożone nierówno.

Nie chodzi o to, by różnice zniknęły.

Potrzebujemy ich.

Chodzi o struktury, w których różnice stają się produktywne bez znoszenia autonomii.

Może dlatego współpracy nigdy nie da się w pełni zaprojektować.

Między moją intencją a cudzym działaniem pozostaje przestrzeń.

Między poleceniem a wykonaniem.

Między zaufaniem a kontrolą.

Między moją wiedzą a Twoją.

Między tym, czego chcę, a tym, co Ty uważasz za właściwe.

Możemy próbować stale pomniejszać tę przestrzeń regułami, procesami, kontrolą i techniką.

Albo nauczyć się ją znosić i odpowiedzialnie kształtować.

Być może ta przestrzeń wcale nie jest problemem, który alignment ma usunąć.

Może jest warunkiem tego, byśmy w ogóle mogli mówić o współpracy.

Źródła

  1. Gary J. Miller, The Political Evolution of Principal-Agent Models, Annual Review of Political Science, tom 8, 2005, s. 203–225. Publikacja oryginalna w Annual Reviews ↩

  2. OpenAI, Model Spec, aktualna wersja. Publikacja oryginalna w GitHub ↩

Powiadomienia o nowych treściach

Adres e-mail służy wyłącznie do powiadamiania o nowych treściach. Powiadomienia zaczną przychodzić dopiero po potwierdzeniu. Więcej informacji w sekcji Prywatność.