Poza Constitutional AI
Kontrola zgodności z konstytucją jako brakująca połowa alignmentu AI
Wprowadzenie
Wraz z pojawieniem się agentów AI alignment przestał być wyłącznie pytaniem teoretycznym, a stał się praktycznym wyzwaniem technicznym. Skoro autonomiczne systemy coraz częściej potrafią planować, decydować i działać przez dłuższy czas, pytamy już nie tylko, jak powinny się zachowywać, lecz także jak rozumieć, oceniać i regulować ich zachowanie.
Opracowana przez Anthropic koncepcja Constitutional AI jest ważnym etapem tego rozwoju. Zamiast opierać się wyłącznie na niezliczonych pojedynczych regułach lub informacjach zwrotnych od ludzi, wprowadza ideę konstytucji: niewielkiego zestawu zasad podstawowych, które mają kierować zachowaniem systemu AI.
To elegancki pomysł.
Rodzi jednak pytanie, któremu poświęca się chyba znacznie mniej uwagi:
Co dzieje się po wykonaniu działania przez agenta?
Konstytucja jest cenna nie tylko dlatego, że wpływa na przyszłe decyzje. Jej właściwa siła polega na tym, że stanowi trwały punkt odniesienia do oceny konkretnych działań.
Być może właśnie tej drugiej połowy brakuje w alignmencie AI.
Konstytucja to więcej niż zbiór reguł
W demokracji konstytucyjnej konstytucja nie jest po prostu kolejną ustawą.
Jest normą najwyższą.
Nie próbuje szczegółowo regulować każdej możliwej sytuacji. Ustanawia zasady, których muszą przestrzegać wszystkie późniejsze ustawy i każde działanie państwa.
Ta pozorna niekompletność nie jest słabością.
Przeciwnie: konstytucje celowo posługują się szerokimi pojęciami, takimi jak proporcjonalność, równość, godność czy wolność, ponieważ mają obowiązywać również w sytuacjach, których ich twórcy nie mogli przewidzieć.
Siła konstytucji nie tkwi w wyczerpującej precyzji, lecz w dawaniu trwałych punktów odniesienia mimo zmieniającego się świata.
To samo dotyczy AI.
Żaden dokument konstytucyjny nie wyliczy wszystkich przyszłych sytuacji, z którymi może spotkać się autonomiczny agent.
Ma inny cel.
Tworzy podstawę normatywną, według której można oceniać każde przyszłe działanie.
Constitutional AI rozwiązuje tylko połowę problemu
Obecna dyskusja o alignmencie koncentruje się przede wszystkim na wywoływaniu pożądanego zachowania.
Jak agent powinien decydować?
Jak wyciągać wnioski?
Jak unikać szkodliwych działań?
To zasadnicze pytania.
Dotyczą jednak tylko jednego kierunku:
Jak uzyskać zachowanie zgodne z konstytucją?
Zaraz potem pojawia się równie ważne pytanie:
Jak ustalić, czy zakończone działanie rzeczywiście było z nią zgodne?
Są to zasadniczo różne funkcje.
Jedna dotyczy podejmowania decyzji.
Druga — kontroli zgodności z konstytucją.
Mylenie ich zaciera ważne rozróżnienie architektoniczne.
Kontrola zgodności nie jest wyjaśnianiem samego siebie
Współczesne systemy AI coraz częściej wyjaśniają swoje zachowanie.
Te wyjaśnienia mogą być wartościowe.
Zwiększają przejrzystość.
Pomagają twórcom zrozumieć błędy.
Wzmacniają zaufanie, że system działa zgodnie z zamierzeniem.
Nie powinny jednak same stawać się częścią kontroli konstytucyjnej.
Kontrola ta zadaje tylko jedno pytanie:
Czy działanie H jest zgodne z konstytucją C?
Nic więcej.
Nic mniej.
Wewnętrzne uzasadnienie prowadzące do działania należy do innego postępowania.
Może wyjaśniać, dlaczego agent zadziałał.
Nie rozstrzyga, czy działanie jest zgodne z konstytucją.
Odpowiada to ważnej cesze prawa konstytucyjnego.
Ocena normatywna dotyczy samego działania.
Wyjaśnienie drogi do decyzji może być pouczające, ale nie zastępuje oceny normatywnej.
Rozdzielenie tych pytań ma istotną konsekwencję.
Różni agenci wykonujący identyczne działania powinni otrzymać identyczną ocenę konstytucyjną — niezależnie od tego, czy jeden przedstawia rozbudowane wyjaśnienie, a drugi zupełnie milczy.
Elokwentne uzasadnienie nie zmieni też działania niezgodnego z konstytucją w działanie zgodne.
O normatywnej dopuszczalności działania nigdy nie powinna rozstrzygać jakość retoryki.
Kontrola zgodności to funkcja, nie instytucja
Demokracje konstytucyjne powierzają taką kontrolę wyspecjalizowanym sądom.
Ten układ instytucjonalny jest rozwiązaniem historycznym.
Funkcja leżąca u jego podstaw jest jednak znacznie bardziej ogólna.
Ktoś — lub coś — musi odpowiedzieć:
Czy to działanie jest zgodne z konstytucją?
W systemach AI nie trzeba zastrzegać tej funkcji dla jednej władzy.
Kontrola może stać się otwartą procedurą.
Każda implementacja powinna móc sprawdzić to samo działanie według tej samej konstytucji.
Różne podmioty oceniające mogą dochodzić do odmiennych wyników.
Nie jest to ani zaskakujące, ani samo w sobie problematyczne.
Wartość kontroli nie opiera się na zgodności wyników.
Opiera się na przejrzystych uzasadnieniach.
Nie powinniśmy więc porównywać samych wyników.
Powinniśmy porównywać argumenty.
W stronę otwartej kontroli konstytucyjnej
Ta perspektywa podsuwa inną architekturę.
Zamiast jednej uprzywilejowanej instancji może istnieć wiele podmiotów oceniających.
Dostawca AI może udostępnić jedną implementację.
Niezależny badacz — opracować drugą.
Firma — stworzyć własną.
Osoba prywatna — użyć zupełnie innego modelu językowego.
Wszyscy oceniają to samo obserwowalne działanie na podstawie tej samej konstytucji.
Ich legitymacja nie wynika ani z pozycji organizacyjnej, ani z technicznego przywileju.
Wynika wyłącznie z jakości uzasadnienia.
Kontrola staje się dzięki temu odtwarzalna.
Porównywalna.
Otwarta na krytykę.
Otwarta na ulepszenia.
Osobisty alignment AI
Tę samą architekturę można konsekwentnie zastosować także poza publicznymi systemami AI.
Ludzie coraz częściej powierzają części swojego myślenia i decydowania wielu wyspecjalizowanym agentom.
Głównym wyzwaniem nie jest już wyłącznie kontrolowanie pojedynczych promptów.
Jest nim zachowanie spójności w zmieniającym się ekosystemie autonomicznych asystentów.
Osobista konstytucja pełni tu podobną rolę jak konstytucja państwa.
Określa trwałe zasady zamiast doraźnych poleceń.
Prompty, procesy i reguły poszczególnych agentów stają się podporządkowanymi mechanizmami operacyjnymi.
Każde konkretne działanie wykonane w imieniu jednostki można wtedy ocenić na podstawie jej osobistej konstytucji.
Ważne, by ocena pozostawała niezależna od agenta, który wykonał działanie.
Konstytucja staje się wspólnym normatywnym punktem odniesienia dla wszystkich obecnych i przyszłych implementacji.
Osobisty alignment przechodzi w ten sposób od inżynierii promptów do zasad zarządzania i nadzoru.
Zakończenie
Być może najważniejszy wkład Constitutional AI nie polega na samej konstytucji.
Polega na rozpoznaniu, że systemy AI potrzebują trwałej podstawy normatywnej.
Następnym logicznym krokiem jest uznanie, że każda konstytucja wymaga równie trwałej metody kontroli zgodności z nią.
Alignment nie jest więc wyłącznie procesem wytwarzania pożądanego zachowania.
Jest również procesem oceny wykonanych działań na podstawie wspólnych norm.
Ocena powinna być niezależna od wewnętrznego uzasadnienia agenta, odtwarzalna w różnych implementacjach i oparta na przejrzystych argumentach, a nie na autorytecie instytucji.
W demokracjach konstytucyjnych konstytucje porządkują wykonywanie władzy politycznej.
W epoce autonomicznych agentów AI mogłyby porządkować coś równie podstawowego:
korzystanie z powierzonej zdolności do działania.
Komentarze
Napisz komentarz