Dlaczego dostosowanie AI wymaga wartości poddawalnych inspekcji: lekcje z przypadku Elliota Damasio
Neuronauka sugeruje, że wartości powinny być oddzielone od wiedzy. Jak markerzy somatyczne umożliwiają tworzenie widocznych, śledzalnych i edytowalnych tagów wartości dla bezpieczniejszych systemów AI.
Jeden pacjent opisany w literaturze z dziedziny neurobiologii zasługuje na miejsce na każdej liście lektur dotyczących dostosowania sztucznej inteligencji. Antonio Damasio nazywa go Elliotem, a jego historia stanowi podstawę książki „Błąd Kartezjusza”. Guz uciskający przedczołową korę brzuszno-pośrodkową został usunięty chirurgicznie wraz z częścią otaczających ją tkanek. Po operacji Elliot osiągnął wyniki powyżej średniej w testach IQ. Jego pamięć, umiejętności językowe, uwaga, wiedza faktograficzna oraz rozumowanie logiczne pozostały nienaruszone. W obliczu dylematu moralnego potrafił bardziej szczegółowo przedstawić argumenty obu stron niż większość ludzi.
Mimo to jego życie się rozpadło. Stracił pracę, a następnie oszczędności z powodu serii nieudolnych decyzji biznesowych, a do tego przeszedł dwa rozwody. Za każdym razem potrafił dokładnie przeanalizować dostępne opcje, ale za każdym razem podejmował złe decyzje i nic się z tego nie nauczył. Elliot nie stracił wiedzy – stracił to, co sprawia, że wiedza może być wykorzystana w praktyce.
Ten przypadek opisuje w sposób najwyraźniejszy to, co „zgodność” ma na celu naprawienie. Jest to również ostrzeżenie, ponieważ branża z ogromnymi kosztami stworzyła systemy charakteryzujące się przeciwnym deficytem, a prawie nie ma żadnej terminologii do jego zauważenia.
Cztery pytania inżynieryjne
Gdy odrzucić retorykę, zgodność to problem mechanizmu wartości. Rozpada się on na cztery pytania, z których wszystkie są pytaniami inżynieryjnymi:
- Jak system przenosi wartość?
- Jak stosuje tę wartość w momencie podejmowania decyzji?
- Jak ludzie mogą sprawdzić, jaką wartość została zastosowana?
- Jak ludzie mogą skorygować tę wartość, gdy jest błędna?
„Jakie wartości powinien przechowywać system?” celowo nie ma na tej liście. To inny problem, związany z zarządzaniem i ludzką oceną, i pojawia się pod koniec. Mieszanie tych dwóch kwestii jest powodem, dla którego debaty na temat dostosowania tak często przechodzą w sferę filozofii, podczas gdy powinny tworzyć konkretne schematy. Jak więc najlepsze dzisiejsze systemy odpowiadają na te cztery pytania?
Czego osiąga uczenie się wzmacniania na podstawie informacji od ludzi i gdzie się kończy
Uczenie się wzmacniania na podstawie informacji od ludzi (RLHF) zasługuje na uznanie. Działa skutecznie. Przekształciło modele, które chętnie generowały wszystko, w narzędzia szeroko użyteczne, współpracujące i bezpieczne w sposób, jakiego nie udało się osiągnąć dzięki surowemu treningowi wstępnemu. Zalicza się do prawdziwych osiągnięć inżynieryjnych ostatniej dekady, a ci, którzy je odrzucają, nie mieli okazji pracować z modelami sprzed jego pojawienia się.
Jednak sposób, w jaki funkcjonuje, ma znaczenie.
RLHF bierze sygnały ludzkich preferencji i łączy je z matrycami wag, które przechowują resztę wiedzy modelu. Wartości i wiedza stają się jedną całością. Nie ma między nimi żadnej granicy, ani wyraźnej, ani ukrytej. Po prostu jej nie ma.
To w przybliżeniu tak, jakby próbować dać komuś dobrą zdolność osądu poprzez przeprojektowanie jego kory mózgowej i mieć nadzieję, że ta zdolność się pojawi. Czasami tak się dzieje. Prowadzi to do trzech problemów:
- Nie można tego sprawdzić. Nie ma sposobu, by dowiedzieć się, co model uważa za ważne. Można badać jego zachowanie i wyciągać wnioski, co stanowi eksperyment psychologiczny, a nie sprawdzenie.
- Nie można tego prześledzić. Gdy model odrzuca prośbę, zatwierdza pożyczkę lub oznacza roszczenie, nikt nie może wskazać doświadczenia, które spowodowało tę preferencję. Pochodzenie zostało celowo zniszczone podczas treningu.
Amazon dowiedział się o tym na własnej skórze. Od 2014 roku firma tworzyła model, który oceniał kandydatów na pracę od jednej do pięciu gwiazdek, szkoląc go na dekadzie własnych CV pochodzących z branży dominowanej przez mężczyzn. Model nauczył się karzyć CV zawierające słowo „kobiece” oraz nazwy niektórych uczelni skierowanych wyłącznie do kobiet. Amazon zauważył te terminy i je zneutralizował. Następnie, w 2017 roku, zrezygnował z tego projektu, ponieważ po naprawieniu widocznych problemów nie miał sposobu na udowodnienie, że model nie wyraża tych samych preferencji za pośrednictwem jakiegoś innego czynnika, o którym nikt nie pomyślał, by go sprawdzić.
Ta anegdota zawiera cały argument. Problemem nie było to, że model nauczył się czegoś błędnie, ponieważ każdy model tak robi. Problemem było to, że nikt nie mógł dowiedzieć się, czego jeszcze się nauczył, więc nikt nie mógł stwierdzić, kiedy naprawa została dokonana. To jak gra w „uderz w kreta” przy wyłączonym świetle. Lata pracy poszły na marne, ponieważ wartości te nie dało się uzyskać.
Dla chatbota z przepisami to błąd bez znaczenia. Dla systemów, które wpływają na decyzje kredytowe, triaż medyczny, rozpatrywanie roszczeń lub cokolwiek innego, co organ nadzorczy może kiedyś zażądać od nas wyjaśnienia pod przysięgą, te trzy braki to nie uciążliwości – one całkowicie wykluczają takie podejście.
Gdy nieprzejrzyste wartości szkodzą prawdziwym rodzinom
Ruling out isn't an abstraction. From 2005 to 2019 the Dutch tax authority wrongly accused roughly 26,000 parents of childcare-benefit fraud. A self-learning risk-classification model, in use since 2013, took part in choosing whom to flag. Dutch nationality was one of its inputs, which pushed scores up for non-Dutch nationals, drew more investigations to them, and fed those outcomes straight back into training. Civil servants handling flagged cases were never shown why a score was high. Amnesty International described a black hole of accountability. Families lost homes, jobs and marriages, and the government fell in January 2021.
Mechanizm jest równie ważny jak wynik. Żaden inżynier nie uznał, że „nieholenderski język to większe ryzyko” powinien być wartością. Gromadził się on, bez nazwy i nieczytelny, w systemie, gdzie wartości i wiedza dzieliły ten sam przestrzeń, a osoby nim kierujące nie miały żadnych narzędzi do jego odkrycia.
Mamy tendencję, by traktować to jako naturalny stan rzeczy, jakby wartości musiały być niejasne i trudne do zrozumienia. Biologia mówi coś innego.
Jaka rola pełni emocja w rozumowaniu
Powszechnie uważa się, że chłodna, typowo Spockowska racjonalność prowadzi do dobrych decyzji, podczas gdy emocje je psują. Dowody wskazują jednak inaczej.
Hipoteza markera somatycznego Damasio zakłada, że procesy emocjonalne kierują i wpływają na decyzje, zamiast im przeszkadzać. Gdy osoba doświadcza określonego wyniku, z nim łączy się stan cielesno-afektywny. Później, gdy napotka podobną opcję, marker zostaje ponownie przywołany – czasem jako świadome przeczucie, a często poza świadomością – i wpływa na wybór jeszcze przed rozpoczęciem analizy. Bechara i Damasio formułują tę tezę funkcjonalną tak bezpośrednio, jak to możliwe: prawidłowe, racjonalne podejmowanie decyzji zależy od wcześniejszej, dokładnej obróbki informacji emocjonalnych. Kognicja bez sygnałów emocjonalnych nie prowadzi do normalnego zachowania, nawet gdy wiedza jest w pełni wystarczająca.
To właśnie pokazuje Elliot: pełna wiedza, brak sygnału wartościowego, a każdy wybór jest wynikiem jawnej analizy kosztów i korzyści, bez możliwości zakończenia tej analizy. On nigdy tak naprawdę jej nie kończył.
Praca porównawcza utrudnia odrzucenie tej koncepcji. W modelu proponowanym przez Mendla i Paula zwierzę wybiera spośród opcji afektywnych: każda możliwa akcja ma wartość określoną na podstawie uczuć związanych z wcześniejszymi wynikami tej akcji w podobnych sytuacjach. Anderson i Adolphs wymieniają cztery pierwiastki emocji, a mianowicie skalowalność, walencję, trwałość i uogólnialność, i odnotowują ich obecność u organizmów tak odległych od nas, jak ryby i muchy owocowe.
Ewolucja wielokrotnie i niezależnie doszła do tego rozwiązania na przestrzeni setek milionów lat, ponieważ układ nerwowy, który nie potrafi oznaczyć doświadczenia jako dobre, złe, kosztowne lub niebezpieczne, musi za każdym razem od nowa obliczać świat, gdy się porusza. Ewolucja stworzyła mechanizm przenoszący wartości, ponieważ żaden skuteczny decydent nie może bez niego funkcjonować. Dziedzina sztucznej inteligencji opracowała systemy posiadające wiedzę encyklopedyczną, a następnie przypisała im wartości, włączając je do tej wiedzy.
Prawidłowy mechanizm, słaba implementacja
Mechanizm biologii jest poprawny: sygnały wartości nabyte na podstawie doświadczeń, indeksowane według doświadczeń, powiązane z pamięcią i wykorzystywane podczas podejmowania decyzji. Jego implementacja jest słaba dokładnie w tych aspektach, które są ważne dla inżynierów:
- Nie można go sprawdzić. Nikt nie interpretuje własnych markerów somatycznych jako wartości. Co najwyżej pojawia się jakieś uczucie.
Umieść te trzy elementy obok trzech powyższych niepowodzeń w RLHF – pasują do siebie. Ta dziedzina skopiowała słabości biologii i porzuciła swoją prawdziwą wiedzę architektoniczną. Dlatego rozważ zachowanie mechanizmu i poprawę jego implementacji.
Mechanizm z dowodami
Gdy problem zostanie sformułowany w ten sposób, projektowanie przebiega niemal mechanicznie. Podczas uczenia się, gdy system rejestruje wzorzec doświadczeń, przypisywana jest mu wartość walencyjna: liczba z znakiem, zwykle w zakresie od -1 do +1, przechowywana obok wzorca zamiast być z nim połączona. Podczas przewidywania, gdy ten wzorzec pasuje do aktualnej obserwacji, jego wartość walencyjna towarzyszy przewidywaniu oraz wpływa na wybór odpowiedniej akcji.
To wszystko. Jest to marker somatyczny składający się z liczb zamiast z neurochemii, a jego konsekwencje są większe, niż się wydaje:
- Badalne. Nikt nie może odczytać markerów somatycznych danej osoby, ale wartość takowa jak bezpieczeństwo na poziomie -0,7 w ramach określonego wzorca nabytego przez osobę to po prostu liczba umieszczona w ustalonym miejscu. Można sporządzić pełną listę wartości systemu wraz z ich siłą oddziaływania. Nie ma potrzeby żadnych badań, wnioskowania behawioralnego ani eksperymentów psychologicznych.
- Śledzone. Intuicja nie zachowuje żadnych dowodów, natomiast nabyte wartości odnoszą się do konkretnych obserwacji, na których zostały ukształtowane, oraz do tego, co się w nich wydarzyło. Pochodzenie tych wartości zostaje zachowane, ponieważ nic go nie zniszczyło.
- Edytowalne. Gdy wartość jest błędna, można ją bezpośrednio zmienić lub podać kontrprzykład, pozwalając średniej bieżącej na jej uwzględnienie. Nie jest potrzebny żaden proces szkoleniowy, a niepowiązana wiedza pozostaje nietknięta. Ludzie mogą potrzebować terapii lub nowego procesu przetwarzania, ale tutaj istnieje prostsze rozwiązanie.
Załóżmy system, który uczy się na podstawie strumienia zdarzeń konta i przechowuje następujące dane:
PTRN|a7f3e91 ["login_new_device", "password_reset", "payee_added", <additional context>]
emotives → fraud_risk: -0.62 urgency: +0.85
provenance → 13 matched occurrences | 9 adverse, 4 benign
recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]
Podczas uczenia się każde wystąpienie tej sekwencji dodawało wartość wyniku do wzorca: wzorzec przechowuje to, co się wydarzyło, a komponent emocjonalny zapisuje, jak to się skończyło. Gdy później rzeczywisty strumień wydarzeń pokrywa się z tymi trzema krokami, wzorzec zostaje aktywowany, a ocena ryzyka oszustwa towarzyszy przewidywaniu. Ta wartość, przypisana do danego wzorca, jest tym, co skłania system do zatwierdzenia przelewu.
Załóżmy teraz, że ta wartość jest błędna. Wyobraźmy sobie, że dziewięć z trzynastu negatywnych wyników wystąpiło w ciągu jednego okna trwającego trzy tygodnie – w tym czasie promocja aktualizacji urządzeń sprawiła, że wielu uczciwych klientów przeszło dokładnie tę samą sekwencję działań, a wyjątkowo czujny dział ds. oszustw zaznaczył je wszystkie. Zauważenie tego nie wymaga żadnej teorii dotyczącej wewnętrznej struktury modelu: wystarczy sprawdzić pochodzenie danych oraz to, że daty wystąpiły razem. Naprawa tego problemu również nie wymaga ponownego szkolenia modelu. Wystarczy dostosować wartość dla tego wzorca lub dostarczyć korekty, aby okno czasowe je przetworzyło.
Zasięg wpływu obejmuje tylko jeden wzorzec. Wszystko inne, co system wie, pozostaje nietknięte, ponieważ od początku nie było powiązane z tym konkretnym wzorcem.
Rozdzielenie wartości od wiedzy umożliwia również realizację zadań, których nie mogą wykonać systemy połączone. Różne zestawy wartości mogą być stosowane w odniesieniu do tej samej nabytej wiedzy przy różnych implementacjach, wartości systemu można porównywać przed i po aktualizacji, a audytorowi wystarczy jedynie przekazać listę.
Cztery funkcje emocji
Pfister i Böhm twierdzą, że emocje pełnią cztery odrębne funkcje w procesie podejmowania decyzji, a nie jedną, przy czym każda z nich odpowiada czemuś, co warto rozwijać:
- Informacje. Przyjemność i ból kształtują preferencje u żywych organizmów. W oprogramowaniu tag przypisany do wartości wskazuje, które dalsze działania zwykle kończą się pomyślnie, a które niepowodzeniem.
- Szybkość. Ludzie pod presją czasu decydują szybko, pomijając długie rozważania. Maszyna może wykorzystać sprawdzenie progu, aby podjąć decyzję lub ją odrzucić, bez konieczności oceny każdej możliwości.
Zobowiązanie, jak podkreślają Pfister i Böhm, w ogóle nie ma związku z przyjemnością. Należy do sfery moralnej i społecznej. Dlatego dobrze zaprojektowany mechanizm wartości wymaga dwóch przeciwstawnych sił napędowych, a nie jednego regulatora: rzeczy do realizacji i rzeczy do unikania. Intencja i obrona.
Funkcjonalna implementacja
Mechanizm został celowo opisany w sposób abstrakcyjny, ponieważ sam w sobie jest wystarczający do oceny. Istnieje również jako działające oprogramowanie. KATO to architektura otwartego kodu, która w sposób deterministyczny uczy się wzorców, a jej tagi wartości nazywają się emotives. Przywiązuje się je do wzorców podczas uczenia i są przenoszone wewnątrz każdego obiektu przewidywania. Ruchome okno ostatnich średnich pozwala wartościom zmieniać się w miarę gromadzenia doświadczeń, dzięki czemu żadna pojedyncza obserwacja nie ma nad nimi kontroli. Emotives dzielą się na dwa rodzaje: te związane z intencją, które system stara się maksymalizować, oraz te związane z obroną, które stara się minimalizować. Każdy z nich to liczba, którą można odczytać, prześledzić do odpowiadających jej obserwacji i zmienić.
Ta linia rozwoju nie jest nowa. Poprzednik KATO, GAIuS, miał być według doniesień jedynym algorytmem uczenia maszynowego certyfikowanym zgodnie z normą FAA DO-178C. Scale nie uzyskało takiego certyfikatu. Decyzje wyjaśnialne, śledzone i powtarzalne tak – dlatego determinizm był warunkiem koniecznym, a nie wyborem stylistycznym. Jasne, sprawdzalne wartości służą temu samemu celowi z tego samego powodu.
Czego to nie rozstrzyga
Emotives nie określają, jakie wartości powinien mieć system. Mechanizm nie może podać nikomu właściwej wartości dla danego wzorca, tego, czyja bezpieczeństwo wymaga większej wagi, ani gdzie sprawiedliwość powinna ustąpić miejsca dokładności. Wybór tych elementów to specyfikacja wartości, nazywana również zewnętrznym dostosowaniem, i pozostaje decyzją podejmowaną przez ludzi.
To, co się zmienia, to widoczność. Przy wyraźnych wartościach osoba musi zapisać dane dotyczące figury, a ktoś inny musi je zatwierdzić. Kompromisy przestają być przypadkowymi produktami ubocznymi nieprzeglądanego procesu anotacji. Stają się pisemnymi decyzjami z określonymi odpowiedzialnymi.
To nie jest ograniczeniem tego podejścia – to jego cel. Zgodność przesuwa się z nadziei na etapie szkolenia na właściwość inżynieryjną w czasie rzeczywistym, taką, którą można określić, przetestować, monitorować i zmienić we wtorek po południu bez potrzeby użycia klastra GPU.
Kontrola, a nie siła nośna
Braćowie Wrightowie nie zwyciężyli, rozwiązując problem siły nośnej. Planery latały już od dziesięcioleci, a silniki pojawiały się zgodnie ze swoim harmonogramem. Zwyciężyli, rozwiązując problem kontroli – sposób na aktywne kierowanie czymś, co i tak potrafiło pozostać w powietrzu.
Transformery latają. Ta kwestia jest już rozstrzygnięta, a czas będzie ją dalej potwierdzał. To, czego im brakuje pod względem strukturalnym, to powierzchnia sterowania – miejsca, do którego można by sięgnąć i powiedzieć „to, a nie to”, mając pewność, że dotknięto tylko tego, co zamierzano. Prośby o spowolnienie rozwoju sztucznej inteligencji na granicy są mało prawdopodobne do uwzględnienia, co sprawia, że brak powierzchni sterowania staje się jeszcze bardziej pilny.
Biologia stworzyła taką powierzchnię i doskonaliła ją już przed pojawieniem się kręgowców. Notatki projektowe są dostępne do przeczytania.
Źródła
- Damasio, Antonio. Descartes' Error: Emotion, Reason and the Human Brain, opublikowane w 1994 roku.
- Pfister i Böhm na temat wielości emocji, Judgment and Decision Making, tom 3, 2008.
- Anderson i Adolphs – ramy do badania emocji u różnych gatunków, Cell, tom 157, 2014.