Sandbox modeli językowych rekurencyjnych: co stanowiło przeszkodę, co wymaga odbudowy
Lekcje z wysyłania środowiska sandbox dla rekurencyjnego modelu językowego: warstwy izolacji, brokerzy, CDR, ograniczenia śledzenia w przestrzeni użytkownika oraz jednego hosta, i dlaczego umiarkowanie okazało się skuteczne.
Źródła: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production
System modelu językowego rekurencyjnego wychodzi od jednej prostej instrukcji: przestać podawać modelowi cały prompt. Zamiast tego należy pozwolić modelowi napisać kod, uruchomić go na danych, przeczytać wynik i zdecydować, co spróbować dalej. Przekształcenie tej instrukcji w działającą platformę zajęło miesiące pracy nad kodem, rozbierania go na części, aż każda z nich została wystarczająco dobrze zrozumiana, by można ją było wyjaśnić, a następnie oceny, czy to wyjaśnienie będzie zrozumiałe dla osoby obcej. Poniżej znajduje się retrospektywa nad ukończonym systemem: co przetrwało intensywne użytkowanie, co zmieniłoby się przy drugiej próbie, co okazało się zaskakujące oraz w jakim kierunku zdaje się zmierzać ten model.
Dlaczego wyjaśnianie go było trudniejsze niż jego budowa
Pierwotne pomysły mają proste kształty. Jeden z nich to centralna koncepcja pętli rekurencyjnej, a drugi – granica zaufania. W dalszej części materiał przestaje być pojedynczym pomysłem. Wzorzec brokera, sygnowane transakcje i warstwy izolacji stają się zbiorem decyzji inżynieryjnych, które mają sens tylko w połączeniu. Wybór tego, co pokazać, a co odłożyć do przypisu, zajmował więcej czasu niż samo pisanie zdań. Typowe było spędzenie dnia na jednej części kodu, by potem ustalić, o czym ona tak naprawdę jest.
Czas poświęcony na powolne rozwijanie pomysłów nie poszedł na marne. Warstwowe środowiska testowe, broker obsługujący czterech dostawców, sygnowane transakcje oraz procesy detonacji zostały lepiej wyjaśnione dzięki temu czasowi, nawet jeśli harmonogram później wyglądał nierównomiernie.
Lekcje, które pozostają
Kilka nawyków z procesu budowy ma zastosowanie do każdej podobnej platformy agentów, niezależnie od jej dziedziny.
- Projektuj każdą warstwę z myślą o atakującym, a nie o przeciętnym użytkowniku. Struktura, w której każdy etap zakłada, że poprzedni mógł już zawieść, jest trudna do opisania i bardzo trudna do pokonania.
- Czekaj z zaufaniem do abstrakcji, aż pojawi się kilka implementacji. Interfejs brokera, który funkcjonuje z czterema różnymi dostawcami przy identycznej logice, udowodnił swoją skuteczność, podczas gdy ten napisany pod jednego dostawcę jest jedynie domysłem.
- Traktuj uprawnienia agenta jak budżet, który należy wydawać celowo. Zakres, koszt i uprawnienia wymagają wyraźnych ograniczeń, ustalanych na podstawie wymagań zadania, i nic więcej.
- Wolij widoczne uzasadnienia od nieprzejrzystej sprytności. System, który pokazuje, dlaczego wybrał sprawdzenie danej rzeczy dalej, jest łatwiejszy do debugowania, łatwiejszy do zaufania i łatwiejszy do wyjaśnienia osobie nowej.
- Pierwsza wersja powinna szczerze przyznać się do swoich ograniczeń. Praca na jednym serwerze, śledzenie w przestrzeni użytkownika oraz brak wspólnych danych o zagrożeniach są do przyjęcia tylko w wersji początkowej, o ile są jasno określone jako ograniczenia, a nie pozostawione do odkrycia w środowisku produkcyjnym.
- Główny cykl generowania kodu, jego wykonywania, obserwacji wyniku oraz wyboru następnego kroku przetrwał wszystkie testy.
- Trójwarstwowa struktura izolacji, od zastępowania nazw przestrzeni, przez gVisor, aż po całkowicie zdalne środowiska testowe, nigdy nie pozwoliła przejść niczemu, co miało zostać zablokowane.
- Wzorzec brokera to taka abstrakcja, której pełna wartość staje się widoczna dopiero po jej zaimplementowaniu cztery razy dla czterech zupełnie różnych dostawców i po obserwowaniu tych samych dwudziestu linii kodu działających bez zmian we wszystkich przypadkach.
- Proces demontażu i odbudowy treści był najbardziej satysfakcjonującym elementem. To właśnie w nim najłatwiej było popełnić subtelny błąd, ale we wszystkich przetestowanych formatach plików nigdy tak się nie stało.
Co stanowiło przeszkodę
Części systemu rzeczywiście zasłużyły na miano gotowych do użycia w produkcji.
Żadna z tych rozwiązań nie wynikała z oczywistych pomysłów. Powstały one na podstawie założenia, że ktoś w końcu spróbuje zniszczyć system, więc każda warstwa została zaprojektowana w oparciu o to założenie, a nie o idealny scenariusz działania.
Co zmieniłoby się przy drugiej wersji
Retrospektywa zawierająca tylko sukcesy to nic innego jak film promocyjny, dlatego braki wymagają prostych stwierdzeń.
Śledzenie wydarzeń wyłącznie z przestrzeni użytkownika
Śledzenie systemowych wywołań w procesie detonacji odbywa się w całości w przestrzeni użytkownika za pomocą strace. To prawdziwa ograniczenie, a nie kwestia preferencji stylistycznych. Wystarczająco zaawansowany przykład może zauważyć, że jest w ten sposób śledzony, i zmienić swoje zachowanie, lub wykorzystać luki w czasowaniu, których nie byłoby w przypadku haka na poziomie jądra. Przebudowa systemu doprowadziłaby do dodania eBPF lub równoważnego mechanizmu na poziomie jądra pod śledzenie w przestrzeni użytkownika, a nie zamiast niego, ponieważ warstwa przestrzeni użytkownika nadal skutecznie radzi sobie z przykładami, które nie starają się intensywnie się ukrywać.
Brak zewnętrznych informacji o zagrożeniach
System nie ma połączenia z zewnętrznymi źródłami informacji o zagrożeniach. Każda ocena próbki ma charakter strukturalny: ten wzorzec wywołań systemowych przypomina iniekcję procesu, ta sekcja ma nietypową entropię. Nic z tego nie zależy od tego, czy dokładny hash pliku został już widziany i sklasyfikowany gdzie indziej. Tę lukę należy szybko zamknąć, ponieważ wiele z tego, co wnosi analityk ludzki, wcale nie polega na sprytnym dopasowywaniu wzorców – chodzi po prostu o to, że wcześniej spotkał się z dokładnie taką sytuacją.
Tylko jeden host
Każda przestrzeń testowa, każda detonacja oraz każdy łańcuch wywołań rekurencyjnych są koordynowane z jednej maszyny, bez planowania między maszynami i bez klastrów. Był to rozsądny wybór dla systemu stworzonego przez jedną osobę w ciągu jednego lata, ale błędny wybór w przypadku rzeczywistego obciążenia i dużej ilości zadań. Koordynacja rozproszona to nie mała funkcja, którą można dodać później – stanowi odrębną architekturę nakładającą się na oryginalną, a przedstawianie jej jako dodatku byłoby najmniej uczciwym stwierdzeniem. Planowanie zadań między maszynami, odzyskiwanie po utracie węzła w trakcie detonacji oraz utrzymywanie spójności zapisanego stanu pomiędzy hostami to nowe problemy, których nie ma w projekcie opartym na pojedynczym procesie.
Niespodzianka: ograniczenia zamiast możliwości
Okazało się, że trudny problem inżynieryjny dotyczył wciąż i wciąż kwestii ograniczeń. Prawie każda trudna decyzja polegała na powstrzymaniu czegoś przed robieniem więcej, niż było to konieczne:
- narzędzie do dezaktywacji skryptów, które dotyka wyłącznie konkretnego, niebezpiecznego węzła,
- zabezpieczenie zakresu, które nie może pomylić nazwy pliku z domeną,
- rekurencyjna dekompozycja, która nie może wykorzystać budżetu, którego nie potrzebuje.
Oczekiwano, że wyzwaniem będzie sprawienie, by agent był wystarczająco zdolny. W praktyce wyzwaniem było sprawienie, by był wystarczająco zdolny, jednocześnie rozszerzając jego funkcjonalności tylko w takim stopniu, w jakim zasłużył na to na każdym poszczególnym kroku.
Mniejszym zaskoczeniem było to, na co zareagowali czytelnicy. Nigdy nie chodziło o najsprytniejszy kod. Chodziło o momenty, gdy widoczna była logika rozumowania, gdy można było zobaczyć, jak system decyduje, co sprawdzić dalej, zamiast po prostu przechodzić przez listę kontrolną. To wzmacnia przekonanie, które stawało się coraz silniejsze w trakcie projektu: wartość systemu agentowego rzadko leży w samym mechanizmie, a raczej w ocenie, która jest nad nim nakładana, a ocenę o wiele trudniej jest opisać niż architekturę.
Dokąd zmierza ten wzorzec
Agenci rekurencyjni, używający narzędzi i rozumujący podczas własnej eksploatacji, nie wyglądają na przejściową modę. Wydają się bardziej przypominać standardową formę, do której będzie dążyć każda poważna praca z systemami agentowymi, ponieważ inna droga – tworzenie dedykowanych, stałych procesów za każdym razem, gdy pojawia się nowa klasa problemów – nie jest w stanie nadążyć za różnorodnością rzeczywistych problemów.
Tematy, które przyciągnęły najwięcej uwagi, a mianowicie granice zaufania, kontenerowanie, egzekwowanie zakresu i kontrola kosztów, nie są jedynie dodatkowymi uwagami dotyczącymi bezpieczeństwa. To one decydują o tym, czy ktoś będzie chciał to wdrożyć. Działający, godny zaufania, a czasami bardzo dziwny system oparty na zasadzie nie wkładania całego zapytania do modelu stanowi rozsądny punkt zatrzymania oraz rozsądny punkt wyjścia do kolejnego projektu.