Weryfikacja działań agentów AI: uprawnienia, bramy zatwierdzania i poziomy ryzyka

W ciągu ostatnich kilku lat większość wysiłków w dziedzinie sztucznej inteligencji generatywnej skupiała się na zadawaniu lepszych pytań. Gdy modele zyskują możliwość korzystania z narzędzi i modyfikowania rzeczywistych systemów, coraz większe znaczenie zaczyna mieć inna umiejętność: sprawdzanie, co faktycznie zrobiła sztuczna inteligencja. Ten artykuł wyjaśnia, dlaczego błędna akcja stanowi inny rodzaj awarii niż błędna odpowiedź, oraz dostarcza praktycznego podejścia do określania uprawnień, umieszczania ludzkiej aprobaty oraz dopasowywania autonomii do poziomu ryzyka podczas tworzenia lub wdrażania agentów.

Od systemów, które odpowiadają, do systemów, które działają

Pierwotne asystenci do rozmów były pasywne. Ty zadawałeś pytanie, model odpowiadał, a ty decydowałeś, co robić dalej. Agent zmienia tę podział prac. Mając określony cel, może zinterpretować prośbę, zaplanować kroki, użyć narzędzi, podjąć działania, przeanalizować wyniki i kontynuować pracę bez czekania na ciebie pomiędzy poszczególnymi krokami.

Różnicę najłatwiej zauważyć na przykładzie zwykłej prośby. Zapytaj chatbota, jak uporządkować bałagan w folderach – otrzymasz radę, którą możesz przyjąć lub zignorować. Jeśli dasz agentowi uprawnienia do porządkowania, może on przeglądać katalogi, zmieniać nazwy i przenosić pliki, tworzyć nowe foldery, aktualizować dane oraz usuwać to, co uznaje za duplikaty. Chatbot proponuje działanie; agent je wykonuje. To właśnie ta różnica sprawia, że niezawodność musi być ponownie przemyślana, gdy pojawiają się agenci.

Dlaczego błędne działanie kosztuje więcej niż błędna odpowiedź

Gdy model dostarcza złych informacji, masz kilka szans, by to zauważyć. Możesz zorientować się, że coś jest nie tak, poszukać ponownie, porównać z innym źródłem lub po prostu zignorować odpowiedź. Człowiek znajduje się pomiędzy wynikiem a wszelkimi konsekwencjami.

W autonomicznym pipeline’u ten bufor nie istnieje. Poniższy schemat pokazuje typową strukturę: agent czyta coś, podejmuje decyzję, wywołuje inny system, zmienia stan i przechodzi dalej. Zauważ, że nic w tym łańcuchu nie zatrzymuje się na ponowną ocenę.

Reads information
↓
Makes a decision
↓
Calls another system
↓
Changes something
↓
Continues automatically

Błąd w pierwszym kroku przenosi się na wszystkie kolejne kroki. Błędnie odczytane dane prowadzą do niewłaściwej decyzji, która z kolei skutkuje błędnym wywołem API, a to z kolei powoduje zmianę rekordu, który późniejsze kroki traktują jako prawdę obiektywną. Dlatego istotne pytanie zmienia się z tego, jak zdolny jest model, na to, w jakim stopniu można mu bezpiecznie pozwolić na działanie.

Najmniejsze uprawnienia: określ, do czego może mieć dostęp agent

Rozważ, jak przygotowałbyś nowego pracownika do pracy. Już od pierwszego dnia nie udzieliłbyś mu nieograniczonego dostępu do baz danych produkcyjnych, rekordów klientów, systemów finansowych, kodu źródłowego oraz procesów wdrażania. Udzieliłbyś mu tylko tych uprawnień, których wymaga jego rola, i rozszerzał dostęp w miarę budowania zaufania.

Agenci zasługują na takie samo traktowanie. Udzielaj tylko tych uprawnień, których potrzebuje dane zadanie, oraz oddzielaj możliwość czytania od pisania, o ile to możliwe:

• Agent, który czyta dokumenty, nie potrzebuje uprawnień do ich usuwania.
• Agent, który analizuje kod źródłowy, nie potrzebuje uprawnień do wdrażania wersji produkcyjnych.
• Agent, który sporządza e-maile, nie potrzebuje uprawnień do ich wysyłania.

Zasada jest prosta: agent otrzymuje dostęp wyłącznie do tego, bez czego nie może wykonać swojej pracy. W praktyce oznacza to zazwyczaj specjalistyczne narzędzia stworzone do konkretnego celu oraz tymczasowe uprawnienia, a nie tokeny uniwersalne, dzięki czemu najgorsze działanie agenta może być ograniczone przez sam projekt, a nie przez jego osąd.

Autorizacja ludzka dla kluczowych działań

Jednym z najskuteczniejszych rozwiązań jest również to najprostsze: pozwól agentowi wykonać pracę, ale wymagaj od osoby ludzkiej zatwierdzenia istotnych działań przed ich uruchomieniem. Poniższy schemat dzieli proces na fazę przygotowawczą, za którą odpowiada agent, oraz fazę wykonania, która rozpoczyna się dopiero po tym, jak osoba ludzka przejrzy i zatwierdzi proponowaną zmianę.

AI identifies issue
↓
AI proposes solution
↓
AI prepares changes
↓
Human reviews
↓
Human approves
↓
System executes

Zachowujesz większość szybkości, ponieważ agent nadal bada sytuację, proponuje rozwiązania i przygotowuje je, podczas gdy decyzja pozostaje w rękach osoby, która ma kluczowe znaczenie. Krok zatwierdzenia działa najlepiej, gdy agent przedstawia konkretny, podlegający weryfikacji element, takiego jak różnice między wersjami, listę rekordów do zmiany lub szkic wiadomości, zamiast niejasnego opisu intencji.

Nie wszystko musi wymagać zatwierdzenia, w przeciwnym razie recenzenci będą je udzielać instynktownie. Streszczanie setki dokumentów może bezpiecznie odbywać się bez nadzoru. Standard dla takich działań powinien gwałtownie wzrosnąć:

• przenoszenie pieniędzy
• usuwanie danych produkcyjnych
• publikowanie czegoś publicznie
• wdrażanie oprogramowania
• miana uprawnień bezpieczeństwa
• kontaktowanie się z klientami

Jeśli wdrażasz ten wzorzec, nasze przewodniki po agentach z kontrolą zatwierdzeń przy użyciu LangGraph, przerwach i punktów kontrolnych oraz po stanie, zatwierdzeniach i właściwościach idempotencji dla agentów działających omawiają zasady ich funkcjonowania.

Weryfikacja jako kluczowa umiejętność

Najwięcej uwagi poświęca się projektowaniu promptów, a ostatnio także projektowaniu kontekstu. Weryfikacja zasługuje na równie dużą uwagę: czy potrafisz stwierdzić, czy wynik jest rzeczywiście poprawny?

To zależy od wiedzy specjalistycznej. Programista musi potrafić krytycznie analizować generowany kod. Specjalista finansowy potrzebuje wystarczającej wiedzy, by kwestionować wyliczenia wykonane automatycznie. Badacz musi sprawdzić, czy cytowane źródła istnieją i potwierdzić prawdziwość przedstawionych informacji. Projektant musi ocenić, czy generowana struktura rozwiązuje rzeczywisty problem. Sztuczna inteligencja może znacznie przyspieszyć wykonywanie zadań, ale szybkie działanie bez weryfikacji najczęściej oznacza popełnianie błędów szybciej.

Dopasowanie autonomii do ryzyka

Formułowanie pytania „Czy można ufać sztucznej inteligencji?” z wymaganą odpowiedzią „tak” lub „nie” jest nieskuteczne. Zaufanie powinno być przyznawane dla każdego zadań, proporcjonalnie do możliwych błędów. Prosty model trzech poziomów stanowi dobry punkt wyjścia.

Niskie ryzyko: pozwól mu działać

Dobrym przykładem jest streszczanie notatek z spotkań. Skutki błędu są niewielkie i łatwe do zauważenia, dlatego wysoki stopień autonomii jest uzasadniony.

Ryzyko średnie: automatyzacja, a następnie weryfikacja

Zmiana funkcji oprogramowania to typowy przypadek średniego ryzyka. Agent może wprowadzić zmianę, ale automatyczne testy oraz przegląd kodu powinny potwierdzić wynik przed jego wdrożeniem.

Ryzyko wysokie: konieczna jest wyraźna autoryzacja

Tutaj należy umieścić prośbę o przekazanie pieniędzy na konto. Niezależnie od tego, jak pewny siebie wydaje się agent, konieczna jest silna ludzka autoryzacja.

Zasada ta jest ogólna: weryfikacja powinna być proporcjonalna do kosztów błędu.

Kuszące jest założenie, że najbardziej autonomiczny agent to najlepszy. Bardziej trafne pytanie brzmi, jaki poziom autonomii pasuje do danej zadania. Przydatne poziomy tworzą drabinkę:

• tylko sugestie
• p przygotowanie pracy do wykonania przez kogoś innego
• wykonanie po potwierdzeniu

działa w pełni automatycznie

Dobrze zaprojektowane systemy umieszczają każdą funkcję na odpowiednim poziomie, zamiast przenosić wszystko na szczyt.

Pytania do zadania przed podłączeniem narzędzia

Rozwijający oprogramowanie nie łączą już modele wyłącznie z polami tekstowymi. Agenci są coraz częściej połączeni z szerokim spektrum systemów, takich jak te wymienione poniżej.

APIs
Databases
Browsers
File systems
Cloud infrastructure
Development tools
Business applications
External services

Każda integracja dodaje nową funkcję, a wraz z nią nowy sposób na wystąpienie błędu. Oprócz sprawdzenia, czy agent może ukończyć zadanie, rozważ następujące pytania dotyczące każdego narzędzia, które udostępniasz:

• Które dane i systemy może on dostąpić?
• Które z nich może zmienić?
• Jeśli ulegnie awarii w trakcie wykonywania zadania, jaki stan zostanie pozostawiony?
• Czy istnieje sposób na cofnięcie jego działań?
• Kto zatwierdza operacje wrażliwe?
• Czy każda akcja jest rejestrowana w sposób umożliwiający późniejszą audytację?
• Jak szybko to zatrzymać?

Te odpowiedzi mogą być równie ważne jak wybór konkretnego modelu. Praktyczną zasadą jest to, że nic niepowrotne i nieredagowalne nie powinno być dostępne bez udziału człowieka.

Umiejętność korzystania z AI obejmuje teraz również znajomość ryzyk

Wiedza o tym, jak uzyskać wyniki z narzędzia AI, już nie wystarcza; trzeba także rozumieć, w jakich sytuacjach ono zawodzi. To nie jest powód do strachu, lecz to odróżnia kompetentnego użytkownika od nieostrożnego. Dojrzały użytkownik pyta nie tylko o to, czy AI może coś zrobić, ale także o to, czy powinno to robić bez nadzoru.

Ludzki osąd, masowa realizacja

Agenty mogą umożliwić jednej osobie wykonywanie zadań, które wcześniej wymagały całego zespołu – w dziedzinach badań, analizy, programowania, tworzenia treści, automatyzacji, przetwarzania danych i operacji. Ta dodatkowa możliwość niesie ze sobą większą odpowiedzialność. Praktyczny podział pracy wygląda następująco:

• Ludzie określają intencję.
• Agent zajmuje się wykonywaniem zadań.
• Otoczający system egzekwuje określone granice.
• Ludzie weryfikują istotne wyniki.

Główne wnioski

• Pierwsza fala sztucznej inteligencji generatywnej dotyczyła komunikacji z maszynami; era agentów polega na delegowaniu im zadań, a to delegowanie zależy od zaufania, granic, weryfikacji i odpowiedzialności.
• Błędy w autonomicznych procesach się kumulują, dlatego należy projektować systemy tak, by je kontrolować: przy minimalnych uprawnieniach, poprzez działania odwracalne i pełne logi.
• Autoryzację ludzką należy przyznawać tylko w przypadku działań o istotnych konsekwencjach, których trudno jest cofnąć, pozwalając jednocześnie na bezobsługowe wykonywanie zadań o niskim ryzyku, aby przeglądy pozostały istotne.
• Kluczowe pytanie przesuwa się od tego, co potrafi robić sztuczna inteligencja, do tego, co powinno się pozwolić jej robić samodzielnie, a właściwa odpowiedź na nie staje się podstawową umiejętnością inżynierską.