Zasady projektowania procesów pracy agentów dla zespołów inżynierii produkcyjnej
Zasady projektowe dla pracowników produkcyjnych: umowy realizacji, uczciwy stan, podsumowania zatwierdzeń, działania idempotentne poza systemem, śledzenie i oceny.
Źródła: What building agents taught me about production engineering
Włączanie agentów do rzeczywistych procesów biznesowych zmienia to, o co należy zapytać przed zaufaniem automatyzacji. Skąd pochodzą dowody? Co system ma prawo modyfikować? A jeśli proces zostanie przerwany w połowie, co wtedy? Te pytania mają większe znaczenie niż wybór frameworku, szczególnie gdy zadania związane z wprowadzeniem produktu na rynek, takie jak badanie kont, korespondencja e-mail, treści i działania następcze, są powiązane z systemami biznesowymi. Poniższe zasady wynikają z takich działań i są przeznaczone do zastosowania przy kolejnej wersji oprogramowania.
Załóżmy zwykłe zapytanie: zbadanie konta, napisanie wartościowej wiadomości i umieszczenie jej w miejscu, gdzie osoba może ją przejrzeć. Model może pomóc w badaniu i pisaniu. Wszystko wokół niego, czyli oprogramowanie, musi przechowywać dowody, obsługiwać przeglądanie oraz brać odpowiedzialność za wszelkie zmiany poza procesem pracy. Przygotowanie projektu może zostać zakończone na długo przed uzyskaniem jakiejkolwiek zewnętrznej zgody, dlatego dowody, zatwierdzenie i wynik wymagają oddzielnej weryfikacji.
Decyduj, co oznacza „zakończenie”, zanim wybierzesz framework
Różne procesy pracy definiują zakończenie w odmienny sposób. Opis konta uważa się za zakończony, gdy dokument zostanie zapisany wraz ze swoimi źródłami, oceną istotności oraz adnotacją dotyczącą tego, co nadal jest wątpliwe. Proces kontaktu z odbiorcą kończy się w momencie, gdy dostawca usług e-mailowych otrzymuje właśnie tę wiadomość, którą osoba ta potwierdziła odbiór. Są to odrębne zobowiązania, a żadne z nich nie wskazuje na to, że odbiorca otworzył e-mail.
Gdy to zostanie zapisane, kod wygląda inaczej. Badania mogą uzasadnionie dostarczyć zbyt mało dowodów. Projekt może być przygotowany, podczas gdy jego przegląd jest w toku. Działanie podejmowane poza strukturą może zostać zaakceptowane przez dostawcę, a jego ostateczna dostawa nadal może być otwarta.
Niech model zajmuje się tym, co wymaga interpretacji, takim jak wybór odpowiedniego źródła, identyfikacja istotnego kontekstu lub wyjaśnienie rekomendacji. Niech kod egzekwuje zasady określone wyraźnie: wymagane pola, dozwolone narzędzia oraz limity wykonywania. Schemat może potwierdzić istnienie odniesienia do źródła, ale to, czy źródło potwierdza twierdzenie, nadal wymaga weryfikacji dowodów.
Tutaj kontrast pomiędzy procesami a agentami okazuje się kluczowy. Anthropic postrzega proces jako ścieżkę ustaloną z góry, a agenta jako strukturę, w której model kieruje działaniami. Jeden produkt może łączyć oba te elementy, więc prawdziwe pytanie brzmi, gdzie swoboda ma swoją cenę.
Ustal, aby stan informował o tym, co naprawdę się wydarzyło
Model danych wymaga dokładnej analizy przed rozszerzaniem procesu pracy. Pole o nazwie status szybko staje się niejednoznaczne, gdy musi opisywać jednocześnie badania, przegląd, realizację i dostawę. Oddzielenie tych elementów ma praktyczne znaczenie. Jeśli zostanie zapisany szkic, ale powiadomienie o przeglądzie nie zadziała, kolejny krok może spróbować ponownie wysłać to powiadomienie bez tworzenia nowego szkicu, a każdy, kto sprawdza przebieg procesu, może zobaczyć oba fakty.
Aprobata wymaga tej samej dokładności. W tym ustawieniu jest powiązana z operacją, kontem, odbiorcą oraz całym treścią wiadomości. Skuteczne podejście polega na utrzymywaniu niezmienności danych przesyłanych oraz generowaniu ich podsumowania na podstawie kanonicznej wersji. Przed wysłaniem wykonawca porównuje to, co zamierza zrobić, z tym, co zostało zatwierdzone, sprawdza termin ważności oraz obecne uprawnienia, a następnie wysyła te same zapisane dane. Podsumowanie wykrywa jedynie ewentualne zmiany. Kto może zatwierdzić, to kwestia kontrolowania dostępu.
Model nie powinien móc zatwierdzić samego siebie poprzez zwrócenie wartości approved: true. Aplikacja rejestruje upoważnienie za pośrednictwem zaufanego procesu weryfikacji. Niektóre zadania o niskim wpływie mogą zamiast tego korzystać z wyraźnej polityki stałej, a w obu przypadkach uprawnienia powinny pozostać ograniczone i poddawalne weryfikacji.
Jeden logiczny właściciel na każdy przebieg
Frameworki takie jak LangGraph pomagają w rozważaniu stanów i przejść, natomiast narzędzia do zarządzania pracami, takie jak n8n, zajmują się wyzwalaczami, kierowaniem przepływem i przewidywalnym przemieszczaniem danych. Inne pytanie pojawia się, gdy praca wykracza poza granice czasu wykonywania: który komponent jest odpowiedzialny za dany przebieg?
W tym projekcie jeden logiczny właściciel odpowiada za planowanie, identyfikację procesu oraz stan autorytatywny. Delegowanemu silnikowi wykonywania zadań przekazuje się ograniczone zadanie, a on odpowiada strukturyzowanym wynikiem, który właściciel weryfikuje przed przesunięciem procesu dalej. To wzorzec aplikacyjny, który nic nie mówi o sposobie integracji poszczególnych narzędzi.
W krótkim opisie konta delegacja może podać nazwę konta, dozwolone źródła, uprawnienia narzędzia, schemat wyników oraz budżet czasowy lub kosztowy. Otrzymany odpowiedź powinien odróżniać kompletny opis od niewystarczających dowodów, awarii narzędzia lub osiągnięcia limitu, aby główny proces mógł odpowiednio zareagować na każdą z tych sytuacji, nie traktując ostatniego akapitu odpowiedzi modelu jako sygnału kontrolnego.
Oprogramowanie to stanowi „opaskę agenta”: kod, który dostarcza kontekstu, udostępnia narzędzia, zarządza wykonywaniem zadań i śledzi postępy. Praca Anthropic nad agentami działającymi przez długi czas jest przykładem pokazującym, w jaki sposób wyraźne zapisy postępów pomagają późniejszym sesjom kontynuować niezakończone zadania. To, które zapisy zachować, zależy od zadania.
Stan przepływu pracy w biznesie wymaga trwałego zapisu przechowywanego poza czatem modelu. Dokumentacja LangGraph rozróżnia stan wątku zapisanego w punkcie kontrolnym od danych przechowywanych pomiędzy wątkami, zwracając uwagę, że punkty kontrolne oparte wyłącznie na pamięci giną po ponownym uruchomieniu. Wybór odpowiedniego backendu do przechowywania to decyzja operacyjna. Kontekst jest odpowiednim miejscem na przechowywanie preferencji stylowych, natomiast system uprawnień służy do zarządzania aktualnymi uprawnieniami. Pobrana strona lub umiejętność wielokrotnego użycia może dostarczyć informacji potrzebnych do wykonania zadania, ale nigdy nie powinna rozszerzać możliwości tego zadania. Wielu pracowników może obsługiwać jednego logicznego właściciela, pod warunkiem że mechanizmy koordynacji zapobiegają sprzecznym przejściom stanów.
Daj każdemu kroku swój własny kontekst
Badania wymagają dostępu do źródeł oraz miejsca na zapisywanie wątpliwości. Pisanie potrzebuje zatwierdzonego opisu zadania, przykładów skutecznych komunikatów oraz zasad obowiązujących w danej strukturze. Gdy każdy krok ma odpowiedni kontekst, jego zachowanie jest łatwiejsze do oceny. Różne role mogą być ustawione w ramach jednego środowiska działania i nie muszą oznaczać dodatkowych agentów ani dodatkowej infrastruktury.
Umiejętność obejmuje procedurę, którą się powtarza: źródła do sprawdzenia, jaki wynik ma zostać wygenerowany, jak go potwierdzić. Egzekwowanie zasad nadal należy do środowiska działania, poprzez dostęp do narzędzi i ograniczenia zasobów. Polecenie pracownikowi w pliku umiejętności, aby nie wysyłał danych, jest jedynie radą, natomiast wykluczenie z jego rąk uprawnień do wysyłki stanowi rzeczywiste ograniczenie.
Zbiory umiejętności i ustawień również wymagają okresowej rewizji. Dwie rozsądne instrukcje mogą się ze sobą kolidować, gdy są ładowane jednocześnie. Po zakończeniu zadania agent może zaproponować aktualizację pamięci, ale jego samoopis nie dowodzi poprawy. Korekta powinna zawierać informację o swoim źródle, odpowiedni zakres oraz ocenę, zanim zmieni zachowanie, które są dzielone przez innych.
Traktuj zewnętrzne działania jako ich własny problem wykonawczy
Opisz dokładnie efekty narzędzi. Tworzenie lokalnego pliku, przygotowanie projektu u dostawcy oraz wysyłanie wiadomości to trzy operacje, z których każda wymaga odrębnego uprawnienia. Adaptery powinny przekształcać odpowiedzi dostawcy w wyraźne statusy, a testy integracyjne powinny sprawdzać wynikowy stan dostawcy.
Dla zapisów o znaczeniu krytycznym należy korzystać z usługi wykonywania, która weryfikuje uprawnienia w ostatniej chwili przed wysłaniem. Dane uwierzytelniające oraz ścieżki sieciowe muszą to potwierdzać, ponieważ kontrola w jednym narzędziu pomocniczym ma niewielkie znaczenie, jeśli inny skrypt może uzyskać dostęp do usługodawcy przy użyciu tych samych danych uwierzytelniających.
Odbudowa jest najtrudniejsza, gdy nie ma żadnej odpowiedzi. Wyobraź sobie, że usługodawca otrzymuje wiadomość, a połączenie zostaje przerwane, zanim procesor zdoła zapisać wynik. Procesor wie, że próbował, ale nie może stwierdzić, czy ponowna próba spowoduje duplikację. Zachowaj jedną tożsamość dla danej operacji we wszystkich próbach, a każdej próbie przypisz własną. Gdy usługodawca obsługuje zasadę idempotencji, opiera się on na stabilnym kluczu dla każdej zamierzonej operacji, a gwarancja pochodzi z umowy tego usługodawcy. Dokumentacja Stripe opisuje na przykład, w jaki sposób porównywane są parametry oraz jak długo istnieją klucze, a ponowne użycie klucza po jego wygaśnięciu może doprowadzić do wysłania nowego żądania.
Jeśli istnieje niezawodna funkcja sprawdzania stanu, należy z niej skorzystać. Jeśli dostawca obiecuje bezpieczne ponowne wykonanie operacji dla tej samej klucza i danych, ponowna próba może rozwiązać problem. W przypadku niepowodzenia obu metod należy odnotować wynik jako nieznany i dokonać rozrachunku lub zwrócić się do osoby ludzkiej. Brak wyników w wyniku wyszukiwania nie jest dowodem na to, że operacja w ogóle nie została wykonana, szczególnie gdy dane dostawcy mogą być opóźnione. Opis AWS dotyczący bezpiecznych ponownych prób uzasadnia włączenie informacji o tożsamości żądania do umowy API, aby śledzenie przez klienta i zachowanie dostawcy były spójne.
Bufor transakcyjny zapobiega zniknięciu zatwierdzonej akcji pomiędzy zapisem w bazie danych a jej wysłaniem, ale sam nie może powstrzymać dostawcy przed przetworzeniem powtórnego żądania. Punkt kontrolny umożliwia ponowne rozpoczęcie pracy lokalnej, lecz nie może rozwiązać problemu nieznanej wyniki z zewnętrznego źródła. Po upływie czasu oczekiwania może dojść do poszukiwania danych w bazie, wywołania zdarzenia lub ponownego przetworzenia zapisanej akcji. Lokalnie wygenerowany identyfikator akcji nie czyni API idempotentnym.
Pomiar na granicach
Wywołania narzędzi to dobry sposób na obserwację zachowania agenta. Ślad działania powinien łączyć informacje o jego uruchomieniu, wersji pliku, decyzji autoryzacyjnej oraz każdej próbie połączenia z zewnętrznym źródłem. Argumenty i wyniki narzędzi należy rejestrować selektywnie, z zastosowaniem mechanizmów redakcji i kontroli dostępu, ponieważ przechowywanie wszystkich surowych danych niesie ze sobą dodatkowe problemy.
Zapis musi odpowiadać na praktyczne pytania. Czy dowody z badań były użyteczne? Czy weryfikacja odrzuciła projekt? Czy proces czeka na recenzenta, czy też powiadomienie nie dotarło? Czy działanie zostało zaakceptowane, odrzucone, czy pozostawione w zawieszeniu?
Te rozróżnienia również poprawiają ocenę. W przypadku procesu pracy konta należy zacząć od zwykłych przykładów wraz z małą liczbą trudnych przypadków:
- Źródła są sprzeczne, a opis musi zachować tę sprzeczność.
- Wiadomość jest edytowana po zatwierdzeniu, co oznacza, że wykonanie wymaga nowej autoryzacji.
- To samo zadanie przychodzi dwa razy i nie powinno tworzyć dwóch oddzielnych działań.
- Podmiot realizujący zadanie podejmuje działanie, a następnie połączenie się przerywa, więc procedura przywracania musi uwzględniać to, co podmiot ten faktycznie gwarantuje przy ponownych próbach.
Zarezerwuj sprawdzenia deterministyczne na takie kwestie jak poprawne schematy i zgodne zatwierdzenia. Aby ocenić istotność i to, na ile dowody wspierają dane twierdzenie, użyj określonej rubryki oraz przeanalizowanych przykładów. Ocena za pomocą modelu może być pomocna, pod warunkiem że sprawdzisz, w jakim stopniu odpowiada ona ludzkiemu osądowi. Porady Anthropic dotyczące oceny oddzielają zapisaną realizację agenta od końcowego stanu środowiska i zalecają powtarzanie prób, ponieważ agenci mogą zachowywać się inaczej za każdym razem. Te rozwiązania nadają się do testowania całego procesu pracy.
W przypadku procesu pracy nad projektami sprawdź, jak często projekty są przyjmowane bez edycji, ile czasu poświęcają recenzenci oraz całkowity koszt działania na jeden przyjęty produkt, wliczając w to koszty nieudanych prób. Ważna jest również stopa pokrycia: ile dostępnych zapytań przyniosło coś użytecznego. Jej pominięcie może sprawić, że system będzie wydawał się bardziej stabilny, po prostu odrzucając trudne zadania.
Wydaj zachowanie jako jedną całość
Edycja promptu może zmienić zachowanie systemu mimo że obraz kontenera pozostaje identyczny, dlatego każda wersja wymaga pliku manifestu łączącego wersję kodu z procesem pracy, promptami, schematami, adapterami narzędzi, ustawieniami modeli oraz polityką uprawnień. Każdy uruchomienie odnotowuje wersję, pod której zostało przeprowadzone. Dzięki temu możliwe staje się zbadanie sytuacji, chociaż nie gwarantuje się dokładnego odtworzenia zdarzeń, ponieważ modele ulegają zmianom, dostawcy się zmieniają, a dane źródłowe mogą zniknąć. Przechowywanie odpowiednich wersji danych wejściowych lub dozwolonych zrzutów stanu pomaga później wyjaśnić wyniki.
Prace trwające długi czas wprowadzają kolejną trudność: stary punkt kontrolny może nie pasować do nowszego schematu stanu. Konieczne jest wyraźne zdecydowanie co do tego, czy zakończyć te uruchomienia na starej wersji, przenieść je lub wstrzymać w celu dalszej analizy. Odwrócenie zmian tylko w obrazie roboczym może nie przywrócić kompatybilnego zachowania.
Proces ćwiczeń jest restartowany w kluczowych momentach: zaraz po zapisaniu artefaktu, gdy ocena jest w toku oraz po obu stronach procesu wysyłki. Gdy pracowników jest wielu, baza danych może odrzucić przestarzałe zapisy za pomocą warunkowych aktualizacji lub tokenów ochronnych. Zatrzymywanie duplikatów poza systemem nadal zależy od sposobu projektowania wykonania oraz od umowy z dostawcą.
Pierwsze wdrożenie może być skromne: wystarczy usługa, trwała baza danych oraz tło pracujące. Odrębne dane logowania, ograniczona liczba prób oraz mechanizm wyłączania nowych zapisów z zewnątrz są konieczne przed wdrożeniem dużego klastra. Kubernetes staje się opłacalny, gdy jego funkcje planowania lub zarządzania odpowiadają na potrzeby, które zostały przez Ciebie ocenione.
Pozostań przy jednym procesie pracy, dopóki go nie zrozumiesz
Produkty oparte na agentach ciągle zmieniają to, co jest tanie w tworzeniu, więc warto je badać. Mimo to warto zachować odpowiednią stabilność, aby zrozumieć prowadzone prace. Przy przygotowywaniu krótkich opisów kont lub sortowaniu wiadomości w skrzynce odbiorczej należy utrzymać stałe granice dla danych wejściowych, użytecznych wyników oraz ocen, podczas gdy implementacja się udoskonala. Nowy model lub środowisko wykonawcze można wtedy ocenić na podstawie identycznych przykładów, uprawnień i wymagań dotyczących przywracania stanu.
Przyjęcie innego narzędzia staje się konkretnym pytaniem: czy potrafi ono jaśniej przedstawić proces przenoszenia obowiązków, zmniejszyć wysiłek osoby dokonującej oceny lub przywrócić przerwane prace przy mniejszej liczbie kroków ręcznych, a czy to usprawiedliwia migrację i konieczność jego utrzymania? To właśnie jest ocena, którą warto zachować: zdecydować, gdzie rozumowanie jest opłacalne, jasno określić uprawnienia i mieć wystarczająco dużo dowodów, by wiedzieć, co się stało po tym, jak model przestał funkcjonować.
Literatura pokrewna
- Koncepcje LangGraph w prostym języku: stan, pamięć i orkiestracja — Zanim napiszesz kod: co oznaczają orkiestracja, czas wykonywania, agenci z pamięcią, pamięć krótko- i długoterminowa, systemy wieloagentowe oraz udział człowieka w procesie w LangGraph.
- Od prototypu do produkcji za pomocą Agents CLI: agent do zatwierdzania wydatków — Stwórz, przetestuj, ocen i wdroż agenta ADK w Cloud Run przy użyciu Agents CLI, omawiając przy tym śledzenie działań, logowanie w BigQuery, mechanizmy CI/CD oraz rozszerzenia typu RAG.