Strona główna / Artykuły

Dlaczego to narzędzie dla pracowników, a nie model, decyduje o tym, co staje się rzeczywistością.

Aktualizacja CRM z wykrytym czasem oczekiwania pokazuje, dlaczego pracownicy potrzebują umów na narzędzia, stanów o nieznanych wynikach, powtarzalnych prób oraz potwierdzonego zakończenia, a także mechanizmów kontrolnych, które warto zachować.

Wydawca: REACTAPP.TOP6 min czytania1450 słów

Źródła: The Model Is Not the Agent. The Harness Is the Product.

Załóżmy, że agent musi zmienić dane kontaktu do dostawy w koncie klienta. Znajduje odpowiedni rekord, przygotowuje zmianę i łączy się z CRM. Wtedy połączenie się rozłącza. Być może zmiana nie powiodła się. Może udała się, ale tylko odpowiedź zaginęła. Może CRM nadal pracuje nad tą zmianą.

Odpowiedź „Gotowe” bez upewnienia się niczego nie rozwiązuje, podobnie jak ponowne nawiązanie połączenia bez wiedzy o tym, co wydarzyło się za pierwszym razem. Historia jest wymyślona, ale ujawnia prawdziwy problem projektowy. Poproszenie o podjęcie działań i potwierdzenie jego rezultatu to dwa odrębne zdarzenia. Model może bezbłędnie realizować prośbę, podczas gdy produkt nadal traci kontakt z rzeczywistością, i to właśnie jest zadaniem narzędzia wspierającego.

Czym jest to narzędzie wspierające

W tym podejściu „ Harness” to element, który w trakcie działania łączy ze sobą wywołania modeli, kontekst, narzędzia, zasady wykonywania oraz śledzenie postępów. Może składać się z kilku części, a nie trzeba pisać żadnego frameworku, aby go mieć. Kontrola dostępu pozostaje w rękach usług tożsamościowych, trwałe dane przechowywane są w bazach danych, a zasady biznesowe znajdują się w zewnętrznych systemach. „Harness” łączy te elementy i koordynuje je.

Krótkie sformułowanie to opisuje: model proponuje, a „Harness” decyduje o tym, co staje się rzeczywistością.

Modele mogą planować, interpretować dane i oceniać, czy praca jest zakończona, więc nie chodzi o to, że oprogramowanie przeprowadza rozważania wokół pasywnego modelu. Chodzi o to, że system musi egzekwować swoje ograniczenia, nawet gdy ocena modelu jest błędna.

Opis agenta Codex przez OpenAI pokazuje mechanizm działania: przygotowanie danych wejściowych, zapytanie modelu, uruchomienie wymaganych narzędzi, przekazanie ich wyników z powrotem oraz kontynuacja procesu aż model wyśle wiadomość. Ta ostatnia wiadomość kończy jeden tur. Sama w sobie nie dowodzi niczego na temat tego, czy rekord klienta uległ zmianie.

To nie oznacza jednak, że ten zestaw stanowi cały produkt. Jakość modelu, doświadczenie użytkownika, wiedza specjalistyczna w danej dziedzinie oraz integracje nadal mają znaczenie. Jedno wezwanie modelu wystarcza do wykonania prostego zadania pisarskiego. Edytowanie rekordu w CRM również wymaga uprawnień do działania oraz potwierdzenia od systemu, że doszło do modyfikacji.

Narzędzia jako umowy

Narzędzie o nazwie „update customer” jest niewystarczająco opisane. Nie określa, który klient i jakie konto są uwzględniane, co może ulec zmianie oraz co się stanie, jeśli kolega edytuje zapis po tym, jak agent go przeczytał. Porady Anthropic dotyczące tworzenia narzędzi wskazują na konieczność określenia jasnych celów, przydatnych wartości zwrotnych oraz testowania w rzeczywistych zadaniami. Opisy pomagają w doborze odpowiedniego modelu, natomiast kod stanowiący ich podstawę musi egzekwować ustalone zasady.

W przykładzie dotyczącym kontaktu dostawy umowa mogłaby obejmować:

  • Kto: identyfikator klienta, do którego agent ma uprawnienia w danym koncie.
  • Co: tylko pola związane z kontaktem dostawy wskazane w żądaniu.
  • Ochrona: wersja zapisu, którą agent ostatnio widział, jeśli system ją udostępnia.
  • Tożsamość: stabilny identyfikator żądania, pod warunkiem że usługa może na jego podstawie wykryć duplikaty.
  • Odpowiedź: ustrukturyzowany stan, dowody wspierające oraz błędy, na podstawie których osoba lub program może podjąć działania.
  • Są to proponowane opcje, a nie każdy system CRM je oferuje.

    Granice są ważniejsze niż pocieszające sformułowania. Komunikat mówiący „aktualizuj tylko upoważnionych klientów” stanowi radę. Sam serwis musi sprawdzić prawdziwą tożsamość, konto, cel oraz dozwolone pola. Operacje odczytu również wymagają określenia zakresu: pobranie całej bazy danych klientów nie jest bezpieczne tylko dlatego, że nic nie zostało zmienione. Opracowanie Anthropic na temat kontrolowania Claude opowiada się za warstwowymi mechanizmami kontroli obejmującymi model, środowisko wykonawcze oraz treści z zewnątrz.

    W takim projekcie żądanie wykraczające poza zakres jest odrzucane przed jakąkolwiek operacją zapisu. Konflikt wersji staje się decyzją dotyczącą zmienionych dowodów, a nie uprawnieniem do nadpisania danych.

    Gdy wynik jest nieznany

    Po upływie czasu oczekiwania system powinien zarejestrować nieznany wynik. Nie jest to ani sukces, ani koniecznie porażka. Stan nieznany stanowi prawomocny stan wykonywania, ale nie jest upoważnieniem do ponownej próby.

    Przywrócenie do normalnego funkcjonowania jest łatwiejsze, gdy trzy rodzaje stanów pozostają oddzielone:

    1. Context pracy: dane, których model potrzebuje, aby podjąć kolejną decyzję.
    2. Trwały zapis wykonywania: to, co było zamierzone, co zostało wy wykonane, kto to zatwierdził oraz wszystko, co pozostaje nierozstrzygnięte.
    3. Zewnętrzny stan biznesowy: informacje przechowywane obecnie w CRM.

    Streszczenie rozmowy może ponownie uruchomić model, ale nie powinno stanowić jedynego źródła pamięci o ważnej operacji. Punkty kontrolne również mają swoje ograniczenia, ponieważ w rzeczywistym świecie wszystko się zmienia po ich zapisaniu, a ktoś mógł w międzyczasie zmienić dane kontaktowe. Projekt zarządzanych agentów firmy Anthropic pokazuje, dlaczego ich żywotność powinna być oddzielona: dziennik sesji, narzędzia pomocnicze oraz środowisko wykonawcze funkcjonują oddzielnie, dzięki czemu nowe narzędzia mogą kontynuować pracę na podstawie zapisanych zdarzeń. Mniejsze aplikacje mogą zachować tę logikę podziału w ramach jednej usługi. Ważne jest możliwość odzyskania stanu, a nie odtworzenie rozproszonej struktury.

    W przykładzie kontaktu zapisz zamierzoną operację przed jej wysłaniem. Po upływie czasu oczekiwania zapytaj usługę o stan operacji lub poszukaj innych wiarygodnych dowodów. Jeśli powtórne odczytanie pokaże nowy kontakt, to wskazuje na aktualny stan. Nie musi to jednak informować o tym, która prośba go spowodowała. Wszystko, co zostanie zgłoszone, powinno mieć podstawy w dostępnych dowodach.

    Próby ponawiane wymagają idempotencji

    „Spróbuj trzy razy” określa tylko czas trwania prób, a nie to, czy kolejna próba jest bezpieczna. AWS Builders’ Library opisuje silniejsze rozwiązanie w swoich wytycznych dotyczących idempotentnych API: użytkownik dostarcza identyfikator żądania, usługa rozpoznaje powtórzoną intencję i rejestruje duplikat wraz z dokonaną modyfikacją.

    Lokalny identyfikator nie może sprawić, by nastąpiła jedna operacja zapisu z zewnątrz. Usługa musi przestrzegać umowy, w tym jej zasad dotyczących parametrów oraz okna przechowywania danych. W przypadku systemu CRM zasada odzyskiwania ma trzy warianty:

    • Jeśli autorytatywne dowody potwierdzają zakończenie operacji, sprawdź wymagane warunki końcowe i zakończ proces.
    • Jeśli umowa usługi zezwala na bezpieczne powtórzenie operacji, wyślij ją ponownie, używając tej samej tożsamości operacji i identycznej intencji, pozostając w granicach określonych ograniczeń.
    • Jeśli wynik pozostaje niejednoznaczny, a powtórzenie operacji jest niebezpieczne, wstrzymaj się i poproś o pomoc.

    Tworzenie nowego identyfikatora żądania tylko po to, by powtórzyć niepewną operację zapisu, unieważnia cel tego działania. A gdy system CRM nie ma możliwości raportowania stanu operacji ani nie może w sposób niezawodny eliminować duplikatów, wybory się zmniejszają. Ten ograniczenie powinno być uwzględnione w projekcie produktu, zamiast być ukryte pod bardziej przekonującym komunikatem.

    Jasne warunki wyjścia z pętli

    Przydatny pętla obserwuje, decyduje, działa i weryfikuje, a także wymaga jasnych sposobów wyjścia z danej sytuacji.

    Produkt powinien odróżniać te stany końcowe:

    • Zakończone: wymagany rezultat został sprawdzony i potwierdzony.
    • Czekanie na zatwierdzenie: następny krok wymaga osoby o większych uprawnieniach.
    • Zablokowane z powodu braku danych lub zależności: postęp wymaga czegoś, czego agent nie może dostarczyć.
    • Anulowane lub poza budżetem: proces zakończył się bez żadnego potwierdzenia sukcesu.

    Ponawiane próby w trakcie ciągłej eksploatacji nadal podlegają zasadom odzyskiwania funkcjonalności. Powtarzające się niepowodzenia nie oznaczają postępu tylko dlatego, że agent pozostaje zajęty. System powinien przechowywać wystarczająco dużo dowodów, aby móc uzasadnić swoje decyzje: odpowiednie wywołania narzędzi, zwracane stany, sprawdzenia uprawnień oraz sprawdzenia wyników, przy czym wrażliwe dane nie powinny trafiać do dzienników, chyba że są to konieczne i zabezpieczone.

    Ocena również opiera się na tych samych zasadach: należy sprawdzić środowisko, które zostało zmodyfikowane, a nie tylko przeczytać ostateczną wiadomość. Dobrze sformułowana odpowiedź, w której podano niewłaściwy adres kontaktu, jest niepowodzeniem. Dobrze wyjaśniona przerwa po nieudanej operacji zapisu może być właściwym wynikiem.

    Nie twórz więcej, niż jest potrzeba

    To nie jest argument za jak największym zestawem narzędzi. W eksperymentach Anthropic z aplikacjami działającymi przez długi czas usuwano komponenty po jednym i ponownie je oceniano w miarę udoskonalania modeli. Dodatkowa ocena pomagała przy trudniejszych zadaniach, ale stawała się zbędnym obciążeniem, gdy silniejszy model już dobrze sobie radził.

    Wyróżniają się dwa rodzaje elementów. Kontrolery produktu obejmują wymagania takie jak autoryzacja, odzyskiwanie danych oraz odpowiedzialność za ukończenie pracy. Struktury specyficzne dla modelu wspierają obecne słabości poprzez powtarzane planowanie, korekty lub dodatkowe rundy oceny. Po każdej aktualizacji modelu należy ponownie sprawdzić te struktury. Kontrolery produktu należy zachować tak długo, jak długo produkt ich potrzebuje. Celem jest najmniejszy możliwy system kontroli, który nadal zapewnia bezpieczeństwo, możliwość obserwacji i odzyskania stanu pracy.

    W wymyślonym zadaniu CRM ostatnia wiadomość powinna być konkretna: informacja o sprawdzonej записce, polach, które teraz odpowiadają żądaniu, oraz o wszystkim, co pozostaje nierozwiązane. Nieznany wynik jest odnotowywany jako taki. Aprobaty w oczekiwaniu wskazują na działanie czekające na zatwierdzenie. Przeprowadzenie przerwane z powodu ograniczeń budżetowych nigdy nie jest przedstawiane jako sukces.

    To, co sprawia, że agent zasługuje na zaufanie, to nie wytrwałość. To umiejętność widzenia tego, co zrobił, możliwość naprawy sytuacji, gdy coś się psuje, oraz poleganie na granicach, w których się porusza.