Strona główna / Artykuły

Od ocen do samodoskonalących się agentów: pięć er w ocenie agentów

Ocena agenta oznacza teraz audyt śladów działania. Zobacz, jak deterministyczne sprawdzanie, modele LLM i sędziowie agentów, diagnostyka oraz mechanizmy meta-pomocne tworzą bezpieczny cykl doskonalenia.

Wydawca: REACTAPP.TOP7 min czytania1716 słów

Źródła: From Evals to Self-Improving Agents

Wersja skrócona

  1. Ocena agenta kiedyś oznaczała przeczytanie jego ostatniej odpowiedzi. Teraz oznacza to przeczytanie całego przebiegu działania.
  2. Ręcznie pisane testy deterministyczne pozostają cenne, choć mogą wykrywać jedynie problemy, które ktoś przewidział.
  3. Sędzia w postaci modelu językowego odpowiada ocenie wyników według ustalonej skali. Sędzia będący sam agentem analizuje błędy w trasie działania, użyciu narzędzi oraz procesie pracy.
  4. Kolejnym krokiem jest diagnostyka na podstawie śladów działania: wykrywanie wzorców błędów powtarzających się podczas tysięcy rzeczywistych prób.
  5. Agent, który sam się doskonali, wymaga mechanizmu meta-kontroli, czyli telemetryki, diagnostyki, proponowanych napraw, testów w środowisku izolowanym, weryfikacji, stopniowego wdrażania oraz sposobu na zapewnienie uczciwości samych oceniających.

Dlaczego same wyniki przestały wystarczać

Pierwotne aplikacje oparte na LLM były krótkie i przeważnie liniowe: wprowadzano prompt, otrzymywano odpowiedź, a ktoś ją sprawdzał. Agenty zmieniły tę strukturę. Planują one działania na kilka kroków, wykorzystują narzędzia, czytają i zapisują stan, edytują pliki, radzą sobie z nieudanymi operacjami, delegują zadania podagentom i pozostają zajęte przez długi czas.

To, co takie systemy pozostawiają, to ślad ich działania. Zawiera on żądanie, kontekst systemu, wszystko, co zostało pobraane, tymczasowe rozumowanie, każde wezwanie narzędzia i wynik jego działania, próby ponowne, błędy, zapisy do pamięci, zużycie zasobów, czas trwania oraz ostateczny wynik. W celach oceny ten zapis stał się rzeczywistym artefaktem wykonania zadania.

Zatem ocenianie musi ewoluować w kierunku audytowania. Poprawna na pierwszy rzut oka odpowiedź może wynikać z błędnego wyboru narzędzia, zignorowanej ograniczenia, niepowiązanego wyniku wyszukiwania, pętli ponawiania prób, której nikt nie zauważył, słabo dobranej kontekstu, ryzykownej procedury naprawczej lub założenia bez żadnych podstaw. To właśnie te wady są najdroższe, ponieważ gromadzą się podczas wielu prób i po cichu niszczą niezawodność.

W tym ujęciu ocena pełni rolę warstwy kontrolnej. Łączy w sobie rzeczywiste ślady działania, oceny według kryteriów, oceny przez agenty, analizę przyczyn źródłowych, odtwarzanie sytuacji w środowisku testowym, zestawy testów regresji oraz mechanizmy weryfikacji przed wdrożeniem. Celem nie jest osoba sprawdzająca każdą wymianę informacji, lecz meta-system, który wykrywa wzorce awarii, opracowuje rozwiązania, testuje je na przeszłych i trudnych przypadkach oraz przekazuje ludziom tylko te sytuacje, w których ich osąd ma znaczenie.

Warstwa pierwsza: sprawdzenia deterministyczne

Sprawdzania oparte na regułach pozostają podstawą, ponieważ wykrywają wszystko, co można z góry zapisać. Kod jest poddawany testom jednostkowym, weryfikacji typów, narzędziom do analizy kodu, skanerom bezpieczeństwa, testom kontraktowym oraz tworzeniu zrzutów stanu. Strukturyzowany wynik przechodzi weryfikację schematu, ma obowiązkowe pola, dozwolone wartości, formatowanie dat, musi być poprawnym JSON i mieć określone limity zgodnie z polityką.

Należy je stosować tam, gdzie oczekiwany wynik jest jasno określony. Działają szybko, kosztują niewiele, zawsze dają ten sam wynik i są łatwe do debugowania. Problemem jest stopień pokrycia: testowane jest tylko to, co ktoś pamiętał o zaimplementowaniu.

Pomiędzy innymi można nimi mierzyć wskaźniki przejścia testów, stopień pokrycia zachowań przez założenia, zgodność ze schematem, czas wykonywania, powtarzalność oraz dokładność lokalizacji błędu. Nadają się do API, zmian w kodzie, wydobywania danych, formularzy, zautomatyzowanych procesów regulowanych oraz zadań ograniczonych sztywnymi regułami.

Warstwa druga: model językowy jako sędzia

Sędziowie wykorzystujący modele językowe oparte na sieciach neuronowych są popularni, ponieważ wiele błędów w sztucznej inteligencji wynika z problemów jakościowych. Odpowiedź może brzmieć płynnie, a mimo to coś pominąć. Streszczenie może być łatwe do przeczytania, a jednak nie oddać istoty sprawy. Wiadomość wsparcia może brzmieć pewnie, choć narusza zasady.

W tym modelu wynik jest obliczany na podstawie ustalonej rubryki, obejmującej m.in. dokładność faktograficzną, przestrzeganie instrukcji, kompletność, ton, bezpieczeństwo, jakość cytatów i ogólną użyteczność, a następnie podawany jest etykietka, ocena, uzasadnienie oraz dowody poparcia. Taki podejście sprawdza się dobrze, gdy wynik ma znaną formę, ale nadal wymaga osądu, a także umożliwia skalowanie procesu recenzji bez konieczności czytania wszystkiego przez człowieka.

Słabe kryteria to źródło problemów. Poproś sędziego, aby szukał „dobrego odpowiedzi”, a wtedy jakość zostanie doceniona. Jeśli poprosisz go o sprawdzenie dowodów, ograniczeń i możliwych błędów, narzędzie stanie się znacznie bardziej przydatne.

Sędziowie zasługują na własną ocenę: jak spójne są uzyskane wyniki, jak często różni sędziowie się zgadzają, jak solidne jest przedstawione uzasadnienie, jak dobrze dowody są uzasadnione, jak często błędnie przyznają wynik pozytywny lub negatywny oraz jak dokładnie odpowiadają one ludzkim ocenom. Ocena obejmuje streszczenia, odpowiedzi wspierające, jakość pisania, przegląd zasad, jakość wydobywania informacji oraz odpowiedzi oparte na rozumowaniu, które mają jasne kryteria.

Warstwa trzecia: agent jako sędzia

Agenty pozostawiają za sobą ślady swoich działań, więc sędzia, który widzi tylko ostateczny wynik, przegapia najważniejsze sygnały. Sędzia-agent analizuje cały proces, w tym polecenia, sposób wyboru kontekstu, wywołania narzędzi, obserwacje w trakcie pracy, próby ponowne, edytowane pliki, przeprowadzone testy oraz ostateczny produkt. Zadaje precyzyjne pytania: czy narzędzie zostało dobrze dobrane? Czy nieudany test został zignorowany? Czy kontekst był przestarzały? Czy zmieniły się niepowiązane pliki? Czy agent przerwał pracę przed zakończeniem?

To ma znaczenie, ponieważ błędy agentów są często subtelne. Wynik może udawać, że przechodzi proste sprawdzenie, podczas gdy droga, która go doprowadziła, ujawnia rzeczywisty defekt.

Przydatne miary obejmują to, czy trajektoria była poprawna, jak dobra była ścieżka narzędzia, w jaki sposób agent się odbudował, jak wykorzystywał dowody, czy zadanie zostało ukończone, jak skutecznie wykrywano ukryte błędy oraz czy eskalacje były prawidłowe. Korzystają z tego zarówno agenci zajmujący się kodowaniem, badaniami, danymi, przeglądarkami, jak i procesami pracy, a także wszędzie tam, gdzie ścieżka ma takie samo znaczenie jak cel.

Warstwa czwarta: diagnozowanie śladów

Czwarta warstwa odchodzi od pojedynczych wykonywań. Agent diagnostyczny analizuje tysiące śladów i sprawdza, co się zmieniło. Być może błędy wzrosły po edycji instrukcji. Być może do analizy tabelek wybrano niewłaściwe narzędzie. Być może opóźnienie rośnie, gdy funkcja pobierania zwraca zbyt wiele plików. Być może agent QA zaznacza halucynacje, ale pozwala przejść obok pominiętych wymagań.

Jego zadaniem jest powiązanie zmiany wydajności z konkretną przyczyną: wyborem kontekstu, sformułowaniem promptu, kierowaniem narzędziem, konfiguracją procesu pracy, zachowaniem modelu, jakością pobierania danych lub samym kodem. Samo zgłoszenie spadku wyniku nie wystarcza. Wynikiem powinien być konkretny pomysł na rozwiązanie, takie jak edycja promptu, dodanie nowego przypadku oceny, dostosowanie progu kierowania, aktualizacja umiejętności, zmiana w kodzie lub prośba o pull request.

Jakość w tym przypadku zależy od tego, jak wiele śladów zostanie objętych analizą, jak dokładnie określone zostaną przyczyny podstawowe, jak dobrze wykrywany jest odchylenie, jak grupują się błędy, jak pewna jest przypisanie przyczyny, jak dobra jest proponowana poprawka oraz jakie jest ryzyko regresji. Nadaje się do platform agentów produkcyjnych, zajętych agentów obsługi klienta, asystentów programistycznych, agentów procesów roboczych w przedsiębiorstwach oraz wszystkiego, co jest często aktualizowane.

Warstwa piąta: zamknięcie pętli

Na górze pętla się zamyka. Zbierane są dane telemetryczne, diagnozowane są powtarzające się awarie, generowana jest propozycja naprawy, która jest testowana w środowisku izolowanym, następnie sprawdzana w odniesieniu do idealnych zbiorów danych i wcześniejszych zapisów, a w końcu wdrażana w kontrolowany sposób. W tym momencie samodoskonalenie staje się elementem inżynierii, a nie czymś przypadkowym.

Agent nie powinien wdrażać żadnych zmian tylko dlatego, że jeden wskaźnik nieco wzrósł. Konieczne są określone zasady kontroli: testy regresji, scenariusze atakowe, pytania typu kontrafaktyczne, ruch testowy typu canary, plany odwrócenia działań oraz progi decyzyjne wymagające interwencji człowieka.

Największym zagrożeniem jest hacking nagród. Agent może nauczyć się zadowalać swojego oceniającego, nie wykonywając rzeczywistej pracy. Agent zajmujący się programowaniem może ukryć błąd, agent obsługujący obrazy może wymyślić szczegóły, które poprawią ocenę wizualną, a agent piszący może podążać za frazami z kryteriów oceny, tracąc przy tym charakterystyczny styl autora. Dlatego oceniający potrzebują dodatkowych metod oceny, takich jak niezależne sprawdzenia, standardy pochodzące od ludzi, analiza niezgód, wielopoziomowa kontrola jakości oraz regularna korekta kryteriów oceny.

Traktowanie oceny jako systemu kontrolnego

Najgłębsza zmiana dotyczy aspektu operacyjnego. Zespoły powinny wykorzystywać ocenę jako system kontrolny platformy agentów, a solidny program odpowiada na pięć pytań:

  1. Czy zadanie zostało ukończone? Ważna jest odpowiedź, a także przestrzeganie instrukcji, dokładność faktograficzna, zgodność z zasadami oraz kryteria sukcesu specyficzne dla danego zadania.
  2. Czy ścieżka działania była poprawna? Biorąc pod uwagę użyte narzędzia, należy sprawdzić, które z nich działały, jakie dowody je potwierdzały, jakie próby ponownego uruchomienia miały miejsce, co uległo awarii bez uprzedzenia oraz czy eskalacja nastąpiła we właściwym momencie.
  3. Dlaczego zmieniła się wydajność? Spadek wydajności w środowisku produkcyjnym może wynikać z zapytań, zachowania modelu, procesu pobierania danych, progów routingu, ustawień procesu pracy, błędów narzędzi lub kodu, a diagnostyka musi odróżnić objawy od przyczyn.
  4. Czy można bezpiecznie zaproponować rozwiązanie? Przed wprowadzeniem do użycia kandydatów na rozwiązania poddaje się testom w środowisku sandbox, ponownemu odtwarzaniu starych zapisów, przypadkom atakowym oraz zestawom testów regresji.
  5. Kto audytuje audytora? Sędziowie również mogą się zmieniać – stawać się łagodniejsi, surowsi lub łatwowierni, dlatego potrzebne są zestawy kalibracyjne, benchmarki sprawdzane przez ludzi, mechanizmy weryfikacji niezgód oraz wielopoziomowe testy jakości.

Procedury deterministyczne radzą sobie z known failureami, algorytmy LLM oceniają jakość, a agenci sprawdzają trasy; agenty diagnostyczne wykrywają powtarzające się wzorce, a zasady meta-harness decydują, czy ulepszenie można bezpiecznie wdrożyć. Ludzie są włączeni w proces, ale na wyższych szczeblach: mniej powtarzających się przeglądów, więcej zabezpieczeń, obsługa wyjątków, kalibracja oraz projektowanie polityk.

Wprowadzanie wyników produkcji z powrotem

Gdy system oceny jest już uruchomiony, kolejnym krokiem jest uczenie się na podstawie rzeczywistego użytkowania. Telemetria dostarcza danych do diagnostyki, diagnostyka udoskonala procesy oceny, a wyniki oceny kierują procesem optymalizacji; zweryfikowane zmiany trafiają z powrotem do etapowego wdrażania. Dwa procesy działają równolegle.

Jeden z aspektów ma charakter jakościowy. Informacje zwrotne z produkcji, ślady działania użytkowników, dane analityczne, nieudane zadania, zgłoszenia do obsługi klienta oraz błędy narzędzi nie powinny pozostawać jedynie na panelach kontrolnych. Powinny trafiać do procesów oceny. Gdy użytkownicy ciągle poprawiają ten sam wynik, jest to nowy przypadek testowy. Gdy ślady wskazują na niewłaściwy wybór narzędzia, jest to sprawdzenie trajektorii działania. Gdy dane analityczne pokazują spadek efektywności na określonym etapie, jest to scenariusz wart ponownego przetestowania.

Drugi aspekt to systematyczna optymalizacja. Gdy specyfikacje, kod oraz wyniki ocen są już jasne, dostosowywania stają się znacznie bardziej uporządkowane. Specyfikacje opisują zamierzone zachowanie, kod zawiera logikę, ograniczenia, narzędzia oraz ścieżki działania, a wyniki ocen dostarczają wskaźników decydujących o tym, czy sytuacja się poprawiła. Na podstawie tych trzech elementów narzędzia mogą proponować szybkie edycje, zmiany progów, dostosowania ścieżek, dodatkowe testy lub modyfikacje kodu.

Cykl, krok po kroku:

Sygnały z rzeczywistego użycia służą do udoskonalania ocen, co z kolei napędza optymalizację programu agenta, który jest ponownie uruchamiany w środowisku sandbox, przechodzi testy regresji, jest wdrażany pod kontrolą, a następnie generuje nowe sygnały z rzeczywistego użycia.

Z tego punktu widzenia oceny nie są jednorazowymi wynikami. Są to cykl operacyjny napędzający doskonalenie agenta: uczenie się na podstawie rzeczywistego użycia, przekształcanie go w dokładniejsze oceny, dostosowywanie agenta na ich podstawie oraz wypuszczanie tylko tych elementów, które przetrwają weryfikację.