Dlaczego agenci przechodzą każdą ocenę offline, a mimo to zawodzą w środowisku produkcyjnym
Sześć trybów driftu powoli starzeje zestaw do oceny. Wynik pomiaru na czterech osiach oraz cotygodniowy cykl grupowania i promowania zapewniają wiarygodność wskaźników w odniesieniu do rzeczywistego zachowania ruchu w sieci.
Źródła: Why Your Agent Passes Every Eval and Still Fails in Production
Załóżmy agenta obsługi klienta, który ma czysty zestaw CI: 47 scenariuszy, cztery kryteria oceny, wszystko w kolorze zielonym, więc produkt może zostać wypuszczony. Kilka tygodni po rozpoczęciu pracy system podaje kwoty zwrotów, które różnią się od rzeczywistych o dziesięć razy. W kolejnych interakcjach agent postępuje sprzecznie. W jednym z zapisów pokazuje użytkownikowi zamówienie innego klienta. Jednak gdy sprawdza się te nieudane rozmowy, każda z nich nadal otrzymuje wysoką ocenę pod kątem wierności treści w poszczególnych krokach rozmowy. Mimo to każda rozmowa ostatecznie zawiodła użytkownika. System orzekł o wypuszczeniu produktu, a do tego czasu zaufanie do niego już zniknęło.
Kryteria oceny nie są przyczyną
Pierwszym odruchem jest obwinianie specyfikacji. Lepszym wyjaśnieniem jest to, że w marcu wszystko było w porządku, a do kwietnia dane stały się przestarzałe, ponieważ proces produkcji nigdy nie przestał działać. Zbiór danych do oceny to jedynie chwila obrazowa, podczas gdy produkcja to rzeka. Dane z ocen nie trafiają do użytkowników, natomiast ślady działania aplikacji tak. Każda nowa wersja zaczyna „starzeć” ten zbiór już w dniu swojego wdrożenia, i o ile nowe błędy nie trafiają z powrotem do zbioru offline, to różnica pomiędzy pomyślnym działaniem w trybie offline a awarią w środowisku produkcyjnym nie jest przypadkowa – wynika to prosto z logiki.
Dostateczna liczba takich incydentów prowadzi do jednego wniosku: należy oceniać ślady działania aplikacji w środowisku produkcyjnym, a nie starannie przygotowane przypadki testowe. Oceny offline wciąż stanowią przydatną barierę regresji, ale nigdy nie mogą być jedynym elementem chroniącym przed wprowadzeniem zmian, ponieważ to, co one mierzą, zniknęło w momencie zapisania danych. Sześć rodzajów odchyłek powoli niszczy każdy zbiór danych do oceny, przy czym każda z nich działa we własnym tempie:
- Drift zbiórki danych: wszystkie sprawdzone przypadki przepuszczają testy, natomiast w środowisku produkcyjnym pojawiają się intencje użytkowników, których zbiór nigdy nie zawierał.
- Drift narzędzia i API: mocki zwracają taką samą strukturę danych, podczas gdy dostawca zmienił schematy lub kody błędów.
- Drift promptów: kryteria oceny były ustalone dla wersji prompt v3, podczas gdy w środowisku produkcyjnym używana jest wersja v17, a kryteria nadal oceniają wersję v3.
- Drift korpusu danych: indeks został ustalony w momencie budowy, natomiast indeks w środowisku produkcyjnym podwoił się, przez co ta sama zapytanie trafia teraz do nowych fragmentów danych.
- Drift rozkładu użytkowników: dane testowe zostały stworzone ręcznie, podczas gdy rzeczywisty ruch użytkowników w ogóle do nich nie przypomina.
- Kumulacja kroków agenta: każdy krok kończy się sukcesem w 95 procentach przypadków, jednak osiem kroków z rzędu daje efekt około 66 procent.
Zamrożenie zestawu do oceny oznacza zamrożenie założeń dotyczących tego, co zrobią użytkownicy, jak zareagują narzędzia, który prompt będzie aktywny i co pokaże system wyszukiwania. Kilka miesięcy później każde z tych założeń zmieniło się w inny sposób, a kryteria oceny, które wcześniej pozwalały na bezproblemowe przejście, oceniają już świat, w którym agent już nie funkcjonuje.
W rzeczywistości z tymi kryteriami nie ma nic złego. Po prostu stały się przestarzałe, podobnie jak test jednostkowy, którego funkcja docelowa została przepisana pod nim – pokazują one wynik „zielony”, ale nie chronią już niczego. W przypadku oprogramowania rozwiązaniem jest ponowne przetestowanie nowej funkcji. W przypadku agentów rozwiązaniem jest ocena rzeczywistych śladów ich działania. Jedna definicja kryteriów pełni więc dwie funkcje: służy do kontrolowania procesu CI w oparciu o zaktualizowany zestaw danych oraz do oceny rzeczywistych śladów jako atrybutu na poziomie poszczególnych operacji. CI ustala minimalne standardy, a wyniki w czasie rzeczywistym odzwierciedlają aktualną sytuację, a co tydzień zestaw danych obejmuje ślady, które właśnie zostały zaznaczone przez kryteria oceny.
Jak pojawia się każdy odchylenie i jak je naprawić
Odchylenie zbioru danych. Podczas uruchomienia ktoś przygotował ten zbiór, a od tamtej pory użytkownicy wprowadzają intencje, których nikt wcześniej nie przewidział. Wyniki nie zmieniają się, ponieważ dane również się nie zmieniają. Należy uważać na wyniki offline, które pozostają niezmienne przez miesiące, podczas gdy skargi z produkcji stają się coraz bardziej zróżnicowane, a inżynierowie nie potrafią odtworzyć większości raportów na podstawie zbioru testowego. Co tydzień wybierz przykłady nieudanych śladów, zagrupuj je według segmentu, intencji i wyniku, a najtrudniejsze 5 do 10 procent oznacz tagiem wersji, zanim dodasz je do zbioru. Każdy promowany ślad w ten sposób chroni przed konkretną regresją.
Odchylenie Tool-API. CI wykorzystuje symulowaną narzędziowość, a pewnego wtorku rzeczywisty endpoint zmienia swoją strukturę, format błędów lub zasady ograniczania szybkości. Agent próbuje ponownie, pętla wygaśnia i agent tworzy przekonującą odpowiedź, ale CI pozostaje w stanie „zielonym”, ponieważ symulacja nadal zwraca dane z wczoraj. Rosnąca opóźniona i liczba prób, ocena odpowiedzi, która nadal jest pozytywna, oraz rosnące koszty za każdy sukces to wskaźniki tego problemu. Należy zastosować osobną ocenę dla udanych wywołań narzędzi w warunkach rzeczywistych, aby uszkodzone wywołanie znajdowało się w śledzeniu obok uszkodzonej odpowiedzi. Symulacje pomagają wykryć regresje spowodowane przez nas, natomiast rzeczywista ocena pomaga wykryć te spowodowane przez dostawcę.
Odchylenie w promptach. Prompt v17 został wdrożony w piątek, podczas gdy kryteria oceny nadal odzwierciedlają to, co było ważne w wersji v3 z lutego. Agent jest oceniany według przestarzałych zasad. Dobrym wskaźnikiem jest starszy inżynier, który analizuje dziesięć przypadków, nie zgadza się z sędzią w sześciu z nich i nie potrafi wytłumaczyć dlaczego. Wprowadź poprawki do kryteriów oceny wraz z poprawkami do promptów, traktuj to jako test zgodności z zasadami, i obserwuj stopień zgodności sędziego z człowiekiem na małej grupie przypadków kalibracyjnych, aby można było zauważyć, gdy kryteria oceny się opóźniają.
Drift korpusu wyszukiwania. Ocena narzędzia wyszukiwania w marcu obejmowała 12 000 dokumentów przy jednej wielkości fragmentów. Do maja liczba dokumentów w indeksie wzrosła do 38 000, zmiana sposobu embedowania wpłynęła na ranking fragmentów, a identyczne zapytanie trafia teraz w inne miejsce. Generator sumiennie buduje wyniki na podstawie dostępnych danych, dlatego wskaźnik trafności nadal wynosi 0,94, mimo że materiał źródłowy jest błędny. Objawem tego jest fakt, że użytkownicy uważają bota za mniej przydatnego niż w poprzednim kwartale, przy niezmienionych kryteriach generowania. Ocena powinna być przeprowadzana oddzielnie dla poszczególnych warstw. Kryteria wyszukiwania, takie jak trafność kontekstowa i przypisanie fragmentów, wskazują na zmiany w indeksie, które jednak są maskowane przez oceny generowania. Spadek trafności przy stałej wartości wskaźnika trafności wskazuje na problem z narzędziem wyszukiwania, natomiast przeciwny scenariusz wskazuje na problem z generatorem. Jedna analiza podziałowa zastępuje trzy dni domysłów.
Odchylenie w rozkładzie użytkowników. Osoba, która stworzyła ten zestaw, albo napisała przykłady ręcznie, albo zaczerpnęła je z pierwszego miesiąca ruchu. Później rzeczywiści użytkownicy wprowadzają slanga, mieszanki języków, długie zapytania, zrzuty ekranu oraz serię dalszych wiadomości, których zestaw nigdy nie widział, więc system oceniający, dostosowany do skatalogowanych danych, traktuje żywe rozmowy znacznie łagodniej niż człowiek. Jeśli sprawdzone ślady produkcji różnią się od oceny systemu o 15 punktów lub więcej, inżynierowie przestają ufać tej skali ocen i zwracają się do surowych śladów. Należy kalibrować system oceniający na przykładach z produkcji, a nie na zbiorze danych, oraz mierzyć rozbieżność między systemem a człowiekiem jako odrębną miarę.
Kumulacja kroków. Załóżmy, że każdy krok przynosi 95 procent punktów, a jedna sesja obejmuje osiem wywołań narzędzi. Podnosząc 0,95 do ósmej potęgi, otrzymujemy 0,66, co oznacza, że mniej więcej dwie trzecie sesji kończą się błędem strukturalnym, mimo że każdy krok wydawał się prawidłowy. Kryteria oceny nigdy nie uwzględniają takiego mnożenia. Silne wyniki na poziomie poszczególnych kroków w połączeniu z słabymi wynikami dotyczącymi ukończenia zadania, rezultatu i satysfakcji są sygnałem problemu, podobnie jak zgłoszenia o tym, że bot powtarza te same pytania lub najpierw zgadza się, a potem odmawia. Oceniaj całe ślady interakcji: kompletność, przestrzeganie ról i retencję wiedzy na poziomie rozmowy, a także ocenę tego, w jaki sposób plan był realizowany w całym drzewie operacji. Wskaźniki obejmujące kilka kroków generują więcej błędów przy tym samym nakładzie zasobów, ale znacznie dokładniej odzwierciedlają rzeczywiste doświadczenie użytkownika.
Dlaczego większy zbiór danych nie pomaga
To, co łączy te sześć przypadków, to moment czasu. Każdy z nich pojawia się po tym, jak zbiór danych do oceny został zamarznięty, a zbiór danych o stałej strukturze nie może zawierać hipotezy, której nikt wcześniej nie wysunął. Zbiór 10 000 przykładów z marca nic nie wie o zmianie schematu narzędzia w maju, rewizji instrukcji w czerwcu, ponownym włączeniu funkcji w lipcu ani o użytkownikach w sierpniu, którzy formułują prośby inaczej. Większy zbiór danych nie naprawia takiego „zdjęcia w czasie”, a jedynie pobieranie danych z rzeczywistej pracy może to zrobić, dlatego ocena powinna odbywać się tam, gdzie działa agent. Dobierane ręcznie dane są przyczyną regresji. Żywe ślady to materiał roboczy, w którym błędy gromadzą się i są oceniane w momencie ich wystąpienia. Każda z tych grup staje się następnie elementami zbioru danych na jutro, a cykl zaczyna się od nowa.
Wynik oceny śladów na czterech osiach
Wierność odpowiedzi na końcu każdej rundy jest zbyt ogólna, by zdiagnozować agenta, który „odchodzi od kursu”. Bardziej przydatny wynik oceny śladów ma cztery osie, z których każda oceniana jest od jednego do pięciu:
- Uzasadnienie faktograficzne: czy agent trzymał się uzyskanego kontekstu, czy też wymyślał informacje. To ujawnia problemy z pobieraniem danych i ich zmianą na poziomie odpowiedzi.
- Prywatność i bezpieczeństwo: czy doszło do wycieku danych osobowych, przekroczenia granic dostępu lub realizacji działań, których agent powinien był uniknąć, co pokazuje problemy z przyznawaniem uprawnień i odrzucaniem żądań.
- Przestrzeganie instrukcji: czy agent postępował zgodnie z aktualnymi wytycznymi systemu, które zmieniły się po wersji v17, podczas gdy jego zachowanie pozostało bez zmian.
- Wykonywanie planu: czy agent wybrał odpowiednie narzędzia w właściwej kolejności, bez zbędnych działań lub ślepych zaułków, co ujawnia problemy z kumulacją kroków i zmianami w narzędziach w całym grafie wywołań.
Cztery osie obejmują cztery rodzaje regresji i łączą się w jeden złożony wskaźnik. Gdy złożony wskaźnik spada na wykresie, osie wskazują, jaki tryb odchylenia wystąpił, a ponieważ te same osie są używane w CI oraz w rzeczywistych ścieżkach, słownictwo diagnostyczne jest identyczne w obu miejscach.
Zamknięcie pętli
Zmniejszanie luki to proces pracy, a nie funkcja, i składa się z pięciu kroków:
- Grupowanie nieudanych ścieżek w nazwane problemy, ponieważ nikt nie może sortować prostego listy 800 błędów.
- Ocena każdej grupy według wskaźnika czterech osi oraz dodanie krótkiej notatki dotyczącej naprawy do wykonania jeszcze dziś.
- Przeniesienie od trzech do dziesięciu typowych ścieżek z każdej grupy do zestawu offline, oznaczonych tagami trasy oraz etykietami oceny.
- Ponowna ocena: kolejne uruchomienie CI ocenia dodane wpisy za pomocą kryteriów używanych w środowisku produkcyjnym, dzięki czemu późniejsze zmiany w tych ścieżkach nie mogą powrócić do stanu poprzedniego.
- Optymalizuj prompt w odniesieniu do rozszerzonego zestawu, przy czym naprawa musi sprawić, by kryteria w CI zostały spełnione przed wdrożeniem.
Dla produktu używanego aktywnie należy to powtarzać co tydzień, a nawet częściej podczas trudnego wdrożenia. Statyczny zestaw starszy niż pół roku rzadko przypomina środowisko produkcyjne, a w przypadku szybko zmieniającego się agenta odchylenia stają się widoczne już po dwóch lub trzech tygodniach. Każdy incydent rozwiązany w ten sposób pozostawia test regresji, który nikt nie musi ponownie tworzyć.
Koszty, które należy uwzględnić
- Pętla zwiększa złożoność operacyjną. Oceny zakresu, klasterowanie oraz krok promocji to bardziej złożone mechanizmy niż zwykła folder z wynikami pytest. W zamian zestaw testów regresji staje się coraz trudniejszy, a nowe wdrożenie może odbywać się już przy użyciu śledzenia i ocen offline, z dodaniem pętli dopiero później.
- Sędzia, który sam się kalibruje, potrzebuje własnego zabezpieczenia. Rubryka dostosowana do rzeczywistego ruchu może zboczyć w miejsce, którego nikt nie przewidział, dlatego należy zachować małą grupę próbek oznaczonych ręcznie i uruchomić alarm, jeśli sędzia odbiegnie od nich bardziej niż ludzie odbiegają od siebie.
- Ocena powiązana z śladami jest droższa za każdą jednostkę szumu w porównaniu z oceną offline. Rubryka czterowymiarowa dla 30-sekundowego śladu jest droższa niż ocena za każdą turę w krótkiej sprawie i wykazuje większe zmienności. Próbki należy pobierać na podstawie sygnałów awarii, a nie losowo, oraz umieścić tani klasyfikator przed drogim sędzią.
Wersja skrócona
Zbiór do oceny zaczyna się starzeć w momencie wysyłki, a jego rozmiar nie naprawia problemów z zapisami w czasie rzeczywistym. Oceniaj aktualny ślad działania zamiast zamrożonego przypadku. Używaj jednej rubryki zarówno w środowisku CI, jak i w rzeczywistych zapisach, oceniaj każdą ścieżkę pod kątem trafności, bezpieczeństwa, przestrzegania instrukcji oraz realizacji planu, grupuj błędy i co tydzień wysyłaj je z powrotem do zbioru offline. Przetrwanie w trybie offline jest konieczne. To właśnie pomyślne oceny w śladach działania faktycznie chronią użytkowników. Zbiór starannie wybrany jest jedynie punktem wyjścia, natomiast produkcja to zbiór danych, który cały czas staramy się monitorować.