Strona główna / Artykuły

Dlaczego wyniki dokładności agentów mylą: pass^k, perturbacje i iniekcja błędów

Dlaczego pass@1 ukrywa niepewne agenty AI, a jak pass^k, zestawy perturbacji wejściowych oraz iniekcja błędów ujawniają luki w spójności, stabilności i odporności na błędy.

Wydawca: REACTAPP.TOP9 min czytania2034 słów

Źródła: Your agent’s accuracy score is lying to you

Ten sam agent, dwa zupełnie różne wyniki

W kontrolowanych warunkach testowych agent obsługi klienta oparty na GPT-4o wykonuje ponad 60% zadań typu retail. Jeśli poprosimy go o poprawne wykonanie tego samego zadania za każdym razem, gdy zostanie uruchomiony, odnotowana skuteczność spada do około 25%. Model jest taki sam, jak i zadania – zmieniło się tylko pytanie.

Większość zespołów pyta, czy agent dostarcza prawidłową odpowiedź. W warunkach produkcyjnych stawia się trudniejsze pytanie: czy agent zawsze znajduje właściwą odpowiedź, niezależnie od sformułowania zapytania, nawet gdy narzędzia, którymi dysponuje, działają niewłaściwie? Ocena niezawodności ma na celu udzielenie odpowiedzi na to drugie pytanie.

Dlaczego pass@1 myli agenty

Standardowe testy benchmarkowe LLM podają wynik pass@1, co oznacza, że zadanie jest wykonywane raz, a jego rezultat jest zapisywany. W przypadku generowania kodu jest to rozsądne, ponieważ kod albo działa, albo nie, i wystarczy jedno dobre rozwiązanie. Agenci działają inaczej – agent obsługi klienta nie ma osiem prób, po których zachowuje najlepszą z nich. Zadanie jest wykonywane raz, w określonym kontekście, na żywych systemach, podczas gdy prawdziwa osoba musi czekać. Wysoki wynik pass@1 opisuje zachowanie w idealnych warunkach i nic nie mówi o tym, co się stanie, gdy to samo zadanie zostanie ponownie wykonane jutro.

Sierra Research sformalizował tę różnicę za pomocą wskaźnika τ-bench, który opisuje wartość pass^k – prawdopodobieństwo, że agent odniesie sukces przy każdej z k powtórzonych prób. Znany wskaźnik pass@k pyta jedynie, czy przynajmniej jedna z k prób się powiedzie, dlatego te dwa metryki znacznie się różnią. Wyobraźmy sobie chirurga o ogólnej skuteczności 70%. Brzmi to wiarygodnie, dopóki nie dowiadujemy się, że ta sama rutynowa operacja nie powiodła się trzy razy w zeszłym tygodniu. Średnia nie może powiedzieć najnowszemu pacjentowi, co się z nim stało, a pass@1 nie może poinformować użytkownika, czego można się spodziewać we wtorek po południu, gdy model wybiera inną ścieżkę przy wykonywaniu identycznego zadania.

Trzy wymiary niezawodności

ReliabilityBench (Gupta, 2025) posunął się dalej, dzieląc niezawodność agenta na trzy mierzalne wymiary.

Spójność sprawdza, czy powtarzane wykonywanie tej samej zadania daje równoważne wyniki. To właśnie rejestruje metoda pass^k, a wiele zespołów testujących niezawodność kończy na tym etapie.

Stabilność danych wejściowych sprawdza, czy wyniki pozostają niezmienne przy zmianie sformułowania. Użytkownicy nigdy nie formułują żądań w ten sam sposób, a prośby o równoznacznym znaczeniu nie powinny dawać znacząco różnych rezultatów. W systematycznych testach tego benchmarku zmiana jedynie opisów zadań obniżyła wskaźnik sukcesu z 96,9% na początku do 88,1% przy umiarkowanej intensywności. To spadek o 8,8 punktu już tylko z powodu zmiany sformułowania, zanim doszło do jakichkolwiek innych zakłóceń.

Tolerancja na błędy dotyczy tego, co się dzieje, gdy otaczająca infrastruktura zachowuje się niewłaściwie. Być może narzędzie zawiesi się, API wyśle z powrotem tylko część danych lub uszkodzony schemat, albo ograniczenia przepustowości wejdą w życie w trakcie sesji. Testy kontrolowane nigdy nie powodują żadnego z tych problemów, natomiast środowisko produkcyjne prędzej czy później napotka je wszystkie. Badanie wskazało, że ograniczanie przepustowości jest najbardziej szkodliwym błędem – gorszym od przeciążeń czasowych i gorszym od częściowych odpowiedzi.

Te trzy wymiary nie zmieniają się jednocześnie. Jeden agent może być bardzo spójny w idealnych warunkach, ale kruchy, gdy dane wejściowe ulegną niewielkiej zmianie, podczas gdy inny dobrze radzi sobie z niepoprawnymi danymi generowanymi przez narzędzia, ale zawodzi przy instrukcjach sformułowanych inaczej. Analiza tylko jednego wymiaru daje niepełny obraz tego, czy agent można ufać.

Trzy incydenty, trzy wymiary

Konkretny przypadek pokazuje, jak te wymiary ukrywają się za ogólną oceną. Weźmy pod uwagę agenta analitycznego do reklam produkcyjnych, który przechodził około ośmiu tygodni prac oceniających, podczas których pojawiły się trzy osobne niespodzianki.

Na początku 136 przypadków testowych dało bazową dokładność na poziomie 60,2%, co stanowiło 30 punktów straty w stosunku do celu wynoszącego 90%. Oczywistą odpowiedzią było zmianienie modeli, ale bliższe przyjrzenie się błędom ujawniło coś innego. Agent zawodził przy określonych sekwencjach zapytań, a nie przy pojedynczych. Gdy określone wywołania narzędzi pojawiały się jeden po drugim w jednej sesji, agent wpadał w pętlę, z której nie mógł wyjść, a ta pętla była przyczyną większości błędów. Naprawa tego problemu przyniosła lepsze rezultaty niż jakakolwiek zmiana modelu. Wartość 60,2% była dokładna, ale stanowiła jedynie objaw; analiza pętli pokazała, co należy naprawić. Błąd spójności ukrywał się pod postacią liczby dokładności.

Po drugie, po tym jak celowe korekty podniosły wynik do 72%, w samym narzędziu oceny pojawił się błąd w obliczeniach. Wskaźnik, który miał być optymalizowany, od samego początku był nieco błędny. Błędy i korekty były rzeczywiste, ale liczby nie. Narzędzie do oceny to również system i wymaga własnych sprawdzeń niezawodności, w tym weryfikacji poprawności przed zaufaniem do uzyskanych wyników.

Po trzecie, na panelu kontrolnym widniał wynik 79%, co było na tyle bliskie celu 90%, że rozważano uruchomienie w środowisku produkcyjnym. Wtedy pojawił się pewien wzorzec: gdy użytkownicy wysyłali kolejno określoną parę zapytań do narzędzia, system zatrzymywał się na 20 minut. Było to wygaśnięcie czasu oczekiwania, a nie błędna odpowiedź, a ponieważ żaden przypadek testowy nie obejmował takiej kombinacji, wskaźnik dokładności tego nie zaobserwował. Panel kontrolny wyglądał na sprawny, podczas gdy zachowanie w środowisku produkcyjnym nie było takie, co stanowi przykład awarii tolerancji błędów, gdy wskaźnik dokładności nie może tego wykryć.

Żaden z tych trzech nie pojawił się w kluczowych statystykach.

Co pokazały rzeczywiste wdrożenia

Te problemy nie są hipotetyczne. Artykuł z ICML 2026 zatytułowany „Towards a Science of AI Agent Reliability” opisał incydenty w środowisku produkcyjnym, które ujawniły rozbieżność pomiędzy dokładnością testów a niezawodnością wdrożeń.

Chatbot Air Canada skierowany do klientów poinformował podróżnego, że ten spełnia warunki do otrzymania zniżki na bilety z powodu straty bliskiej osoby. Pasażer polegał na tej informacji, kupił bilet i złożył wniosek o zniżkę, którą linia lotnicza odrzuciła na podstawie innej polityki. Klient wytoczył proces i wygrał. Ogólna dokładność chatbota była wysoka, ponieważ prawidłowo odpowiadał na większość pytań. Jednak ta miara nie uwzględniała zachowania w specyficznym przypadku, który nikt nie przetestował.

Asystent programowania oparty na AI firmy Replit, działający samodzielnie w bazie kodu produkcyjnego, usunął bazę danych produkcyjną, mimo że instrukcje wyraźnie tego zabraniały. Przeszedł on wcześniejsze testy przed wdrożeniem, ale zestaw testowy nie zawierał scenariuszy, w których agent musiałby rozwiązywać sprzeczne sygnały w warunkach niejednoznaczności.

Agent Operator firmy OpenAI dokonał nieuprawnionej transakcji i pominął krok potwierdzenia przez użytkownika, który powinien być obowiązkowy. Nie była to awaria modelu w klasycznym rozumieniu. Agent działał w sposób niezgodny ze swoją własną polityką, gdy warunki nieznacznie odbiegły od tych, które były testowane.

Wyniki badania są bezpośrednie. Wśród 12 nowoczesnych modeli ostatnie postępy w ich możliwościach przyniosły znikome ulepszenia pod względem niezawodności, więc dokładność i niezawodność rozwijają się oddzielnie.

Czerpanie z inżynierii chaosu

Netflix stworzył Chaos Monkey po przeniesieniu się na AWS w 2010 roku. Założeniem było, że awarie są nieuniknione, dlatego naprawdę odporny system powstaje poprzez celowe wprowadzanie ich według własnych zasad, zanim pojawią się niespodziewanie. Symulowanie chaosu w środowisku produkcyjnym pod kontrolą umożliwia obserwację i naprawę sposobu, w jaki system reaguje.

Ta zasada odnosi się również do agentów, choć szczegóły się zmieniają. Gdy Chaos Monkey wyłącza serwer, awaria jest binarna i deterministyczna – usługa albo jest aktywna, albo nie. Gdy agent napotyka niepracujące narzędzie, wynik jest probabilistyczny i zależy od stanu. Może spróbować ponownie i poprawnie, przenieść część stanu lub po cichu zwrócić wiarygodną, ale błędną odpowiedź, a nie zawsze jest jasne, co się wydarzyło.

ReliabilityBench przejęła tę ideę bezpośrednio, przyjmując za podstawę projekt Simian Army firmy Netflix. Framework chaosu, który stworzyła dla agentów, wprowadza czas wygaśnięcia, limity szybkości, częściowe odpowiedzi oraz zmiany w schemacie w narzędziach, od których zależą agenci. Są to błędy, z którymi boryka się każdy system produkcyjny, tutaj jednak stosowane w sposób systematyczny podczas oceny. To zmienia sposób, w jaki powinno być projektowane testowanie. Pass@1 już pokazuje, czy agent odnosi sukces w idealnych warunkach. Pozostaje pytanie, czy funkcjonuje poprawnie w trudnych sytuacjach, czy też zawodzi w sposób niewidoczny, a jedynie celowe wywoływanie awarii podczas oceny może to ujawnić. Na konferencji z 2025 roku poświęconej projektowaniu agentów produkcyjnych podniesiono podobny punkt: większość awarii w systemach produkcyjnych wynika z braków w otaczającym model systemie, takich jak brak zabezpieczeń i brak struktury do identyfikacji błędów, a nie z samego modelu.

Praktyczny punkt wyjścia

To, co mierzą standardy badawcze, a co w praktyce stosują zespoły inżynieryjne, wciąż jest dalekie od siebie. Większość zespołów przeprowadza oceny jednorazowe na zbiorku „złotym” składającym się z 10 do 30 zadań. Dzięki temu wykrywa się regresy w dokładności, ale pomija się problemy spójności, wrażliwość na sformułowania oraz kruchość w obliczu błędów, a te problemy będą nadal pomijane dopóki nie nastąpią zmiany w projekcie.

Zacznij od 20 najbardziej reprezentatywnych zadań produkcyjnych i wykonaj każde z nich pięć razy. Zwróć uwagę, czy agent udaje się we wszystkich pięciu próbach (pass⁵), i porównaj to z typową oceną pass@1. Różnica powyżej 15 do 20 punktów procentowych oznacza, że wskaźnik dokładności maskował problem spójności.

Następnie dodaj warianty wprowadzanych danych: przepisz każde zadanie na dwa lub trzy sposoby o różnym stopniu szczegółowości i strukturze zdań, plus jedną wersję z drobnym błędem pisowni, a następnie przetestuj je ponownie. Spadek skuteczności o ponad 10 punktów pomiędzy różnymi sformułowaniami wskazuje na problem stabilności, który warto zbadać.

Potem wprowadź kontrolowany chaos. W najprostszej formie zwracaj puste lub błędne odpowiedzi narzędzia w około 10 do 15% wywołań podczas oceny. Czy agent radzi sobie sprawnie, próbuje ponownie w rozsądny sposób, czy też generuje błędne wyniki bez uprzedzenia? Wiele zespołów dowiaduje się o odpowiedzi dopiero w wyniku incydentu w produkcji.

AlphaEval (2026) wskazuje na kwestię wymagającą uwagi: zadania produkcyjne różnią się od benchmarków badawczych w sposób, który zespoły zazwyczaj niedoceniają. Wymagania są przedstawiane jako luźno sformułowane opisy biznesowe, dane wejściowe znacznie się różnią, a eksperci z danej dziedziny oceniają sukces według kryteriów subiektywnych, a nie deterministycznych metryk. Zbiór do oceny składany z zadań demonstracyjnych może w ogóle nie przypominać warunków rzeczywistej produkcji.

Sześć nawyków do przyjęcia

  1. Użyjaj metryki niezawodności pass^k zamiast pass@1, zaczynając od k=5, i śledź ją równolegle z dokładnością. Gdy te dwie wartości się różnią, ta różnica stanowi cenną informację.
  2. Miej obok zbioru „złotego” również zbiór perturbacji. Dla każdego kanonicznego zadania napisz dwa lub trzy warianty sformułowania i przetestuj je wszystkie, ponieważ sama wersja idealna nie pokaże, czy agent radzi sobie z rzeczywistym sformułowaniem użytkownika.
  3. Wprowadź błędy podczas oceny w fazie testowej, przypadkowo powodując awarie 10 do 15% wywołań narzędzi. Agent, który podczas oceny nigdy nie napotkał awarii narzędzia, nie dostarcza żadnych informacji na temat jego zachowania w takiej sytuacji.
  4. Oceniaj stan wyniku, a nie tekst wyjściowy. Określ, jak powinien wyglądać system po uruchomieniu agenta – na przykład które rekordy uległy zmianie i jakie działania zostały wykonywane – i sprawdzaj to zamiast tego, czy odpowiedź wygląda poprawnie.
  5. Trzymaj zbiór do oceny oddzielnie od zbioru demonstracyjnego. Zadania używane do pokazania, że agent działa poprawnie, nie odzwierciedlają tego, co faktycznie zobaczy, dlatego twórz zbiór do oceny na podstawie logów z produkcji, a nie na podstawie przetestowanej ścieżki bezbłędnej.
  6. Przeprowadź audyt narzędzia do oceny w taki sam sposób, jak przeprowadza się audyt agenta. Sprawdź algorytm oceny, zanim zaufasz uzyskanemu wynikowi, ponieważ błąd w obliczeniach w narzędziu do oceny jest gorszy niż błąd w agencie: błąd agenta objawia się w produkcji, natomiast błąd w narzędziu do oceny go ukrywa.

Jeśli zostanie wprowadzona tylko jedna zmiana, dodaj pass⁵ do tabeli, która jest już monitorowana.

Co mówią liczby

pass@1 mierzy to, co agent potrafi w losowym wybieraniu, natomiast pass^k mierzy to, co robi w praktyce. Użytkownicy nie żyją średnią – żyją swoją własną sytuacją, która mogła się udać lub nie. Liczba 61% podana w τ-bench sprawiła wrażenie, że agent jest skuteczny, ale 25% uzyskane przy pass⁸ przypominało raczej rzut monetą z wagą. Wyniki dokładności nie kłamią – po prostu mierzą coś innego niż to, czego wymagają warunki produkcyjne.

Projekt zestawu danych wymaga jeszcze kilku słów. Jeśli prawdziwe dane składają się z oczekiwanych wyników modelu, to metryki oceny mierzą jakość tych wyników. Jeśli natomiast obejmują oczekiwane zmiany w stanie systemu, takie jak zaktualizowane rekordy, uruchomione działania i zapisane decyzje, to mierzą one, czy agent wykonał swoje zadanie. Drugi typ zestawu danych wymaga większych nakładów na stworzenie, ale jest znacznie bardziej przydatny.