Gdy agent AI zawodzi, kogo obwiniać? Analiza przyczyn awarii
Dlaczego stwierdzenie „model wytworzył halucynację” jest niewystarczające: przegląd łańcucha awarii agenta od intencji i wyszukiwania po narzędzia, próby ponowne i śledzenie, oraz to, na co należy zwrócić uwagę.
Zdjęcie przedstawiające agenta AI proszonego o zarezerwowanie lotu do São Paulo na jutro rano, około 9:00. Kilka sekund później agent odpowiada, że lot został zarezerwowany. Tymczasem tak nie jest – nie ma biletu, żadnego e-maila potwierdzającego, żadnej opłaty.
Kuszącym wnioskiem jest to, że AI wytworzyło iluzję. Być może tak było. Ale możliwe też, że model zachował się dokładnie zgodnie z projektem. API do rezerwacji mogło zwrócić błąd, który agent błędnie zinterpretował. Agent mógł szukać lotów, nie używając przy tym narzędzia do rezerwacji. API mogło wykonać timeout po zakończeniu transakcji. Narzędzie mogło zwrócić jedynie wycenę, a nie potwierdzoną rezerwację. Albo „jutro rano” mogło zostać zinterpretowane w niewłaściwym strefie czasowej.
Gdy systemy AI zaczną wykonywać czynności zamiast jedynie odpowiadać na pytania, błędy stają się znacznie trudniejsze do wyjaśnienia. To stwarza nowy problem inżynieryjny: gdy agent zawodzi, kto lub co ponosi winę?
Stary oprogramowanie było łatwiejsze do debugowania
Oprogramowanie konwencjonalne może być skomplikowane, ale jego ścieżka wykonywania jest zazwyczaj znajoma:
User
↓
Frontend
↓
Backend
↓
Database
Gdy coś się zepsuje, miejsca, które należy sprawdzić, są dobrze znane: czy żądanie dotarło do backendu, czy baza danych przestała działać, czy API w łańcuchu przetwarzania ugrzęzło, czy pojawiła się wyjątek. Logi, metryki i ślady pomagają skompletować całą historię.
Agent wygląda zupełnie inaczej:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
Tutaj udana odpowiedź HTTP mówi bardzo niewiele. System może zwrócić
200 OK
i nadal robi coś zupełnie błędnego. To jest kluczowa różnica pomiędzy klasycznym monitorowaniem a możliwościami obserwacji w AI: system może być sprawny pod względem operacyjnym, ale mieć błędne zachowanie.
„Model wytworzył halucynację” to nowe „komputer jest zepsuty”
Prawie każdy zły wynik generowany przez AI jest określany jako halucynacja, a to określenie szybko traci na znaczeniu. Załóżmy, że asystent twierdzi, iż twoja firma przyznaje 30 dni płatnego urlopu, podczas gdy rzeczywista polityka przewiduje 22 dni. Czy to halucynacja? Być może. Ale co jeśli prawidłowa polityka znajduje się w magazynie dokumentów, a system pobrał przestarzałą wersję? Model mógł udzielić doskonałej odpowiedzi na podstawie dostarczonego mu kontekstu. Model nie zawiodł – zawiodła procedura przetwarzania kontekstu, a zamiana modelu nie naprawi systemu.
Łańcuch awarii agenta
Korzystny model mentalny traktuje system złożony z elementów aktywnych jako szereg miejsc, w których mogą wystąpić błędy:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
Nazwijmy to łańcuchem błędów agenta. Chodzi o to, że ostateczna odpowiedź to jedynie widoczny koniec znacznie dłuższej ścieżki wykonywania.
1. Agent zrozumiał coś nie tak
Poproś asystenta o odwołanie spotkania z Johnem w piątek. Znajduje on powtarzające się wydarzenie o nazwie „Weekly Sync with John” i usuwa całą serię. API kalendarza działało, autoryzacja działała, usunięcie się udało. Błąd wystąpił jeszcze przed wywołaniem jakiegokolwiek narzędzia:
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
To jest błąd w rozpoznaniu intencji i jest niebezpieczne, ponieważ wszystko, co następuje po początkowym błędzie, może działać perfekcyjnie.
2. Informacja była dostępna, ale agent jej nie zauważył
Weźmy przykład asystenta prawniczego czytającego umowę, w której stwierdzone jest, że każda ze stron może ją rozwiązać po 90 dniach. System wysyła modelowi pobliską klauzulę dotyczącą 30-dniowego okresu wypowiedzenia, a sztuczna inteligencja dochodzi do wniosku, że umowa może zostać zakończona po 30 dniach. Ponownie model może wyciągać słuszne wnioski na podstawie błędnych danych wejściowych:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
Błąd leży w procesie wydobywania informacji, a niekoniecznie w ich generowaniu. Łapanie błędów w systemach typu RAG często przypomina dostrojanie silnika wyszukiwania bardziej niż naprawę chatbota.
3. Pamięć może sprawić, że inteligentny system zostanie nieaktualny
Agenty coraz częściej posiadają pamięć, która jest przydatna aż do chwili, gdy staje się przestarzała. Załóżmy, że agent pamięta
Customer Plan = Basic
ale klient dokonał aktualizacji w zeszłym tygodniu, a rzeczywisty stan jest taki
Customer Plan = Enterprise
Agent odrzuca funkcję, do której ma prawo użytkownik. Nic się nie zawaliło, a pamięć wykonała dokładnie to, do czego została stworzona. Po prostu przechowywała informacje, które już nie były prawdziwe. Czasami zapominanie jest równie ważne jak pamiętanie.
Narzędzia zwiększają ryzyko
Sztuczne inteligencje generują tekst. Agenci generują działania, co zmienia poziom ryzyka. Daj agentowi dwa narzędzia:
search_customer()
update_customer()
Użytkownik pyta, jaki adres jest zapisany dla Sarah. Oczywistym narzędziem jest
search_customer()
jednak model wybiera
update_customer()
To błąd w doborze narzędzia. Albo wybiera właściwe narzędzie i wszystko jest w porządku.
{
"currency": "USD"
}
gdzie prawidłowa wartość była
{
"currency": "BRL"
}
To awaria parametru narzędzia. API może działać bez problemów, a wynik nadal będzie błędny.
Czasami narzędzie się psuje
Zewnętrzne systemy są skomplikowane. API wygasają, bazy danych tracą połączenie, wdrażane są ograniczenia szybkości, upływa czas ważności uprawnień. Rozważmy następujący łańcuch zdarzeń:
Agent
↓
Book Flight API
↓
TIMEOUT
Jak agent powinien zareagować: spróbować ponownie, zapytać użytkownika, czy najpierw sprawdzić, czy rezerwacja istnieje? Załóżmy teraz, że rezerwacja została dokonana, ale potwierdzenie zaginęło w drodze powrotnej, więc agent próbuje ponownie:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
Teraz klient posiada dwa bilety. To już nie jest tylko problem związany z sztuczną inteligencją – to klasyczny problem systemów rozproszonych, a próby ponowne, idempotencja, zarządzanie stanem i transakcje stają się częścią inżynierii sztucznej inteligencji.
Układy wielu agentów sprawiają, że przypisanie winy jest trudniejsze
Teraz wyobraźmy sobie trzy agenty działające kolejno:
Research Agent
↓
Analysis Agent
↓
Writing Agent
Agent badawczy znajduje właściwe fakty. Agent analityczny odczytuje je poprawnie. Agent piszący pomija ważną informację, przez co ostateczna odpowiedź jest myląca. Który agent zawiodł? Systemy oparte na agentach coraz bardziej przypominają rozproszone oprogramowanie, którego komponenty podejmują decyzje probabilistyczne, a to sprawia, że obserwowalność jest niezbędna.
Ślady są ważniejsze niż logi
Załóżmy, że agent generuje kiepską odpowiedź, podczas gdy panel sterowania infrastrukturą pokazuje:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
Wszystko wygląda prawidłowo, ale odpowiedź jest błędna. Klasyczne monitorowanie pokazuje jedynie, że system działał. Inżynierowie muszą wiedzieć, dlaczego podjął taką decyzję. Wymaga to czegoś bardziej zbliżonego do śledzenia działania agenta:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
Teraz ten błąd można naprawić. Agent nie tylko wymyślił lot. System potraktował nieznany stan narzędzia jako zakończoną transakcję, a to jest coś, co inżynierowie mogą poprawić.
Co powinno być uwzględnione w śladzie
Korzystny ślad działania agenta mógłby zawierać:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
Nie każda aplikacja musi przechowywać wszystkie pola, ponieważ nadal istotne są kwestie prywatności, bezpieczeństwa i kosztów. Zasada jest jednak prosta: jeśli agent musi wykonać dziesięć kroków, aby uzyskać odpowiedź, rejestrowanie tylko pierwszego wprowadzenia i ostatniego wyniku jest jak debugowanie architektury mikrosług przy jednoczesnym logowaniu tylko pierwszej żądania i ostatecznej odpowiedzi – to niewiele pomaga.
Monitorowanie to nie obserwowalność
Różnica ta jest szczególnie przydatna w systemach AI. Monitorowanie sprawdza, czy coś jest nie tak. Śledzenie pokazuje, jaką ścieżkę obrała zadanie. Obserwowalność pyta, dlaczego system zachował się w taki sposób. Ocena sprawdza, czy takie zachowanie było rzeczywiście dobre.
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
Inżynieria AI wymaga wszystkich czterech elementów.
Metryki również muszą się rozwijać
Tradycyjne usługi są mierzone za pomocą takich wskaźników jak
Availability
Latency
Throughput
Error Rate
a te nadal mają znaczenie. Agenci dodają nowe pytania:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
Ostatni z tych przypadków jest szczególnie pouczający. Agent, który kosztuje 0,01 dolara za zapytanie, ale udaje się w połowie przypadków, może okazać się gorszym wyborem niż ten, który kosztuje 0,03 dolara i udaje się w 98% przypadków. Najtańszy system AI to niekoniecznie ten oparty na najtańszym modelu – to ten, który zapewnia najtańszy skuteczny rezultat.
Kto więc ponosi winę?
Z powrotem do lotu. Użytkownik poprosił o rezerwację na jutro rano do São Paulo, agent powiedział „Gotowe”, a biletu nie ma. Model? Być może. Zapytanie? Prawdopodobnie. A może problem leży w mechanizmie wyszukiwania, narzędziu do rezerwacji, API linii lotniczej, systemie koordynacji lub infrastrukturze?
Nieprzyjemna odpowiedź brzmi, że nie można tego stwierdzić, dopóki nie uda się odtworzyć procesu wykonywania. Stanowi to istotny zwrot w inżynierii sztucznej inteligencji. Gdy modele przekształcają się w agenty, a agenci w całe systemy, niezawodność przestaje być właściwością samego modelu i staje się właściwością całej ścieżki wykonywania:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
Mocniejsze modele z pewnością pomogą, ale sama wydajność nie sprawi, że systemy AI będą niezawodne. Zasady, których inżynierowie oprogramowania uczą się od dziesięcioleci, wciąż mają zastosowanie: logi, śledzenie działań, limity czasowe, ponawianie prób, uprawnienia, stan systemu, testowanie, metryki oraz analiza błędów. Gdy agent zawodzi w środowisku produkcyjnym, stwierdzenie „model wytworzył iluzję” ostatecznie będzie równie użyteczne jak „komputer zrobił coś dziwnego”. Inżynieria rozpoczyna się w momencie, gdy takie wyjaśnienia przestają być wystarczające.