Strona główna / Artykuły

Gdy agent AI zawodzi, kogo obwiniać? Analiza przyczyn awarii

Dlaczego stwierdzenie „model wytworzył halucynację” jest niewystarczające: przegląd łańcucha awarii agenta od intencji i wyszukiwania po narzędzia, próby ponowne i śledzenie, oraz to, na co należy zwrócić uwagę.

Wydawca: REACTAPP.TOP8 min czytania1753 słów

Źródła: When an AI Agent Fails, Who Do You Blame?

Zdjęcie przedstawiające agenta AI proszonego o zarezerwowanie lotu do São Paulo na jutro rano, około 9:00. Kilka sekund później agent odpowiada, że lot został zarezerwowany. Tymczasem tak nie jest – nie ma biletu, żadnego e-maila potwierdzającego, żadnej opłaty.

Kuszącym wnioskiem jest to, że AI wytworzyło iluzję. Być może tak było. Ale możliwe też, że model zachował się dokładnie zgodnie z projektem. API do rezerwacji mogło zwrócić błąd, który agent błędnie zinterpretował. Agent mógł szukać lotów, nie używając przy tym narzędzia do rezerwacji. API mogło wykonać timeout po zakończeniu transakcji. Narzędzie mogło zwrócić jedynie wycenę, a nie potwierdzoną rezerwację. Albo „jutro rano” mogło zostać zinterpretowane w niewłaściwym strefie czasowej.

Gdy systemy AI zaczną wykonywać czynności zamiast jedynie odpowiadać na pytania, błędy stają się znacznie trudniejsze do wyjaśnienia. To stwarza nowy problem inżynieryjny: gdy agent zawodzi, kto lub co ponosi winę?

Stary oprogramowanie było łatwiejsze do debugowania

Oprogramowanie konwencjonalne może być skomplikowane, ale jego ścieżka wykonywania jest zazwyczaj znajoma:

User
  ↓
Frontend
  ↓
Backend
  ↓
Database

Gdy coś się zepsuje, miejsca, które należy sprawdzić, są dobrze znane: czy żądanie dotarło do backendu, czy baza danych przestała działać, czy API w łańcuchu przetwarzania ugrzęzło, czy pojawiła się wyjątek. Logi, metryki i ślady pomagają skompletować całą historię.

Agent wygląda zupełnie inaczej:

User Request
      ↓
Interpret Intent
      ↓
Retrieve Context
      ↓
Create a Plan
      ↓
Select a Tool
      ↓
Call the Tool
      ↓
Interpret the Result
      ↓
Reason Again
      ↓
Final Answer

Tutaj udana odpowiedź HTTP mówi bardzo niewiele. System może zwrócić

200 OK

i nadal robi coś zupełnie błędnego. To jest kluczowa różnica pomiędzy klasycznym monitorowaniem a możliwościami obserwacji w AI: system może być sprawny pod względem operacyjnym, ale mieć błędne zachowanie.

„Model wytworzył halucynację” to nowe „komputer jest zepsuty”

Prawie każdy zły wynik generowany przez AI jest określany jako halucynacja, a to określenie szybko traci na znaczeniu. Załóżmy, że asystent twierdzi, iż twoja firma przyznaje 30 dni płatnego urlopu, podczas gdy rzeczywista polityka przewiduje 22 dni. Czy to halucynacja? Być może. Ale co jeśli prawidłowa polityka znajduje się w magazynie dokumentów, a system pobrał przestarzałą wersję? Model mógł udzielić doskonałej odpowiedzi na podstawie dostarczonego mu kontekstu. Model nie zawiodł – zawiodła procedura przetwarzania kontekstu, a zamiana modelu nie naprawi systemu.

Łańcuch awarii agenta

Korzystny model mentalny traktuje system złożony z elementów aktywnych jako szereg miejsc, w których mogą wystąpić błędy:

┌───────────────────────────┐
│       User Intent         │
├───────────────────────────┤
│ Prompt / Instructions     │
├───────────────────────────┤
│ Context / Retrieval       │
├───────────────────────────┤
│ Memory                    │
├───────────────────────────┤
│ Planning / Reasoning      │
├───────────────────────────┤
│ Tool Selection            │
├───────────────────────────┤
│ Tool Parameters           │
├───────────────────────────┤
│ Tool Execution            │
├───────────────────────────┤
│ External Systems          │
├───────────────────────────┤
│ Orchestration             │
├───────────────────────────┤
│ Infrastructure            │
└───────────────────────────┘

Nazwijmy to łańcuchem błędów agenta. Chodzi o to, że ostateczna odpowiedź to jedynie widoczny koniec znacznie dłuższej ścieżki wykonywania.

1. Agent zrozumiał coś nie tak

Poproś asystenta o odwołanie spotkania z Johnem w piątek. Znajduje on powtarzające się wydarzenie o nazwie „Weekly Sync with John” i usuwa całą serię. API kalendarza działało, autoryzacja działała, usunięcie się udało. Błąd wystąpił jeszcze przed wywołaniem jakiegokolwiek narzędzia:

User Intent
     ↓
Wrong Interpretation
     ↓
Correct Tool Call
     ↓
Wrong Outcome

To jest błąd w rozpoznaniu intencji i jest niebezpieczne, ponieważ wszystko, co następuje po początkowym błędzie, może działać perfekcyjnie.

2. Informacja była dostępna, ale agent jej nie zauważył

Weźmy przykład asystenta prawniczego czytającego umowę, w której stwierdzone jest, że każda ze stron może ją rozwiązać po 90 dniach. System wysyła modelowi pobliską klauzulę dotyczącą 30-dniowego okresu wypowiedzenia, a sztuczna inteligencja dochodzi do wniosku, że umowa może zostać zakończona po 30 dniach. Ponownie model może wyciągać słuszne wnioski na podstawie błędnych danych wejściowych:

Documents
    ↓
Retrieval
    ↓
Wrong Chunk
    ↓
Model
    ↓
Wrong Answer

Błąd leży w procesie wydobywania informacji, a niekoniecznie w ich generowaniu. Łapanie błędów w systemach typu RAG często przypomina dostrojanie silnika wyszukiwania bardziej niż naprawę chatbota.

3. Pamięć może sprawić, że inteligentny system zostanie nieaktualny

Agenty coraz częściej posiadają pamięć, która jest przydatna aż do chwili, gdy staje się przestarzała. Załóżmy, że agent pamięta

Customer Plan = Basic

ale klient dokonał aktualizacji w zeszłym tygodniu, a rzeczywisty stan jest taki

Customer Plan = Enterprise

Agent odrzuca funkcję, do której ma prawo użytkownik. Nic się nie zawaliło, a pamięć wykonała dokładnie to, do czego została stworzona. Po prostu przechowywała informacje, które już nie były prawdziwe. Czasami zapominanie jest równie ważne jak pamiętanie.

Narzędzia zwiększają ryzyko

Sztuczne inteligencje generują tekst. Agenci generują działania, co zmienia poziom ryzyka. Daj agentowi dwa narzędzia:

search_customer()
update_customer()

Użytkownik pyta, jaki adres jest zapisany dla Sarah. Oczywistym narzędziem jest

search_customer()

jednak model wybiera

update_customer()

To błąd w doborze narzędzia. Albo wybiera właściwe narzędzie i wszystko jest w porządku.

{
  "currency": "USD"
}

gdzie prawidłowa wartość była

{
  "currency": "BRL"
}

To awaria parametru narzędzia. API może działać bez problemów, a wynik nadal będzie błędny.

Czasami narzędzie się psuje

Zewnętrzne systemy są skomplikowane. API wygasają, bazy danych tracą połączenie, wdrażane są ograniczenia szybkości, upływa czas ważności uprawnień. Rozważmy następujący łańcuch zdarzeń:

Agent
  ↓
Book Flight API
  ↓
TIMEOUT

Jak agent powinien zareagować: spróbować ponownie, zapytać użytkownika, czy najpierw sprawdzić, czy rezerwacja istnieje? Załóżmy teraz, że rezerwacja została dokonana, ale potwierdzenie zaginęło w drodze powrotnej, więc agent próbuje ponownie:

First booking  → SUCCESS
Response       → LOST
Retry          → SUCCESS

Teraz klient posiada dwa bilety. To już nie jest tylko problem związany z sztuczną inteligencją – to klasyczny problem systemów rozproszonych, a próby ponowne, idempotencja, zarządzanie stanem i transakcje stają się częścią inżynierii sztucznej inteligencji.

Układy wielu agentów sprawiają, że przypisanie winy jest trudniejsze

Teraz wyobraźmy sobie trzy agenty działające kolejno:

Research Agent
      ↓
Analysis Agent
      ↓
Writing Agent

Agent badawczy znajduje właściwe fakty. Agent analityczny odczytuje je poprawnie. Agent piszący pomija ważną informację, przez co ostateczna odpowiedź jest myląca. Który agent zawiodł? Systemy oparte na agentach coraz bardziej przypominają rozproszone oprogramowanie, którego komponenty podejmują decyzje probabilistyczne, a to sprawia, że obserwowalność jest niezbędna.

Ślady są ważniejsze niż logi

Załóżmy, że agent generuje kiepską odpowiedź, podczas gdy panel sterowania infrastrukturą pokazuje:

HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0

Wszystko wygląda prawidłowo, ale odpowiedź jest błędna. Klasyczne monitorowanie pokazuje jedynie, że system działał. Inżynierowie muszą wiedzieć, dlaczego podjął taką decyzję. Wymaga to czegoś bardziej zbliżonego do śledzenia działania agenta:

TRACE #84721
User Request
      ↓
Intent: "Book Flight"
      ↓
Retrieved user preferences
      ↓
Planner created 3 steps
      ↓
search_flights()
      ↓
Selected Flight #2
      ↓
book_flight()
      ↓
API response: timeout
      ↓
Agent assumed success
      ↓
Final response:
"Your flight has been booked."

Teraz ten błąd można naprawić. Agent nie tylko wymyślił lot. System potraktował nieznany stan narzędzia jako zakończoną transakcję, a to jest coś, co inżynierowie mogą poprawić.

Co powinno być uwzględnione w śladzie

Korzystny ślad działania agenta mógłby zawierać:

trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result

Nie każda aplikacja musi przechowywać wszystkie pola, ponieważ nadal istotne są kwestie prywatności, bezpieczeństwa i kosztów. Zasada jest jednak prosta: jeśli agent musi wykonać dziesięć kroków, aby uzyskać odpowiedź, rejestrowanie tylko pierwszego wprowadzenia i ostatniego wyniku jest jak debugowanie architektury mikrosług przy jednoczesnym logowaniu tylko pierwszej żądania i ostatecznej odpowiedzi – to niewiele pomaga.

Monitorowanie to nie obserwowalność

Różnica ta jest szczególnie przydatna w systemach AI. Monitorowanie sprawdza, czy coś jest nie tak. Śledzenie pokazuje, jaką ścieżkę obrała zadanie. Obserwowalność pyta, dlaczego system zachował się w taki sposób. Ocena sprawdza, czy takie zachowanie było rzeczywiście dobre.

Monitoring
"Is the system healthy?"
        ↓
Tracing
"What path did it follow?"
        ↓
Observability
"Why did it behave this way?"
        ↓
Evaluation
"Was the result correct?"

Inżynieria AI wymaga wszystkich czterech elementów.

Metryki również muszą się rozwijać

Tradycyjne usługi są mierzone za pomocą takich wskaźników jak

Availability
Latency
Throughput
Error Rate

a te nadal mają znaczenie. Agenci dodają nowe pytania:

Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task

Ostatni z tych przypadków jest szczególnie pouczający. Agent, który kosztuje 0,01 dolara za zapytanie, ale udaje się w połowie przypadków, może okazać się gorszym wyborem niż ten, który kosztuje 0,03 dolara i udaje się w 98% przypadków. Najtańszy system AI to niekoniecznie ten oparty na najtańszym modelu – to ten, który zapewnia najtańszy skuteczny rezultat.

Kto więc ponosi winę?

Z powrotem do lotu. Użytkownik poprosił o rezerwację na jutro rano do São Paulo, agent powiedział „Gotowe”, a biletu nie ma. Model? Być może. Zapytanie? Prawdopodobnie. A może problem leży w mechanizmie wyszukiwania, narzędziu do rezerwacji, API linii lotniczej, systemie koordynacji lub infrastrukturze?

Nieprzyjemna odpowiedź brzmi, że nie można tego stwierdzić, dopóki nie uda się odtworzyć procesu wykonywania. Stanowi to istotny zwrot w inżynierii sztucznej inteligencji. Gdy modele przekształcają się w agenty, a agenci w całe systemy, niezawodność przestaje być właściwością samego modelu i staje się właściwością całej ścieżki wykonywania:

Model Quality
     +
Context Quality
     +
Tool Reliability
     +
Orchestration
     +
Infrastructure
     +
Evaluation
     +
Observability
     ↓
Reliable AI System

Mocniejsze modele z pewnością pomogą, ale sama wydajność nie sprawi, że systemy AI będą niezawodne. Zasady, których inżynierowie oprogramowania uczą się od dziesięcioleci, wciąż mają zastosowanie: logi, śledzenie działań, limity czasowe, ponawianie prób, uprawnienia, stan systemu, testowanie, metryki oraz analiza błędów. Gdy agent zawodzi w środowisku produkcyjnym, stwierdzenie „model wytworzył iluzję” ostatecznie będzie równie użyteczne jak „komputer zrobił coś dziwnego”. Inżynieria rozpoczyna się w momencie, gdy takie wyjaśnienia przestają być wystarczające.