Strona główna / Artykuły

Testowanie AI z użyciem agentów w SaaS: Jak agenci kierowani celami zastępują kruche skrypty.

Dlaczego zestawy testowe SaaS ciągle się psują, jak agenci AI kierowani celami badają aplikację i się dostosowują, gdzie popełniają błędy oraz jak przeprowadzić zbadany pilotaż testowania z użyciem agentów.

Wydawca: REACTAPP.TOP6 min czytania1435 słów

Źródła: What Is Agentic AI Testing? How It Works for SaaS

Szybkość dostawy to nie to, co szkodzi współczesnym zespołom SaaS. Problemy zaczynają się wtedy, gdy wszystko wokół produktu zmienia się szybciej niż procesy przeznaczone do jego weryfikacji. Zespoły, które publikują aktualizacje kilka razy dziennie, często poświęcają tyle samo wysiłku na utrzymanie testów w działaniu, co na ich ulepszenie. Testy zazwyczaj nie są źle napisane – po prostu aplikacja testowana nie pozostaje nieruchoma.

Każda implementacja coś zmienia: przepisany komponent React, druga wersja ścieżki użytkownika, dostawca tożsamości zmieniający kroki logowania. Żadne z tych elementów nie stanowi wady, a mimo to właśnie one niszczą automatyzację opartą na stałych założeniach. To niezgodność tłumaczy gwałtowny wzrost zainteresowania testowaniem przy użyciu sztucznej inteligencji, której prawdziwą zaletą jest zmniejszenie kosztów utrzymania rozbudowanej platformy SaaS, a nie przekazywanie pracy testerom maszynom.

Dlaczego testowanie SaaS jest trudne

SaaS rzadko posiada takie środowisko, które można by uczciwie nazwać aplikacją. Dwóch klientów korzystających z tej samej bazy kodu może mieć różne plany cenowe, procesy autoryzacji, funkcje lub uprawnienia dostępu. Plan testowy, który działa w nowym środowisku testowym, może zawieść w przypadku konfiguracji klienta, która zakłóca działanie w środowisku produkcyjnym.

Szybkość dostarczania aktualizacji dodatkowo zwiększa trudność. W modelu rozwoju opartym na trunkach aktualizacje są wypuszczane dziesiątki razy, więc każda regresja staje się wyzwaniem. Tymczasem otoczenie technologiczne zmienia się bez żadnych zmian wprowadzanych przez zespół. Stripe aktualizuje swoją usługę płatności, Auth0 lub Clerk modyfikują proces logowania, a Salesforce zmienia odpowiedzi API. Żadne z tych zmian nie stanowi błędu w twoim kodzie, ale klienci doświadczają ich jako części produktu, dlatego strategia testowa musi je uwzględnić.

Testowanie tutaj oznacza weryfikację systemu, który ciągle zmienia się w zależności od środowiska, integracji oraz indywidualnych ustawień dla poszczególnych klientów, a nie tylko sprawdzanie jednej statycznej aplikacji.

Niestabilność i kruchość selektorów

Za niestabilne testy często obwinia się niedbale przygotowany kod, choć to nie zawsze jest przyczyną. Częściej problemem jest czas wykonywania operacji wewnątrz samej aplikacji:

  • Pod obciążeniem modala pojawia się z opóźnieniem kilkuset milisekund.
  • Odpowiedzi API przychodzą w nieoczekiwanej kolejności.
  • Zadanie w tle kończy się tuż po wykonaniu sprawdzenia.
  • Ponowna próba udaje się lokalnie, ale zawodzi w środowisku CI, gdzie ustawienia są inne.

Żadne z tych zjawisk nie występuje za każdym razem, i to właśnie dlatego trudno je odtworzyć.

Narzędzia takie jak Playwright i Selenium są z natury deterministyczne. Postępują zgodnie z podanymi instrukcjami w określonej kolejności, co dobrze działa, dopóki aplikacja nie staje się nieprzewidywalna. Dokładność nie jest przydatna, jeśli interfejs użytkownika jeszcze nie został w pełni wyrenderowany lub stan, który ma być sprawdzony, nadal się zmienia.

Selektory stanowią drugą połowę problemu. Migracja frontendu, czy to do nowej biblioteki komponentów, czy do kompletnego systemu projektowego, może zmienić strukturę DOM bez wpływu na to, co zauważy użytkownik końcowy. Funkcja nadal działa, ale dziesiątki wyrażeń XPath, selektorów CSS oraz założeń dotyczących DOM przestają być poprawne.

Większe koszty gromadzą się stopniowo. Zespoły spędzają więcej czasu na utrzymywaniu automatyzacji niż na jej rozwijaniu, a zaufanie do tego rozwiązania maleje. Gdy inżynierowie przestaną wierzyć, że awarie są rzeczywiste, pojawi się spór o to, czy winny jest produkt, czy testy. Zazwyczaj sygnalizuje to potrzebę zmiany podejścia do automatyzacji, a nie tylko skryptów.

Co faktycznie obejmuje „testowanie z użyciem AI”

To określenie stało się pojęciem ogólnym, które warto rozdzielić, ponieważ techniki, które się pod nim kryją, pełnią zupełnie różne funkcje. Testowanie z użyciem agentów AI oznacza, że agent sztucznej inteligencji testuje według określonego celu: obserwuje ekran, podejmuje decyzje, działa i weryfikuje wynik, zamiast powtarzać z góry zaprogramowane kroki. To właśnie odróżnia je od pozostałych dwóch podejść.

Jego ograniczenia wymagają realistycznego spojrzenia. Agent rozumie to, co jest na ekranie, korzystając ze struktury aplikacji oraz przebiegu działań, który jest w niej realizowany, co nie jest tym samym co zrozumienie zasad biznesowych. Może wypełnić wieloetapową formę rejestracyjną, nie wiedząc, że kod polecenia powinien zapewnić zniżkę, lub że obniżenie planu w trakcie procesu powinno zmienić ostateczną cenę. Narzędzia wspomagane przez sztuczną inteligencję również tego nie naprawiają, ponieważ model, który pomaga szybciej pisać skrypty, nadal pozostawia ludziom decyzję o tym, co jest poprawne. Ta odpowiedzialność spoczywa na zespole tworzącym produkt, niezależnie od tego, która z trzech metod jest stosowana.

Jak agent przeprowadza testy inaczej

Tradycyjna automatyzacja zaczyna się od napisania skryptu. Testowanie za pomocą agentów polega na tym, że agent uczy się aplikacji. Przed każdym przeprowadzeniem testu bada produkt tak, jak zrobiłby to nowy użytkownik – przegląda strony, wypełnia formularze i klikaje w linki. Nie zapisuje tych interakcji jako sekwencji kroków. Tworzy model produktu, w którym strony są węzłami, a działania je łączące są krawędziami; jest to bardziej podobne do rzeczywistej mapy niż do skryptu.

To ma znaczenie, ponieważ agent nie odtwarza sesji z wczoraj. Podczas działania powtarza jeden cykl:

  1. Obserwuje aktualny stan aplikacji.
  2. Decyduje, który działanie przybliży go do celu testu.
  3. Działa zgodnie z tą decyzją.
  4. Weryfikuje wynik.
  5. Powtarza proces, aż zostanie osiągnięty cel.

Obserwuj, decyduj, działaj, weryfikuj, powtarzaj: to jest pętla, którą agenty QA używają wobec aplikacji. Tworzą mapę, eksplorując samą aplikację, przeglądając strony i testując różne interakcje, a następnie wykorzystują wiedzę o typowych wzorcach produktowych, aby na tej mapie generować i analizować testy.

Nie ma konieczności ręcznego pisania kodu ani użycia kruchych selektorów, ponieważ agent działa na podstawie aktualnego stanu aplikacji. Gdy zmienia się proces pracy – czy to zmiana nazwy klasy w elemencie div, inny przycisk lub przebudowa formularza – model aktualizuje się wraz z aplikacją. Późniejsze uruchomienia odzwierciedlają więc produkt takim, jaki jest obecnie, a nie takim, jak wyglądał w momencie pierwszego napisania automatyzacji.

Ludzie nie znikają z tego procesu, ale ich czas przechodzi gdzie indziej. Niektóre procesy pracy wciąż wymagają ludzkiej weryfikacji, takiej jak obliczanie zwrotów pieniędzy, podatki, zasady cenowe oraz obsługa płatności, ponieważ opierają się one na kontekście biznesowym, którego nie może pojąć żaden automatyczny tester. Dla wielu zespołów przejście wygląda w ten sposób:

Zamiast spędzać godziny na utrzymywaniu automatyzacji po każdej zmianie interfejsu, inżynierowie mogą rozszerzyć zakres testów i zająć się rzeczywistymi problemami, które wymagają zrozumienia produktu.

Pilotaż

Wprowadzanie testowania agentowego we wszystkich elementach produktu od pierwszego dnia może podważyć zaufanie do niego. Lepszym podejściem jest rozpoczęcie od procesu kluczowego dla biznesu, którego awaria ma duże konsekwencje finansowe, takiego jak proces onboardingu, tworzenie kont lub jakikolwiek proces, który stale się zmienia.

Pilotaż nie ma większego znaczenia bez czegoś, z czym można by go porównać, a istotne są trzy kwestie.

Umiarkowany punkt odniesienia. Zmierz czas trwania obecnego cyklu regresji za pomocą zegarka stoperowego, zamiast zgadywać. Stwierdzenie typu „regresja trwa mniej więcej tydzień” nie jest przyjęte.

Prawdziwe porównanie. Przeprowadź projekt pilotażowy równolegle z obecnym procesem ręcznym lub zapisanym w skryptach, na tym samym kandydacie do wydania, aby dwa zegarki stoperowe mierzyły identyczny zakres pracy.

Progi decyzyjne ustalone z góry. Zdecyduj przed rozpoczęciem, a nie na spotkaniu podsumowawczym, jaki wynik uzasadnia dalszą ekspansję: błędy wykryte, które mogłyby trafić do produkcji, lub godziny konserwacji zaoszczędzone w porównaniu z punktem odniesienia.

Pilot bez punktu odniesienia nie może przegrać, ale z tego powodu też nie może nic pokazać. Gdy tylko starannie wybrany proces przewyższy ustalone standardy, rozszerzenie jego zastosowania wiąże się z znacznie mniejszym ryzykiem.

Podsumowanie

Produkty SaaS rozwijają się tak szybko, że automatyzacja oparta na stałych założeniach z pewnością zawiedzie. Testowanie agencyjne oferuje inne podejście: dostosowanie się do zmian zamiast pozostawanie przestarzałym wraz z nimi. Najuczciwszym sposobem oceny jest sprawdzenie, jak radzi sobie ono w Twojej własnej aplikacji.