Strona główna / Artykuły

Jakie zmiany przynosi testowanie agencyjne dla działu QA i w czym nadal pozostaje niewystarczające

Pakiety z skryptami i mechanizmami samonaprawczymi przestają działać, gdy zmienia się interfejs użytkownika. Agenaty przeglądarkowe oparte na intencjach zmniejszają konieczność konserwacji, ale regulowane procesy oraz nietypowe interfejsy wciąż wymagają uwagi.

Wydawca: REACTAPP.TOP7 min czytania1600 słów

Źródła: The Rise of Agentic Testing

W testowaniu typu agencyjnym agent przeglądarki otrzymuje cel testu i sam planuje poszczególne kroki. Tester opisuje oczekiwane zachowanie i kryteria sukcesu, unikając pisania skryptów dla każdego kliknięcia. Zestawy testowe oparte na skryptach zawodzą, gdy zmienia się struktura DOM, natomiast narzędzia samonaprawcze naprawiają uszkodzone elementy przed ponownym uruchomieniem tej samej sekwencji. Agent na każdym uruchomieniu planuje nową ścieżkę, więc zmiana interfejsu nie wymaga już naprawy selektorów. Określanie, co oznacza poprawność, jest poza jego możliwościami – to pozostaje zadaniem osoby odpowiedzialnej za wypuszczenie produktu.

Dlaczego testowanie stało się trudniejsze

Już w 2019 roku pojawił się dziwny wzorzec: bezawaryjne zintegrowane procesy ciągle dostarczały treści typu infinite scroll, które powtarzały te same dziesięć do dwudziestu wierszy po przekroczeniu drugiej strony. Większość osób pracujących w dziedzinie QA od kilku lat może opowiedzieć podobną historię.

Testowanie od jakiegoś czasu znajduje się pod dużym naciskiem, a zespoły przez jakiś czas po prostu naprawiały problemy, nie pytając, co się zmieniło. W rzeczywistości wiele się zmieniło – przyspieszyły się procesy wypuszczania nowych wersji, interfejsy przeszły z statycznego HTML na komponenty React, które są ponownie renderowane przy każdej zmianie stanu. Flagi funkcjonalne sprawiły, że połowa użytkowników mogła oglądać ekran, którego zestaw testów nigdy wcześniej nie widział.

„Testowanie agencyjne” pojawiło się jako rozwiązanie w branży. Celem tego tekstu nie jest promowanie tego terminu. Analizuje się, dlaczego testowanie stało się trudniejsze, co tak naprawdę powinno oznaczać „agencja”, dlaczego ma to znaczenie dla osób wykonujących pracę oraz w jakich aspektach jest niewystarczające. Jest przeznaczony dla wszystkich, którzy piszą i sprawdzają testy, lub którzy są odpowiedzialni za wypuszczenie nowej wersji, gdy coś się psuje o 2 w nocy.

Szybkość wypuszczania nowych wersji

Tygodniowy cykl wypuszczania oprogramowania daje czas na utrzymanie zestawu testów w dobrym stanie. Codzienne wdrożenia tego nie umożliwiają, a gdy zespół wypuszcza kod przy każdym połączeniu PR, zestaw testów nie może czekać na sprzątanie w piątek – musi być zawsze gotowy do użycia w produkcji.

Trudniejsze interfejsy

Złożone interfejsy użytkownika stają się coraz trudniejsze do obsługi, szczególnie gdy komponenty są generowane szybko. Selektor, który działał w ręcznie budowanej formie, może przestać funkcjonować w momencie, gdy zastąpi go funkcja Autocomplete z MUI, ponieważ renderowany DOM, zachowanie fokusa oraz kolejność zdarzeń ulegają zmianie.

Koszty konserwacji

Istnieje jeszcze koszt, o którym ludzie rzadko mówią:

  • Test z Playwright, który przechodzi lokalnie, ale zawodzi w środowisku CI z powodu tego, że spinner ładowania pozostaje widoczny o 100 ms dłużej.
  • Locator powiązany z trzecim dzieckiem kontenera typu flex, który przestał działać po dodaniu przez projektanta kolejnego przycisku.
  • Pół sprintu stracony na aktualizację selektorów po tym, co określono jako „zwykłe uporządkowanie interfejsu”.

Ktoś zawsze musi przeprowadzić to uporządkowanie, chociaż nigdy tak naprawdę nie należało to do jego obowiązków.

Instynktowną reakcją jest napisanie jeszcze więcej testów. To nie buduje pewności siebie. Więcej testów skryptowanych oznacza większy obowiązek ich utrzymania, a każdy nowy proces staje się kolejną automatyzacją, która musi przetrwać kolejną zmianę interfejsu, co prawdopodobnie sprawi, że stanie się przestarzała. W pewnym momencie wydaje się, że zestaw testów działa przeciwko tobie.

Co oznacza „agencyjny”

To słowo jest używane tak swobodnie, że potrzebuje definicji, zanim przejdziemy dalej.

Test skryptowany postępuje zgodnie z ustalonymi instrukcjami w określonej kolejności. Gdy okoliczności odbiegają od tego planu, test staje się bezużyteczny. Automatyzacja samonaprawcza poprawia tę sytuację, naprawiając uszkodzone elementy lub próbując ponownie wykonać niejednoznaczne kliknięcia, ale nadal wykonywa skrypt napisany z góry.

Testowanie oparte na agentach jest inne. Agenci oprogramowania obserwują stan aplikacji i decydują, jaką akcję podjąć dalej, bez żadnej osoby nadzorującej każdy krok. W praktyce tester określa intencje, ale nie opisuje każdej interakcji. Zamiast dziesiątek linijek kodu Playwright lub Selenium, prośba może polegać na poproszeniu agenta o sprawdzenie, czy obecny klient może zmienić metodę płatności bez edytowania swojego adresu.

To nie oznacza, że agent dobrze rozumie produkt. Oznacza to, że agent ma wystarczająco dużo kontekstu, aby w nim działać. Nie może zastąpić osądu inżynierskiego. Może zakończyć proces zakupu, nie zauważając, że zniżka lojalnościowa w ogóle nie została zastosowana, albo oznaczyć prawidłowy zamówienie o wartości 0,00 dolarów jako błąd w cenniku, podczas gdy była to po prostu wykorzystana karta prezentowa.

Dlatego ludzie nadal decydują, co jest poprawne, szukają krytycznych przypadków granicznych i oceniają, czy awaria jest wadą, czy tylko błędną interpretacją tego, jak aplikacja powinna się zachowywać. Codzienne obowiązki również się zmieniają – mniej czasu poświęca się na pisanie, a więcej na sprawdzanie tego, co zaproponował agent, oraz na decydowanie, gdzie potrzebna jest dodatkowa ochrona lub dokładniejsza analiza.

Zmiany w interfejsie użytkownika

Drift interfejsu użytkownika od dawna stanowi jeden z największych problemów. Przeniesienie nazwy przycisku z „Continue” na „Next” lub zastąpienie pola wyboru komboksem podczas weryfikacji dostępności może wywołać serię błędów, nawet jeśli aplikacja działa poprawnie.

Część platform do testowania sztucznej inteligencji podchodzi do tego inaczej. Obserwują one rzeczywiste zachowania użytkowników i tworzą model krok po kroku, pokazujący, w jaki sposób ludzie korzystają z aplikacji, w tym co robi każda strona lub akcja. Testy są następnie generowane na podstawie tego modelu, a nie z kruchego zrzutu stanu DOM.

Sam test odbywa się na podstawie intencji. Test jest opisany jako stwierdzenie tego, co powinno się wydarzyć i co uznaje się za poprawne, a agent porusza się po interfejsie jak prawdziwa osoba, klikając i porównując wyniki z podanymi oczekiwaniami.

Nic z tego nie wyklucza ludzi z procesu. Członkowie zespołu nadal decydują, które procesy pracy są najważniejsze, określają, co oznacza „poprawność” z punktu widzenia biznesu, oraz analizują obszary wymagające wiedzy o produkcie, a nie tylko o interfejsie.

Jak zmienia się praca

Gdy mniej czasu poświęca się naprawianiu uszkodzonej automatyzacji, sama praca ulega zmianie. Godziny wcześniej spędzane na poprawianiu elementów sterujących lub edytowaniu niestabilnych skryptów mogą zostać przeznaczone na rozszerzanie zakresu działania, analizę ryzyka oraz wykrywanie problemów, których nie dostrzega sama automatyzacja.

Pisanie dokładnych selektorów Selenium lub zapamiętywanie interfejsów API Playwright nie jest już rzadką umiejętnością. Kluczowe jest rozsądek – to znaczy umiejętność określenia, które ścieżki użytkownika wymagają największej uwagi, zrozumienie, gdzie awaria stwarza rzeczywiste ryzyko biznesowe, oraz dostrzeżenie sytuacji, gdy test wygenerowany technicznie się udaje, ale pomija to, co naprawdę ważne. To zawsze były najtrudniejsze aspekty testowania, a zespoły po prostu nie miały na nie czasu.

Ta zmiana wpływa również na to, co kierownicy działów inżynieryjnych rozumieją pod pojęciem jakości. Liczenie przeprowadzonych testów lub napisanych skryptów nigdy nie było wiarygodnym wskaźnikiem zaufania, a większa liczba testów nie gwarantuje lepszej ich kompletności, szczególnie jeśli połowa z nich jest niestabilna lub jest ignorowana po zmianach w interfejsie użytkownika. Lepiej zadawać następujące pytania:

  • Jak szybko można zweryfikować nową wersję produktu?
  • Jak duże jest zaufanie zespołu przed wypuszczeniem produktu?
  • Ile będzie kosztować utrzymanie tego zaufania z biegiem czasu?

Gdzie zawodzi

Testowanie oparte na agentach nie zastępuje wszystkich form automatyzacji, a udawanie, że tak jest, powoduje szkody. Wyróżniają się trzy przypadki.

Środowiska regulowane. W ochronie zdrowia i fintechie wykonywanie zadań musi często być deterministyczne, z ścieżkami audytowymi oraz dowodami na to, że test działa tak samo przy każdym uruchomieniu. Zachowanie adaptacyjne może być z tym sprzeczne. Procesy, które nie mogą ulec odchyleniom, wymagają wyraźnie zdefiniowanych kroków skryptowych, które głośno zawodzą przy każdej zmianie i pozostawiają czytelne ślady działań oraz powodów agenta. Dobra platforma umożliwia zespołowi określenie, na jak dużą skalę każdy test może się dostosowywać.

Bезpieczeństwo produkcji. Niewiele zespołów chce, aby autonomiczny agent poruszał się po środowisku produkcyjnym z uprawnieniami do składania zamówień, edytowania danych klientów lub tworzenia danych testowych. Większość organizacji radzi sobie z tym za pomocą izolowanych środowisk testowych, kont jednorazowych oraz ściśle kontrolowanych uprawnień.

Trudne do odczytania interfejsy. Aplikacje oparte na mechanizmie przeciągania i upuszczania, renderowaniu na płótnie lub silnie dostosowanych wewnętrznych procesach nie zawsze dostarczają agentowi niezbędnych wskazówek. W takich przypadkach nadal przydatna jest celowana automatyzacja oraz nadzór ludzki.

Różne problemy związane z testowaniem wymagają różnych narzędzi, a te trzy nie nadają się do testowania opartego na agentach, przynajmniej na razie.

Pierwsze kroki

Głównym problemem jest to, że oprogramowanie jest teraz wypuszczane szybciej, niż automatyzacja jest w stanie za nim nadążyć, a agenci QA to zmieniają. Inżynierowie nie piszą już skryptów dla każdej akcji. Określają cel, sprawdzają propozycje agenta i interweniują, gdy potrzebna jest ludzka ocena, podczas gdy system dostosowuje się do dalszych działań interfejsu.

Każdy, kto rozważa tę opcję, nie powinien zaczynać od zastąpienia całego zestawu narzędzi. Wybierz proces biznesowy o kluczowym znaczeniu, który często się zmienia, np. proces płatności lub onboardingu, i porównaj wysiłek wymagany do jego utrzymania w kilku cyklach wypuszczania nowych wersji. To pozwoli realistycznie ocenić, czy rozwiązanie będzie przydatne dla zespołu.

Częste pytania

Czy to to samo co samoregeneracja? Nie. Samoregeneracja naprawia testy zapisane w skryptach, natomiast testowanie z użyciem agentów dąży do osiągnięcia celu i nie opiera się na żadnym z góry napisanym skrypcie.

Czy zastępuje inżynierów QA? Nie. Redukuje konieczność utrzymania testów, ale inżynierowie nadal określają zasady biznesowe, weryfikują wyniki i badają błędy.

Czy może działać obok istniejącego zestawu narzędzi? Tak. Większość zespołów zaczyna od uruchamiania obu rozwiązań i porównywania nakładu pracy na utrzymanie w czasie.

Czy nadaje się do procesów wymagających ścisłego przestrzegania regulacji? Tak, przy odpowiednich mechanizmach kontroli. Takie procesy mogą wykonywać określone kroki z pełnymi śladami działań agenta, dzięki czemu kluczowe testy pozostają deterministyczne i poddawalne audytowi, a pozostałe testy mogą swobodnie się dostosowywać.

Literatura pokrewna

  • Testowanie AI agencyjnej dla SaaS: Jak agenci kierowani celami zastępują kruche skrypty — Dlaczego zestawy testowe SaaS ciągle się psują, jak agenci AI kierowani celami badają aplikację i się dostosowują, gdzie popełniają błędy oraz jak przeprowadzić zbadany pilotaż testowania agencyjnego.