Startseite / Artikel

Was sich bei agiler Testung für die Qualitätskontrolle ändert und wo sie weiterhin unzureichend ist.

Scriptbasierte und selbstheilende Lösungen versagen, wenn sich die Benutzeroberfläche ändert. zielorientierte Browser-Agenten reduzieren die Wartung, doch regulierte Abläufe sowie ungewöhnliche Benutzeroberflächen erfordern weiterhin Pflege.

Verlag: REACTAPP.TOP7 Min. Lesezeit1600 Wörter

Quellen: The Rise of Agentic Testing

Durch agitives Testing erhält ein Browser-Agent das Testziel und plant selbst die einzelnen Schritte aus. Der Tester beschreibt das erwartete Verhalten sowie die Bestimmungen für einen Erfolg und muss nicht für jeden Klick Skripte erstellen. Ein skriptbasiertes Testset versagt, wenn sich der DOM ändert, während selbstheilende Tools einfach den fehlerhaften Locator reparieren, bevor sie die gleiche Sequenz erneut ausführen. Der Agent plant bei jedem Ausführungsvorgang seinen Weg neu, sodass Änderungen an der Benutzeroberfläche keine Reparatur der Selektoren mehr erfordern. Zu entscheiden, was richtig ist, liegt außerhalb seiner Kompetenzen – das bleibt die Aufgabe der Person, die für die Veröffentlichung verantwortlich ist.

Warum das Testen schwieriger geworden ist

Im Jahr 2019 zeigte sich ein seltsames Muster: Tadellos funktionierende grüne Pipelines lieferten weiterhin einen Endlos-Scroll-Feed, der nachdem der Benutzer zur zweiten Seite gekommen war, immer wieder dieselben zehn bis zwanzig Zeilen wiederholte. Die meisten, die bereits einige Jahre lang für die Qualitätssicherung zuständig waren, können eine ähnliche Erfahrung schildern.

Der Testprozess steht bereits seit einiger Zeit unter großem Druck, und vorübergehend haben die Teams einfach Fehler behoben, ohne zu prüfen, was sich geändert hatte. Tatsächlich hatten sich mehrere Dinge geändert: Die Veröffentlichungsraten beschleunigten sich, die Benutzeroberflächen wechselten von statischem HTML zu React-Komponenten, die bei jeder Zustandsänderung neu gerendert werden. Feature Flags führten dazu, dass die Hälfte der Nutzer eine Benutzeroberfläche sah, die das Testframework noch nie gesehen hatte.

„Agentic Testing“ erschien als Lösung für diese Probleme in der Branche. Mit dem Folgenden soll dieser Begriff nicht gefördert werden. Es wird untersucht, warum der Testprozess schwieriger wurde, was „agentic“ eigentlich bedeuten sollte, warum es für diejenigen, die die Arbeit erledigen, von Bedeutung ist, und wo seine Grenzen liegen. Es richtet sich an alle, die Tests schreiben und überprüfen oder für die Veröffentlichung verantwortlich sind, wenn etwas mitten in der Nacht kaputtgeht.

Veröffentlichungsgeschwindigkeit

Ein wöchentlicher Release-Zyklus lässt Zeit, um einen Testumfang in Ordnung zu halten. Tägliche Deploys tun das nicht, und sobald ein Team jedes Mal, wenn ein PR zusammengeführt wird, etwas veröffentlicht, kann der Testumfang nicht auf eine Aufräumarbeit am Freitag warten. Er muss ständig produktionsbereit sein.

Härtere Schnittstellen

Verwickelte Benutzeroberflächen werden immer schwieriger zu handhaben, insbesondere wenn Komponenten schnell generiert werden. Ein Selektor, der bei einer manuell erstellten Form funktionierte, kann bereits am Tag kaputtgehen, an dem MUIs Autocomplete ihn ersetzt, da sich das gerenderte DOM, das Fokusbehavior und die Reihenfolge der Ereignisse dadurch ändern.

Die Wartungskosten

Dann gibt es noch die Kosten, über die selten gesprochen wird:

  • Ein Playwright-Test, der lokal erfolgreich ist, aber in der CI abbricht, weil ein Ladeindikator 100 ms länger sichtbar bleibt.
  • Ein Locator, der an das dritte Kind eines Flex-Containers gebunden ist und kaputtgeht, sobald ein Designer einen weiteren Button hinzufügt.
  • Die Hälfte der Arbeit für den Sprint ging verloren, weil Selektoren aktualisiert werden mussten, nachdem es als „nur eine UI-Aufbereitung“ bezeichnet wurde.

Irgendjemand muss diese Aufbereitung immer durchführen, obwohl es eigentlich nie wirklich zu seinen Aufgaben gehörte.

Die instinktive Reaktion ist, noch mehr Tests zu schreiben. Das stärkt das Vertrauen jedoch nicht. Mehr skriptbasierte Tests bedeuten mehr Wartungsaufwand, und jeder neue Ablauf wird zu einer weiteren Automatisierung, die den nächsten UI-Änderungen standhalten muss – was sie wahrscheinlich überholt. Irgendwann hat man das Gefühl, dass der Testumfang gegen einen arbeitet.

Was „agil“ bedeutet

Das Wort wird so locker verwendet, dass es vor weiterer Erörterung eine Definition benötigt.

Ein skriptbasiertes Testverfahren folgt einer Reihe von Anweisungen in einer festgelegten Reihenfolge. Wenn die Umstände von diesem Plan abweichen, ist der Test nutzlos. Selbstheilende Automatisierung verbessert dies, indem sie fehlerhafte Lokatoren repariert oder unklare Klicks erneut versucht, führt aber dennoch ein im Voraus geschriebenes Skript aus.

Agentenbasiertes Testen unterscheidet sich davon. Software-Agenten überwachen den Zustand der Anwendung und entscheiden selbst, welche Aktion als Nächstes ausgeführt werden soll, ohne dass jemand jeden Schritt überwacht. In der Praxis gibt der Tester lediglich die Absichten an, ohne jede Interaktion detailliert zu beschreiben. Anstelle von Dutzenden Zeilen an Playwright- oder Selenium-Code kann eine Anweisung den Agenten beauftragen, zu überprüfen, ob ein bestehender Kunde seine Zahlungsmethode ändern kann, ohne seine Adresse zu ändern.

Das bedeutet nicht, dass der Agent das Produkt gut versteht. Es bedeutet lediglich, dass der Agent über ausreichend Kontext verfügt, um darauf zu reagieren. Er kann das ingenieurtechnische Urteilsvermögen nicht ersetzen. Er könnte einen Bestellvorgang abschließen, ohne zu bemerken, dass kein Loyalitätsrabatt angewendet wurde, oder eine rechtmäßige Bestellung mit einem Betrag von 0,00 Dollar als Preismangel kennzeichnen, obwohl es sich dabei einfach um einen eingelösten Gutschein handelte.

Daher entscheiden die Menschen weiterhin, was richtig ist, suchen nach kritischen Randfällen und beurteilen, ob ein Fehler ein Mangel oder lediglich eine Fehlinterpretation des vermuteten Verhaltens der App ist. Die tägliche Arbeit ändert sich ebenfalls: Weniger Zeit wird für das Schreiben aufgewendet, mehr dafür, das Vorgeschlagene des Agents zu überprüfen und zu entscheiden, wo zusätzliche Abdeckung oder eine genaueere Prüfung erforderlich sind.

Veränderungen in der Benutzeroberfläche

UI-Veränderungen gehören seit Langem zu den größten Problemen. Das Umbenennen einer Schaltfläche von „Continue“ in „Next“ oder der Austausch eines Dropdown-Menüs gegen ein Combobox-Element während einer Zugänglichkeitsprüfung kann eine Kette von Fehlern auslösen, selbst wenn die Anwendung einwandfrei funktioniert.

Einige KI-Testplattformen gehen dabei anders vor. Sie beobachten tatsächliche Benutzerprozesse und erstellen ein seitenweises Modell davon, wie Nutzer durch die Anwendung navigieren, einschließlich der Funktion jeder Seite oder Aktion. Die Tests werden anschließend aus diesem Modell generiert und nicht aus einem instabilen Snapshot des DOMs.

Die Tests selbst basieren auf Absichten. Ein Test wird als Aussage darüber formuliert, was geschehen sollte und was als korrekt gilt, wobei der Testagent sich wie ein echter Mensch durch die Benutzeroberfläche bewegt, Klicks vornimmt und das Ergebnis mit den festgelegten Erwartungen vergleicht.

Keine dieser Maßnahmen schließt Menschen aus dem Prozess aus. Teammitglieder entscheiden weiterhin, welche Workflows am wichtigsten sind, definieren, was für das Unternehmen als „richtig“ gilt, und prüfen die Bereiche, die Produktkenntnisse statt nur Interface-Kenntnisse erfordern.

Wie sich die Arbeit verändert

Wenn weniger Zeit für die Behebung fehlerhafter Automatisierungen aufgewendet wird, verändert sich die Arbeit selbst. Stunden, die früher damit verbracht wurden, Lokatoren zu reparieren oder brüchige Skripte zu bearbeiten, können nun für die Erweiterung des Abdeckungsbereichs, die Überprüfung von Risiken sowie das Finden von Problemen genutzt werden, die allein durch Automatisierung übersehen werden.

Die Erstellung präziser Selenium-Selektoren oder das Auswendiglernen der Playwright-APIs ist nicht mehr eine seltene Fähigkeit. Entscheidungsgeschick hingegen schon. Das bedeutet, zu wissen, welche Benutzerprozesse die meisten Aufmerksamkeit verdienen, zu verstehen, wo ein Fehler echte Geschäftsrisiken verursacht, und zu erkennen, wenn ein generierter Test technisch erfolgreich ist, aber das Wesentliche übersieht. Das waren schon immer die schwierigsten Aspekte des Testens, und Teams hatten einfach nie genug Zeit dafür.

Der Wandel verändert auch die Bedeutung von Qualität für Engineering-Manager. Die Anzahl der ausgeführten Tests oder geschriebenen Skripte war nie ein zuverlässiger Indikator für Vertrauen, und ein umfangreicheres Testumfeld garantiert keine bessere Abdeckung – besonders dann nicht, wenn die Hälfte der Tests unzuverlässig ist oder nach UI-Änderungen ignoriert wird. Für diese Fragen sind folgende besser geeignet:

  • Wie schnell kann eine Veröffentlichung validiert werden?
  • Wie zuversichtlich ist das Team vor dem Veröffentlichen?
  • Welche Kosten entstehen langfristig, um diese Zuversicht aufrechtzuerhalten?

Wo es versagt

Aggressives Testen ersetzt nicht jede Form der Automatisierung, und das Vortäuschen eines solchen Ersatzes schadet. Drei Fälle sind besonders hervorzuheben.

Geregelte Umgebungen. In der Gesundheitsbranche und im Fintech muss die Ausführung oft deterministisch sein, mit Prüfprotokollen und Nachweisen dafür, dass ein Test bei jedem Ausführungsvorgang gleich reagiert. Anpassungsfähiges Verhalten kann damit in Konflikt geraten. Prozesse, die auf keinen Fall abweichen dürfen, erfordern explizit definierte, skriptbasierte Schritte, die bei jeder Änderung deutlich fehlschlagen und lesbare Spuren der Handlungen sowie Gründe des Agents hinterlassen. Eine gute Plattform ermöglicht es dem Team, festzulegen, inwieweit sich jeder Test anpassen darf.

Produktionssicherheit. Nur wenige Teams möchten, dass ein autonomer Agent in einer Produktionsumgebung unterwegs ist und die Befugnis hat, Bestellungen aufzugeben, Kundendaten zu bearbeiten oder Testdaten zu erstellen. Die meisten Organisationen bewältigen dies mit isolierten Staging-Umgebungen, einmaligen Konten sowie streng kontrollierten Berechtigungen.

Schwierig lesbare Benutzeroberflächen. Apps, die auf Drag-and-Drop, Canvas-Rendering oder stark angepassten internen Arbeitsabläufen basieren, liefern dem Agenten nicht immer die notwendigen Hinweise. Gezielte Automatisierung und menschliche Überwachung helfen dabei weiterhin.

Andere Testprobleme erfordern andere Tools – diese drei eignen sich zumindest vorerst nicht für agnostisches Testing.

Erste Schritte

Das zentrale Problem ist, dass Software heute schneller veröffentlicht wird, als die Automatisierung folgen kann, und QA-Agenten ändern das. Ingenieure schreiben nicht mehr jede Aktion per Skript fest. Sie definieren den Zweck, prüfen, was der Agent vorschlägt, und greifen ein, wenn menschliches Urteilsvermögen erforderlich ist, während das System sich an die nächsten Schritte der Benutzeroberfläche anpasst.

Jeder, der dies in Betracht zieht, sollte nicht damit beginnen, das gesamte System zu ersetzen. Wählen Sie einen für das Geschäft kritischen Workflow, der häufig ändert, wie zum Beispiel den Checkout oder die Onboarding-Prozesse, und vergleichen Sie die Wartungsaufwände über mehrere Release-Zyklen hinweg. Das gibt eine realistische Einschätzung, ob dies für das Team geeignet ist.

Häufige Fragen

Ist das dasselbe wie Selbstheilung? Nein. Bei der Selbstheilung werden skriptbasierte Tests repariert, während das agentenbasierte Testing ein Ziel verfolgt und kein vorher geschriebenes Skript befolgt.

Ersetzt es QA-Ingenieure? Nein. Es verringert die Wartung der Tests, doch die Ingenieure definieren weiterhin die Geschäftsregeln, überprüfen die Ergebnisse und untersuchen Fehler.

Kann es neben einem bestehenden Testsuite laufen? Ja. Die meisten Teams beginnen damit, beide zu nutzen und im Laufe der Zeit die Wartungsaufwände zu vergleichen.

Ist es für prozesssichere Abläufe geeignet? Ja, sofern geeignete Kontrollmechanismen vorhanden sind. Solche Abläufe können explizite Schritte mit vollständigen Protokollen der Aktionen des Agents ausführen, sodass kritische Tests deterministisch und prüfbar bleiben, während die übrigen Tests frei angepasst werden können.

Verwandte Artikel

  • Agentic AI Testing für SaaS: Wie zielorientierte Agenten brüchige Skripte ersetzen — Warum SaaS-Testumgebungen ständig versagen, wie zielorientierte KI-Agenten eine Anwendung erkunden und anpassen, wo ihre Grenzen liegen, und wie man ein gezieltes Agentic-Testing-Pilotprojekt durchführt.