Agiles KI-Testing für SaaS: Wie zielgesteuerte Agenten brüchige Skripte ersetzen.
Warum SaaS-Testumgebungen ständig ausfallen, wie zielgesteuerte KI-Agenten eine Anwendung erkunden und anpassen, wo sie versagen, und wie man ein messbares agiles Testpilotprojekt durchführt.
Die Liefergeschwindigkeit ist nicht das Problem, das moderne SaaS-Teams belastet. Das eigentliche Problem entsteht, wenn sich alles rund um das Produkt schneller verändert als die Prozesse, die dazu dienen, es zu überprüfen. Teams, die mehrmals am Tag neue Versionen veröffentlichen, investieren oft genauso viel Aufwand in die Aufrechterhaltung der Tests wie in deren Verbesserung. Die Tests sind in der Regel nicht schlecht geschrieben – die getestete Anwendung bleibt einfach nicht konstant.
Jede Bereitstellung ändert etwas: ein umgeschriebener React-Komponent, eine weitere Variante eines Benutzerworkflows oder ein Identitätsanbieter, der seine Anmeldeverfahren ändert. Keines davon ist ein Defekt, doch genau das zerstört die auf festen Annahmen basierende Automatisierung. Diese Diskrepanz erklärt das wachsende Interesse an KI-gestütztem Testing, dessen eigentlicher Vorteil darin besteht, die Wartung eines umfangreichen SaaS-Portfolios zu reduzieren – anstatt die Arbeit der Tester an Maschinen abzugeben.
Warum SaaS schwierig zu testen ist
SaaS-Systeme weisen selten eine Umgebung auf, die ehrlich gesagt als Anwendung bezeichnet werden kann. Zwei Kunden mit derselben Codebasis können unterschiedliche Preismodelle, Autorisierungsabläufe, Funktionen oder Zugriffsrechte haben. Ein Testplan, der in einer frischen Staging-Umgebung erfolgreich ist, kann bei der Konfiguration des Endkunden fehlschlagen, die die Produktionsumgebung stört.
Das Tempo der Lieferung verschärft die Schwierigkeiten weiter. Bei trunk-basiertem Entwicklungsprozess werden Updates Dutzende Male bereitgestellt, wodurch jede Regression zu einem Wettlauf wird. Gleichzeitig ändern sich die Umgebungen, ohne dass das Team etwas ändert. Stripe überarbeitet seine gehostete Zahlungsmethode, Auth0 oder Clerk modifizieren den Anmeldevorgang, Salesforce ändert die API-Antwort. Keines davon sind Fehler im eigenen Code, doch die Kunden erleben sie als Teil des Produkts – daher muss eine Teststrategie sie berücksichtigen.
Das Testen hier bedeutet die Überprüfung eines Systems, das sich in verschiedenen Umgebungen, Integrationen sowie kundenindividuellen Einstellungen ständig ändert – und nicht nur die Prüfung einer statischen Anwendung.
Unzuverlässigkeit und brüchige Selektoren
Unzuverlässige Tests werden häufig fälschlicherweise der nachlässigen Erstellung zugeschrieben, obwohl das nicht immer der Fall ist. Oft liegt der Grund in zeitlichen Aspekten innerhalb der Anwendung selbst:
- Unter Last erscheint ein Modalfenster einige hundert Millisekunden zu spät.
- API-Antworten kommen in einer unerwarteten Reihenfolge an.
- Eine Hintergrundaufgabe wird erst direkt nach Ausführung der Prüfung abgeschlossen.
- Eine Wiederholungskopie funktioniert lokal, scheitert aber im CI, wo die Einstellungen anders sind.
Niemandes dieser Faktoren tritt jedes Mal auf – genau deshalb sind sie schwer nachzuvollziehen.
Tools wie Playwright und Selenium sind von ihrer Konstruktion her deterministisch. Sie befolgen die gegebenen Anweisungen in der vorgegebenen Reihenfolge, und das funktioniert gut, solange die Anwendung vorhersehbar bleibt. Präzision nützt nichts, wenn die Benutzeroberfläche noch nicht vollständig gerendert wurde oder der überprüfte Zustand sich weiterhin ändert.
Selektoren bilden die andere Hälfte des Problems. Eine Migration des Frontends – sei es zu einer neuen Komponentenbibliothek oder zu einem vollständigen Designsystem – kann die DOM-Struktur verändern, ohne dass ein Endnutzer etwas bemerkt. Die Funktion bleibt weiterhin funktionsfähig, doch Dutzende von XPath-Expressionen, CSS-Selektoren sowie Annahmen über die DOM-Struktur passen nicht mehr.
Die tatsächlichen Kosten häufen sich langsam an. Die Teams verbringen mehr Zeit damit, die Automatisierung zu warten, anstatt sie weiterzuentwickeln, und das Vertrauen in das System nimmt ab. Sobald die Ingenieure nicht mehr glauben, dass Fehler tatsächlich auftreten, führt bereits ein roter Status in einem Pipeline-Prozess zu Streitigkeiten darüber, ob das Produkt oder die Tests schuld sind. Das signalisiert in der Regel die Notwendigkeit, den Ansatz der Automatisierung zu ändern – und nicht nur die Skripte.
Was „KI-Testing“ eigentlich umfasst
Der Begriff ist zu einem Sammelbegriff geworden, und es lohnt sich, ihn zu differenzieren, denn die darunterliegenden Techniken erfüllen unterschiedliche Aufgaben. Agentic Testing bedeutet, dass ein KI-Agent nach Zielen testet: Er beobachtet den Bildschirm, trifft Entscheidungen, handelt und überprüft das Ergebnis, anstatt nur vorgefertigte Schritte abzuspielen. Das unterscheidet ihn von den anderen beiden Ansätzen.
Seine Grenzen verdienen eine realistische Betrachtung. Ein Agent handelt auf der Grundlage dessen, was auf dem Bildschirm angezeigt wird, unter Verwendung der Struktur der App sowie des von ihr verfolgten Ablaufs – was nicht dasselbe ist wie das Verstehen von Geschäftsregeln. Er kann ein mehrstufiges Registrierungsformular ausfüllen, ohne zu wissen, dass ein Referenzcode einen Rabatt einbringen sollte oder dass ein Downgrade des Plans während des Vorgangs den Endpreis verändern müsste. Auch tools mit KI-Hilfe beheben dieses Problem nicht, denn ein Modell, das dabei hilft, Skripte schneller zu schreiben, lässt die Menschen weiterhin entscheiden, was richtig ist. Diese Verantwortung liegt weiterhin beim Team, das das Produkt entwickelt, unabhängig davon, welcher der drei Ansätze verwendet wird.
Wie ein Agent anders testet
Die traditionelle Automatisierung beginnt mit dem Schreiben eines Skripts. Bei der agierenden Testmethode lernt der Agent zunächst die Anwendung kennen. Vor jedem Testlauf erkundet er das Produkt wie ein neuer Benutzer – er navigiert durch Seiten, füllt Formulare aus und klickt auf Links. Dabei werden diese Interaktionen nicht als Abfolge von Schritten gespeichert. Stattdessen wird ein Modell des Produkts erstellt, in dem die Seiten Knoten und die sie verbindenden Aktionen Kanten darstellen – eher wie eine aktuelle Karte als wie ein Skript.
Das ist wichtig, weil der Agent nicht die Sitzung vom Vortag abspielt. Während eines Laufs wiederholt er einen Zyklus:
- Der aktuelle Zustand der Anwendung wird beobachtet.
- Es wird entschieden, welche Aktion dem Testziel näher bringt.
- Auf dieser Entscheidung wird gehandelt.
- Das Ergebnis wird überprüft.
- Der Vorgang wird wiederholt, bis das Ziel erreicht ist.
Beobachten, entscheiden, handeln, überprüfen, wiederholen: Das ist der Zyklus, den QA-Agenten bei einer Anwendung durchlaufen. Sie erstellen eine Karte, indem sie die Anwendung selbst erkunden, Seiten durchsuchen und Interaktionen ausprobieren, und wenden anschließend ihr Wissen über gängige Produktmuster an, um auf dieser Karte Tests zu erstellen und zu begründen.
Es kommt weder zu manuellem Programmieren noch zu instabilen Selektoren, denn der Agent arbeitet mit dem aktuellen Zustand der Anwendung. Wenn sich ein Workflow ändert – sei es durch einen umbenannten Klassennamen in einem Div, eine andere Schaltfläche oder ein umgestaltetes Formular – aktualisiert sich das Modell zusammen mit der Anwendung. Spätere Ausführungen spiegeln somit das Produkt in seinem heutigen Zustand wider und nicht mehr so, wie es zum Zeitpunkt der Erstellung der Automatisierung aussah.
Menschen verschwinden nicht aus dem Prozess, aber ihre Zeit wird anderswo verbraucht. Einige Arbeitsabläufe benötigen weiterhin menschliche Überprüfungen, wie z. B. Rückerstattungsberechnungen, Steuern, Preisregeln und Zahlungsabwicklung, da sie auf einem Geschäftskontext beruhen, den kein automatisierter Tester erfassen kann. Für viele Teams sieht der Übergang so aus:
Anstatt stundenlang nach jeder UI-Änderung die Automatisierung zu warten, können Ingenieure die Testabdeckung erweitern und echte Probleme angehen, die ein Verständnis des Produkts erfordern.
Ein Pilotprojekt durchführen
Das sofortige Einführen von agiler Testung im gesamten Produkt kann das Vertrauen darin untergraben. Ein besseres Vorgehen ist es, mit einem für das Geschäft kritischen Ablauf zu beginnen, bei dem Schäden teure Folgen haben, wie z. B. bei der Onboarding-Prozedur, der Kontoerstellung oder jedem Ablauf, der sich ständig ändert.
Ein Pilotprojekt ist ohne Vergleichsgrundlage wenig wert, und drei Dinge sind dabei entscheidend.
Eine gemessene Basislinie. Messen Sie den aktuellen Regressionsschritt mit einer Stoppuhr anstelle von Schätzungen. Eine Bemerkung wie „Die Regression dauert etwa eine Woche“ zählt nicht.
Eine echte Vergleichsmöglichkeit. Führen Sie den Pilotversuch parallel zum aktuellen manuellen oder skriptbasierten Prozess am selben Release-Kandidaten durch, damit zwei Stoppuhren denselben Umfang messen.
Ein im Voraus vereinbartes Go/No-Go-Kriterium. Entscheiden Sie sich vor Beginn – und nicht in der Abschlussbesprechung – darüber, welches Ergebnis eine Erweiterung rechtfertigt: Fehler, die sonst in die Produktion gelangt wären, oder durch die Basislinie eingesparte Wartungsstunden.
Ein Pilotversuch ohne Basislinie kann nicht verlieren – und aus diesem Grund kann er auch nichts zeigen. Sobald ein sorgfältig ausgewählter Ablauf die geforderten Kriterien erfüllt, birgt eine Erweiterung des Einsatzes deutlich weniger Risiken.
Zusammenfassung
SaaS-Produkte entwickeln sich so schnell, dass Automatisierungen, die auf festen Annahmen beruhen, zwangsläufig versagen. Aggressives Testing bietet eine andere Herangehensweise: Anpassung an Veränderungen statt mit ihnen veraltet zu werden. Die ehrlichste Art, es zu bewerten, ist, zu messen, wie es in Ihrer eigenen Anwendung funktioniert.