Vom Skript zum Ziel: Agentenbasierte KI für QA im Web, API und in Datenbanken.
Agent-basierte KI für QA: Automatisierte Tests, die ein Ziel statt von Schritten verfolgen, mit Web-, API- und Datenbank-Agenten, MCP als Verbindungsmechanismus, Speicherfunktionen sowie deren ehrliche Grenzen.
Quellen: The Day My Test Scripts Stopped Listening — And My Agents Started Thinking : —
Was ändert sich, wenn bei der Testautomatisierung nicht mehr angegeben wird, welche Knöpfe gedrückt werden sollen, sondern stattdessen das gewünschte Ergebnis vorgegeben wird? Diese Frage treibt ein kleines Open-Source-Experiment mit agierenden KI-Systemen für die Qualitätsentwicklung an, und dieser Artikel erläutert, was das Experiment versucht, wo es hilft und wo nicht.
Ein gewöhnlicher Dienstag
Man startet das Regressionstool – grüne Häkchen laufen vorbei. Alle entspannen sich, doch trotzdem gelangt ein Fehler in das Produkt, weil der Script nur genau das ausführen konnte, was ihm aufgetragen wurde, und zwar in genau der angegebenen Reihenfolge.
Die drängende Frage ist, ob Automatisierung statt des einfachen Wiederholens auch logisch denken könnte. Niemand verspricht hier Wunder. Es geht darum herauszufinden, ob KI-Agenten das Urteilsvermögen eines Testers ergänzen können, ohne zu behaupten, es ersetzen zu können.
Skriptbasierte Automatisierung und zielorientierte Automatisierung
Die meisten Testsuite-Strukturen von heute folgen einer bestimmten Abfolge: Testfall, Skript, Ausführung, Überprüfung, Berichterstattung. Sie ist deterministisch, vorhersehbar und sicher. Gleichzeitig ist sie starr, anfällig und blind für alles, was im Skript nicht erwähnt wird. Eine auf Skripten basierende Suite ist wie ein Zug auf fester Strecke: schnell und zuverlässig – bis sich die Strecke verschiebt.
Die agentbasierte Variante kehrt diese Anordnung um:
- Man gibt dem Agenten ein Testziel statt eines festgelegten Skripts.
- Er muss selbst herausfinden, was zu tun ist.
- Er darf je nach Kontext Werkzeuge wählen (Browser, API-Client, Datenbank).
- Er muss die Ergebnisse beobachten und seine nächsten Schritte anpassen.
- Er muss die Ergebnisse validieren und berichten.
Dadurch wird die Anweisung von „Führe diese vordefinierten Schritte aus“ zu „Hier ist das Ziel, finde einen Weg dorthin“. Es handelt sich dabei eher um eine Veränderung der Denkweise als um einen Wechsel der Werkzeuge.
Warum QA gut geeignet ist
Moderne Software existiert selten in nur einer Schicht. Ein einziger Fehler kann sich auf die Benutzeroberfläche, die API und die Datenbank auswirken und zeigt sich erst dann, wenn alle drei gemeinsam überprüft werden. Von Testern wird zunehmend erwartet, dass sie wie Systemingenieure denken, und die Frage hat sich von „Funktioniert die Schaltfläche?“ zu „Verhält sich das gesamte verteilte System unter realen Bedingungen?“ gewandelt.
Nehmen wir an, ein Agent könnte anstelle von drei getrennten Komponenten um ein gemeinsames Ziel herum diese Schichten koordinieren. Die Architektur gliedert sich dann in:
- Einen Web-Agenten, der den Browser steuert.
- Einen API-Agenten, der Anfragen sendet und Antworten analysiert.
- Einen Datenbank-Agenten, der die Backend-Daten überprüft.
- Eine Entscheidungsschicht, die plant und entscheidet, welchen Agenten und zu welchem Zeitpunkt aufgerufen werden soll.
- Eine Validierungsschicht, die alles zu einem handlungsrelevanten Ergebnis zusammenführt.
Anstelle von drei Berichten, die ein Mensch mental zusammenfügen muss, erhält man ein koordiniertes Urteil.
Der Architekturentwurf
Der unten dargestellte Ablauf entwickelt sich noch absichtlich weiter. Es handelt sich um ein laufendes Experiment, kein fertiges Framework, und echter technischer Fortschritt erreicht selten bereits in vollendeter Form das Endstadium.
User / Goal
↓
Agentic AI Layer (Reasoning + Planning)
↓
┌──────────┬──────────┬──────────┐
│ Web Agent│ API Agent│ DB Agent │
└──────────┴──────────┴──────────┘
↓ ↓ ↓
Browser APIs Database
↓ ↓ ↓
Validation / Result
MCP als Verbindungsorganismus
Das Model Context Protocol, MCP, ist der Teil dieses Bereichs, der es lohnt, sich ausführlich damit zu beschäftigen. Man kann es sich als Standard-Stecker und -Steckdose zwischen Agenten und tatsächlichen Funktionalitäten vorstellen, sodass ein Agent nicht nur beschreibt, was er tun würde, sondern es tatsächlich ausführt.
Für die Qualitätskontrolle eröffnet sich dadurch:
- die Verbindung von Agenten mit echten Testwerkzeugen;
- strukturierte Interaktion mit dem Browser;
- direkte API-Ausführungen;
- Zugriff auf Datenbanken ohne jedes Mal neuartige Anpassungen;
- persistentes Gedächtnis und Kontext;
- wiederverwendbare Bibliotheken mit Automatisierungstools.
Der Ablauf wird zu: Ziel verstehen, eine Funktionalität auswählen, das Tool nutzen, das Ergebnis beobachten, den nächsten Schritt entscheiden. Das unterscheidet sich deutlich von „Schritt eins, Schritt zwei, Schritt drei“.
API-Testing als Funktionalität
API-Testing wird nicht verschwinden, aber seine Form ändert sich. Anstelle einer statischen Postman-Kollektion, die ständig identische Überprüfungen durchführt, könnte ein Agent:
- Anfragen senden, die aus einem definierten Ziel abgeleitet sind;
- die Antwort im Kontext beurteilen, nicht nur anhand von Statuscodes;
- im Echtzeit-Modus neue Szenarien erfinden;
- sich mit anderen Agenten zusammenschließen, wenn ein Fehler eine Untersuchung über verschiedene Ebenen erfordert.
Testing Objective → API Agent → Send Request → Analyze Response
→ Validate Result → Pass Result to Workflow
Es handelt sich um API-Testing, das berücksichtigt, was überprüft wird, und nicht nur, ob eine Zahl übereinstimmt.
Datenbank-Agenten verdienen mehr Anerkennung
Jeder SDET kennt diese Situation: Die Benutzeroberfläche zeigt eine Bestätigung für den Erfolg, die API gibt 200 OK zurück, doch die Datensatzzeile in der Datenbank wird nie gespeichert. Nichts weist darauf hin, es sei denn, jemand betrachtet die Daten direkt.
Ein Agent mit Kenntnissen der Datenbank kann Testdaten automatisch abfragen und validieren, den Backend-Teil überprüfen, ohne dass jedes Mal jemand rohen SQL-Code schreiben muss, datenbasierte sowie zwischen Systemen durchgeführte Tests unterstützen und die Art von Fehlern aufspüren, die zwischen den Schichten auftreten.
UI → API → Business Logic → Database
Ein Defekt kann erst dann auftreten, wenn alle vier Schichten gemeinsam überprüft werden – genau hier kommen koordinierte Agenten ins Spiel.
Der Browser als ein Werkzeug unter vielen
Das Beispielprojekt enthält ein Skript namens web_surfer.py, das zeigt, wie ein Agent in einer echten Webumgebung funktioniert – nicht als isoliertes Skript, sondern als eine Funktion innerhalb eines Gesamtsystems.
Testing Goal → Agent → Web Interaction → Observation
→ Decision → Validation
Der Browser ist nicht mehr der gesamte Test – er wird zu einem Werkzeug, auf das der Agent zurückgreift, wenn es vom Ziel erfordert wird.
Eine Erinnerungsfunktion für die Automatisierung
Die meisten Automatisierungen haben nur ein kurzes Gedächtnis, wodurch jeder Ausführungsvorgang von Null an beginnt. Um diesem Problem entgegenzuwirken, speichert das Projekt eine kleine memory.json-Datei. In dieser werden frühere Aktionen, der Workflow-Zustand, der Testkontext, relevante Beobachtungen sowie frühere Ergebnisse aufbewahrt.
Test Objective → Current Context → Previous Actions
→ Agent Decision → New Action → Updated Context
Kontextbewusste Automatisierung begegnet dem System bei jedem Ausführungsvorgang nicht als Fremder. Sie bildet ein Arbeitsgedächtnis auf, das der Vorgehensweise eines erfahrenen Testers ähnlicher ist.
Was das nicht ist
Die Überhitzung durch KI-Hype ist real, daher hilft etwas Klarheit:
- Es handelt sich nicht um „KI ersetzt Tester“.
- Es handelt sich nicht um einen sofort einsetzbaren Test-Bot.
- Es handelt sich noch nicht um ein für die Produktion geeignetes Framework.
Es handelt sich um ein ehrliches, sich weiterentwickelndes Experiment dazu, wie Schlussfolgerungsvermögen, Tools und Gedächtnis die Qualitätskontrolle verändern könnten, sowie um eine Erinnerung daran, dass ingenieurtechnisches Urteilsvermögen weiterhin die Richtung vorgibt. Das Ziel ist es nicht, alles zu automatisieren, sondern intelligent zu automatisieren.
Gute Qualitätskontrolle setzt weiterhin auf Risikoanalyse, Teststrategie, Fachwissen, explorativen Test, ein solides Automatisierungsdesign, Überwachbarkeit sowie menschliche Überprüfung der Ergebnisse. Agenten sollten als verbessertes Werkzeug dienen, nicht als Ersatz für das Denken des Testers.
Wie die Struktur des Repositories aussieht
Für alle, die genauer hinschauen möchten, zeigt diese Struktur das Beispielprojekt. Die basics-Dateien bilden die grundlegenden Elemente, eine Szenariodatei wendet diese an, eine Selektordatei gruppiert und wählt Funktionen aus, und die Speicherdatei speichert den Kontext.
AgenticAIAutoGen/
│
├── Framework/
├── basics1.py → basics6.py → progressive foundational examples
├── scenario1.py → applied automation scenario
├── selectorGroup.py → capability grouping/selection logic
├── web_surfer.py → web interaction experimentation
├── memory.json → agent memory/context storage
└── .gitignore
Die Technologiebasis besteht aus Python mit OpenAI Agents, MCP-Integration, API-Testing, Datenbankvalidierung und Browserautomatisierung.
Wer profitiert
Das Projekt richtet sich an Ingenieure für QA-Automatisierung und SDETs, Qualitätsleiter, Architekten für Testautomatisierung, Ingenieure für KI-Automatisierung sowie Engineering-Manager, die die Nutzung von KI zur Unterstützung von QA prüfen.
Wohin es entwickelt werden könnte
Der Entwicklungsplan ist ehrgeizig, da sich das Feld rasant weiterentwickelt:
- multi-agentbasierte QA-Arbeitsabläufe;
- intelligenterere Testgenerierung, einschließlich Testdaten;
- KI-gestütztes API-Testing;
- autonome Browsertests;
- Agenten zur Datenbankvalidierung;
- automatische Analyse von Fehlern und Defekten;
- Integration in CI/CD-Prozesse;
- Zusammenfassungen der Testergebnisse;
- vollständige Orchestrierung von Agenten.
Nichts davon ersetzt die Grundlagen. Es baut darauf auf.
Die Schlussfolgerung
Die Zukunft der QA-Automatisierung liegt vermutlich nicht darin, schneller mehr Skripte zu schreiben. Vielmehr geht es darum, Systeme zu entwickeln, die in der Lage sind:
- eine Testziele zu verstehen.
- über den richtigen Ansatz nachzudenken.
- mithilfe der richtigen Tools im Web, über APIs und in Datenbanken zu handeln.
- das Ergebnis zu bewerten.
- sich anzupassen und den Ingenieuren nützliche Rückmeldungen zu geben.
Dadurch entwickelt sich die Automatisierung von etwas, das lediglich ausführt, zu etwas, das gemeinsam mit einem denkt, und der Tester erhält einen intelligenteren Engineering-Partner anstelle eines Ersatzes.