Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: Testing
Wer bewertet den Bewertungsmechanismus? Validierung von Bewertungstools, bevor man ihnen vertraut.
Wer überprüft das Bewertungssystem? Richterische Verzerrungen, ausschließlich auf das Ergebnis ausgerichtete Bewertung, private Fehlermuster sowie versteckte Kosten können dazu führen, dass die Bewertungen von großen Sprachmodellen falsch sind. Überprüfungen des Systems selbst.
7 Min. LesezeitWarum Agenten jede Offline-Evaluierung bestehen, in der Produktion aber dennoch versagen
Sechs Drift-Modi führen schrittweise zu einem Alterungsprozess des Evaluationssets. Ein Vier-Achsen-Track-Score sowie ein wöchentlicher Cluster-und-Promote-Loop sorgen dafür, dass die Schätzungen der tatsächlichen Leistung im Live-Traffic entsprechen.
9 Min. LesezeitWas sich bei agiler Testung für die Qualitätskontrolle ändert und wo sie weiterhin unzureichend ist.
Scriptbasierte und selbstheilende Lösungen versagen, wenn sich die Benutzeroberfläche ändert. zielorientierte Browser-Agenten reduzieren die Wartung, doch regulierte Abläufe sowie ungewöhnliche Benutzeroberflächen erfordern weiterhin Pflege.
7 Min. LesezeitPraktische Hinweise: Zuverlässige KI-Agenten entwickeln – Aufbau einer Produktbewertungsmethode
Schritt-für-Schritt-Anleitung zu den Praktischen Hinweisen: Engineering zu zuverlässigen KI-Agenten – Aufbau einer Produktbewertung sowie Verträge, Überprüfungen und Code-Blöcke für Teams, die dieses Muster einsetzen.
10 Min. LesezeitPlaywright oder Browser-Agenten? Wo skriptbasierte Automatisierung weiterhin gewinnt.
Schauspieler-Skripte gegen MCP-getriebene Browser-Agenten: Brüchigkeit, Determinismus und Kosten, eine Rechnungsaufgabe wird auf beide Weisen erledigt, die Sicherheitsrisiken und wann jeweils einer gewinnt.
8 Min. LesezeitZuverlässiges Front-End-Browser-Testing: Benutzerprozesse, Ergebnisannahmen und instabile Tests
Ein praktischer Ansatz für Front-End-Testing: Wählen Sie wichtige Benutzerprozesse aus, formulieren Sie Ergebnisannahmen, kontrollieren Sie Staging-Daten, reduzieren Sie instabile Tests und überprüfen Sie von KI erzeugte Playwright-Tests.
8 Min. LesezeitBewertung von Agenten mit einem Reisebot: Ergebnis gegen Verlauf, Schwellenwerte und Pass^k.
Ein beispielhafter Fall für die Bewertung von Reisebuchungsagenten: Achsen für Ergebnis und Verlauf, deterministische Schwellenwerte vor gewichteten Scores, eine 2x2-Matrix sowie Pass@k gegenüber Pass^k.
8 Min. LesezeitAgent- und Fähigkeitsbewertungen in der Praxis: Entwicklungspfade, Bewertungskriterien, pass^k und Tools
Wie man Agenten und Fähigkeiten bewertet: Auslösungs- und Ausführungssätze, Rangfolge der Bewertungsstärke, Präzision und Treffgenauigkeit, Pass@k gegen Pass^k, ein kleines Python-Tool sowie Auswahl von Hilfsmitteln.
11 Min. LesezeitSemantische Suche mit ChromaDB und Embeddings für eine Mehr-Agenten-Plattform
Übertragung einer Unternehmens-Multi-Agenten-Plattform auf echte semantische Suche: wortbezogenes Chunking, Kosinusabstand in ChromaDB, Testschichten und der nächste Schritt von RetrievalAgent.
10 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.