Artykuły dla tych, którzy
wdrażają stack
Oryginalne materiały o React, Node.js, TypeScript i AI — z tej samej praktyki co nasze oprogramowanie operatorskie. Treść artykułów po angielsku.
Tag: Testing
Kto ocenia oceniającego? Weryfikacja zestawów do oceny agentów przed zaufaniem im.
Kto weryfikuje zestaw testów oceniających? Odchylenia sędziów, ocenianie wyłącznie na podstawie wyników, prywatne tryby awarii oraz ukryte koszty mogą sprawić, że oceny modeli językowych będą nieprawdziwe. Kontrole przeprowadzane są na samym zestawie testów.
7 min czytaniaDlaczego agenci przechodzą każdą ocenę offline, a mimo to zawodzą w środowisku produkcyjnym
Sześć trybów driftu powoli starzeje zestaw do oceny. Wynik pomiaru na czterech osiach oraz cotygodniowy cykl grupowania i promowania zapewniają wiarygodność wskaźników w odniesieniu do rzeczywistego zachowania ruchu w sieci.
9 min czytaniaJakie zmiany przynosi testowanie agencyjne dla działu QA i w czym nadal pozostaje niewystarczające
Pakiety z skryptami i mechanizmami samonaprawczymi przestają działać, gdy zmienia się interfejs użytkownika. Agenaty przeglądarkowe oparte na intencjach zmniejszają konieczność konserwacji, ale regulowane procesy oraz nietypowe interfejsy wciąż wymagają uwagi.
7 min czytaniaWskazówki praktyczne: Projektowanie niezawodnych agentów AI: tworzenie systemów oceny produkcyjnej
Praktyczne wskazówki: Projektowanie niezawodnych agentów AI – budowa systemu oceny w produkcji: umowy, sprawdzania oraz gotowe elementy kodu dostępne dla zespołów wdrażających ten wzorzec.
10 min czytaniaPlaywright czy agenci przeglądarki? Gdzie automatyzacja oparta na skryptach wciąż ma przewagę.
Skrypty Playwright kontra agenci przeglądarkowe napędzane MCP: kruchość, determinizm i koszt, jedno zadanie fakturujące wykonywane w obu przypadkach, zagrożenia bezpieczeństwa oraz sytuacje, w których każdy rozwiązanie ma przewagę.
8 min czytaniaTestowanie przeglądarek front-endu, które jest niezawodne: ścieżki użytkownika, założenia i niestabilne testy
Praktyczne podejście do testowania front-endu: wybieranie kluczowych ścieżek użytkownika, tworzenie założeń dotyczących wyników, kontrola danych testowych, eliminacja niestabilności oraz przeglądanie testów Playwright generowanych przez AI.
8 min czytaniaOcena agentów za pomocą bota podróżniczego: wynik vs trajektoria, bramy oraz pass^k
Przykład zastosowania systemu rezerwacji podróży do oceny agentów: osie wyniku i trajektorii, bramy deterministyczne przed ważonymi ocenami, macierz 2x2 oraz porównanie pass@k i pass^k.
8 min czytaniaOcena agentów i umiejętności w praktyce: trajektorie, oceniacze, kryteria zdania i narzędzia
Jak oceniać agenty i umiejętności: zestawy akcji i ich wykonywania, kolejność siły oceniających, precyzja i召回率, pass@k vs pass^k, mały zestaw narzędzi w Pythonie oraz wybór przydatnych narzędzi.
11 min czytaniaRetrywal semantyczny przy użyciu ChromaDB i embeddingów dla platformy wielu agentów
Przeniesienie platformy wieloagentowej dla przedsiębiorstw na rzeczywiste wyszukiwanie semantyczne: dzielenie tekstu z uwzględnieniem słów, odległość kosinowa w ChromaDB, warstwy testowe oraz następny krok RetrievalAgent.
10 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.