Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: evals
Tworzenie pętli doskonalenia agenta przy użyciu LangGraph i ocen LangSmith.
Krok po kroku pętla LangGraph i LangSmith: zbieranie śladów, trzy warstwy oceny, grupowanie niepowodzeń, zestawy danych do regresji offline oraz testy przed wdrożeniem.
24 min czytaniaVibe Coding kontra Agentic Engineering: co głosi nowy dokument Google na temat SDLC
Streszczenie dokumentu Whitepaper firmy Google na temat nowego SDLC: weryfikacja jako granica podziału, wykorzystanie narzędzi zamiast modeli, inżynieria kontekstu, pułapka 80% oraz rola kierownika w porównaniu z orkiestratorem.
9 min czytaniaOcena GenAI i agentów: testowanie jednoetapowe vs wieloetapowe w CI
Porównaj oceny jednoetapowe oparte na śladach z ocenami wieloetapowymi sterowanymi symulatorem, obejmując standardy złote, sędziów typu LLM, metryki agentów, bramy CI oraz siedem praktyk pracy.
8 min czytaniaOcena agentów sztucznej inteligencji: złote zbiory, sędziowie LLM oraz bramy regresji CI
Ocena offline i online dla agentów za pomocą AgentCore, LangFuse, Ragas oraz DeepEval, wraz z zestawami danych złotymi, mechanizmem kontrolnym CI, testami A/B oraz informacjami zwrotnymi z pamięci.
18 min czytaniaPotwierdzenia zamówień audytowych, których agent nigdy nie wystawił: sprawdzanie wartości zamiast sformułowań
Jak stworzyć narzędzie do oceny spójności roszczeń dla agenta obsługi klienta, który składa rzeczywiste zamówienia: podzielić wyniki według właściciela, sprawdzić identyfikatory w porównaniu z wynikami narzędzia.
16 min czytaniaUtrzymanie uczciwości magazynu wektorowego: cykl życia, model dzierżawy, metadane, wyszukiwanie hybrydowe
Zarządzanie magazynem wektorowym do RAG w środowisku produkcyjnym: cykl życia dokumentów, odświeżanie embeddingów, filtry użytkowników, wyszukiwanie hybrydowe dla dokładnych identyfikatorów, metadane i śledzenie.
9 min czytaniaRozwój napędzany oceną dla agentów AI: kontrakty, ślady i sędziowie
Traktuj oceny jako proces CI/CD dla agentów: prompty wersyjne jako umowy, śledź wykonywania z użyciem OpenTelemetry i Tempo, a następnie testuj za pomocą deterministycznych sprawdzeń oraz sędziego w postaci modelu językowego.
13 min czytaniaOcena agentów za pomocą bota podróżniczego: wynik vs trajektoria, bramy oraz pass^k
Przykład zastosowania systemu rezerwacji podróży do oceny agentów: osie wyniku i trajektorii, bramy deterministyczne przed ważonymi ocenami, macierz 2x2 oraz porównanie pass@k i pass^k.
8 min czytaniaUmiejętności agenta to kod: określ zakres, ujawnij informacje, napisz skrypt i przetestuj je
Dlaczego SKILL.md to logika produkcyjna: zapisuj tylko wiedzę proceduralną, dostosowuj aktywację, ładowaj stopniowo, przenoś dokładną pracę do skryptów, twórz narzędzia oceny i usuwaj te, które nie są skuteczne.
10 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.