Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: llm-evaluation
Dlaczego wyniki dokładności agentów mylą: pass^k, perturbacje i iniekcja błędów
Dlaczego pass@1 ukrywa niepewne agenty AI, a jak pass^k, zestawy perturbacji wejściowych oraz iniekcja błędów ujawniają luki w spójności, stabilności i odporności na błędy.
9 min czytaniaDiagnozowanie awarii RAG: mapa etapów oraz narzędzie oceny trafności twierdzeń na poziomie poszczególnych stwierdzeń
Zlokalizuj miejsce awarii pipeline RAG, a następnie stwórz oceniające narzędzie dla modeli LLM, które sprawdza twierdzenia pojedynczo i jest weryfikowane przez ludzkich oceniaczy za pomocą wskaźnika kappa.
9 min czytaniaDrobne dostosowanie modelu agentywnego: szkolenie wiki wiedzy zamiast wag modelu.
Uruchom pętlę szkolenia ML na wiki zawierającej informacje pozyskane z dokumentów firmy: punkty odniesienia stworzone na podstawie surowych danych, tajne pytania oraz certyfikat z określonymi granicami uczciwości.
9 min czytaniaRAG czy graf wiedzy? 2 160 ocenionych odpowiedzi i wpływ modelu
RAG kontra graf wiedzy, pomiar: 2 160 ocenionych odpowiedzi w trzech rodzinach modeli oraz 120 pytań. Zwycięzca zmienia się w zależności od modelu, a model ma największe znaczenie.
9 min czytaniaTestowanie bramy rubrykowej, która ponawia błędne ostateczne działanie agenta
Eksperyment z 30 przypadkami: sędzia oparty na modelu LLM w połączeniu z jedną próbą ponowną zmniejszył liczbę błędnych działań wsparcia z 6 do 2 oraz wyjaśnił, dlaczego wykrycie naruszenia nie zawsze oznacza, że agent je naprawia.
7 min czytaniaOd ocen do samodoskonalących się agentów: pięć er w ocenie agentów
Ocena agenta oznacza teraz audyt śladów działania. Zobacz, jak deterministyczne sprawdzanie, modele LLM i sędziowie agentów, diagnostyka oraz mechanizmy meta-pomocne tworzą bezpieczny cykl doskonalenia.
7 min czytaniaOcena i optymalizacja agentów: porównanie DSPy, TextGrad, Reflexion i OPRO
Jak DSPy, TextGrad, Reflexion i OPRO współpracują jako pętle sprzężenia zwrotnego dla agentów, które należy wprowadzić najpierw oraz jak oddzielić ocenę od optymalizacji w przedsiębiorstwie.
12 min czytaniaRozwój napędzany oceną dla agentów AI: kontrakty, ślady i sędziowie
Traktuj oceny jako proces CI/CD dla agentów: prompty wersyjne jako umowy, śledź wykonywania z użyciem OpenTelemetry i Tempo, a następnie testuj za pomocą deterministycznych sprawdzeń oraz sędziego w postaci modelu językowego.
13 min czytaniaOceny w pętli zamkniętej dla narzędzia do przetwarzania zdjęć w produkcji: co przedstawił Uber Eats
Studium przypadku projektu oceny stojącego za narzędziem do ulepszania zdjęć w Uber Eats: ponowne sprawdzanie routera, pass@K, diagnoza odchyłek, automatyczna kalibracja oraz warstwowe bramy kontroli jakości.
7 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.