Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Reliability
Dlaczego wyniki dokładności agentów mylą: pass^k, perturbacje i iniekcja błędów
Dlaczego pass@1 ukrywa niepewne agenty AI, a jak pass^k, zestawy perturbacji wejściowych oraz iniekcja błędów ujawniają luki w spójności, stabilności i odporności na błędy.
9 min czytaniaNagi agent: Co się psuje, gdy model nie ma żadnej ochrony
Stwórz taki sam niezabezpieczony agent podróżniczy w Claude Agent SDK oraz LangChain Deep Agents, a następnie obserwuj trzy awarie, aby zobaczyć, jakie elementy sterujące są brakujące.
9 min czytaniaDlaczego agenci AI w produkcji potrzebują czegoś więcej niż tylko dobrego promptu.
Agence sztucznej inteligencji do produkcji potrzebują czegoś więcej niż tylko dobrego promptu: kontekstu, narzędzi, pamięci, mechanizmów radzenia sobie z błędami, możliwości obserwacji, testowania oraz autonomii dostosowanej do rzeczywistego ryzyka.
7 min czytaniaTestowanie bramy rubrykowej, która ponawia błędne ostateczne działanie agenta
Eksperyment z 30 przypadkami: sędzia oparty na modelu LLM w połączeniu z jedną próbą ponowną zmniejszył liczbę błędnych działań wsparcia z 6 do 2 oraz wyjaśnił, dlaczego wykrycie naruszenia nie zawsze oznacza, że agent je naprawia.
7 min czytaniaDlaczego to narzędzie dla pracowników, a nie model, decyduje o tym, co staje się rzeczywistością.
Aktualizacja CRM z wykrytym czasem oczekiwania pokazuje, dlaczego pracownicy potrzebują umów na narzędzia, stanów o nieznanych wynikach, powtarzalnych prób oraz potwierdzonego zakończenia, a także mechanizmów kontrolnych, które warto zachować.
6 min czytaniaZanim agent AI otrzyma uprawnienia do produkcji: umowy, grafy roszczeń, testy w cieniu i ptaki kanaryjskie
Proces wypuszczania agentów AI oparty na dowodach: umowy z określonym zakresem, scenariusze z stanem, iniekcja błędów, granice niepewności, etapowe testy kanaryjskie oraz wymuszana przez maszynę promocja.
23 min czytaniaNarzędzia, pętle, graf: trzy warstwy leżące u podstaw większości awarii agentów w środowisku produkcyjnym.
Awarie agentów produkcyjnych rzadko wynikają z samego modelu. Należy oddzielić zestaw narzędzi, warunek zatrzymania pętli oraz topologię grafu LangGraph – każdy z tych elementów ma swojego odpowiedzialnego.
24 min czytaniaDlaczego agenty, które imponują w demonstracjach, zawodzą w produkcji i co zamiast tego warto stworzyć.
Dlaczego agenci AI, które imponują w demonstracjach, zawodzą w produkcji: gdzie się psują, kompromisy między systemami jedno- a wieloagentowymi, próby ponowne i rozwiązania awaryjne oraz rzeczywiste koszty działania.
9 min czytaniaOcena agentów za pomocą bota podróżniczego: wynik vs trajektoria, bramy oraz pass^k
Przykład zastosowania systemu rezerwacji podróży do oceny agentów: osie wyniku i trajektorii, bramy deterministyczne przed ważonymi ocenami, macierz 2x2 oraz porównanie pass@k i pass^k.
8 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.