Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Oryginalne materiały o React, Node.js, TypeScript i AI — z tej samej praktyki co nasze oprogramowanie operatorskie. Treść artykułów po angielsku.
Tag: agent-evals
Kto ocenia oceniającego? Weryfikacja zestawów do oceny agentów przed zaufaniem im.
Kto weryfikuje zestaw testów oceniających? Odchylenia sędziów, ocenianie wyłącznie na podstawie wyników, prywatne tryby awarii oraz ukryte koszty mogą sprawić, że oceny modeli językowych będą nieprawdziwe. Kontrole przeprowadzane są na samym zestawie testów.
7 min czytaniaDlaczego agenci przechodzą każdą ocenę offline, a mimo to zawodzą w środowisku produkcyjnym
Sześć trybów driftu powoli starzeje zestaw do oceny. Wynik pomiaru na czterech osiach oraz cotygodniowy cykl grupowania i promowania zapewniają wiarygodność wskaźników w odniesieniu do rzeczywistego zachowania ruchu w sieci.
9 min czytania
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Posty techniczne najpierw po angielsku, by kod i API były dokładne. Interfejs strony jest w dziewięciu językach.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.