Инженерные заметки
Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: agent-evals
Кто оценивает оценщика? Проверка наборов инструментов для оценки агентов перед тем, как им доверять.
Кто проверяет набор инструментов оценки? Смещение судейских оценок, оценивание только по результатам, закрытые моди фейлов и скрытые затраты могут привести к ложным данным при оценке больших языковых моделей. Необходимы проверки самого набора инструментов.
7 мин чтенияПочему агенты проходят все оффлайн-тесты, но всё равно терпят неудачу в реальных условиях работы
Шесть режимов дрифта постепенно влияют на набор данных для оценки. Оценка по четырем осям и еженедельный цикл группировки и повышения уровня помогают получать точные показатели CI, соответствующие реальному поведению трафика.
9 мин чтения
FAQ
О этих статьях
Да. Каждый текст — оригинальный английский рерайт для этого сайта. Структура и код следуют источнику; проза переписана и проверена на пересечения.
Технические посты сначала на английском, чтобы код и API оставались точными. Оболочка сайта доступна на всех девяти языках.
Новые черновики попадают в очередь после редактуры. Импорт на сайт берёт только новые или изменённые slug — без дублей.
Примеры иллюстративные. Проверяйте стек и лицензии перед продом. Для внедрения пришлите бриф.
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.