Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: Testing
Кто оценивает оценщика? Проверка наборов инструментов для оценки агентов перед тем, как им доверять.
Кто проверяет набор инструментов оценки? Смещение судейских оценок, оценивание только по результатам, закрытые моди фейлов и скрытые затраты могут привести к ложным данным при оценке больших языковых моделей. Необходимы проверки самого набора инструментов.
7 мин чтенияПочему агенты проходят все оффлайн-тесты, но всё равно терпят неудачу в реальных условиях работы
Шесть режимов дрифта постепенно влияют на набор данных для оценки. Оценка по четырем осям и еженедельный цикл группировки и повышения уровня помогают получать точные показатели CI, соответствующие реальному поведению трафика.
9 мин чтенияЧто меняется в тестировании с использованием агентов для QA и в чём оно всё ещё уступает.
Комплексы с скриптовым управлением и функцией самовосстановления теряют работоспособность при изменении интерфейса. Агенты браузера, основанные на целях, сокращают объем технического обслуживания, но регулируемые процессы и нестандартные интерфейсы всё равно требуют внимания.
7 мин чтенияПроектирование плана управления оценкой для производственных ИИ-агентов
Как создать систему непрерывной оценки агентов: разделение планов выполнения и управления, утверждения на основе трейсинга, золотые наборы данных, контрольные точки CI, тестирование на протяжении всего жизненного цикла и чек-лист для запуска.
10 мин чтенияPlaywright или браузерные агенты? Где скриптовая автоматизация по-прежнему имеет преимущество.
Сценарии Playwright против браузерных агентов на основе MCP: хрупкость, детерминизм и затраты, одна задача по оформлению счета выполняется обеими способами, риски для безопасности и ситуации, когда тот или иной метод оказывается преимущественным.
8 мин чтенияНадежное тестирование браузеров фронт-энда: сценарии использования, утверждения и ненадежные тесты.
Практический подход к тестированию фронт-энда: выбор критически важных сценариев использования пользователя, написание утверждений о результатах, контроль данных для тестирования, устранение ненадежных тестов и анализ тестов Playwright, сгенерированных ИИ.
8 мин чтенияОценка агентов с помощью поискового бота для путешествий: результат против траектории, блоки и параметр pass^k.
Пример оформления бронирования поездки для оценки агентов: оси результата и траектории, детерминистические блоки перед взвешенными оценками, 2x2 матрица и параметры pass@k против pass^k.
8 мин чтенияОценка агентов и навыков на практике: траектории, оценщики, параметры pass^k и инструменты
Как оценивать агентов и навыки: наборы триггеров и выполнения, порядок силы оценщика, точность и воспроизводимость, pass@k против pass^k, небольшой инструментарий на Python и выбор утилит.
11 мин чтенияСемантическое поиск с ChromaDB и векторными представлениями для многопроцессного платформенного решения
Переход предприятийской многопроцессной платформы к реальному семантическому поиску: разбиение текста с учетом слов, косинусное расстояние в ChromaDB, тестовые слои и следующий шаг RetrievalAgent.
10 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.