Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: Testing
Хто оцінює оцінювача? Перевірка наборів інструментів для оцінки агентів перед тим, як їм довіряти.
Хто перевіряє набір тестів оцінки? Схильність суддів, оцінювання лише за результатом, приватні моди збоїв та приховані витрати можуть змусити оцінки ШІ брехати. Перевірка самого набору тестів.
7 хв читанняЧому агенти проходять кожну офлайн-оцінку, але все одно зазнають невдач у продакшені
Шість режимів дрифту поступово старіють набір для оцінки. Оцінка за чотирма вісьми та щотижневий цикл групування та підвищення рівня забезпечують точність індикатора CI щодо реальної поведінки трафіку.
9 хв читанняЯк змінюється тестування з використанням агентів для QA та де воно все ще залишається недосконалим.
Комплекси зі скриптами та функціями самовідновлення припиняють працювати, коли змінюється інтерфейс користувача. Агенти браузера, засновані на намірах, скорочують обсяг технічного обслуговування, проте регульовані процеси та незвичайні інтерфейси все ще потребують уваги.
7 хв читанняПроєктування плану керування оцінкою для промислових AI-агентів
Як створити систему постійної оцінки агентів: розділення планів виконання та керування, перевірки на основі трекінгу, золоті набори даних, контрольні точки CI, тестування протягом усього життєвого циклу та чек-лист для запуску.
10 хв читанняPlaywright чи браузерні агенти? Де скриптована автоматизація все ще має перевагу.
Скрипти Playwright проти браузерних агентів на основі MCP: крихкість, детермінізм та витрати, виконання однієї завдання з рахункування обома способами, ризики для безпеки та ситуації, коли кожен з них має перевагу.
8 хв читанняНадійне тестування фронт-енду в браузерах: сценарії використання, умови перевірки та ненадійні тести.
Практичний підхід до тестування фронт-енду: вибір ключових сценаріїв використання користувачами, написання умов перевірки результатів, контроль даних для тестування, усунення ненадійності та перевірка тестів Playwright, створених штучним інтелектом.
8 хв читанняОцінка агентів за допомогою бота для подорожей: результат проти траєкторії, переходи та показник pass^k.
Приклад процесу бронювання подорожей для оцінки агентів: осі результату та траєкторії, детерміністичні переходи перед зваженими оцінками, 2x2 матриця та показники pass@k проти pass^k.
8 хв читанняОцінка агентів та навичок на практиці: траєкторії, оцінювачі, критерії проходження та інструменти
Як оцінювати агентів та навички: набори для запуску та виконання, порядок сили оцінювача, точність та відтворюваність, pass@k проти pass^k, невеликий інструментарій на Python та вибір засобів.
11 хв читанняСемантичне пошукове забезпечення за допомогою ChromaDB та ембеддингів для мультиагентної платформи
Перехід корпоративної багатоагентної платформи до справжнього семантичного пошуку: розбиття тексту з урахуванням слів, косинусова відстань у ChromaDB, тестові шари та наступний крок RetrievalAgent.
10 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.