Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: llm-as-judge
Хто оцінює оцінювача? Перевірка наборів інструментів для оцінки агентів перед тим, як їм довіряти.
Хто перевіряє набір тестів оцінки? Схильність суддів, оцінювання лише за результатом, приватні моди збоїв та приховані витрати можуть змусити оцінки ШІ брехати. Перевірка самого набору тестів.
7 хв читанняОцінка штучних інтелектуальних агентів: золоті набори, судді з LLM та бар’єри регресії CI
Офлайн- та онлайн-оцінка для агентів за допомогою AgentCore, LangFuse, Ragas та DeepEval, а також золоті набори даних, система контролю CI, тести A/B та зворотний зв’язок від пам’яті.
18 хв читанняКоли моделі оцінюють архітектуру: проблеми з рубрикатором, на які варто виділити бюджет
Перевіряючі LLM оцінюють архітектуру, вигадуючи суворі правила, плутаючи демонстрації з продуктами та нагороджуючи стандартні рішення. Критерії оцінювання, пов’язані з недостатнім бюджетуванням, та способи їх виправлення.
13 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.