Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: evals
Створення циклу покращення агента за допомогою LangGraph та оцінок LangSmith.
Крок за кроком цикл LangGraph та LangSmith: збір слідів, три рівні оцінювання, кластерування невдач, набори даних для регресії офлайн та попередні оцінки перед випуском.
24 хв читанняVibe Coding проти Agentic Engineering: що стверджує нова біла книга Google про SDLC
Короткий огляд білої книги Google про нову модель SDLC: верифікація як роздільна лінія, використання інструментів замість моделей, інженерія контексту, пастка 80% та роль кондуктора проти оркеструвальника.
9 хв читанняОцінка GenAI та агентів: тестування в одному етапі проти багатоетапного тестування в CI
Порівняйте оцінювання одного етапу на основі слідів дій із оцінюванням кількох етапів за допомогою симулятора, враховуючи золоті стандарти, суддів з ШІ, метрики агентів, контрольні точки інтеграції та сім практик роботи.
8 хв читанняОцінка штучних інтелектуальних агентів: золоті набори, судді з LLM та бар’єри регресії CI
Офлайн- та онлайн-оцінка для агентів за допомогою AgentCore, LangFuse, Ragas та DeepEval, а також золоті набори даних, система контролю CI, тести A/B та зворотний зв’язок від пам’яті.
18 хв читанняПідтвердження замовлень аудиту, які агент ніколи не створює: перевірка значень замість формулювань
Як створити оцінювач послідовності заявок для агента підтримки, який оформлює реальні замовлення: розділити результати за власником, перевірити ідентифікатори за даними інструменту.
16 хв читанняЗабезпечення чесності сховища векторів: життєвий цикл, моделювання користувацьких прав, метадані, гібридний пошук.
Керування сховищем векторів для RAG у промисловому середовищі: життєвий цикл документів, оновлення ембеддингів, фільтри орендарів, гібридний пошук за точними ідентифікаторами, метадані та відстеження.
9 хв читанняРозробка, заснована на оцінці, для штучних інтелектуальних агентів: контракти, трекування та оцінювачі
Ставіться до оцінок як до процесу CI/CD для агентів: версії запитів — як контракти, відстежуйте виконання за допомогою OpenTelemetry та Tempo, а потім тестуйте за допомогою детерміністичних перевірок та судді у вигляді ШІ.
13 хв читанняОцінка агентів за допомогою бота для подорожей: результат проти траєкторії, переходи та показник pass^k.
Приклад процесу бронювання подорожей для оцінки агентів: осі результату та траєкторії, детерміністичні переходи перед зваженими оцінками, 2x2 матриця та показники pass@k проти pass^k.
8 хв читанняНавички агента — це код: визначте їх сферу застосування, розкрийте деталі, створіть скрипти та протестуйте їх.
Чому SKILL.md — це логіка продакшну: записуйте лише процедуральні знання, налаштовуйте активацію, завантажуйте поступово, переносьте точну роботу у скрипти, створюйте оцінки та видаляйте некорисні елементи.
10 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.