Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: evals
Создание цикла улучшения агента с использованием LangGraph и инструментов оценки LangSmith.
Пошаговый цикл LangGraph и LangSmith: сбор данных, три уровня оценки, кластеризация неудач, наборы данных для регрессионного анализа в офлайн-режиме и предварительная оценка перед выпуском.
24 мин чтенияVibe Coding против Agentic Engineering: что утверждается в новой белой книге Google об SDLC
Краткое изложение белой книги Google о новом SDLC: верификация как разделительная линия, использование инструментов вместо моделей, инжиниринг контекста, ловушка 80% и различия между кондуктором и оркестратором.
9 мин чтенияОценка генеративных ИИ и агентов: тестирование в одном этапе против многократного тестирования в CI
Сравните оценки одного этапа на основе трейсов с оценками нескольких этапов, осуществляемыми с помощью симулятора, включая золотые стандарты, судей из числа больших языковых моделей, показатели агентов, контрольные точки интеграции и семь практик работы.
8 мин чтенияОценка ИИ-агентов: золотые наборы, судьи на основе LLM и ворота регрессии CI
Офлайн- и онлайн-оценка для агентов с AgentCore, LangFuse, Ragas и DeepEval, плюс золотые наборы данных, механизмы контроля CI, тесты A/B и обратная связь от памяти.
18 мин чтенияПодтверждения заказов аудита, которые агент никогда не оформлял: проверка значений вместо формулировок
Как создать инструмент оценки согласованности заявок для оператора поддержки, который оформляет реальные заказы: разделить результаты по владельцам, проверить идентификаторы с помощью результатов инструмента.
16 мин чтенияОбеспечение надежности хранилища векторов: жизненный цикл, арендная модель, метаданные, гибридный поиск
Работа векторного хранилища для RAG в производственной среде: жизненный цикл документов, обновление эмбеддингов, фильтры арендаторов, гибридный поиск по точным идентификаторам, метаданные и отслеживание.
9 мин чтенияРазработка, основанная на оценке, для ИИ-агентов: контракты, трейсы и судьи
Рассматривайте оценки как систему CI/CD для агентов: версии запросов — как контракты, отслеживайте выполнения с помощью OpenTelemetry и Tempo, затем тестируйте с помощью детерминистичных проверок и судьи в виде большой языковой модели.
13 мин чтенияОценка агентов с помощью поискового бота для путешествий: результат против траектории, блоки и параметр pass^k.
Пример оформления бронирования поездки для оценки агентов: оси результата и траектории, детерминистические блоки перед взвешенными оценками, 2x2 матрица и параметры pass@k против pass^k.
8 мин чтенияНавыки агента — это код: определите их объем, раскройте информацию, напишите скрипты и протестируйте их.
Почему SKILL.md — это логика производства: записывайте только процедурные знания, настраивайте активацию, загружайте постепенно, переносите точную работу в скрипты, создавайте инструменты оценки и удаляйте неэффективные решения.
10 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.