Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: llmops
Создание цикла улучшения агента с использованием LangGraph и инструментов оценки LangSmith.
Пошаговый цикл LangGraph и LangSmith: сбор данных, три уровня оценки, кластеризация неудач, наборы данных для регрессионного анализа в офлайн-режиме и предварительная оценка перед выпуском.
24 мин чтенияПлан развития инженерии ИИ на 2026 год: от Python до агентов и технологий LLMOps.
Поэтапный план обучения по инженерии ИИ на 2026 год, включающий изучение Python и математики, классического машинного обучения и глубокого обучения, а также технологий RAG, MCP, агентов, оценки и развертывания.
14 мин чтенияКогда панель управления показывает зеленый цвет, а агент действует неправильно: отслеживание состояния
Панель управления зеленая, и агент ошибается: сбои скрываются в состоянии, передаваемом между работающими этапами. Какие записи трейсинга, маршрутизации и оценки необходимо фиксировать.
12 мин чтенияКто оценивает оценщика? Проверка наборов инструментов для оценки агентов перед тем, как им доверять.
Кто проверяет набор инструментов оценки? Смещение судейских оценок, оценивание только по результатам, закрытые моди фейлов и скрытые затраты могут привести к ложным данным при оценке больших языковых моделей. Необходимы проверки самого набора инструментов.
7 мин чтенияОценка процесса извлечения информации в рамках RAG за пределами показателя восстановления данных в ANN, на примере Turbopuffer.
Быстрый векторный поиск всё равно может не найти ответ. Узнайте о компромиссах в хранении в Turbopuffer, гибридном подходе BM25 с векторным поиском и о том, как «золотой набор» оценивает реальную степень восстановления данных.
7 мин чтенияОт оценок к самосовершенствующимся агентам: пять этапов развития оценки агентов
Оценка агентов теперь подразумевает аудит следов действий. Узнайте, как детерминистические проверки, судьи на основе LLM, диагностика и мета-механизмы создают безопасный цикл улучшений.
7 мин чтенияОтслеживание пайплайна LangGraph для блогов с использованием Langfuse: сегменты, оценки, предупреждения
Оснастить многоагентный пайплайн LangGraph инструментами Langfuse: один трейс на статью, вложенные сегменты, предупреждения, оценки и рутину отладки для слабых черновиков.
8 мин чтенияАгенты, устойчивые к повторной обработке: изоляция вызовов LLM от рабочего процесса с использованием временных механизмов.
Почему агент, выходящий из строя в процессе работы, не должен снова запускать свой LLM: действия как граница недетерминизма, механизмы повторной обработки, показатели активности, попытки повтора и графы без состояния.
16 мин чтенияПроектирование плана управления оценкой для производственных ИИ-агентов
Как создать систему непрерывной оценки агентов: разделение планов выполнения и управления, утверждения на основе трейсинга, золотые наборы данных, контрольные точки CI, тестирование на протяжении всего жизненного цикла и чек-лист для запуска.
10 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.