Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: llm-evaluation
Почему показатели точности агентов вводят в заблуждение: pass^k, методы нарушения и внедрение сбоев
Почему pass@1 скрывает ненадежных ИИ-агентов, и как pass^k, методы нарушения входных данных и внедрение сбоев выявляют пробелы в согласованности, стабильности и устойчивости к сбоям.
9 мин чтенияДиагностика сбоев RAG: карта этапов и судья основанности на уровне утверждений
Определите место сбоя в конвейере RAG, затем создайте судью основанности LLM, который будет проверять утверждения по одному и апробироваться с помощью человеческих оценщиков с использованием коэффициента Каппы.
9 мин чтенияТонкая настройка агентов: обучение вики знаний вместо весов модели
Запустить цикл обучения ИИ на вики с извлеченными данными из корпоративных документов: создать эталоны на основе сырых данных, секретные вопросы и сертификат с указанием честных ограничений.
9 мин чтенияRAG или граф знаний? 2 160 оцененных ответов и влияние модели
RAG против графа знаний: было оценено 2,160 отмеченных ответов в трех семействах моделей и 120 вопросов. Победитель меняется в зависимости от модели, причем модель играет наиболее важную роль.
9 мин чтенияТестирование механизма проверки, который позволяет повторно применить неправильное окончательное действие агента.
Эксперимент с 30 случаями: судья в виде большой языковой модели вместе с одной попыткой повтора сократил количество неверных действий поддержки с 6 до 2, и почему обнаружение нарушения не всегда означает, что агент его исправит.
7 мин чтенияОт оценок к самосовершенствующимся агентам: пять этапов развития оценки агентов
Оценка агентов теперь подразумевает аудит следов действий. Узнайте, как детерминистические проверки, судьи на основе LLM, диагностика и мета-механизмы создают безопасный цикл улучшений.
7 мин чтенияОценка и оптимизация агентов: сравнение DSPy, TextGrad, Reflexion и OPRO
Как DSPy, TextGrad, Reflexion и OPRO взаимодействуют как циклы обратной связи для агентов, какие из них следует применить в первую очередь, и как разделить оценку от оптимизации в предприятии.
12 мин чтенияРазработка, основанная на оценке, для ИИ-агентов: контракты, трейсы и судьи
Рассматривайте оценки как систему CI/CD для агентов: версии запросов — как контракты, отслеживайте выполнения с помощью OpenTelemetry и Tempo, затем тестируйте с помощью детерминистичных проверок и судьи в виде большой языковой модели.
13 мин чтенияОценка в замкнутом цикле для производственного агента обработки изображений: что представило Uber Eats
Исследование конкретного случая проектирования оценки алгоритма улучшения фотографий в Uber Eats: повторный анализ маршрутов, метод pass@K, диагностика отклонений, автоматическая настройка и многоуровневые этапы проверки качества.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.