Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: llm-evaluation
Чому показники точності агентів вводять в оману: pass^k, зміни параметрів та введення помилок
Чому pass@1 приховує ненадійних штучних інтелектуальних агентів, та як pass^k, набори змін параметрів вхідних даних та введення помилок виявляють проблеми з послідовністю, стабільністю та стійкістю до несправностей.
9 хв читанняДіагностика збоїв RAG: карта етапів та оцінювач обґрунтованості на рівні тверджень
Визначте місце збою у конвеєрі RAG, а потім створіть оцінювач обґрунтованості LLM, який перевірятиме твердження по одному та підтверджуватиметься за допомогою людських оцінювачів за допомогою коефіцієнта kappa.
9 хв читанняАгентне деталізоване навчання: навчання вікі знань замість параметрів моделі
Запустіть цикл навчання штучного інтелекту на вікі з набутими знаннями, отриманими з корпоративних документів: критерії оцінки, створені на основі необроблених даних, конфіденційні запитання та сертифікат із чесними обмеженнями.
9 хв читанняRAG чи граф знань? 2 160 оцінених відповідей та вплив моделі
RAG проти графа знань: 2 160 оцінених відповідей у трьох родинах моделей та 120 запитань. Переможець змінюється залежно від моделі, і саме модель має найбільше значення.
9 хв читанняТестування механізму перевірки, який повторно розглядає неправильну кінцеву дію агента.
Експеримент із 30 випадками: суддя у вигляді ШІ та одна спроба перепробування скоротили кількість неправильних дій підтримки з 6 до 2, а також пояснюється, чому виявлення порушення не завжди означає, що агент його виправить.
7 хв читанняВід оцінок до самовдосконалюваних агентів: п’ять епох оцінки агентів
Оцінка агента тепер означає аудит слідів дій. Подивіться, як детерміністичні перевірки, судді на основі LLM, діагностика та мета-інструменти створюють безпечний цикл вдосконалення.
7 хв читанняОцінка та оптимізація агентів: порівняння DSPy, TextGrad, Reflexion та OPRO
Як DSPy, TextGrad, Reflexion та OPRO взаємодіють як зворотні ланцюги для агентів, які з них слід використовувати спочатку, та як у підприємстві розділити оцінку від оптимізації.
12 хв читанняРозробка, заснована на оцінці, для штучних інтелектуальних агентів: контракти, трекування та оцінювачі
Ставіться до оцінок як до процесу CI/CD для агентів: версії запитів — як контракти, відстежуйте виконання за допомогою OpenTelemetry та Tempo, а потім тестуйте за допомогою детерміністичних перевірок та судді у вигляді ШІ.
13 хв читанняОцінка в замкнутому циклі для серійного агента обробки зображень: що представило Uber Eats.
Дослідження конкретного випадку проектування механізмів оцінки функції покращення якості фото в Uber Eats: повторне перевірення маршрутів, критерій pass@K, діагностика відхилень, автоматична налаштування та багатошарові етапи перевірки якості.
7 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.