Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Reliability
Чому показники точності агентів вводять в оману: pass^k, зміни параметрів та введення помилок
Чому pass@1 приховує ненадійних штучних інтелектуальних агентів, та як pass^k, набори змін параметрів вхідних даних та введення помилок виявляють проблеми з послідовністю, стабільністю та стійкістю до несправностей.
9 хв читанняНагий агент: що ламається, коли модель не захищена.
Створіть той самий незахищений туристичний агент у Claude Agent SDK та LangChain Deep Agents, а потім спостерігайте, як три збої покажуть, які засоби керування відсутні.
9 хв читанняЧому продакшн-агенти ШІ потребують більшого, ніж просто хороший запит.
Агентам штучного інтелекту для виробництва потрібно більше, ніж просто хороший запит: контекст, інструменти, пам’ять, механізми обробки помилок, можливість спостереження, тестування та автономність, що відповідають реальному ризику.
7 хв читанняТестування механізму перевірки, який повторно розглядає неправильну кінцеву дію агента.
Експеримент із 30 випадками: суддя у вигляді ШІ та одна спроба перепробування скоротили кількість неправильних дій підтримки з 6 до 2, а також пояснюється, чому виявлення порушення не завжди означає, що агент його виправить.
7 хв читанняЧому саме Agent Harness, а не модель, вирішує, що стане реальністю.
Оновлення CRM з таймером завершення показує, чому агентам потрібні контракти на інструменти, стани з невідомим результатом, ідемпотентні спроби та підтвердження завершення, а також контролі, які варто зберегти.
6 хв читанняПерш ніж штучний інтелект-агент отримає право на експлуатацію: контракти, графи претензій, тестування в тіні та канарки
Процес випуску AI-агентів, заснований на доказах: контракти з визначеними межами, сценарії зі станом, введення помилок, межі невизначеності, поетапні тести та автоматичне підвищення рівня.
23 хв читанняІнструментальний комплекс, цикл, граф: три шари, що лежать в основі більшості збоїв агентів у продакшені.
Невдачі продакшн-агента рідко виникають через саму модель. Розділіть кабельну схему інструменту, умову зупинки циклу та топологію графа LangGraph — у кожного з цих елементів має бути власник.
24 хв читанняЧому агенти, які вражають у демо-версіях, зазнають невдач у продакшені, та що слід створювати замість них.
Чому штучні інтелектуальні агенти, які вражають у демо-версіях, зазнають невдач у реальних умовах: де вони ламаються, протиставлення одного та багатьох агентів, спроби повторення та альтернативні рішення, а також справжня вартість їхньої роботи.
9 хв читанняОцінка агентів за допомогою бота для подорожей: результат проти траєкторії, переходи та показник pass^k.
Приклад процесу бронювання подорожей для оцінки агентів: осі результату та траєкторії, детерміністичні переходи перед зваженими оцінками, 2x2 матриця та показники pass@k проти pass^k.
8 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.