Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Reliability
Чаму показнікі точнасці агентаў вводзяць у глухі кут: pass^k, пертурбацыі та введэнне бягаў
Чаму pass@1 скрывае ненадзеяныя АІ-агенты, і як pass^k, наборы пертурбацый вхідных дадзеных та введэнне бягаў выявляюць прычыны разнак у надзеянасці, стабільнасці та стойкасці да бягаў.
9 хв чытанняАгент без захавання: што ламаецца, калі модель не захавана.
Створыце той самы ўнезащытны агент для пацярків у Claude Agent SDK і LangChain Deep Agents, а потым старайцеся з’ясавіць, якія элементы керування не працуюць, спаглядая тры неудачы.
9 хв чытанняЧаму продакшн-агенты AI патрабуюць больш, чым простае якісна запрошэнне.
Агенты AI для працы ў вырабоцтве патрабуюць не толькі хорашага запиту: ім неабходны контэкст, інструменты, памяць, механізмы рашэння проблем, можлівасць абсарбавання інфармацыі, тэставанне і автонамія, якія будуць адпаведныя рэальнам рызікам.
7 хв чытанняТэставанне системы критэрыяў, якая перапрацоўвае неправільны фінальны заход агента.
Эксперымент з 30 прыемамі: суддя на базе LLM плюс адна спроба перапрацавання скорачылі колькість неправильных дзеянь падтрымкі з 6 да 2, і чаму выявленне порушэння не завжды означае, што агент яго відновіць.
7 хв чытанняЧаму саме прылад для агента, а не модель, вяршыць выбір таго, што стане рэальнасцю.
Апдэйт CRM з часовым таймаутам паказвае, чаму агентам патрэбны даговоры на інструменты, статусы з невядомым рэзультатам, ідэмпотентныя перапрыбуткі та паўнастая перакананае завершэнне, а таксама меры контролю, якія варта зберагчы.
6 хв чытанняПершым чым агент АІ атрыме права на эксплуатацыю: контракты, графы прытэнняў, тэставанне ў тэнаю і канаркі
Процес выпуску агентаў AI, які спачатку адпрацоўвае доказы: контракты з адзначаным дыяпазонам, сцэнарыі з станамі, введэнне бягаў, межы неяснасці, паэтапныя тэсты і прызначэнне рангу, якое адбываецца пад кантролем машыны.
23 хв чытанняКомплект, цікл, граф: тры слоі, стоячыя за большасцю збоев агентаў у працэсе роботы.
Неспрацоўкі агента вырабніцтва рэдка калі выходзяць з самой модэлі. Аддзельнайце кабельную сістэму інструмента, умову зупнення ціклу і топалогію графа LangGraph — кожны з яных мае свога адпаведнага адпаведніка.
24 хв чытанняЧаму агенты, якія вражаюць у дэманах, зазнаюць нявяскі ў рэальных умовах, і што трэба стварыць заместа іх.
Чаму агенты ШІ, які вражаюць у дэманах, не функцыонуюць у рэальных умовах: дзе воні выходзяць з ладу, прыроўненне адзіночных і багатоагентных рашэнняў, практыкі перапрыбутку і альтернатыўных спосабаў, а таксама рэальныя витраты на ўтриманне.
9 хв чытанняАцэнка агентаў за дапамогою бота для паляцункоў: вясь пры рэзультатах і траекторыя, блокі і парадакты pass^k.
Прыклад выкарыстоўвання системы броніравання паляцункоў для ацэнкі агентаў: вясь і вектар траекторыі, дэтерміністычныя блокі перед вазованымі баламі, 2x2 матрыца і парадакты pass@k проты pass^k.
8 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.