Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: reliability
Чаму ацэнка дакладнасці агента ўводзіць у зман: pass^k, абурэнні і ўвядзенне збояў
Чаму pass@1 хавае ненадзейных AI-агентаў і як pass^k, наборы са зменамі ўводу і штучныя збоі выяўляюць праблемы з паслядоўнасцю, стабільнасцю і ўстойлівасцю.
9 хв чытанняГолы агент: што ламаецца, калі мадэль нічога не ахоўвае
Будуем аднолькавага неабароненага агента для падарожжаў у Claude Agent SDK і LangChain Deep Agents і на трох збоях бачым, якіх элементаў абвязкі не хапае.
9 хв чытанняЧаму прадакшн-агентам патрэбна больш, чым добры промпт
Прадакшн-агентам патрэбны не толькі добры промпт: кантэкст, інструменты, памяць, апрацоўка збояў, назіральнасць, тэсціраванне і ўзровень аўтаноміі, адпаведны рэальнай рызыцы.
7 хв чытанняТэст рубрычнага фільтра, які перазапускае памылковае фінальнае дзеянне агента
Эксперымент на 30 выпадках: LLM-суддзя і адна паўторная спроба скарацілі памылковыя дзеянні падтрымкі з 6 да 2 — і чаму выяўленне парушэння не заўсёды азначае, што агент яго выправіць.
7 хв чытанняЧаму рэальнасць вызначае абвязка агента, а не мадэль
Абнаўленне CRM, якое скончылася па таймаўце, паказвае, навошта агентам кантракты інструментаў, стан «вынік невядомы», ідэмпатэнтныя паўторы і праверанае завяршэнне.
6 хв чытанняПерш чым даць AI-агенту правы ў прадакшне: кантракты, графы сцвярджэнняў, ценявыя запускі і канарэйкі
Працэс выпуску AI-агентаў на доказах: абмежаваныя кантракты, сцэнарыі са станам, увядзенне збояў, межы нявызначанасці, паэтапныя канарэйкі і машынна забяспечанае павышэнне.
23 хв чытанняАбвязка, цыкл, граф: тры ўзроўні за большасцю збояў прадакшн-агентаў
Збоі прадакшн-агентаў рэдка ідуць ад мадэлі. Раздзяліце абвязку інструментаў, умову спынення цыкла і тапалогію графа LangGraph і дайце кожнаму свайго адказнага.
24 хв чытанняЧаму агенты, што ўражваюць у дэма, падаюць у прадакшне, і што будаваць замест іх
Чаму AI-агенты, якія ўражваюць у дэманстрацыях, ламаюцца ў прадакшне: дзе яны падаюць, адзін агент супраць многіх, паўторы і рэзервовыя шляхі і рэальны кошт працы.
9 хв чытанняАцэнкі агентаў на прыкладзе бота для падарожжаў: вынік супраць траекторыі, фільтры і pass^k
Разбор ацэнкі агентаў на прыкладзе браніравання падарожжаў: восі выніку і траекторыі, дэтэрмінаваныя фільтры перад вагавымі ацэнкамі, матрыца 2×2 і pass@k супраць pass^k.
8 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.