Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: agent-evaluation
Агенты, якія паляпшаюць сябе: самааднаўленне, навучанне і кантраляваныя змены
Самапаляпшальныя агенты без рызыкі: самааднаўленне падчас працы, навучанне паміж запускамі і змены, якія выходзяць толькі пасля ацэнак і канарэечных запускаў, на LangGraph.
15 хв чытанняАцэнка і оптымізацыя агентаў: порэванне DSPy, TextGrad, Reflexion і OPRO
Як DSPy, TextGrad, Reflexion і OPRO взаўмадзейнуюць як ціклы зворотнага зв’язку для агентаў, калкі з іх застосаваць першыя, і як аддзеліць оцэнку ад оптымізаціі ў падпрыемстве.
12 хв чытанняМінімальная платформа эксперыментаў для AI-агентаў: A/B-тэсты і ценявыя запускі
Як вырашыць, ці павінна версія агента B замяніць A: вызначэнні канвеераў, лакальнае размеркаванне, падзеі паказу, трасы, ацэнка ў пясочніцы, ценявыя запускі і абмежаванні.
11 хв чытанняAI-агент — гэта AI-мадэль плюс абвязка: што робіць абвязка і навошта
Агент — гэта мадэль плюс абвязка. Як абвязкі дадаюць інструменты, памяць, цыклы і абмежаванні, чым адрозніваюцца агенты з адкрытымі вагамі і адкрытым кодам і чаму важныя ацэнкі.
10 хв чытанняСтабільнае імя агента — не той артэфакт, які вы праверылі: фіксуйце кандыдата
Імя агента можа заставацца ранейшым, пакуль мяняюцца яго навыкі, інструменты і дазволы. Раздзяляйце імя, кандыдата паводзін і ідэнтычнасць запуску для праверкі і адкату.
8 хв чытанняПраблема бясплатнага верыфікатара: чаму цыклы агентаў спыняюцца, калі праца — не код
Цыклы агентаў кадавання працуюць, бо кампілятары і тэсты правяраюць бясплатна. Па-за кодам такога верыфікатара няма: чатыры «субсідыі», даныя пра збоі і тэст аракула.
6 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.