Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: llm-evaluation
Чаму ацэнка дакладнасці агента ўводзіць у зман: pass^k, абурэнні і ўвядзенне збояў
Чаму pass@1 хавае ненадзейных AI-агентаў і як pass^k, наборы са зменамі ўводу і штучныя збоі выяўляюць праблемы з паслядоўнасцю, стабільнасцю і ўстойлівасцю.
9 хв чытанняДыягностыка збояў RAG: карта этапаў і суддзя абгрунтаванасці на ўзроўні сцвярджэнняў
Вызначаем, дзе зламаўся RAG-канвеер, і будуем LLM-суддзю абгрунтаванасці, які правярае сцвярджэнні па адным і звераецца з ацэнкамі людзей праз каэфіцыент каппа.
9 хв чытанняАгентны файнцюнінг: навучаем вікі ведаў замест вагаў мадэлі
Цыкл ML-навучання запускаецца на вікі з высноў, здабытых з дакументаў кампаніі: бенчмаркі з сырых даных, сакрэтныя пытанні і сертыфікат з сумленнымі абмежаваннямі.
9 хв чытанняRAG ці граф ведаў? 2160 ацэненых адказаў і ўплыў мадэлі
RAG супраць графа ведаў у лічбах: 2160 ацэненых адказаў для трох сямействаў мадэляў і 120 пытанняў. Пераможца мяняецца ў залежнасці ад мадэлі, і менавіта мадэль важыць найбольш.
9 хв чытанняТэст рубрычнага фільтра, які перазапускае памылковае фінальнае дзеянне агента
Эксперымент на 30 выпадках: LLM-суддзя і адна паўторная спроба скарацілі памылковыя дзеянні падтрымкі з 6 да 2 — і чаму выяўленне парушэння не заўсёды азначае, што агент яго выправіць.
7 хв чытанняАд ацэнак да самапаляпшальных агентаў: пяць эпох ацэнкі агентаў
Ацэнка агентаў сёння — гэта аўдыт трас. Як дэтэрмінаваныя праверкі, LLM- і агенты-суддзі, дыягностыка і мета-абвязка ствараюць бяспечны цыкл паляпшэння.
7 хв чытанняАцэнка і оптымізацыя агентаў: порэванне DSPy, TextGrad, Reflexion і OPRO
Як DSPy, TextGrad, Reflexion і OPRO взаўмадзейнуюць як ціклы зворотнага зв’язку для агентаў, калкі з іх застосаваць першыя, і як аддзеліць оцэнку ад оптымізаціі ў падпрыемстве.
12 хв чытанняРаспрацоўка праз ацэнкі для AI-агентаў: кантракты, трасы і суддзі
Ацэнкі як CI/CD для агентаў: версіянуйце промпты як кантракты, трасіруйце запускі праз OpenTelemetry і Tempo і тэстуйце дэтэрмінаванымі праверкамі і LLM-суддзём.
13 хв чытанняАцэнкі з закрытым цыклам для прыстрою апрацоўкі фотаў у працэсе вырабоцтва: што паказала Uber Eats
Аналіз прыкладу праекта ацэнкаў, які стоіць за прыстроем для падвышэння якосці фотаў у Uber Eats: перагляд маршрута, pass@K, дыягназа адхылэнняў, автокалібруванне і шаровыя контрольныя пункты.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.