Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: evaluation
Як праверыць, што AI‑агент не памыляецца: ацэнкі і праверка чалавекам
Збярыце тэставы набор з уласных дакументаў, вымярайце дакладнасць па палях, ілжывыя трывогі і адмовы, запускайце ацэнкі пры кожнай змене, а сумнеўнае аддавайце людзям.
3 хв чытанняФорма анталогіі супраць памеру мадэлі: што дызайн графа каштуе AI-агенту
Як тры формы аднаго страхавога графа ведаў без страты інфармацыі змянілі дакладнасць, колькасць выклікаў інструментаў, токены і кошт для малых і вялікіх мадэляў у Azure Cosmos DB.
30 хв чытанняПяцьдзясят гадоў даследаванняў пошуку ўнутры вашага RAG-канвеера
Разбіўка на фрагменты, гібрыдны пошук, HyDE, пераранжаванне і ацэнкі ў RAG маюць дзесяцігадовых продкаў у інфармацыйным пошуку. Агляд даследаванняў і іх слабых месцаў.
17 хв чытанняШто знаходзіць агент параўнання мадэляў: змены стылю засланяюць вузкі файнцюнінг
Агент параўнання мадэляў праверыў фінансавы LoRA-файнцюнінг: у 82% запускаў ён заўважыў змену даўжыні і структуры адказаў, а задуманая змена разважанняў засталася схаванай.
15 хв чытанняАўдыт пошуку ў RAG: састарэлыя фрагменты, дрэйф і шумны кантэкст
Аўдыт пошуку RAG на Python: эталонныя запыты, парогі касінуснай рэлевантнасці, праверка дрэйфу тэстам Калмагорава–Смірнова, эфектыўнасць кантэксту і як чытаць справаздачу.
12 хв чытанняАдладка пошуку ў RAG: Recall@K, BM25, гібрыднае зліццё і пераранжаванне
Невялікі эксперымент з RAG-канвеерам, які ставіў патрэбны фрагмент чацвёртым: як разбіўка, BM25, зліццё рэйтынгаў і пераранжаванне мяняюць Recall@3 і MRR.
11 хв чытанняRAG-Anything на 65 кнігах пра віно: дзе графавы пошук выйграе і дзе памыляецца
Практычны тэст графа ведаў RAG-Anything на 65 PDF пра віно: выбар парсера, кошт, адказы графа супраць вектарных і сляпая пляма з ігрыстымі вінамі.
12 хв чытанняАд прататыпа да прадакшн-RAG: гібрыдны пошук, агенты і ацэнка
Эталонная архітэктура прадакшн-RAG на .NET: разбіўка на фрагменты, гібрыдны і графавы пошук, пераранжаванне, планаванне запытаў, тыпізаваны вывад і бесперапынная ацэнка.
8 хв чытанняЧаму прадакшн-агентам патрэбна больш, чым добры промпт
Прадакшн-агентам патрэбны не толькі добры промпт: кантэкст, інструменты, памяць, апрацоўка збояў, назіральнасць, тэсціраванне і ўзровень аўтаноміі, адпаведны рэальнай рызыцы.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.