Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: evals
Цыкл паляпшэння агента на LangGraph і ацэнках LangSmith
Пакрокавы цыкл на LangGraph і LangSmith: збор трас, тры ўзроўні ацэнкі, кластарызацыя памылак, афлайн-наборы для рэгрэсіі і ацэнкі перад выпускам.
24 хв чытанняВайб-кадаванне супраць агентнай інжынерыі: што сцвярджае новы дакумент Google пра SDLC
Каротка пра white paper Google аб новым SDLC: праверка як мяжа, абвязка важнейшая за мадэль, інжынерыя кантэксту, пастка 80% і дырыжор супраць аркестратара.
9 хв чытанняЭвалы для GenAI і агентаў: аднакрокавае і шматкрокавае тэставанне ў CI
Аднакрокавыя эвалы на аснове трас супраць шматкрокавых з сімулятарам: эталонныя наборы, LLM у ролі суддзі, агентныя метрыкі, фільтры ў CI і сем практык, якія апраўдваюць сябе.
8 хв чытанняАцэнка AI-агентаў: эталонныя наборы, LLM-суддзі і рэгрэсійныя фільтры ў CI
Афлайн- і анлайн-ацэнка агентаў з AgentCore, LangFuse, Ragas і DeepEval, а таксама эталонныя наборы, фільтры ў CI, A/B-тэсты і зваротная сувязь праз памяць.
18 хв чытанняПярэчаннія аб адзынака аўдыту, якіх агент ніколі не ставіў: перакантраванне значэнняў у замяну на словы
Як стварыць апрацоўнік для ацэнкі адпаведнасці заяваў для агента падтрымкі, які выконвае рэальныя замовленні: раздзеліце рэзультаты па власніках, пераканайцеся, што ідэнтыфікаторы супадаюць з рэзультатамі інструмента.
16 хв чытанняЯк трымаць вектарнае сховішча ў парадку: жыццёвы цыкл, кліенты, метаданыя, гібрыдны пошук
Эксплуатацыя вектарнага сховішча для RAG у прадакшне: жыццёвы цыкл дакументаў, абнаўленне эмбедынгаў, фільтры кліентаў, гібрыдны пошук для дакладных ідэнтыфікатараў, метаданыя і трасіроўка.
9 хв чытанняРаспрацоўка праз ацэнкі для AI-агентаў: кантракты, трасы і суддзі
Ацэнкі як CI/CD для агентаў: версіянуйце промпты як кантракты, трасіруйце запускі праз OpenTelemetry і Tempo і тэстуйце дэтэрмінаванымі праверкамі і LLM-суддзём.
13 хв чытанняАцэнкі агентаў на прыкладзе бота для падарожжаў: вынік супраць траекторыі, фільтры і pass^k
Разбор ацэнкі агентаў на прыкладзе браніравання падарожжаў: восі выніку і траекторыі, дэтэрмінаваныя фільтры перад вагавымі ацэнкамі, матрыца 2×2 і pass@k супраць pass^k.
8 хв чытанняНавыкі агентаў — гэта код: акрэслівайце, раскрывайце, скрыптуйце і тэстуйце
Чаму SKILL.md — гэта прадакшн-логіка: пішыце толькі працэдурныя веды, наладжвайце актывацыю, загружайце паступова, выносьце дакладную працу ў скрыпты, будуйце ацэнкі і выдаляйце слабыя навыкі.
10 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.