Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: LLM-as-a-Judge
Діагностика неудач RAG: карта этапаў і суддзя за адекватнасць на рэвэлі тверджэнняў
Адаптавайце месца, дзе зламалася паіплайн RAG, а пасля створыце суддю за адекватнасць LLM, якай пераглядае тверджэнні по аднаму і перавершваецца з людскімі атестатарамі за дапамою каляркі Kappa.
9 хв чытанняАдзінакоўка та регрэсійна перапрацовка запитоў LLM у працэсе ўпрацоўкі.
Ствараць наборы для адзінакоўкі, рубрыкі і наборы для регрэсійнага теставання, якія паказваюць, чый змěну запиту дапамогла, включаючы точныя пераконтрольванні, суддзіў LLM, компромісы і ідеальныя прыклады.
8 хв чытанняНавучэнне вашага супэльнага судды LLM: ад PandaLM і JudgeLM да Prometheus
Як ствараюцца добра прытэсаваныя моделі-ацэнавцы, ад дадзейнаў і критэрыяў да контролю пакашанняў і мета-ацэнкі, а таксама практычныя наўказы для навучэння судды LLM, спецыялізаванага на певной галіні.
39 хв чытанняАцэнка LLM без залежнасцяў, дзе єсць суддзі, якому можна рэальна даверыцца
Створыце маленькую систему адзінакоўвання LLM на базе рэальных лаг-файлаў, перакантролювання коду і судды, які выкарыстоўвае адзіны крэтарыя, пасля чаго настроюйце гэтага судду па адзнакам людзей, каб яго балы мелі значэнне.
9 хв чытанняКераванне LLM-как-суддзі як жывой працоўны системы
Дазвольце даклэ расказаць, як чатыроэтапны цикл жыцця Netflix — даныя з рэальнага свету, навчанне за дапамою спецыяльных крэтэраў, апатрабоўкі без рызыкаў і стацыонарны манітарынг — дапамагае зберагчы точнасць суддзі LLM у масштабных умовах.
20 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.