Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: llm-as-a-judge
Дыягностыка збояў RAG: карта этапаў і суддзя абгрунтаванасці на ўзроўні сцвярджэнняў
Вызначаем, дзе зламаўся RAG-канвеер, і будуем LLM-суддзю абгрунтаванасці, які правярае сцвярджэнні па адным і звераецца з ацэнкамі людзей праз каэфіцыент каппа.
9 хв чытанняАдзінакоўка і рэгрэсійна перапрацовка запітоў LLM у працэсе ўпрацоўкі.
Ствараць наборы для адзінакоўкі, рубрыкі і наборы для рэгрэсійнага тэставання, якія паказваюць, чый змěну запіту дапамогла, включаючы точныя пераконтрольванні, суддзіў LLM, компромісы і ідэальныя прыклады.
8 хв чытанняНавучэнне вашага супэльнага судды LLM: ад PandaLM і JudgeLM да Prometheus
Як ствараюцца добра прытэсаваныя мадэлі-ацэнавцы, ад дадзейнаў і крытэрыяў да контролю пакашанняў і мета-ацэнкі, а таксама практычныя наўказы для навучэння судды LLM, спецыялізаванага на певной галіні.
39 хв чытанняАцэнка LLM без залежнасцяў, дзе есць суддзі, якому можна рэальна даверыцца
Створыце маленькую сістэму адзінакоўвання LLM на базе рэальных лаг-файлаў, перакантролювання коду і судды, які выкарыстоўвае адзіны крэтарыя, пасля чаго настроюйце гэтага судду па адзнакам людзей, каб яго балы мелі значэнне.
9 хв чытанняКераванне LLM-як-суддзі як жывой працоўны сістэмы
Дазвольце даклэ расказаць, як чатыроэтапны цыкл жыцця Netflix — даныя з рэальнага свету, навчанне за дапамою спецыяльных крэтэраў, апатрабоўкі без рызыкаў і стацыонарны манітарынг — дапамагае зберагчы точнасць суддзі LLM у масштабных умовах.
20 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.