Навучэнне вашага супэльнага судды LLM: ад PandaLM і JudgeLM да Prometheus
Як ствараюцца добра прытэсаваныя моделі-ацэнавцы, ад дадзейнаў і критэрыяў да контролю пакашанняў і мета-ацэнкі, а таксама практычныя наўказы для навучэння судды LLM, спецыялізаванага на певной галіні.
Крыніцы: Finetuning LLM Judges for Evaluation
Калі модель мовы можа пісаць эсэі, адпавядаць на запыткі падтрымкі і ствараць кантракты, запытанне «Чы гэты выхід якісны?» больш не мае простай адпаведзі. Чалавечыя перагляды ўважаюцца золатым стандартам, але яны медленныя і дорогія; класычныя паказнікі якосці ўжо ледве можа аналізаваць якосць, а прымусовая оцэнка выхадоў прыналежным моделям работае эфектыва толькі тады, калі вашы крэтарыя паходзяць з таго, што веўсё вядома той модэлі. У гэтым кярыеры разбіраецца доследжэнняя ўзгаданых модэляў, а таксама відкрытых модэляў, якія спецыяльна трэнуваны для оцэнкі і крітыка іншых модэляў, і завершаецца конкретным падходам, які можна выкарыстоўваць для стварэння атрыбута оцэнкі для вашай сферы.
Чаму оцэнка сучасных LLM-модэляў такая складная
Две характерыстыкі сучасных модэляў на адной базе спрычыняюць труднасці ў іх ацэнкі. Першая — габітат: адной модэлі прагатаеся, каб яна кодавала, перакладвала, выконвала логічныя раслычэнні, дазваляла сабе паводзіцца згідна з правіламі форматавання, была безпечной і дружэльнай, пры чым кожна з гэтых функцый заставляе патрэбнае вымяроўванне. Другая — відсутнае часткавасць. Для практычна будзь-яга запиту існуе вялікі спектр прыемных адказоў, якія разлічаюцца за формулюванням, структурой, дужынай і акцэнтамі, таму нельга проста пераканацца, чы рэзультат збіраецца з адпаведную строку. Ёжыя добра вымяроўваць хоча бы адну з гэтых спроможнасцей — ўжо сама проблема для даследжэння, а модэль для практычнага выкарыстоўвання мае дзесяткі такіх спроможнасцей.
Найболей надзяйныя сігналы як і раней прыходзяць ад людзей, які чытаюць рэзультаты і ставяць ўсёвышэйшыя оценкі. Проблема заключаецца у тым, што людзкія адгукаты є нестабільнымі, дорогімі у практычнае застосаванне і ўзяць іх трэба довга, што не пасходзіць у спіну з вялічынай развіцця модэляў. Команда, якая колькі разоў на тыдзень ператрэнавае або падкажае модэлю новыя інструкціі, не можа чакаць на новую кампанію анотавання пасля кожных змян. Адсутнасць частковай людзкай адгукатуры застаецца непрыемлемай, але яе трэба дапамагаць чымось, што можа масштабавацца.
Гэта патрэба прынесла на адзін мет ЛІР-як суддзя, які быў представлены ў стацыі «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena»: вы даёте запуск моцнаму прыналежныму модэлю, каб ён ацэніў рэзультат іншага модэля. Гэты падход зараз ўжо шырока викорыстоўваецца ў нарадзках, але у яго є слабыя месцы. Продукты, прызначаны для конкрэтных сфер, часта зважаюць на дзеякі тонкія крэтыры, такія як тое, чыі медычны апіс прытрымліваецца інформацыі пра дозуванне, чыі юрыдычны адказ цитуе правы пункт, і модэль загальнага назначэння можа не ўмець надзеясніваць гэта надзеямо. У такой ситуацыі наступны логічны крок — адучы спецыялізаванага суддю, і самэ гэта є метай рэшты данага артыкула.
Інструментарыя ацэнкі: людзі, метрыкі і суддзі на адваротах модэляў
У практыцы команды спалююць людскую атрыбутацыю з автаматычнымі паказнікамі. Люди даюць остаточную атрыбутацыю якосці; автаматычныя паказнікі забезпечваюць шырокаспектнасць. Паколькі автаматычныя балы ўсьмо толькі апрыксимацыя таго, што думаюць люди, іх пастаязе пераканальваць з періядычными людскімі атрыбутаціямі, але межы гэтымі пераканальваннямі можна парабяляць набагато больш заўважлівасця модэляў, чым люди моглі б прачытаць.
Автаматычная атрыбутацыя сучасных LLM-ў пераважна дзеліцца на два класы. Першы — атрыбутацыя у стыле бенчмарка, якая базуецца на верагамоці або перплексытэце, і якая паводзіцца большасцю традыцыйных бенчмаркаў NLP, такіх як MMLU і BIG-bench. Яны працуюць прыбліжна як экзамены з калькуляцый, якія выявляюць, што знае модэль. Яны ўжыткавыя, але мало чаму сказываюць пра тое, насколькі добра модэль можа напісаць дзяўгі, стылістычна адпаведны адказ на відкладанае пытанне.
Для дзейнаў, які є дужа дугімі і не маюць чыткага канца, існуе фактычна толькі два спосабы: або людзі оцэнююць адпаведныя рэспансы, або це рабіць способны модэль. Услявыце зусібных витакоў першага спосабу, ацэнка на базе модэля стала стандартам. Яй не патрэбны контрольныя адпаведзі, яе лёгка налаштаваць, і яна справляецца з вельмі разнымі задачамі. У наступных роздзелах будзе рассмотраны кожны з элементаў ціглі інструментаў по чарзе, пачынаючы з людскага аспекту, калі ўсё інша вырахоўвана на адносе да яго.
Людская ацэнка є базовай правдой, але не ідеальной
Людзі можаць з’явіць, што на самай справе мае значэння ў адпаведзі: чы рэчьцы належным чынам стислыя, креатывныя, правільна падабраныя па тону чы ўсведамленыя з культурнымі аспектамі. Самэй гэтага перазрачэнне людзяў застаецца стандартам. Атманты можу прыходзіць з разных месцаў. Вы можете адбываць голасаванне за дапамогою краудсорсінгу, як гэта робіць Chatbot Arena, найняць спецыяльную каманду чы, як гэта зрабіў проект Alpaca, пацягнуць самых разработчыкаў модэляў да оцэнкі ўсунуку. Адносленне да людзяў як да аб’ектаў правды не значыць, што ўсе іх атрыбуты є чыстымі. На практыцы яны часта бываюць неаднаковымі, ў яных вельмі много зусиль для стварэння і ў яных можа быць упераджанне.
Адпаведнасць і калібрацыя
Нават тыя заданні, які здаюцца простымі, частаўа даюць здзівляюча низкі рэгулярнасць межа анотавальнікамі. Яго можна квантыфікацыйваць за дапамою простага коефіцыента падабенства або статыстыкі з корэкцыяй на вельмазлучнасць, такіх як каппа Коэна (два анотавальніка), каппа Флейса (багато анотавальнікаў) або альфа Кріппендорфа (гнучкая з недастаткам метак і разнымі типамі шкал). Корэкцыя на вельмазлучнасць мае значэнне: якщо 80 процэнаў адпаведзенняў ёсць „хорашыя“, два анотавальніка, якія пазначаюць усё як „хорашае“, будуць падтрымліваць адно мненне большасцю часу, не навучыўшыся нічога.
Калі рэгулярнасць низкая, рашэнням ёсць калібраванне, тыябо яны навучаюць анотавальнікаў выкананню задання адной і той жа спосабам. Тыповы цикл — это сесія перагляду, дзе анотавальнікі розглядаюць элементы, па якіх не падтрымлівалі адно мненне, обгаворваюць справы і дасягаюць спольнай інтэрпрэтацыі. Раследжэнняя рэзультаты пасля чаго заносяцца назад у інструкцыі да задання, так што наступны пакет запускаецца з яснейшай базовай лініяй.
Каналісы напісання, які дэйсна выкарыстоўваюцца
Каналісы — это письмовы дакт карбаванню анотацый. Як мінімум, у іх павінна быць зазначана тое, што адмацаваеца — тыя самыя крэтыры, і як павінны працоўваць кожны з іх. Хорашыя каналісы спалучаюць інструкцыі у прозе з прыкладамі правільных і неправільных анотацый, і анотавальнікі керуюцца імі працаваючы, а не чытаючы іх толькі раз. Яны робяць анотацыі болей адносна стабільнымі і значна скрацуюць час адучэння новых анотавальнікаў. Корыстны тэст: якшо анотавальніку для правільной анотацыі падазнае знанне, якога няма ў дасведчэнні, значыць, гэтае дасведчэнне непаштоўнае.
Няваннікі таксонаму таксама трэба спрыяваць як жывым дакументам. Команда InstructGPT, напрыклад, пісаўа пра тое, што яшчэ і яшчэ перакладвала свае інструкцыі для атрыбутавання падчас выканання проекта, калі ў яе змяніліся адзывы, поля метаданых і розуменне цэльвай мовы, а таксама калі патрапляла на фрагменты, якія виявляліся незрозумелымі або суперасунковымі. Такой досвядзень ёсць типавым. Заданні, якія здаюцца очывітымі, часта скрываюць вельмі большую кантэкстуальнасць, і яна стае видной толькі тады, калі група людзей прабуея дасягнуць згоды ўжо над сотнямі рэальных прыкладаў.
Стазіраванне за згодай з часам
Значныя вклады здзейснююцца на пачатку: стварэнне крэтэрыяў, налагоджэнне рэйтараў і павторны аналіз пакуль рэшчын не стане прыемным. Ля тады людскія балы стаюць надзеяным показнікам якосці модэлю. Аднак работа тут не заканчываецца. Рэшчын можа зменшыцца з простых прычын: прыўязваюцца новыя рэйтары, апытныя поступова адхіляюцца ад напісаных правілаў, або самыя інструкцыі зменяюцца. Пастойна стежыць за згодай між анотаторамі, напрыклад, пасылаючы частку айтэмаў калькам рэйтараў, — гэта ўжо едынственны спосаб з’явіць гэта раней, чым гэта таямна пашкодзіць вашыя даны ацэнкі.
Метрыкі, заснованыя на рэферэнсах, і прычыны, чаму яны пересталі работаць
У пакульных пакетах модэлей языка звычайна ацэнівалася на адпрацоўкі сумарызаў і перакладаў за дапамой такіх показнікаў, як ROUGE і BLEU. Обая залежнае ад стандартных адпаведнікаў: яны парабягаюць выход модэлі з ідеальным адпаведнікам, галоўная мерка — лічыць перакрытые n-грамы, і надаюць высокія балы тым выходам, якія маюць больш спакульніх слоў і фраз з тым адпаведнікам.
Калі модэлі сталаўся лепшымі, гэтыя показнікі адзначыліся меншай эфектывасцю. Даследжэнняя выходаў LLM паказалі, што такія показнікі слаба корелююць з прыязненнямі людзей, так што жадны з класычных показнікаў не мог усё адлучна атрыбутаваць людскім суджэнням. Яны застаюцца ў вжыцці галоўная таму, што іх лёгка вырачыць. Якщо у вас ўжо є стандартныя адпаведнікі, яны все ж можаць служыць кароткай перапраўкай, напрыклад, для выявлення регрэсіі, калі сумарызатор раптам пачынае ствараць порожнія або несувязаныя тэксты.
Галоўная прычына ўпадку такіх методаў — структурная. Метрыка, якая базуецца на апавяданні, па суты ўсьмохвацца складным способам падбору аналогій да аднаго-едынственнага цэльвога варыянта. Сучасныя моделі є безмежнымі: адна просьба можа датыць многа роўна адноймовных адпаведзей, якія можаць мець мало спольнага з апавяданням у вачынцы n-gram. Бал, які награджае сэмабельнасць з аднай конкрэтной адпаведзю, не можа практычна выказаць весь спектар правільных адпаведзей, таму ён карайце ідеальныя парафразы, а можа наградзіць плавны тэкст, які проста перадаў словацтво з апавядання, хоць і ў той час будзе некалькі неправым.
Суддзі-LLM, якія працуюць па просьбе
Слабасці метрыкаў на аднаковасці спрабавалі прымусіць галузь да болей гнучкай, апартуючайся на моделях, методыцы ацэнкі. Найпопулярнейшая форма — LLM-as-a-Judge: сильная модель запрашваецца выступіць у ролі экзаменавальніка для рэзультатаў іншай моделі. Раследавання MT-Bench і Chatbot Arena паказалі, што гэта добра корелюе з прыямошчаннямі людзей, для рэалізацыі яго патрабуецца толькі добра напісаны запрошэнне, ён можа ефектыва працаваць з нефіксаванымі рэзультатамі і можа быць прыкладжаны да многа разных крэтарыяў. У тых раследаваннях гэта было практыкуема як масштабаваная, поясненная апроксіматыва людскага прыямошчання, якое інакш адбіраецца за высокія косты.
У рэште гэтага артыкула термін «LLM-as-a-Judge» спецыяльна адначытаеся да запуску готовага, прыватнага модэля, такога як GPT-4o або Gemini 1.5, а термін «фінтюнаваны суддя» — да модэля, які вы самі натрэнавалі для ацэнкі. Для болей шырокага абарону працоўных механізмаў суддзяў, якія працуюць пад запускам, карыстнымі джерагамі для чытання є практычныя вядомасці пра стварэнне суддзяў, якіе вплываюць на бізнес-рашэнні, аналіз эфектывнасці ацэнкавачаў LLM і аптыматызацыя даследжэнняў пра использованне LLM-as-a-Judge. Якщо вы вяліка частку часу вжываеце суддзю, які працуюць пад запускам, аспекты ўпраўління гэтымі суддзямі раскрываюцца ў нашым кярыранту пра упраўлінне LLM-as-a-Judge як жывай працоўной системы.
Парная і пунктовая ацэнка
Існуюць два галоўныя спосабы запитаць суддзю пра рашэнне:
- Парна ацэнка: суддзя бачыць запитанне і два варыянты адпаведзення кандыдаата, пасля чаго выбірае лепшы варыянт (частаючы з можлівасцю выбору на равнародным распадзе).
- Ацэнка па балам: суддзя бачыць запитанне і адно адпаведзення, пасля чаго прызначае оцэнку, зазвычай за шкалай Лікерта ад 1 да 5.
Ацэнка па балам таксама называецца прымітной ацэнкай або оцэнкай з адным адпаведзенням. Любы з эых спосабаў можна адмацаваць за дапамогою праблематычных адпаведзенняў, дадаючы суддзе вядома правільная адпаведзенне, тады суддзя можа яе пораўняць з ім уместо таго, каб паслужыцца толькі са сваймі ведамасцямі. Вядомы публічны прыклад суддзі, які працуе на адпаведзенні запытанняў, — это AlpacaEval, таблыца лідэраў, якая выкорыстоўвае LLM-as-a-Judge для прагнозавання прабярамоў людзей між выходамі модэляў, і публікуе ўсе свае запытанні для ацэнкі, уключаючы болей раннія версіі.
Выбор спосабу ацэнкі
Няма такога наладжэння, якое будзе эфектыва ў всіх ситуацыях; правильны выбор залежыць ад прыменення. Парная оцэнка часта ўсё ж стабільней, таму што порэванаваць два элементы лёгча, чым ставіць адзін элемент на абсалютную шкалу. Недзея гэтага падходу — це уперакоўванне ў пачатковы рэзультат (першы або другі) і меншая масштабаванасць: парныя рэзультаты паказваюць толькі, як выходныя данны ранжуюцца адно ў адно, а для порэванавання большага колькасці систем патрэбны многія пары. Бальна оцэнка є болей універсальной, таму што кожны выходны рэзультат атрымлея свой бал, які можна зберагчы, супрацаваць і пазней порэванаваць. Яна таксама ўскладнюе роботу адгукніка, таму што ёму трэба базавацца выключна на свайм внутранім уявленні пра якасць. Падача контрольнага адказу — это распашчаны спосаб зробіць бальную оцэнку болей надзеяной.
Таксонамія крэтарыя таксама мае значэнне. Об’ектыўныя характарыстыкі, такія як фактычнасць чы адпаведнасць да первачнага дакумента, зазвычай маюць два стану: адпаведнасць існуе чы яе няма. Запитанне пра тое, калькі з двух адпаведнасцей є "болей адпаведным", па-своім чыну незрозумела. Суб’ектыўныя крэтарыі, такія як корыстнасць, тон чы загальныя прагаперкі, дазваляюць выдаваць абсалютныя суджэння, калі ўчорга людзі і моделі легка і рэгулярна можаць адносіць ўсе разам, у працоўнасці з абсалютнымі рэйтингамі. Разумны стандарт — це пунктавая, часта двухступеневая, оцэнка для об’ектыўных пераканаў і парная адноснае порэванне для суб’ектыўнай якосці.
Упереджэнняя, якія успадкуе кожны суддзя
Незалежна ад таго, які тип суддзя вы выберазеце, чы то стандартны чы доўнейша налаштаваны, некалькі систематычных упереджэнняя з’яўляюцца пастойна, і большасць тэхнік доўнейшага налаштаванняя, практыкуемых пазней у гэтым артыкуле, створаныя для ўсунення іх. Перад чытаннем далей карыстны ўжо зараз знаць іх назвы:
- Пакісна асаблівасць: у режыме парных перакладоў судзія праглядае першы чыста другі варыянт, незалежна ад ўмесцу.
- Асаблівасць дзейнасці чыста дужыні: дліжэйшыя, болей развёрнутыя адпаведзі зьмагаюцца вышэйшыя балы, нават калі дадацый тэкст нічога не дагаўляе.
- Асаблівасць самапаўнення: судзія воліе рэзультаты, напісаныя яй самай чыста моделямі з той жа семьі.
- Асаблівасць знанняў: судзія не можа ацэніць правильнасць на тэмы, якія ёй не вядомы, і можа наградзіць адпаведзі, напытаныя у пэўнасці, але некоректныя.
- Асаблівасць формата: судзія працуе толькі тады, калі запит выглядае абочна так, як ён быў створаны чыста нарабоўваўся.
Нічога з гэтаго нельга цалком адзёрваць, але кожна з гэтых ступеняў можа быць вымераная. Змена порядку кандыдаў, дадаванне безнебяжных элементаў у адпаведзь, або оцэнка таго ж контэнту па двух шаблонах запыткаў — гэта простыя эксперыменты, якія паказваюць, насколькі даны суддзя паддаеся вплыву фактараў, якія не павінны мець значэння. Адрабоўкі гэтых эксперыментаў аднойчы праз адбіранне суддзі, а потым пасля будзь-яых зменаў у яго запытках або модэлі, ёсць аднай з найценнейшых практык у работе з ацэнкай.
Дзе суддзі, якія выкарыстоўваюць запыткі, паспялі
Система LLM-as-a-Judge ёсць эфектываю і шырока застаўляецца, але выкарыстанне прыналежнага правоўладару модэля карыстаецца рэальнымі недзеяннямі:
- Модэль ёсць „чорныя скрынкі“, а перадача дакументаў ацэнкі трохцім сторонам можа вызваць проблемы з безпекай і прыватнасцю.
Практычна всі гэтыя проблемы вынікаюць з таго, што вы завісныя ад модэлі, якую не можаце пераглядаць чыста змяніць. Гэта падводзіць да явнага запытання: чы можна трэнаваць сабе ўласнага ацэнкавальніка. Доследжэння, якіе практычна падсумаваныя нижэй, адпаведзаюць на гэты запытання пазитыўна: адточна настроены ацэнкавальнік можа дастаць інформацыю, спецыялізаваную на конкрэтной галіне, болей детальную чыста крітычную, за ўмовы, што вы інвестуеце ў даныя, якія лежаць у ўсходзе.
Мета-ацэнка: ацэнкаванне самога судды
Перад навучэнням судды трэба вярнуцца да таго, як вы будете ведаць, чы робіць ён добру работу. Адказ — это набор ацэнкаваючых дадзеных, пазначаных людьмі, якім вы глыбокая довераеце, калі ўжо тыя стануць меркай для кожнага судды, якога вы ствараеце. Мета-ацэнка, тое есть ацэнкаванне самага ацэнкавальніка, значыць запуск судды на гэтыя дадзеныя і параболікаванне яго рашэнняў з людскімі.
Якщо судда дае бінарны выхад, такі як выбор между двума варыянтамі або оцэнка «пас»/«не пас», вы можете вжываць звычайныя метрыкі класыфікацыі, такія як точнасць, прэцызнасць, вярнасць і крывая ROC. Паколькі іх так лёгка адразумець, багатыя спецыялісты стверджуюць, што бінарная оцэнка є найпрактычнейшым падходам для суддзяў на адной стороне базаваных на мове модэляў у цалым.
Для не-бінарных оцэнак, такіх як шкала Лікерта з 1 да 5, вы вырахоўваеце, насколькі добра оцэнкі суддзяў коралююцца з людскімі оцэнкамі. Як пункт апылу, у даследжэнні G-Eval было зазначана, што адмацоўчык на базе GPT-4 досяг кораляцыі Спірмана 0,514 з людьмі па критэрыю падсумавання, што ў тыя часы значна перажыло ранейшыя методы. Кораляцыя ранга Спірмана, верагодна, ёсць найбольш популярным выборам, але вы таксама зустроце Кендалла-тау, кораляцыю Пірсона і каппу Коэна, якія выкарыстоўваюцца як памеры згоднасці. Їх ляжэць разумець сложней, чым метрыкі класыфікацыі, таму выучыце особлівасці таго памера, які вы адносіце. Пірсон мерыць лінейную згоднасць і ўразлівы да аўтасаў, тады як Спірман і Кендалл аберагаюцца толькі ад порядку, таму суддзя, який стаўкі робіць на адну пунктую занадта ўзніжана, все раве можа атрымаць ідеальную оцэнку па ўсіх іх.
Практычныя прыкметы мета-адмацоўвання
Калькі звычакі робяць мета-ацэнку значнаюць болей інформатычной. Прыкажыце рэзультаты ацэнкі па кожным критэрыю окрема, а не як адзін сумарны показначык, таму што суддзя можа чырпацься ў выяўленні фактычных памылак, але паспелаць слаба ў оцэнцы тону, а сярэдній показначык глушыць гэта. Разглядзіце плутанне межу суседнімі баламі окрема ад явных неспакоў: суддзя, які ставіць 4, калі люди ставяць 5, — гэта зусім іншая проблема, чым той, хто ставіць 1. Параўняйце згоду суддзі і людзей з згодай самых людзей па тых сабе пунктах; якщо два атрыбутаваныя эксперты згодзяцца толькі на 70 процэнтаў, то суддзя, які згодзіцца з імі на 68 процэнтаў, практычна досягае максімуму, і стараннэ працаваць далей безглузда. Нарэшце, трэба строго аддзеліваць набор мета-ацэнак ад усьго, што выкорыстоўваецца для стварэння запрасаў або навчання суддзі, інакша показначыкі будуць яго перавышваць.
Першая генерацыя доўнераваных суддзяў
У пачатковыя часы практычна всі викорыстоўвалі прыватныя модэлі для ацэнкі у стыле судді, і ў гэтам была важліва прычына. Як толькі не даеце суддзі стандартнай адпаведзі, модэль павінна сама маты можласць рашыць задачу, каб могла разлічыць хорашую адпаведзь от некаліткай. Ачыя модэлі даганялі закрытыя працоўнае время, таму закрытыя модэлі проста былі кращымі ацэнкавальнікамі. Гэта змянілася, калі з’явіліся сильнейшыя ачыя базовыя модэлі, такія як LLaMA і LLaMA-2, і дзеярнікі пачалі ўдосконаляць іх, ператвараючы ў спецыяльных ацэнкавальнікаў. Наведзеныя нижэй статыі апісваюць гэтую першую хвалю.
Удосконаўаны суддзя Vicuna у статыі MT-Bench
У тым жа артыкуле, дзе быў представлены LLM-як суддзя, таксама практыкувалася адна з першых эксперыментаў з викорыстаннем настроеныя суддзі. Большая частка гэтых даследжэнняяў была прысвечана викорыстанню прыватных модэляў з універсальнымі шаблонамі для прыцэнкі людскіх праганаў, але короткі дадатак розглядае можлівасць навучэння адкрытага модэля для той жа меты; у яму былы вынесены заключэння, што настроеныя Vicuna-13B могу стаць недорогай адкрытай альтэрнатываю прыватным суддзям.
Прычыны, якія там пераказаны, досэле застаюцца галоўнымі аргументамі для викорыстання спецыяльных суддзяў сёньня:
- Ацэнка за дапамогою платных API стае дорогай у масштабным выкарыстоўванні.
- Прыватны модэль не дае ні кантролю, ні працягласці.
- Адкрытыя модэляў становіцца все боле здатнымі, таму разлік між ямі скарочваецца.
Якбы настроеныя адкрытыя суддзі моглі параднацца за якосцю з прыватнымі, усі тры проблемы знікнулі б.
У эксперыменте быў выкарыстоўваны Vicuna-13B, пахадзець LLaMA. З самага пачатку ён быў слабым суддзёй: у яго была высока якосць, ён часта не выпалоўваў ваказанняў аб ацэнкаванні і парадзіваў сяверным упэчатленьваннем. Фінальная наладка значна змяніла ситуацыю. Модель была натрэнавана на 20 тысяч голасаў людзей з Chatbot Arena, кожны з якіх паўставляў порэванне рэзультатаў разных модэляў, а задача была спроставана да трывектарнай класыфікацыі: першая адпаведзь выграўае, праграўае або ёсць нічыя. Пасля трэнавання сявернае упэчатленьванне розка паўменіла, а згода з голасамі людзей значна паднялася, хоць натрэнаваная модель так і не досягла рэвэлю GPT-4.
Выкліканне задачы як трывектарнай класыфікацыі ўсё ж таки є разумным спрощэнням. Це пазбяглядае неабходнасці калібрування числовых балоў, адразу паўтарае прыемы збору галасоў у Arena, і дазволяе лёгка практычна вырахаваць точнасць у порываў з галасамі людзей. Недакладнасць тут ёсць та, што суддзя не дае жадных пояснэнняў, таму калі ёго рашэнне не збігаецца з рашэнням людзей, мы мало чаго можамы дазнацца пра прычыны.
Усе гэтыя досліджэння займаюць прыблізна адну сторанку, але рэзультаты былі настолькі аптыхаючыя, што стала можлівасць розпачаць работу над адкрытымі евалюаторамі.
PandaLM: суддзя для выбору між чекпоінтамі модэляў
Частым выкарыстаннем суддзяў є выбіранне модэля: калі ёсць калькі кандыдатаў-модэляў, який з іх є найкращы? Гэта стае складным, калі всі кандыдаты є сильнымі і разлічаюцца толькі незначна. Людзі можуць зробіць такі выбор, але павольна, таму суддзя, які надзеянна вияўляе маленькія разлікі ў якасці, є цэнным.
PandaLM быў створаны самэ гэтага для. Яго мета выходзіць за межы простага пераканання, чы рашэнне правильна; ён таксама вазуе суб’ективныя характэрыстыкі, такія як ступень стисласці, чытнасць, полнота, формальнасць і адпаведнае выконанне інструкцый. Галоўныя застосункі — цэ это налашчванне гіперпараметраў. Вы трэнуеце калькі варыянтов моделі з разнымі налашчэннямі, дазволяеце PandaLM парабяляць іх рашэнні і застаеце найкращую конфігурацыю. У эксперыментах, практыкуемых у статыце, кожная модель, налашчаная такім спосабам, парадзілася краща, чым з стандартнымі налашчэннямі, што паказвае, што атрыбутуўчы можа безпасяродна вплываць на рашэнні пра трэніраванне, а не толькі ствараць атласы.
Набор дадзеных складаецца з больш чым 300K прыкладоў. Кожны вхід — это тупл (instruction, input, response1, response2), а кожны цэль — тупл (evaluation result, evaluation rationale). Кожны прыклад мае стандартную адпаведнасць, і рэзультат або называе кращую адпаведнасць, або заявляе пра тыпар. Команда доўнейша настроіла модулі LLaMA разных размахоў на гэтыя дадзеныя, выкарыстоўваючы простую працэсу прадвяржання наступнага токена з втратамі крос-ентропіі, у стыле «парадокс-з парадоксам», без окалічнай галавы класыфікацыі. Іншымі словамі, вердыкт і адказ — гэта проста тэкст, які модуль выучыўся генераваць.
Інструкцыі і даныя для вводу прыходзяць з дадаў для навчання Alpaca. Пары адпаведзей былі створаныя калькольна 7B-параметровымі моделямі, а самэй LLaMA-7B, BLOOM-7B, Cerebras-GPT, OPT-7B і Pythia. Вывары і праблематыкі для гэтых пар былі синтэтычна створаныя за дапамою GPT-4, па прыему Self-Instruct, а пасля — адчыстаныя за дапамою гіурыстык, такіх як рукапісныя правілы і фільтры, якія адхоўляюць некоректныя чыста нестабільныя адгукі. Аднародна, людзкія анотаторы створылі меншы „золаты“ тэстовы набор, які викорыстоўваецца выключна для мета-ацэнкі.
Калі ПандаЛМ парабяліваюць з іншымі адазначальнікамі, уключаючы GPT-3.5 і GPT-4, их праграмы выклікаюць адпоўнайша супадання: яны ранжуюць адазначваныя модэлі ў аднаковай парадзе. У прымысловых тэстах з іншымі адазначальнікамі 7B-версія ПандаЛМ парадзюе, а 70B-версія пры адазначэнні, описанам у студзіі, перавышае GPT-4, што свідчыць пра тое, что спроможнасць адазначання, як і большасць іншых спроможнасцей, павышаецца з ростам размеру модэлі.
ПандаЛМ таксама добра прадстаўляе ся ў спецыялізаваных сферах. У студзіі яго выкорыстоўвалі для адпаведзей на запытанні LSAT і для набораў дадзеных з біямедычных запытанняў, пры чым большая версія парадзюе ўсё болей. Паколькі яго трэнавалі спецыяльна на дадзеных для адазначання, ён можа выконваць задачы адазначання, якія супадаюць з тым форматам дадзеных, на якім ён трэнаваўся, а не толькі для загальных чат-тэстаў.
JudgeLM: што на самай працоўцы робіць добрым адазначальнікам, які пройшоў фінальную наладку
Большасць ранніх доўналёжваных суддзяў мало гаворылі пра тое, чаму яны работаюць. JudgeLM ставіў за мету систематычна даследзіць гэтыя фактары, у тым числе:
- сколькі дадзенняў для навчання викорыстоўваецца, і насколькі яныя якісныя та разнарадныя;
- размах і якасць базовага модэлю;
- як уперасці вплываюць на рашэнні суддзі;
- чы можа суддзя прыменяцца да іншых форматаў, такіх як чат з калькуляцыяй колькасці раундаў, оцэнкаванне адной адпаведзі, ранжыраванне па парах і мультимодальныя данны.
Доўналёжваны суддзя можа астатися позаду прыватнага суддзі з многа прычын: слабы базовы модэль, шумныя данні, систематычныя уперасці і т. п. Ценнасць JudgeLM заключаецца ў тым, што ён паказвае, iшто гэтыя проблемы можна рашыць безпасова.
Найважнейшым элементам ўсё гэта є вялікі набор дадзеных высокай якосці, з дробным разбіваннем і разнарадованасцю. Команда JudgeLM чытка адзначыла, што ўсё іхнія дадзеныя є найбольш разнарадованымі і высокакалітэтнымі сярод тых, якія былі доступны ў тым часе. Цей набор пачынаецца з 105 тысяч інструкцый, взятых з публічных источнаў, такіх як ShareGPT, а таксама з версіі дадзеных Alpaca з адпаведнымі адказамі GPT-4.
Для кожной інструкцыі адказы генеруюцца за дапамою калькольніка модэляў, у тым лічыцца Alpaca, Vicuna і LLaMA, і ўжо пасля гэтага яны спалююцца з первісным адказам з вачэйнага набора дадзеных. Такім чынам кожная інструкцыя фіналізуецца з калькольніка кандыдатскіх адказоў плюс пахаджэнне на первісны адказ. Пары адказоў пасля гэтага выбіраюцца адносна аднойчы, GPT-4 оцінюе кожную пару і адказвае на пытанне, чаму ён так гэта зрабіў. GPT-4 фактычна выступае ў ролі вучыльніка: JudgeLM выучаецца воспроізводзіць яго адказы.
Шаблоны атрыбутавання GPT-4 існуюць у двух варіянтах — з контрольным адказам і без яго. Яны дужа сэродні стандартным запитам для публічных суддзяў, але існуе адна важлівая разліка: у яных чытальна прыведзеныя досыць деталізаваныя критэрыя ацэнкі. Гэта спрабоўвае прымусіць GPT-4 да болей тонкай атрыбутавання, а далейшая наладка на этых рэзультатах пераносіць тую ж тонкасць на JudgeLM.
JudgeLM быў натрэнаваны з параметрамі 7B, 13B і 33B на наборах дадзеных, якія мячуць ад 3,5 тысяч да 100 тысяч прыкладоў, з викорыстаннем наладкі па інструкціях з надзоранай далейшай наладкой (SFT). У вхідным даным ўключаецца адна інструкцыя, два кандыдатскія адказы і контрольны адказ. Модель выдае околачку для кожнага адказу, пасля чаго прыводзіць праблематыку. Пераканаць гэта ў парнае рашэнне — проста: выграў той адказ, які мае вышэю оцэнку, а равныя балы значаюць нічыю. Як паслядак такой конструкцыі, адны модель можа служыць як для атрыбутавання, так і для порэвнювання.
Скасаванне упереджэнняў было цэнтральным метай. JudgeLM націяна на тры відэры такіх упереджэнняў:
- Упереджэнне па пазіцыі: выбіранне адпаведнай адпаведзі з-за таго, дзе яна знаходзится ў запитанні, а не за тым, што там напісана.
- Упереджэнне па знаёмасцях: базовы модель не распаўляе пазнанняя, якія неабходны для правильнага ацэнкавання адпаведзі.
- Упереджэнне па формате: суддзя працюе належна толькі тады, калі запитанне адпавядае точнаму формату, які викорыстоўвалася пад час дапрацоўкі.
Кожны з гэтых падчынных эфектаў мае дасяглівы спосаб прыняцтва заходаў. Падчыннасць да формату зменшыцца, калі суддзя падчас навучэння бачыць калькі формата запитаў. Падчыннасць да ведамасцяў зменшыцца, калі вы дастаеце суддзе апошню правільную адпаведь, тады яму не трэба самаму знаць факты. Падчыннасць да пазіцыі рашаецца за дапамою змены пазіцый: кожную пару трэба ацэніць у обох порядках, як пад час стварэння данных для навучэння, так і пад час выконання задачы. Якщо рашэнне змініцца, калі змяніцца порядак, такую пару зазвычай лічаюць нічыяй. Змена пазіцый пад час навучэння вучыць модель звертацца да самага контэнту, а не да його розташоўкі, а змена пазіцый пад час выконання задачы обмежвае будзь-якія застаўшыяся падчыннасці. Адным часам выкарыстоўваючы гэтыя методы, можна значна зменшыць падчыннасці JudgeLM.
Следует пам’ятаць пра выкладкі, зв’язаныя з змінайом становішча пад выконанням задач: гэта удвойчывае колькість запытанняў да суддзяў для парнай оцэнкі. Для большых офлайн-оцэнак гэта зазвычай прыемна; аднак для онлайн-выкарыстання, чутлівага да затрэйдзення, гэта можа не падходзіць.
На сваёй сабе-сэтке дадзеных JudgeLM перамагае PandaLM і GPT-3.5, як з рэферанснымі адказамі, так і без яных. Гэта параболенне настаўляе на корысть JudgeLM, адколі ён быў натрэнаваны на дадзеныях з майже той самай распаду, але ён таксама добра прадстаўляе ся на сэтцы оцэнак PandaLM. Заўважыце, што вялікая частка адзначанай эфектыўнасці JudgeLM — це згода з GPT-4, тым самым модэлем, які стварыў його натрэнавальныя меткі, а не згода з людзьмі. У цэлым, моделі прадстаўляюць ся стабільна, ўлучшаюцца з адным розмахам і є болей стойкімі да змінайом становішча, чым іншыя альтэрнатывы.
Это апавядае на загальныя меры пры суддзях, створаных па методе дистыляціі. Калі модель-студэнт трэнуецца на вердыктах «вучыльніка», точнасць вучыльніка выступае як своеобразны «паверхневы ліміт», а його слепыя пункты і уперадзеўкі пераходзяць разам з яго сильнай сторонай. Высокая адпаведнасць з GPT-4 паказвае, што процес дистыляціі працаваў; але гэта не паказвае, чы суддзя згодны з вашымі корыстувальнікамі. Толькі тэставанне з маркіруваннем ад людзяў можа даць адказ на гэты другі вопыт.
Auto-J: адаснованы на рэальных запитах корыстувальнікаў
Auto-J, з статты «Generative Judge for Evaluating Alignment», — ўсё той жа дапрацоўваны евалюэйтар, які спецыялізуецца на оцэнцы ў конкрэтных сценарыях у рэалістычных умовах. Яго асоблівасці ў наступным:
- Ён падтрымлівае як парную порэванацыю, так і оцэнку адна-аднаго адказу.
- Ён надае прыорітэта чыста структураваным, высокакалітэтным крітыкам на натуральнай мове.
Рэзультатам яе ўжыццёбівае, інтерпретабельнае і практычнае суджэнне.
У Auto-J даныя формуюцца пачынаючы з апісання сцэнарыяў, кожны з якіх мае свою вызначэнне і критэрыя ацэнкі. У робе выбрана 58 сцэнарыяў, разгрупаваных у васьмі шырэйшыя катагорыі. Для кожнага сцэнарыя збіраюцься рэальныя запыткі корыстувачаў, генеруюцца адпаведныя адказы, а GPT-4 выдае суджэння. GPT-4 керуецца спецыяльнымі, напісанымі вручную критэрыямі для кожнага сцэнарыя, а выходныя даны пасляобрабоююцца за дапамой гістэрычных фільтраў і нормалізаціі формата, ў цылі зменшэння шуму. Кожны сцэнарый дапамагае стварыць да 100 прыкладоў, ў суме заўсёды выходзіць працоўна 3,500 прыкладоў.
Запиты пераважная частка яе прыходзіць з адкрытых источнікаў, створаных на аснове вярбовання з людьмі, такіх як Chatbot Arena і WebGPT. Паколькі ў яных відбіваецца тое, што люди запытаюць у рэальным жыцці, Auto-J спецыялізуецца на рэалістычной ацэнке. Як парныя, так і односныя меткі ствараецца за дапамогою GPT-4, а фільтры выкалянаюць прыказы, якія ўсуперечаюць аднаму другаму або маюць паслабую форматаваннę.
Auto-J быў доасканален на адной з дастаткаў з мішаным форматам на базе LLaMA-2-13B-Chat. Цікавым рашэнням у яго проекцыі было тое, што крэтарыя ацэнкі не включаліся ў вхідны даны. Прычыной гэтага стала думка, што модель павінна неявна прыняць гэтыя крэтарыі з самых дадзенняў, што парадуцэў бы ёй большую універсальнасць. Пазнейшыя даследжэння, у тым чысце Prometheus, выйшлі да працоўнае заключэння і аднаважылі, што включэнне крэтароў і іншых матэрыялаў-парадакоў у модель є важлівым. Ёжчы борацца з уперадзеванасцю, Auto-J выкарыстоўвае простую методу адгэнеравання: кожны парный прыклад дуплікуецца з пераменай месца двух адпаведзяў, а абозначэнні „Адпаведзь 1“ і „Адпаведзь 2“ у ацэнцы таксама пераменяюцца месца.
Набор дадзеных Auto-J структураван так сама, як і набор для трэніравання, за выключэннем таго, што кожны атрыбут падае з рук людзей-анатамаваў. Працуючы проты розных іншых модэляў, Auto-J праганяе па эфектывнасці майже всіх, за выключэннем GPT-4. Хоць гэта падтверджае, што спецыялізаваны суддзя, трэнаваны на дадзеных, прыемлівых для данай галеры, можа падыходзіць на роўныя зусібе, а іноды нават перамагаць прыватных суддзяў у сваім цэльвым аптарунку, яго абсалютная згода з людзьмі на гэтым наборе дадзеных застаецца низкай, што нагадвае пра тое, што якасць суддзяў у цэлым мае ўсё больш простору для падбароўкі.
Крытыкі, пераканальнікі і генераторы синтэтычных дадзеных
Паралельна з гэтымі суддзямі група даследнікаў трэнавала моделі для пераканання, крытыкавання чыя ўзвешчэння ад выходу іншай моделі. Как і суддзі, гэтыя моделі оцінююць адпаведзі і поясняюць свае падставы. Разлік у тым, што крытыкі і пераканальнікі таксама дзейнуюць на падставе вердыкуту: яны перерабляюць адпаведзь чыя запускаюць новую спробу, калі первасны рэзультат не падпадае пад стандарты якосці.
SelFee ўсё ж прыклад: модель, створаная на адной з версій LLaMA, якая трэнавалася на генерациях ChatGPT, узвешчэннях ChatGPT пра яе чыя переработаных генерациях. Пры отриманні адпаведзі SelFee пішае узвешчэння, а потым перапісвае адпаведзь на адной з гэтых падстав, і можа продаваць такі процес, пакуль выход не будзе адпавядаць стандартам якосці. Чыраўна гэта робіць яе пераканальнікам, калі ёй трэба пераканаць свой сабе выход, і крытыкам, калі ёй трэба пісаць узвешчэння чыя перерабляць адпаведзь.
Было запропанавана ўсё большая колькасць іншых методаў адзінакавання, укладаючы самаўтвэрджэнне, моделі PEER і самаадзінакавання. Той жа механізм можа ствараць і фільтруваць синтэтычныя даны для навучання SFT або налагоджэння прыямоў, як у RLAIF і Constitutional AI.
Якща паглядзець здалёку, усія гэтыя системы — суддзі, якія працуюць пад стымулам, налагоджаныя суддзі, каналы синтэтычных дадзеных, адзінакавальнікі і перацэнювальнікі — практычна выкааняюць тое ж самае: ствараюць рэйтынг і поясненне. Разлік заключаецца ў тым, як викорыстоўваецца рэйтынг — чыраз для адчыткі якосці моделі, чыраз для адлічэння, якія з праекстаментаў увайдуць у набор для навучання. Няўзабавныя даследжэнні ў галузі генератыўных перацэнювальнікаў і модэлей награды, апаратных на адзінакаванні, ствараюць падставы для таго, што прынеймна частка гэтых функцый можа быць аб’еднаная ў адной модэлі, якая б выконвала всі задачы з рэйтынгавання.
Сям’я Prometheus: налагоджаныя суддзі, якія конкуруюць з GPT-4
Тонканалікованыя суддзі стала популярнымі толькі з Prometheus — модэллю, створанай для дзеяння ў спецыфічных сферах і здабывання дзейнаўгледных рэзультатаў. Їё методалогія не ўсё така вже і новая; глыбокія змены — це значна лепшая выхадная пазычка ў LLaMA-2 і рэтельна спроектаваны набор дадзеных. У зв’язку з тым, што ў якості ацэнкі ёй падабалася якосць многіх прыналежных компаніям суддзяў, яна быстра завоювала популярнасць і прынесла нараджэнне калькі змяненых версый.
Prometheus: крэтыры як вхідныя даны першага класу
Актывацыя прыналежнага компаніи суддзя ўсё проста: трэба апісаць крэтыры і дазволіць модэлі працаваць. Проблемы — гэта тыя, якія вже згадваліся: неконтрольаваная версіяванне і вартасць, а таксама тое, што гэтыя модэлі пераважна працуюць на загальных крэтырыях, такіх як абщая людская прыязнь, і могу страждаць зі спецыяльнымі. Prometheus рашае гэтыя проблемы за дапамогою тонканалікованага ацэнкача, які, пасля навучэння для певной сферы, можа даганяць або нават перасіліць прыналежных компаніям суддзяў.
Ключовая ідея закладаецца ў тым, што Prometheus прыймае спецыяльную шкалу оцэнкі як частку своіх вхідных дадзенняў, што дазволяе яму прыстосавацца да новых сфер і крэтарыяў без параджучага навчання. Яго навчаюць на касете Feedback Collection — сінтэтычным наборе дадзенняў, створаным за дапамогою GPT-4, які включае многа заведаманняў на ацэнку. Кожны прыклад містіць тыя ж складовыя:
- Інструкцыя: запит, які даецца модэлю, які ацэнюецца.
- Адпаведзь: адпаведзь таго модэля, якая і ўцінюецца.
- Шкала: спецыяльныя крэтарыі, якія апісваюць, як трэба оцэніць адпаведзь.
- Адпаведзь-прыклад: прыклад адпаведзі, якая могла б зарабіць высокую оцэнку.
- Прычына: адказ пра тое, чаму адпаведзь пачынаецца такой оцэнкай.
- Оцэнка: балы з 1 да 5 за шкалай Лікерта.
Рубрыка складаецца з двух частэй: загальнага апісання крэтэрію і опису таго, што значыць кожны бал з 1 да 5. Адказваючы на гэтыя данні, модель можа ставіць оценкі з высокай дэталізацыяй і прыменяць схемы оцэнкавання, яых яна раней не бачыла. Работа Prometheus была адной з першых, якія паказалі, насколькі для краща адучанага суддзі корыстны багатыя матэрыялы-параджукты, у тым лічыцца і правільныя адпаведзі.
Стварэнне запускаецца з 50 рубрык, напісаных людьмі, і адбываецца у трох этапах:
- GPT-4, паказавшы прыклады рубрык, напісаных вручную, расширвае іх да 1 тысячі рубрык.
- Для кожной рубрыкі GPT-4 пішае 20 інструкцый, чыя загальная колькасць становіцца 20 тысяч інструкцый.
- Для кожной інструкцыі GPT-4 спачатку генеруе адпаведзь, потым адгукатывае да яе, а пасля ставіць бал, за такой порядак.
Два трюкі падзбалансаванню робяць даныя болей корыстнымі. Першае — GPT-4 стварае пяць прыкладоў трэнавання на кожную інструкцыю, пры чым кожны з яных адпавядае адной з оцэнак з 1 да 5, тады распад оцэнак стае аднообразным, і эксперт не навучыцца ставіць высокія балы без прычыны. Другае — гэтыя прыклады залічваюцца з аднаковай дужыною, тады эксперт не будзе паддаць на упэчатленне ад дужыні тэксту, тое ўзвычку надаць вышэйшую оцэнку дліжэйшым адпаведзенням, незалежна ад ўжоўважання ўхіднага тэксту.
Prometheus быў доахтураваны на базе LLaMA-2-13B-Chat за дапамогай набора дадзеных Feedback Collection, а таксама за дапамогай набораў для ацэнкі MT-Bench і Vicuna Bench. З усімі матэрыяламі-аспектамі, якія ўказаны ў запите, модель выучаецца за дапамогай методу SFT так, каб спачатку напісаць свою адзначку, а толькі пасля таго вырачыць рэйтынг. Такі порядак є намеровым і адпавядае прыему доахтуравання з викорыстаннем «ланцуга мыслей»: напісаная крытыка становіцься контекстам, на якім модель адлічвае цифру, а не проста пазыходам, дадзеным пасля таго. Команда Prometheus таксама адзначае важнасць выкарыстоўвання спецыяльнага токена-разлічніка [RESULT] межы адзначкай і рэйтынгам, што запобегае падвяршэнню патологійных рэзультатаў пад час аналізу дадзеных і дае практычную перавагу — рэйтынг стае простым для парасканавання.
Праметэус быў парабялёваны з GPT-3.5, GPT-4 і калькама адкрытых базовых модэляў на разных наборах дадзеных, пры чым адмеравалася як згоднасць з рэйтынгамі людзей, так і корыстнасць яго адзываў. Яго рэйтынгі прагледзелі корляцыю Пірсона 0.897 з рэйтарамі-людзьмі, што супарабяляеся з GPT-4 і значна перавышае показнік GPT-3.5. Такім чынам модэль, настроены ў дзялінцы на высокакалітэтных даных для адлікавання, можа досягнуць, або нават перасіць, рэйтынг згоднасці з людзьмі, прыростаючы да набагато большых прыватных модэляў.
Адзінаквоты таксама падтрымліваюць гэтыя выводы. У 58,67% парадакоў людзкія эксперты выбіралі адзінаквоты Prometheus у працоўпраце з GPT-4, а ў майже 80% — у працоўпраце з GPT-3,5. Калі іх спытвалі чаму, эксперты адзначылі, што Prometheus ўсё бол критычны і аднакова деталізаваны. У студзіі гэта паўтараецца як тое, што GPT-4 часта залишаецца нейтральным і абстрактным, тады як Prometheus чыста выражае свою думку пра тое, чы рэспанс ўзяты за добры. Гэта і є рынак спеціялізаціі: Prometheus — не загальны асистэнт, трэнаваны быць схвальным, а модель, чыйя ўсё едына задача — крітыка.
Prometheus 2: адна модель для пунктовага і парнага ацэнкавання
Prometheus 2 продаўжыць лінію іншым відкрытым, дзеягранай з’явачкай, якая прыймае індывідуальныя крэтыры. Яна спрямована на два слабыя месцы першай версіі: адпаведнасць з рэйтынгамі людзей яшчэ можна было паспрабаваць падняць, а, што важнейша, першы Prometheus могаў выконваць толькі прымітную ацэнку. Можна было стварыць рангаванне, параваняючы два пунктавых рэйтынгі, але ні Prometheus, ні большасць ранейшых відкрытых з’явачак не маглі натычна параваняць два адпаведныя рэшэння. Prometheus 2 спалюе гэтыя два методы ў аднам модэлі, які тачна стежыць за людзьмі і GPT-4 у кожным з этых методаў.
Прыклады па парах у Prometheus 2 адрозніяцца ад прыкладаў прымітной ацэнкі за троха пунктаў:
- У матэрыяле-параграфе няма стандартнага адпаведныя рэшэння.
- У яму ёсць толькі апісанне крэтыра ацэнкі.
- Адзыв напісаны інача.
У режыме парных спраўк неабходна параваясці два адпаведзенні, выявіць месцы ў якіх яны разніцяюцца і выкарыстаць гэтыя разніцы, каб практычна выбраць адно з яных. Большасць ранейшых набораў дадзеных і модэляў у режыме парных спраўк паслугваліся загальнымі крэтарыямі і часта давалі простае рашэнне без жадных пояснень, якія б парабаваліся з адпаведзеннямі.
Для трэнавання навыка парных спраўк Prometheus 2 вводзіць Колекцыю праганаў, якая вытэкла з Колекцыі спраўак. Паколькі ў адной Колекцыі спраўак є пяць адпаведзенняў на кожную інструкцыю, по аднаму па кожной оцэнцы, можна стварыць кожную пару з іх: дзесяць пар на адну інструкцыю. Атрыбут для кожной пары вылучаецца безпосередна параваясцю двух оцэнак Лікерта.
Паколькі пояснювальныя спраўкі у стыле «ланцуга мыслей» є цэнтральным элементам падходу Prometheus, самых атрыбутаў было недастатнька. GPT-4 быў прабламаваны напісаць новыя спраўкі для кожной пары, акцэнаваючы на тым, што ў двух адпаведзеннях спакойнае і дзе яны розніцяюцца.
Існуе кальк прыемаў, якія дазволяюць стварыць аднаго суддю, які керуе обомі спосабамі ацэнкі:
- За дапамою падказак: выкарыстоўваць готовы модель з разнымі падказкамі для кожнага спосабу.
- Адучэнне ў адным формате: адучыць адную модель для кожнага спосабу і выкарыстоўваць тую, якая падходзіць.
- Саюзнае адучэнне: адучыць адную модель на сумешаных данных обох типаў.
Толькі саюзнае адучэнне дае адную спецыялізаваную модель, якая падтрымляе обаі спосабы; адучэнне за дапамою падказак выкарыстоўвае гэнерычныя моделі, а адучэнне ў адным формате заставляе нас маты два моделі. Чэрговы варыянт — адучыць два моделі ў адным формате, а пасля з’едыніць іх за дапамою злучэння моделей, што і робіць Prometheus 2. Два атласніка адучаюцца окалічна: адны на збор кантрольных дадзеных, другі — на збор прыярытэтаў, а ўжо ўсі іх вагі з’едынаюцца простым лінейным спосабам, чым ствараецца адна модель, якая можа ацэнкаваць будзь-какім спосабам.
Серьжэзным рынкам ёсць тое, што адналічаны модель перамагае як модель, трэнавануююць саўместна, так і моделі ў аднам формате. Было пробавана калькі методаў адналічэння, уключаючы таск-арытметіку, TIES і DARE. Болей складныя методы інодзе дапамагаюць; напрыклад, калі базай выступае Mixtral 8x7B, найлепей работала DARE. Але проста лінейная адналічэнне з коефіцыентам 0,5, якае проста ўсерэднавае вагі двух модэляў, добра функцыонуе ў большасці конфігурацый і лёгкая у рэалізацыі. Адна з прычын, чаму гэта работае, — гэта тое, што два процесы трэнавання выкананы з адной і той жа базовай модэлью і выучаюць супакоўаныя навыкі, таму ўжохі яных застаюцца ў сумесным дыялекте, дзе усерэднаванне спалучае ўмеласці, а не разрушае іх.
Prometheus 2 быў створаны на базе Mistral-7B і Mixtral 8x7B: адзінаковыя копіі ўточняюцца на кожным наборе дадзеных, а пасля — спаўнююцца за дапамогою разных алгорытмаў. Рэзультатныя моделі працуюць краща за будзь-якія іншые відкрытые агенты ацэнкі ў наборах тестаў на прымальную ацэнку і парныя поранкі. Їхня кореляцыя Пірсона з прыватнымі агентамі ацэнкі падыходзіць да 0,2 на всіх наборах дадзеных, а ў тестах на парныя ранкі вони зменшуюць разлік з GPT-4 прыблізна на палову.
У режыме парнае адпрацоўкі практычныя рынкі выгод здаюцца меньшымі, але тамае параванне включае як моделі наград, так і адкрытыя методы ацэнкі. Моделі наград, якія выкарыстоўваюцца ў навчанні за допамогай падтрымкі ад людзей (RLHF), трэнуюцца толькі для выявлення парных прыямоў, не даюць письменнай падтрымкі і дастаюць вельмі высокую точнасць у парных адпрацоўкі. Prometheus 2 таксама паказвае лепшую стабільнасць межа режымамі, чым іншыя методы ацэнкі: адпаведны адказ, які ён выбірае у парнае адпрацоўкі, зазвычай таксама атрымвае вышэйшую оценку пад час прымітнай ацэнкі. Гэтая якосць мае важлівое значэнне на практыцы, адтолькі што суддзю, чыяя два падходы не збігаюцца, важка даверыць ні ў одны з яных.
Prometheus-Vision: ацэнка модэляў візуальна-мовных
Усё, што гаворылася даўна, стосуецца толькі модэляў на тэкст. Модэлі візуя-мовы (VLM), якія прыймаюць як звычайны тэкст, так і адпраўленыя зображэння, сталі падзейнымі як у прыналежных форматах, такіх як GPT-4V і Gemini, так і у відкрытых форматах, такіх як LLaVA і візуальныя версіі Llama 3.2. Аднае з додатковых магчымас уведзення, яны трэнуюцца і структуруюцца пахожа на тэкстовыя LLM.
VLM стварае тэкст на адпраўленым зображэнні плюс інструкцыю, а яго ацэнка дадае ўзаемнае зв’язку. Патрэбна пераканацца ў двух роштках:
- Чы рэспанс паслухоўваецца інструкцыі, як і у будзь-ям LLM.
- Чы рэспанс базуецца на там, што на самай працоўкі паказвае зображэнне.
Адзін з спосабаў — пераклацьваць адпраўленыя зображэння ў текст, напрыклад, за дапамогою моделі для стварэння апісаў чыю-небудзь зображэння, і паслаць гэты опис на адпраўку спецыяльнаму працоўніку для аналізу тексту, такаму як GPT-4 чыю-небудзь Prometheus. Аднак такія багатаступеневыя процесы можу прыводзіць да памылак: тое, чаго не зафіксаваў апіс, працоўнік не можа оцаніць. Болей прыемным рашэнням є викорыстоўванне VLM як працоўніка для аналізу.
Prometheus-Vision — это адкрыты працоўнік для аналізу VLM. Прыватныя VLM, такія як GPT-4V, вядомы тым, што ўжо викорыстоўваліся як працоўнікі для аналізу іншых VLM, але Prometheus-Vision стаў першым адкрытым працоўнікам, які можа оцаніваць згодна з дробнымі, самастаўленымі корыстувальнікам критэрамі. Пара гласнасці та контролю, якія є у адкрытых моделях, ў ягох рэйтынгах хораша кореляцыя як з оцэнкамі людзей, так і прыватных працоўнікаў, а ён таксама можа выявляць тонкія разліки, напрыклад, розпізнаваць справжню художню кантэнцыю ад ўсміху над яе.
Калі праца была опублікована, не існавала жадна база дадзеных з адзінакамі, крытыкай чыму праця, для трэніравання дзеяльнага атрыбутавальніка VLM, таму команда створыла такую базу. Колекцыя Perception парадоксальна за дизайнам Колекцыі Feedback, і кожны прыклад складаецца з пяці частак уваходу:
- Зображэнне: картіна, яку выкарыстоўвае корыстнік для VLM.
- Інструкцыя: текстовая інструкцыя корыстніка.
- Адпаведзь: текстовая адпаведзь VLM на зображэнне і інструкцыю.
- Критерія: дакладныя вядомасцы па атрыбутаванню, укладзенныя з апісам критэрыяў і кожнага балу за шкалай з 1 да 5.
- Адпаведзь-прыклад: адпаведзь, якая магла б зарабіць 5 балоў, створаная за дапамогою GPT-4V.
Рэзультатамі являюцца письмовыя абґрунтаванні і бал за шкалай з 1 да 5.
Структура адаптавана па прымэре набора текстоў. У процесе беруцца 5K адпраўк з набораў MS-COCO і MMMU, ручна стварываецца 50 шаблонаў оцэнкі, пасля чыго GPT-4 выкарыстоўваецца для расшырэння іх да 15K шаблонаў. Таксама генеруецца 30K інструкцый з адпаведнымі правільнымі адпраўкамі, і нарэшце да кожной інструкцыі дадаецацца пяць адпраўк — по адной на кожную оцэнку, кожная з якіх супакоўвана. Параўняўчы з методам сбору адзінакоў, тут ёсць значна больш шаблонаў оцэнкі (15K проты 1K), але значна меньш інструкцый на шаблон (две проты 20).
Тут не можна викорыстоўваць толькі модель на основе тексту; навчанне павінна начыняцца з ужо натрэнаванага VLM. Prometheus-Vision викорыстоўвае версіі 7B і 13B моделі LLaVA-1.5. Метод навчання за прынцыпам «ланцуга мыслей» застаецца тым жа, як і раней: метод SFT навчае модель пісаць адгукаты, а потым ставіць оцэнку. У кожным прыкладзе для навчання гэтыя два элементы аддзеляюцца фіксаваным выразам So the overall score is, які вядзе ся за ролю з токенам [RESULT] у моделях на основе тексту. За дапамогою рубрык і штандартных адпаведзей у вхідным дадзенні модель аднастаецца для індывідуальной, дзейнаўчай ацэнкі.
Prometheus-Vision лепшая за GPT-3.5-Turbo і простую версію Prometheus парагонуе з рэзультатамі людзей, але GPT-4 і GPT-4V ў цаласці больш адпавядаюць рэзультатам людзей. Яго найслабшыя показнікі — у тэсте VisIT-Bench, дзе многа зображэнняў маюць вялікі текст. У гэтым тэсте GPT-4 парагануецца добра, нават краща за GPT-4V, адтуды ў яго ёсць текст, выкарануты з зображэння, як інпут, тады калі Prometheus-Vision страждае з яго чытаннем. У іншых тэстах Prometheus-Vision прыбліжна на роўні з GPT-4 і GPT-4V, а ў дзеякіх случаях парагануецца з рэзультатамі людзей сильнейша, чым будь-кан з іх.
Людзі-эксперты ацэнілі ўсё, што даў гэты модель, як прыблізна на тым жа рэвэрсе, як у GPT-4 і GPT-4V. Команда таксама даследзіла распашчастыя падходы экспертаў, такія як упэўненасць у дужыне адказаў, праграма выбіраць дłuжэйшыя адказы, і упэўненасць у сабе, праграма выбіраць своія ж выходы. Яны не знайшлі явных пазнакі ніякога з гэтых падхоўдаў, хоць падкрэслілі, што эксперыментальна выявіць адзін конкрэтны падход єсць дыявольскай складнасцю.
Іншыя напрамкі тонкай наладкі ацэнкі
Prometheus — не ўсё, што існуе ў гэй кантэксте. Існуе чырвоны проекты, якія трэнавалі мовные моделі для ацэнкі, кожны з яых прыносіў унікальную ідею. Короткі огляд нижэй паказвае тыя проекты, якія ўсё бол прыдатныя, якщо вы плануеце стварыць свой сабестоямы механізм ацэнкі.
Мовныя моделі, якіе самі сабе награджаюць
Модэлі з самаадзяйнаемымі наградамі маюць на мете автаматызаваць падпараджанне за дапомогай внутранняга атрыбутавальніка. У змену трэніраванню адзінай незалежной модэлі наград на адпрацоўкю людскіх прыярышоў, сама модэль, якая падпараджваецца, трэніруецца так, каб атрыбутаваць своія выходы за дапамогай запытак у стыле LLM-as-a-Judge, і гэтыя атрыбутацыі становяцца наградамі. Пры застосаванні да LLaMA-2 гэты метод даў корыстныя адзывы і паспрабаваў пакращыць саму модэль. Канцэптуальна ён падобны Prometheus у тым, што модэль выучаецца дзейваць як атрыбутавальнік, але выходы гэтага атрыбутавальніка вяртаюцца назад як сигналы для трэніравання той самай модэль.
LLM-as-a-Meta-Judge
Адзін з абяроненняў модэляў з сама-наградаваннем — гэта тое, што нічога не паглыбляе саму спроможнасць да адгуків; модэль становіцца кращай у адпаведзях, але якасць ўсіх яе адгукоў застаецца на тым жа рэвэлі, што і спачатку. Модэляў з мета-наградаваннем дадаецца трэція роля. Кроме таго, што яны выступаюць як акторы і суддзі, яны таксама выступаюць як мета-суддзі, якія ацэнююць сабеўсія адгукі, што стварае даны для трэнавання, якія дапамагаюць паглыбіць спроможнасці суддзяў разам з правіламі. І гэтыя две спроможнасці разам паглыбляюцца працэсам трэнавання.
Самоўучыя ацэнавальнікі
Самаўучыяся ацэнкавальнікі цэлым чынам усуняюць з процесу атрыбуты людскіх прывяраў. Даныя прывяраў людзей крануюцца у зборе, а ў меру праграсу модэляў стаюць неактуальнымі, таму такой падход ітератыўна стварае сінтэтычныя даныя для ацэнкі. Начынаючы з набору інструкцый, LLM стварае пары контрастных выходных даных, пры чым адна з іх намеравана гіршая за другую, а суддзю навчаюць ацэніць іх, пішучы пояснення та вердыкты. Павтарэнне гэтага процесу з удосконаўленым суддзёю дае кожны раз кращыя даныя для навчання. Без жадных даных з атрыбутамі людзей было зафіксавана, што створаныя ацэнкавальнікі перамагаюць як GPT-4, выкарыстоўваны як суддзя, так і модэлі, навучаные на людскіх прывярах, па точнасці оцэнкі.
Явным абсалютам ў гэтым є цыклічнасць. Суддзя, який сам стварае своія даныя для навчання, можа прыбліжацца да таго, што ён вярыць як добрае, а без зовнішняй перакананні гэта прыбліжэнне застаецца непазірным. Нават якщо вы вжываеце цыкл саманавчання, малая колькасць дадзеных, пазначаных людзьмі, застаецца ўнікальным спосабам падтвердзіць, што кожны раунд дасклаліваеся, а не проста даўае большай вярыцьбы.
FLAMe: фундаментальныя автаратэры
Модэлі большых автаратараў базаваныя на фундаментальных прынцыпах (FLAMe) выконваюць працэз дадзенняў у працоўным напрамку: яны трэнуюцца на вельмі большым калекцыя людскіх адгукаванняў — падае 5 мільйонаў такіх адгукаванняў у меры пра 100 задач ацэнкі якосці. Параўняна з іншымі евалюаторамі, модэлі FLAMe краща генералізуюць на незнакомых задачах ацэнкі, праказваюць меншыя уперадзе і служаць моцнымі выхаднымы моментамі для дальнейшага фінальнага налаштавання ў спецыялізаваныя евалюаторы. Як паведамлялася, яны стабільна працоўваюць краща, чым евалюаторы, створаныя на базе варіянтав GPT-4 і Claude, а таксама евалюаторы, фінальна налаштаваныя на синтэтычных дадзеннях GPT-4.
Компраміс у генералізацыі
Эмпірычная даследжэнне пра налаштаваныя суддзі, якое называлася «Налаштаваныя моделі суддзі — это класыфікаторы, прызначаныя для конкрэтных задач», дакладна аналізавала прынцыпы парадоксу ў порэвананні іх з прызначальнымі суддзямі. Яго вынік: налаштаваныя суддзі адлейваюцца у виконанні задач у сваёй сферы, інодзе перамагаючы GPT-4 у тэстовых наборах, адзначаных з ўсімі данными, якія былі викорыстаны для ўчэння, але застаюцца позаду GPT-4 ў паводзе генералізацыі, справядлівасці, адзначэнні спецыфічных аспектаў і масштабаванні. Гэта не ўдзівляе. Суддзя, які быў навучаны на аднай дыстрыбуцыі дадзеных, выучае самэю гэтую дыстрыбуцыю; якщо запытаць яго пра ўсё іншае, ён будзе дзейваць як вузкі класыфікатор. Практычны вынік — трэба викорыстоўваць налаштаванага суддзю толькі для тых задач, для яких ён быў навучаны, і пераверываць яго за дапамогою людзкіх атрыбутаў кожны раз, калі вхідныя даны начнуць зміняцца.
Оптымаўка прывяленьня да безпосередніх суджэнняў
Оптымізацыя праганняў да прымітных суджэнняў застосоўвае оптымізацыю праганняў да ацэнкавальнікаў, а не толькі SFT. Пары праганняў сабраныя для трох прыкладоў выкарыстання: адзінай ацэнкі, парнае паўстанавлення і бінарной класыфікацыі. Першыя два адпаведаюць звычным пунктовым і парным налаштаванням; трэціе прыводзіць ацэнку ў вопыт «так» чы «нет», напрыклад, чы ў адпаведзі існуе певная характэрыстыка. Таксама дадаўця ўключана дапаможная задача: за наявнасці інструкцыі і рэзультата ацэнкі модель должна выважыць, якая адпаведзь ацэнкавалася. Для кожнага прыкладу выкарыстання хорашае і паслаблае суджэнне утвараюць пару праганняў, і ацэнкавальніка трэнуюць на іх за дапамогою прымітной оптымізацыі праганняў (DPO). Адзін з прыемнасцей — суддзя выучаецца не толькі імітаваць хорашыя суджэння, але і воліць іх над правдаподабнымі паслаблымі.
Што вплывае на балы суддзі?
Справядлівы вопыт працэйнае ўсіх суддзяў на базе LLM — чы рэальна яны прыменяюць критэрыя, якія ўказаны для іх работы, чы проста награджуюць тэксты, якія супадаюць з іх навчальнымі даннымі. Аналізы суддзяў на базе LLM у разных системах оцэнкі паказалі, што детальныя інструкцыі ў запитах толькі незначна павышаюць якасць ўхвалень, а оцэнка на адной засадзе перплексітэты, якая вырачае адпаведнасць адпаведзення таму, насколькі верагодна яго знайдзе модель, іноды краща паспраўджуецца з людскімі ухваленнямі, чым інструкцыі ў запитах, бясперывно для кантролі якосці тэксту.
Это выглядае так, як бы парадоксальна для вывода Prometheus, што матэрыял-аспэкт мае вельмі важны значэнне. Два рэзультата легкае зроўняваць, калі разумееш, што самэго мерылі. Аналізы, ўжываюцья показнік перплексітэты, сфокусаваны галоўная мерой на загальнай якосці адпаведзей з точкі зору людскіх прыямоў. Большасць LLM-аў трэнуецца на данных прыямоў, таму ўсё прыродна, што яны надаюць высокую верагоднасць адпаведзям, якія спадабляюцца людям. Prometheus, на протываце, нацэлёваны на шмат розных індывідуальных крэтарыяў, якія выходзяць за межы звычных прыямоў, і для яых часткі з меркамі несу інфармацыю, яку модэль не можа вывести толькі з плавнасці. Якщо вашы крэтарыяў близкія да „каторую адпаведзь спадабляецца людям больш“, часткі можа дапамагчы мало; якщо яны спецыфічныя для вашай галузі, яны ўжо неабходны.
Пасляпасовыя інструкцыі па стварэнні саваму адпраўніку
У разліце з сучасным станом доследжэнняў, корыстна ператворыць іх у певны процес. Работа Prometheus вялікай меры практычна паказвае такую структуру, а наведзены ўжо версія лёгка яе адаптавае, ўключыўшы тое, чым навучаюць іншыя статті.
Шаг 1: чытка адзначыць критэрыя ацэнкі
Перш за ўсё точна выберыце, што вы хочаце ацэніць:
- Спісавайце конкрэтныя критэрыя, якія маюць значэнне для вашай прыменення.
- Напісайце детальны опис кожнага з іх, укладаючы ў тое, што означае кожны ранг ацэнкі.
Прыкладам такой шкалы ацэнкі можа служыць раздел «Збор адзначэнняў», у яком є опис критэрыяў, описы па кожнаму рангу і стандартныя адпаведзі. Очаквайце, што критэрыя будуць перазначаныя разаў. Калі вы з’ясуеце, дзе людзі і моделі не пагадваюцься, вы будете далей савершанаваць і расширваць шкалу, а кожная перазначанняя робіць ацэнку як людзьмі, так і моделямі болей адпаведную.
Шаг 2: збір высакачаных людзяных атрыбутаў
Перад трэніраванням чы роўна працаваннем з якім-небудзь суддзёй, вам патрэбны надзеяныя даныя для людзяйскай ацэнкі. Саме яны дапамагаюць з’ясавіць, чы суддзя працюе правільна, і яны павінны відбіваць тыя даны, з якімі суддзя будзе сталакацца пад час рэальнай працы. Якщо даныя викорыстоўваюцься толькі для мета-ацэнкі, напрыклад, для пераканання ў правільнасці суддзі, створэнай на адной з тэхналогій LLM, як правільна, то зазвычай достатнья невелика колькасць прыкладаў — ад 100 да 1 тысячі. Для дакладнейшага налаштавання суддзі у стыле Prometheus патрэбна значна большая колькасць прыкладаў — ад 1 тысячі да 100 тысяч прыкладаў.
Сбор данных адміністрацыяй ёсць складным заданнем, і самэ гэтае ў тым месцы, дзе каманды часта недастаткова інвестуюць. Якщо людзі не можуць дасягнуць згоды ў выпанні задачы, немагчыма з’ясавіць, чы робота моделі ўсё правільна, а навчанне судды на нэўпорядкованных меткіх вяртайць усі зусиллі. Усе, што напісана ў раздзеле пра адміністрацыйную оцэнку, таксама паслужыць тут: калібруйце оцэнкаваўшых, дазвольвайце наяўнасць інструкцый і продовжвайце меркаваць ступень згоды.
Шаг 3: дапамога сінтэтычнымым данным
Модэлі Prometheus паказваюць, што сынтэтычныя даны можу стварыць адрабоўных судзяў: паўнае большасць іх дадзеных для навучэння, уключаючы інструкцыі, адпаведзі, балы і адзывы, была створана за дапамою GPT-4. Чыста сынтэтычныя даны несу рызык, каліж тое, што яны падвергаюць модэль вузкаму спектру можлівых даных і перадаюць упераклады модэлі-вучыльніка. Сумешчанне даных, пазначаных людзьмі, і сынтэтычных даных зазвычай дае набліжна лепшыя рэзультаты, чым абодва варіанты окалечна. Іспользуйце даны, пазначаные людзьмі, для забезпечэння якосці, а сынтэтычныя даны — для досягнення неабходнага об’ёму і паверхні для фінальнай налаштовкі, а таксама пры ўтворэнні сынтэтычных даных прыменяйце ідеі з роздзела «Адзывы», якія спакойваюць распад балоў і контролююць дужыну адпаведзей.
Шаг 4: інвестыруйце ў праграматыку
Звычайна, што патрэбны тачныя балы і рангі, але аргументацыя таксама заслуговае на ўвагу. Вядома, што фінтюнінг — гэта неэфектыўны спосаб прынясення новых знанняў у модель; ёй лепей вучыць стыль і формат. Для судды формат адзыва — гэта галоўная рашыцьба, якую можна кантролюваць. Аргументацыя, якая є конкрэтной, крітычнай і адносіцца да крэтарыі, дапамагае суддзе даваць практычна корыстныя пояснення, і, калі модель пішае аргументацыю раней за бал, кращая аргументацыя зазвычай спрыяе кращым балам. Пастаўце фіксаваны разлінію межу адзывам і балам, ўбліж тым, каб выходны тэкст было лёгка аналізаваць.
Шаг 5: дадзіце прыкладныя адпаведзі, дзе толькі можна
Эты крок ўзлегкі, але зазвычай мае значэнне. Апавядомленыя адказы дапамагаюць як суддзям, якіх запрашваюць да ацэнкі, так і тым, якія працуюць у спецыяльным режыме. Для суддзяў у спецыяльным режыме яны карыстуюцца проты пакашанняў у знаннях, заполняючы прасоціны таго, што базовая модель выучыла пад час прадзялёвай падготовкі, і робяць ацэнку па кожным пункту значна точней і стабільней. Для задач, якія выкарыстоўваюць факты чы аблік-спецыфічную інформацыю, апавядомлены адказ часта мае большое значэнне, чым будь-які формулювання запита.
Крок 6: адучэнне і мета-ацэнка
Калі ўжо є даныя, а таксама, за выборам, контрольныя адпаведзіць, трэба натрэнаваць суддю за дапамою стандартнага методу SFT. Рэпазітары Prometheus адказвае за цэласна рэалізацію гэтага процесу. З самага пачатку трэба заставіць частку данных, атрыбутаваных людзьмі, для тэстаў і выкорыстоваць яе для мета-ацэнкі: паказначыкі класыфікацыі, якщо рэзультат судді є бінарным, і паказначыкі корэляцыі для всіх іншых случаў. Для парных суддзяў таксама трэба вымерыць, як часта вердыкт застаецца тым самым пасля змены порядку; суддзя, які меняе свой вердыкт пасля змены порядку, яшчо не гатовы.
Перад тым, як паспелівацца на суддю, зрабіце калькі дадатковых перакананняў:
- Ацэніце яго работу на прыкладах, якія не належаць да той жа дыстрыбуцыі, ўбачыце, насколькі далека прастягваецца яго кампетэнцыя.
- Параўняйце распад яго балаванняў з распадам балаванняў людзей, каб выявіць систематычную паслабленасць аб адкрытасць у яго рашэннях.
- Назірнае выявіце эфекты дужыны і пазыцыі, зменяючы дужыну адпаведзіць і порядак для таго ж контэнту.
Калі не трэба выкарыстоўваць фінтюнінг
Фінтюнінгаваны суддзя не завжды ўсёрасовы аптэк. Якщо вашы крэтарыя є загальнамі, напрыклад, абоўсюды корыстныя, то добра настроены суддзя з прыватнай тэхналогіяй або існуючы відкрыты ацэнавальнік можа быць дастатковым і значна дешэвейшым у наладзе. Якщо вы не можете збіраць надзяйны набор даных, пазначаных людьмі, вы не зможаце пераканацца ў якосці жаднага суддзі, незалежна ад таго, чы ён фінтюнінгаваны чы ні, таму спачатку трэба выправіць гэта. А якщо распад заданняў постаўляецца сталы, спецыфічнасць суддзяў, фінтюнінгаваных для конкрэтных заданняў, значыць, вам даведзецца часта перенастраіваць іх. Фінтюнінг вярна себе падкрэпляе, калі крэтарыя є спецыялізаванымі, обсяг ацэнкі великі, і вам патрэбна контроль над версіяваннем, косцю чы прыватнасцю дадзэнняў.
Зьместкі пра косць і аперацыі
Існаванне судды простаўляе выклікі замест таго, каб іх усунуць. Вы меняеце платы за кожны вызов API на час работы GPU, хоставанне модэляў і інжынерныя рашэння, неабходныя для таго, каб версіі судды заставаліся стабільнымі і можна было ўскладніць яе працэю. У замяну вы отрымліваете фіксаваную версію модэля, якая не можа зменіцца пад вашым кераваннем, даныя для ацэнкі, якія ніколі не паказваюцца за межамі вашай інфраструктуры, а таксама можласць запускаць мільйоны судовых рашэнняў без страху, што сумы будуць растаць. Ставіцеся да судды як да будзь-яго іншага промышленага модэля: фіксуйце яго параметры, фіксуюце, калькі версія даўала калькі балоў, і зберагаюце набор мета-ацэнак, каб будучыя перенаўчання можна было параваніць з нынешнім на адныях умовах.
Ключавыя выводы
- Людскія судовыя рашэння застаюцца точкай аднараджэння, але толькі пасля калібравання, наявнасці актуальных правілаў і сталяга стежэння за дагадкамі, якія робяць іх достатна надзеянымі для параборання з чым-небудзь іншым.