Szkolenie własnego sędziego LLM: od PandaLM i JudgeLM do Prometheus
Jak budowane są dopracowane modele oceniające, od danych i rubryk po kontrolę uprzedzeń i metaocenę, oraz praktyczny przepis na szkolenie specjalistycznego sędziego LLM dla określonej dziedziny.
Gdy model językowy potrafi pisać eseje, odpowiadać na zgłoszenia klientów i streszczać umowy, pytanie „czy ten wynik jest dobry?” przestaje mieć proste odpowiedzi. Ludzka ocena jest złotym standardem, ale jest powolna i kosztowna, klasyczne metryki pokrycia ledwo jeszcze odzwierciedlają jakość, a próby skłonienia modelu własnościowego do oceny wyników działają dobrze tylko wtedy, gdy Twoje kryteria przypominają to, co model ten już zna. Ten przewodnik omawia badania nad dopracowanymi sędziami w postaci modeli LLM, otwartymi modelami szkolonymi specjalnie do oceny i krytyki innych modeli, a na końcu przedstawia konkretny plan, który możesz zastosować, aby stworzyć narzędzie oceny dla swojej dziedziny.
Dlaczego ocena nowoczesnych modeli LLM jest tak trudna
Dwie cechy obecnych modeli podstawowych utrudniają ich ocenę. Pierwszą jest zakres funkcji: od jednego modelu oczekuje się, że będzie potrafił pisać kod, tłumaczyć, rozumować, przestrzegać zasad formatowania, zachowywać się bezpiecznie i przyjaźnie, a każda z tych umiejętności wymaga odrębnego pomiaru. Drugą cechą jest brak określonego kształtu wyników. Dla niemal każdego promptu istnieje szeroki zakres akceptowalnych odpowiedzi, które różnią się sformułowaniem, strukturą, długością i akcentami, więc nie można po prostu sprawdzić, czy wynik odpowiada oczekiwanemu tekstu. Dobry pomiar choćby jednej z tych umiejętności stanowi problem badawczy, a model produkcyjny posiada ich dziesiątki.
Najbardziej wiarygodne sygnały nadal pochodzą od osób, które czytają wyniki i je oceniają. Problem polega na tym, że ludzkie osądy są niespójne, kosztowne i wolno gromadzone, co koliduje z tempem rozwoju modeli. Zespół, który kilka razy w tygodniu ponownie szkoli lub dostarcza dane do modelu, nie może czekać na nową kampanię anotacji po każdej zmianie. Pewien stopień ludzkiej oceny pozostaje niezbędny, ale musi być uzupełniony czymś, co pozwala na skalowanie.
To zapotrzebowanie doprowadziło do powstania koncepcji LLM-as-a-Judge, przedstawionej w artykule „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena”: użytkownik wysyła prompt do silnego, własnościowego modelu w celu oceny wyników innego modelu. Ten podejście jest obecnie powszechne w badaniach, ale ma swoje ograniczenia. Produkty specjalistyczne często biorą pod uwagę szczegółowe kryteria, takie jak to, czy streszczenie medyczne zawiera informacje o dawkowaniu, czy odpowiedź prawnicza odnosi się do właściwej klauzuli, a model uniwersalny może nie być w stanie ich wiarygodnie ocenić. W takiej sytuacji naturalnym następnym krokiem jest szkolenie specjalistycznego „sędziego”, a zrozumienie, jak to dobrze zrobić, jest celem reszty tego artykułu.
Narzędzia oceny: ludzie, metryki i sędziowie oparte na modelach
W praktyce zespoły łączą ocenę ludzką z automatycznymi metrykami. Ludzie dostarczają ostatecznej oceny jakości, natomiast metryki automatyczne zapewniają szybkość. Ponieważ wyniki automatyczne są jedynie przybliżeniem tego, co myślą ludzie, należy je stale porównywać z okresowymi ocenami ludzkimi, ale pomiędzy tymi ocenami można porównać znacznie więcej wariantów modelu, niż ludzie mogliby przejrzeć.
Automatyczna ocena nowoczesnych modeli LLM dzieli się głównie na dwie kategorie. Pierwsza to ocena w stylu benchmarków, oparta na prawdopodobieństwie lub perplexity, obejmująca większość tradycyjnych benchmarków NLP, takich jak MMLU i BIG-bench. Działają one mniej więcej jak testy wielokrotnego wyboru, które sprawdzają, co model wie. Są przydatne, ale niewiele mówią o tym, jak dobrze model potrafi napisać długą, stylistycznie odpowiednią odpowiedź na otwarte pytanie.
Dla długich, otwartych odpowiedzi istnieją właściwie tylko dwie drogi: albo ludzie oceniają te odpowiedzi, albo to robi sprawny model. Biorąc pod uwagę koszty pierwszej drogi, ocena oparta na modelach stała się standardem. Nie wymaga odpowiedzi referencyjnej, jest łatwa do wdrożenia i radzi sobie z szerokim spektrum zadań. Poniższe sekcje omawiają kolejno każdy element tego zestawu narzędzi, zaczynając od aspektu ludzkiego, ponieważ wszystko inne jest wobec niego mierzone.
Ocena przez ludzi stanowi prawdę podstawową, choć nie doskonałą
Ludzie potrafią zauważyć, co naprawdę jest ważne w odpowiedzi: czy jest ona odpowiednio krótka, kreatywna, ma odpowiedni ton lub uwzględnia specyfikę kulturową. Dlatego też ludzka ocena pozostaje punktem odniesienia. Osoby dokonujące ocen mogą pochodzić z różnych źródeł. Można zbierać głosy poprzez crowdsourcing, jak to robi Chatbot Arena, zatrudnić dedykowany zespół lub, jak to zrobił projekt Alpaca, pozwolić samym twórcom modeli oceniać ich wyniki. Traktowanie ludzi jako źródła prawdy nie oznacza, że ich etykiety są idealne. W praktyce często okazują się one niespójne, wymagają dużo wysiłku przy tworzeniu i są podatne na uprzedzenia.
Zgodność i kalibracja
Nawet zadania, które wydają się proste, często przynoszą zaskakująco niski poziom zgodności między annotatorami. Można to zmierzyć za pomocą prostego wskaźnika dopasowania lub statystyk skorygowanych o element losowości, takich jak kappa Cohena (dwa oceniające), kappa Fleissa (wielu oceniających) czy alfa Krippendorffa (elastyczne w przypadku brakujących etykiet i różnych typów skali). Korekta losowości jest istotna: jeśli 80 procent odpowiedzi to „dobre”, dwóch oceniających, którzy wszystko oznaczają jako „dobre”, będzie się zgadzać w większości przypadków, nie dowiadując się nic nowego.
Gdy zgodność jest niska, rozwiązaniem jest kalibracja, czyli nauczanie annotatorów wykonywania zadania w ten sam sposób. Typowym krokiem jest sesja przeglądowa, podczas której oceniający analizują elementy, co do których się nie zgadzali, omawiają poszczególne przypadki i dochodzą do wspólnej interpretacji. Wyniki tych dyskusji są następnie zapisywane z powrotem do wytycznych dotyczących zadania, aby kolejna partia prac rozpoczynała się od jaśniejszej bazy.
Wytyczne pisarskie, które faktycznie są stosowane
Wytyczne stanowią pisemną umowę dotyczącą zadania anotacji. Muszą przynajmniej określać, co jest oceniane, czyli kryteria, oraz w jaki sposób należy je stosować. Dobre wytyczne łączą instrukcje w formie prozy z przykładami poprawnych i błędnych etykiet, a annotatorzy korzystają z nich przez cały czas pracy, a nie czytają je tylko raz. Sprawiają one, że etykiety są bardziej spójne i znacznie skracają czas wprowadzania nowych oceniaczy. Praktyczny test: jeśli annotator potrzebuje wiedzy, której nie ma w dokumencie, aby poprawnie oznaczyć element, dokument jest niewystarczający.
Wytyczne powinny być również traktowane jako dokumenty dynamicznie rozwijające się. Zespół InstructGPT opisał na przykład wielokrotne modyfikacje swoich instrukcji dla systemu etykietowania w trakcie projektu, gdy zmieniały się opinie użytkowników, pola metadanych oraz rozumienie celu, a także korygowanie fragmentów, które okazały się mylące lub sprzeczne. Taki scenariusz jest typowy. Zadania, które wydają się oczywiste, zazwyczaj kryją dużo subiektywności, a ujawnia się ona dopiero wtedy, gdy grupa ludzi próbuje dojść do porozumienia co do setek rzeczywistych przykładów.
Monitorowanie zgodności w czasie
Znaczne inwestycje są konieczne na początku: opracowanie kryteriów, kalibracja oceniających oraz powtarzane próby aż do osiągnięcia akceptowalnej zgodności. Dopiero wtedy oceny ludzkie stają się wiarygodnym miernikiem jakości modelu. Praca nie kończy się jednak na tym. Zgodność może spadać z błahego powodu: dołączają nowi oceniający, ci bardziej doświadczeni stopniowo odbiegają od ustalonych zasad, albo same wytyczne ulegają zmianie. Ciągłe monitorowanie zgodności między oceniającymi, na przykład poprzez przekazywanie części elementów kilku oceniającym, to jedyny sposób, by zauważyć to przed tym, jak potajemnie zepsuje twoje dane oceniania.
Metryki oparte na referencjach i dlaczego przestały być skuteczne
Wcześniejsze generacje modeli językowych były zazwyczaj oceniane za pomocą metryk takich jak ROUGE w przypadku streszczania i BLEU przy tłumaczeniu. Obie opierają się na referencie: porównują wynik modelu z „idealną” odpowiedzią, głównie poprzez liczenie nakładających się n-gramów, i nagradzają te wyniki, które zawierają więcej słów i fraz wspólnych z tą referencją.
Gdy modele się udoskonaliły, te metryki straciły na znaczeniu. Badania wyników generowanych przez LLM wykazały, że takie metryki słabo korelują z preferencjami ludzkimi, do tego stopnia, że żadna z tradycyjnych metryk nie była w stanie dobrze odzwierciedlić ludzkiego osądu. Przetrwały głównie dlatego, że ich obliczenie jest praktycznie bezkosztowe. Jeśli masz już odpowiedzi referencyjne, nadal mogą służyć jako szybka weryfikacja, na przykład aby wykryć regresję, gdy narzędzie do streszczania nagle zaczyna generować pusty lub nieodpowiedni tekst.
Głównym powodem ich niepowodzeń jest aspekt strukturalny. Metryka oparta na odniesieniach to w istocie zaawansowane dopasowywanie rozmyte do jednego konkretnego celu. Współczesne modele są otwarte – jeden prompt może doprowadzić do wielu równie dobrych odpowiedzi, które mogą dzielić z odniesieniem niewiele n-gramów. Wynik oceniający podobieństwo do jednej konkretnej odpowiedzi nie może odzwierciedlić pełnego zakresu ważnych reakcji, dlatego kara doskonale dobrane parafrazy i może nagradzać płynny tekst, który przypadkowo powtarza słownictwo odniesienia, choć jest błędny.
Sędziowie opierający się na promptach w LLM
Słabości metryk opartych na nakładaniu się skłoniły branżę do stosowania bardziej elastycznych metod oceny opartych na modelach. Najpopularniejszą formą jest LLM-as-a-Judge: silny model jest proszony o pełnienie roli oceniającego wyników innego modelu. Badania MT-Bench i Chatbot Arena wykazały, że metoda ta dobrze koreluje z preferencjami ludzkimi, wymaga jedynie dobrze sformułowanego polecenia do wdrożenia, naturalnie radzi sobie z wynikami otwartymi i może być stosowana w odniesieniu do wielu różnych kryteriów. Te badania przedstawiły ją jako skalowalną, wyjaśnialną aproksymację ludzkich preferencji, których pozyskanie w inny sposób jest kosztowne.
W pozostałej części tego artykułu „LLM-as-a-Judge” odnosi się konkretnie do używania gotowego, patentowanego modelu, takiego jak GPT-4o lub Gemini 1.5, natomiast „dopracowany sędzia” oznacza model, który samodzielnie trenujesz w celach oceny. Aby uzyskać szerszy kontekst na temat sędziów sterowanych promptami, przydatne są między innymi praktyczny przewodnik po tworzeniu sędziów wspomagających decyzje biznesowe, analiza skuteczności oceniaczy LLM oraz przegląd badań nad zastosowaniem LLM-as-a-Judge. Jeśli już używasz sędziego sterowanego promptami w produkcji, aspekty operacyjne są omówione w naszym przewodniku po zarządzaniu LLM-as-a-judge jako żywym systemem produkcyjnym.
Ocena parami i punktowa
Istnieją dwa główne sposoby żądania werdyktu od sędziego:
- Pary: sędzia widzi pytanie wraz z dwoma propozycjami odpowiedzi i wybiera tę lepszą (często z opcją remisu).
- Punktowy: sędzia widzi pytanie i jedną odpowiedź, a następnie przyznaje ocenę, zwykle na skali Likerta od 1 do 5.
Ocena punktowa jest również nazywana oceną bezpośrednią lub oceną jednoodpowiedziową. W obu przypadkach można korzystać z wskazówek, dodając do pytania sędziego dobrze znaną odpowiedź, dzięki czemu sędzia może ją porównywać z propozycjami, zamiast polegać wyłącznie na własnej wiedzy. Powszechnym przykładem takiego systemu jest AlpacaEval – tabela rankingowa wykorzystująca LLM-as-a-Judge do przewidywania preferencji ludzi pomiędzy wynikami modeli, która publikuje wszystkie swoje pytania oceniające, włączając wcześniejsze wersje.
Wybór sposobu oceny
Nie ma jedynego rozwiązania, które zadziała we wszystkich przypadkach; właściwy wybór zależy od aplikacji. Oceny parami mają tendencję do większej stabilności, ponieważ porównywanie dwóch rzeczy jest łatwiejsze niż umieszczanie jednej rzeczy na bezwzględnej skali. Wadą jest uprzedzenie pozycyjne, czyli tendencja do faworyzowania odpowiedzi, która pojawia się pierwsza (lub druga), oraz gorsza skalowalność: wyniki parami pokazują jedynie, jak wyniki wzajemnie się porównują, a porównanie wielu systemów wymaga wielu par. Ocena punktowa jest bardziej uniwersalna, ponieważ każdy wynik otrzymuje własną ocenę, którą można zapisać, przeciętnić i porównać później. Jest ona również trudniejsza dla osoby oceniającej, ponieważ musi opierać ocenę wyłącznie na swoim wewnętrznym poczuciu jakości. Podanie odpowiedzi referencyjnej to powszechny sposób na zwiększenie wiarygodności ocen punktowych.
Charakter kryterium również ma znaczenie. Właściwości obiektywne, takie jak faktyczność czy wierność dokumentowi źródłowemu, zazwyczaj są binarne: odpowiedź jest wierna albo nie. Pytanie, która z dwóch odpowiedzi jest „bardziej wierna”, jest słabo sformułowane. Kryteria subiektywne, takie jak przydatność, ton czy ogólne preferencje, umożliwiają dokonywanie ocen względnych, ponieważ ludziom i modelom porównania wydają się łatwiejsze i bardziej powtarzalne niż oceny bezwzględne. Rozsądnym standardem jest ocena punktowa, często binarna, dla sprawdzeń obiektywnych oraz porównania parowe dla jakości subiektywnej.
Skłonności, które odziedzicza każdy sędzia
Niezależnie od tego, jakiego rodzaju sędziego używasz – sterowanego przez prompty czy dopracowanego – kilka systematycznych uprzedzeń pojawia się wciąż na nowo, a większość technik dopracowywania opisanych później w tym artykule ma na celu ich zwalczanie. Przed dalszą lekturą przydatne jest poznanie ich nazw:
- Dysonans pozycji: w trybie parowym sędzia faworyzuje pierwszą lub drugą opcję niezależnie od treści.
- Dysonans rozwlekłości lub długości: dłuższe, bardziej szczegółowe odpowiedzi otrzymują wyższe oceny, nawet jeśli dodatkowy tekst nic nie dodaje.
- Dysonans samowzmacniania: sędzia woli wyniki napisane przez siebie lub modele z tej samej rodziny.
- Dysonans wiedzy: sędzia nie może ocenić poprawności tematów, których dobrze nie zna, i może nagradzać pewne siebie, ale błędne odpowiedzi.
- Dysonans formatu: sędzia może pracować tylko wtedy, gdy prompt wygląda dokładnie tak samo jak ten, na podstawie którego został stworzony lub dostosowany.
Żadnego z tych czynników nie da się w pełni wyeliminować, ale każdy z nich można zmierzyć. Zamiana kolejności kandydatów, uzupełnianie odpowiedzi nieszkodliwymi elementami lub ocenianie tego samego treści pod dwoma różnymi szablonami to tanie eksperymenty, które pokazują, w jakim stopniu dany sędzia poddaje się wpływowi czynników, które nie powinny mieć znaczenia. Przeprowadzenie ich raz po wybraniu sędziego, a ponownie po jakiejkolwiek zmianie w jego szablonie lub modelu, to jeden z najcenniejszych nawyków w pracy oceniającej.
Gdzie sędziowie sterowani promptem zawodzą
LLM-as-a-Judge jest skuteczny i powszechnie stosowany, ale poleganie na modelu własnościowym niesie ze sobą poważne wady:
- Model jest „czarną skrzynką”, a przesyłanie danych oceniających do third party może rodzić problemy z bezpieczeństwem i prywatnością.
Prawie wszystkie te problemy wynikają z uzależnienia od modelu, którego nie możesz sprawdzić ani zmienić. To rodzi oczywiste pytanie, czy można samodzielnie wyszkolić własnego oceniacza. Badania przedstawione poniżej dają twierdzącą odpowiedź: dobrze dostosowany oceniacz może dostarczać bardziej szczegółowych i krytycznych informacji specyficznych dla danej dziedziny, pod warunkiem inwestycji w odpowiednie dane.
Metaocena: pomiar samego sędziego
Zanim nauczysz sędziego, zdecyduj, w jaki sposób sprawdzisz, czy jest on skuteczny. Odpowiedzią jest zbiór danych ocenianych przez ludzi, którym w pełni ufasz, ponieważ stają się one miarą dla każdego sędziego, którego tworzysz. Metaocena, czyli ocena osoby dokonującej oceny, polega zatem na uruchomieniu sędziego na tych danych i porównaniu jego werdyktów z ludzkimi.
Jeśli sędzia wytwarza wynik binarny, taki jak wybór pomiędzy dwoma opcjami lub ocena „zdany/niezdany”, możesz użyć standardowych metryk klasyfikacji, takich jak dokładność, precyzja,召回率 oraz krzywa ROC. Ponieważ są one łatwe do zinterpretowania, wielu praktyków uważa, że binarna ocena jest najpraktyczniejszym rozwiązaniem dla sędziów opartych na modelach językowych ogólnego przeznaczenia.
Dla ocen nieliniowych, takich jak skala Likerta od 1 do 5, mierzy się stopień korelacji między ocenami sędziów a ocenami ludzkimi. Jako punkt odniesienia, badania G-Eval pokazały, że evaluator oparty na GPT-4 osiągnął korelację Spearmana wynoszącą 0,514 z ludźmi w teście podsumowywania, co w tamtym czasie znacznie przewyższało wcześniejsze metody. Korelacja rankowa Spearmana jest prawdopodobnie najczęściej wybierana, ale można również spotkać korelację Tau Kendalla, korelację Pearsona oraz kappę Cohena jako miary zgodności. Są one trudniejsze do analizy niż metryki klasyfikacyjne, więc należy poznać specyfikę tego rodzaju miar. Korelacja Pearsona mierzy liniową zgodność i jest wrażliwa na wartości ekstremalne; Spearman i Kendall biorą pod uwagę jedynie kolejność, więc sędzia, który konsekwentnie jest o jeden punkt zbyt hojny, może nadal uzyskać doskonałe wyniki.
Praktyczne nawyki metaoceny
Kilka nawyków sprawia, że metaocena staje się znacznie bardziej pouczająca. Podawaj zgodność według poszczególnych kryteriów, a nie jeden łączny wynik, ponieważ sędzia może doskonale wykrywać błędy faktograficzne, ale słabo oceniać ton, a średnia to ukrywa. Rozpatruj zamieszanie pomiędzy sąsiadującymi ocenami oddzielnie od dużych niezgodności: sędzia, który przyznaje ocenę 4, podczas gdy ludzie dają 5, stanowi zupełnie inny problem niż ten, który przyznaje ocenę 1. Porównuj zgodność między sędzią a ludźmi z zgodnością między samymi ludźmi w odniesieniu do tych samych elementów; jeśli dwóch przeszkolonych annotatorów zgadza się tylko w 70 procentach przypadków, sędzia, który zgadza się z nimi w 68 procentach przypadków, jest praktycznie na maksymalnym poziomie, a dążenie do większego wyniku jest bezsensowne. Wreszcie trzymaj zbiór danych do metaoceny ściśle oddzielony od wszystkiego, co jest używane do tworzenia zadań lub szkolenia sędziego, w przeciwnym razie liczby będą go faworyzować.
Pierwsza generacja dopracowanych sędziów
Na początku prawie wszyscy używali modeli proprietarnych do oceny w stylu sędziego, i było to uzasadnione. Chyba że poda się sędziemu odpowiedź referencyjną, model musi sam być w stanie rozwiązać zadanie, aby odróżnić dobrą odpowiedź od złej. Modele otwarte długo ustępowały modelom zamkniętym, więc te ostatnie były po prostu lepszymi oceniaczami. Sytuacja zmieniła się, gdy pojawiły się silniejsze modele bazowe otwarte, takie jak LLaMA i LLaMA-2, a badacze zaczęli je dostosowywać do celów specjalistycznych narzędzi oceniających. Poniższe artykuły opisują tę pierwszą falę rozwoju.
Dostosowany model Vicuna jako sędzia w artykule MT-Bench
To samo czasopismo, które przedstawiło LLM-as-a-Judge, opublikowało również jeden z pierwszych eksperymentów z użyciem dostosowanego modelu służącego jako sędzia. Większość tych badań dotyczyła używania ogólnych szablonów do sterowania modelami własnościowymi w celu przewidywania preferencji ludzkich, ale krótki dodatek omawia szkolenie modelu otwartego do tego samego zastosowania; jego wniosek brzmiał, że dostosowany Vicuna-13B wydaje się obiecującym, tanią alternatywą dla zamkniętych modeli służących jako sędziowie.
Motywacje wymienione w nim pozostają głównymi powodami, dla których dziś rozważa się użycie specjalnie dostosowanego sędziego:
- Ocena za pomocą płatnej API staje się kosztowna w dużych skali.
- Model własnościowy nie zapewnia ani kontroli, ani przejrzystości.
- Modele otwarte stają się coraz bardziej zaawansowane, więc luka między nimi się zmniejsza.
Gdyby dostosowany model otwarty mógł dorównać jakością modelom własnościowym, wszystkie trzy problemy zniknęłyby.
Eksperyment wykorzystał Vicuna-13B, wariant LLaMA. Od razu okazał się słabym oceniaczem: miał wysoki wskaźnik błędów, często nie przestrzegał szablonu oceny ani instrukcji oraz wykazywał silny uprzedzenie pozycyjne. Drobna optymalizacja znacznie zmieniła tę sytuację. Model został wytrenowany na 20 tysięcy ocen jednoetapowych ludzi z Chatbot Arena, w których porównywano wyniki różnych modeli, a zadanie zostało uproszczone do klasyfikacji trójkierunkowej: pierwsza odpowiedź wygrywa, przegrywa lub kończy się remisem. Po treningu uprzedzenie pozycyjne gwałtownie spadło, a zgodność z ocenami ludzi znacznie się poprawiła, chociaż model po drobnej optymalizacji nadal nie osiągnął poziomu GPT-4.
Przedstawienie zadania jako klasyfikacji trójstronnej to rozsądna uproszczenie. Eliminuje konieczność kalibracji wyników liczbowych, odpowiada bezpośrednio sposobowi zbierania głosów w Arena i ułatwia obliczenie dokładności poprzez porównanie z głosami ludzkimi. Wadą jest to, że system sędziowski nie dostarcza żadnych wyjaśnień, więc gdy ma inne zdanie niż ludzie, trudno jest dowiedzieć się dlaczego.
Celowe badania zajmują mniej więcej jedną stronę, ale wyniki były na tyle obiecujące, że skłoniły do rozpoczęcia prac nad otwartymi narzędziami oceny.
PandaLM: sędzia do wyboru między punktami kontrolnymi modeli
Częstym zastosowaniem sędziego jest selekcja modeli: spośród kilku kandydatów który jest najlepszy? Staje się to trudne, gdy wszystkie kandydaty są silne i różnią się jedynie nieznacznie. Ludzie mogą podjąć taką decyzję, ale powoli, dlatego cenny jest sędzia, który pewnie wykrywa małe różnice jakościowe.
PandaLM został stworzony właśnie do tego celu. Jego zadanie wykracza poza sprawdzanie, czy odpowiedź jest poprawna; bierze również pod uwagę subiektywne cechy takie jak stosunkowa zwięzłość, klarowność, kompletność, formalność oraz przestrzeganie instrukcji. Głównym zastosowaniem jest dostrojanie hiperparametrów. Treninguje się kilka wariantów modelu z różnymi ustawieniami, pozwala PandaLM porównać ich wyniki i zachowuje najlepszą konfigurację. W eksperymentach przedstawionych w artykule każdy model dostrojony w ten sposób osiągał lepsze rezultaty niż przy domyślnych ustawieniach, co pokazuje, że oceniający może bezpośrednio wpływać na decyzje dotyczące treningu, a nie tylko tworzyć raporty.
Zbiór treningowy zawiera ponad 300K przykładów. Każdy wpis to para (instruction, input, response1, response2), a każdy cel to para (evaluation result, evaluation rationale). Każdy przykład ma odpowiedź referencyjną, a wynik albo wskazuje lepszą odpowiedź, albo stwierdza remis. Zespół dopracował modele LLaMA o różnych rozmiarach na tych danych, używając prostego przewidywania następnego tokena z stratą entropii krzyżowej, w stylu sekwencja-do-sekwencji, bez oddzielnego modułu klasyfikacji. Innymi słowy, werdykt i wyjaśnienie to po prostu tekst, który model uczy się generować.
Instrukcje i dane wejściowe pochodzą z danych treningowych Alpaca. Pary odpowiedzi zostały wygenerowane przez kilka modeli o mniej więcej 7 miliardów parametrów, a mianowicie LLaMA-7B, BLOOM-7B, Cerebras-GPT, OPT-7B i Pythia. Werdykty oraz uzasadnienia dla tych par zostały wygenerowane syntetycznie za pomocą GPT-4, zgodnie z procesem w stylu Self-Instruct, a następnie przetworzone za pomocą heurystyk, takich jak ręcznie ustalone zasady i filtry eliminujące nieważne lub niestabilne oceny. Oddzielnie ludzcy annotatorzy stworzyli mniejszą „złotą” grupę testową, używaną wyłącznie do metaoceny.
Gdy PandaLM porównuje się z innymi narzędziami oceny, w tym GPT-3.5 i GPT-4, ich preferencje wykazują podobne tendencje: wszystkie one sortują oceniane modele w spójnej kolejności. W bezpośrednim starciu z własnymi narzędziami oceny, wersja 7B PandaLM jest konkurencyjna, natomiast wersja 70B przewyższa GPT-4 według kryteriów użytych w badaniu, co sugeruje, że umiejętność oceny, podobnie jak większość funkcji, poprawia się wraz ze wzrostem mocy obliczeniowej modelu.
PandaLM radzi sobie również w specjalistycznych dziedzinach. W badaniu zastosowano go do analizy odpowiedzi na pytania typu LSAT oraz do zestawów danych służących do odpowiadania na pytania z zakresu biomedycyny, przy czym większa wersja modelu radziła sobie szczególnie dobrze. Ponieważ został specjalnie wyszkolony na danych do oceny, potrafi być wykorzystywany do zadań oceniających specyficznych dla danej dziedziny, które są bliskie jego rozkładowi treningowemu, a nie tylko do ogólnej oceny rozmów.
JudgeLM: co naprawdę sprawia, że dobrze dostosowany narzędzie oceny jest skuteczne
Większość wczesnych dostosowanych sędziów niewiele mówiła o powodach swojej pracy. JudgeLM postanowił systematycznie badać te czynniki, w tym:
- ile danych treningowych jest używanych oraz jak są one jakościowe i zróżnicowane;
- rozmiar i jakość modelu bazowego;
- w jaki sposób uprzedzenia wpływają na werdykty sędziego;
- czy sędzia potrafi stosować się do innych formatów, takich jak rozmowy wieloetapowe, ocena jednej odpowiedzi, rankingi parowe oraz dane multimodalne.
Dostosowany sędzia może zostać w tyle za własnością intelektualną z wielu powodów: słaby model bazowy, zanieczyszczone dane, systematyczne uprzedzenia itp. Wert JudgeLM polega na pokazaniu, że te problemy można rozwiązywać bezpośrednio.
Najważniejszym składnikiem jest duży zbiór danych o wysokiej jakości, szczegółowy i zróżnicowany, a zespół JudgeLM wyraźnie określił swój zbiór danych jako najbardziej zróżnicowany i wysokiej jakości dostępny w tym czasie. Zaczyna się od 105 tysięcy instrukcji wybranych z publicznych źródeł, takich jak ShareGPT, oraz od wersji danych Alpaca zawierającej odpowiedzi GPT-4.
Dla każdej instrukcji odpowiedzi są generowane przez kilka modeli, w tym Alpaca, Vicuna i LLaMA, a następnie łączone z oryginalną odpowiedzią z źródłowego zbioru danych, dzięki czemu każda instrukcja ma kilka kandydatów na odpowiedzi wraz z odniesieniem. Następnie pary odpowiedzi są losowo wybierane, a GPT-4 ocenia każdą parę i wyjaśnia swoje uzasadnienie. GPT-4 pełni w praktyce rolę nauczyciela: JudgeLM uczy się odtwarzać jego osądy.
Środki do oceny GPT-4 dostępne są w dwóch wariantach – z odpowiedzią referencyjną i bez niej. Wyglądają bardzo podobnie do standardowych poleceń dla sędziów publicznych, z jedną ważną różnicą: określają dość szczegółowe kryteria oceny. To skłania GPT-4 do dokładniejszych ocen, a dalsza optymalizacja tych ocen przenosi tę samą dokładność na JudgeLM.
JudgeLM został wytrenowany z użyciem 7B, 13B i 33B parametrów, na zbiorkach danych liczących od 3,5 tys. do 100 tys. przykładów, przy wykorzystaniu optymalizacji poleceń w połączeniu z nadzorowaną dalszą optymalizacją (SFT). Wejście zawiera jedno polecenie, dwie odpowiedzi kandydatów oraz odpowiedź referencyjną. Model wypisuje oddzielną ocenę dla każdej odpowiedzi, a następnie uzasadnienie. Przekształcenie tego w werdykt pomiędzy dwoma odpowiedziami jest proste: wygrywa ta, która ma wyższą ocenę, a w przypadku równej liczby punktów następuje remis. Miłym efektem ubocznym tego projektu jest to, że jeden model pełni jednocześnie rolę oceniającego i porównywacza.
Redukcja uprzedzeń była głównym celem. JudgeLM adresuje trzy rodzaje takich uprzedzeń:
- Uprzedzenie pozycyjne: preferowanie odpowiedzi ze względu na jej umiejscowienie w zapytaniu, a nie na to, co się w niej znajduje.
- Uprzedzenie wiedzy: model bazowy nie posiada wiedzy uzyskanej podczas szkolenia wstępnego, która jest potrzebna do prawidłowej oceny odpowiedzi.
- Uprzedzenie formatowe: system oceniający funkcjonuje dobrze tylko wtedy, gdy zapytanie odpowiada dokładnemu formatowi użytemu podczas dopracowywania modelu.
Każdy z tych problemów ma dość prosty sposób rozwiązania. Uprzedzenie formatowe zmniejsza się, gdy sędzia podczas szkolenia widzi kilka różnych formatów zapytań. Uprzedzenie wiedzy zmniejsza się, gdy podaje się sędziemu odpowiedź referencyjną, dzięki czemu nie musi on sam znać faktów. Uprzedzenie pozycyjne radzi się poprzez zmianę kolejności: ocenia się każdą parę w obu możliwych układach, zarówno podczas tworzenia danych treningowych, jak i w momencie wydawania decyzji. Jeśli werdykt zmienia się po zmianie kolejności, para jest zazwyczaj traktowana jako remis. Zmiana pozycji podczas szkolenia uczy modelu, by skupiał się na treści, a nie na umiejscowieniu, natomiast zmiana jej podczas wydawania decyzji ogranicza wszelkie pozostałe uprzedzenia. Stosowane razem, te techniki znacznie zmniejszają uprzedzenia modelu JudgeLM.
Należy pamiętać o koszcie zmiany pozycji podczas procesu inferencji – powoduje on podwojenie liczby wywołań Judge do oceny parami. W przypadku dużych ocen offline jest to zazwyczaj do przyjęcia; jednak w przypadku użycia online, gdzie istotna jest szybkość reakcji, może to nie być wystarczające.
Na własnym zbiorze danych do oceny JudgeLM przewyższa PandaLM i GPT-3.5, zarówno przy użyciu odpowiedzi referencyjnych, jak i bez nich. Ta porównanie faworyzuje JudgeLM, ponieważ został on wytrenowany na danych pochodzących z niemal identycznej dystrybucji, ale radzi sobie również dobrze na zbiorze danych PandaLM. Należy zauważyć, że duża część wyników osiągniętych przez JudgeLM to zgodność z GPT-4, tym samym modelem, który wygenerował jego etykiety treningowe, a nie zgodność z ludźmi. Ogólnie rzecz biorąc, modele te działają solidnie, ich wydajność rośnie wraz ze wzrostem rozmiaru, a są bardziej odporne na zmiany pozycji w porównaniu z alternatywami.
To wskazuje na ogólną ograniczoność sędziów pochodzących z procesu destylacji. Gdy model uczniowski jest szkoleny na podstawie werdyktów nauczyciela, dokładność tego ostatniego stanowi swego rodzaju „miękki sufit”, a jego słabe strony i uprzedzenia są przenoszone wraz z mocnymi stronami. Wysoki stopień zgodności z GPT-4 świadczy o tym, że proces destylacji się udał; nie mówi jednak, czy dany sędzia zgadza się z Twoimi użytkownikami. Tylko zestaw testowy oznaczony przez ludzi może odpowiedzieć na to drugie pytanie.
Auto-J: oparty na rzeczywistych zapytaniach użytkowników
Auto-J, opisany w artykule „Generative Judge for Evaluating Alignment”, to kolejny dopracowany narzędzie oceniające, skupiające się na ocenianiu w konkretnych scenariuszach w realistycznych warunkach. Jego charakterystyczne cechy to:
- Podtrzymuje zarówno porównania parami, jak i ocenianie pojedynczych odpowiedzi.
- Kładzie nacisk na dobrze strukturyzowane, wysokiej jakości komentarze w języku naturalnym.
W rezultacie powstaje sędzia, który jest elastyczny, interpretowalny i praktyczny.
Dane Auto-J rozpoczynają się od zdefiniowania scenariuszy, z których każdy ma własną definicję oraz kryteria oceny. W pracy omówiono 58 scenariuszy podzielonych na osiem szerszych kategorii. Dla każdego scenariusza zbierane są rzeczywiste zapytania użytkowników, generowane są odpowiedzi, a GPT-4 wydaje osądy. GPT-4 kieruje się ręcznie napisanymi kryteriami specyficznymi dla każdego scenariusza, a wyniki są dodatkowo przetwarzane za pomocą filtrów heurystycznych oraz normalizacji formatu w celu redukcji szumów. Każdy scenariusz dostarcza do 100 przykładów, co daje łącznie około 3 500 przykładów.
Zapytania pochodzą głównie z publicznych źródeł opartych na interakcji ludzi, takich jak Chatbot Arena i WebGPT. Ponieważ odzwierciedlają one to, o co pytają ludzie w rzeczywistych warunkach, Auto-J specjalizuje się w realistycznej ocenie. Etykiety zarówno dla par zapytań, jak i pojedynczych odpowiedzi są generowane przez GPT-4, a filtry usuwają przewidywania, które są niespójne lub źle sformatowane.
Auto-J został dopracowany na podstawie LLaMA-2-13B-Chat przy użyciu tego zestawu danych o mieszanej strukturze. Interesującą decyzją projektową jest to, że kryteria oceny nie są zawarte we wprowadzeniu. Uzasadnieniem było to, że model powinien pochłonąć te kryteria w sposób domyślny z danych, co sprawiłoby, że będzie bardziej uniwersalny. Późniejsze prace, w szczególności Prometheus, doszły do przeciwnej konkluzji i stwierdziły, że podawanie rubryk oraz innych materiałów referencyjnych modelowi jest istotne. Aby przeciwdziałać uprzedzeniom, Auto-J wykorzystuje prostą metodę wzbogacania danych: każdy parowy przykład jest kopiowany z zamianą dwóch odpowiedzi, a etykiety „Odpowiedź 1” i „Odpowiedź 2” w ocenie są odpowiednio zamieniane.
Zbiór testowy Auto-J jest zbudowany podobnie jak jego zbiór treningowy, z tą różnicą, że każda etykieta pochodzi od ludzkich annotatorów. W porównaniu z różnymi innymi modelami Auto-J przewyższa niemal wszystkie, z wyjątkiem GPT-4. To potwierdza, że specjalizowany „sędzia” wyszkolony na danych odpowiednich dla danego obszaru może dorównać, a czasami nawet przewyższyć, komercyjne rozwiązania w swoim celowym środowisku. Jednak jego absolutna zgodność z ludźmi w tym zbiorze danych jest nadal niska, co przypomina, że jakość takich „sędziów” ma jeszcze duży potencjał do poprawy.
Krytycy, weryfikatorzy i generatory danych syntetycznych
Równolegle do tych sędziów, zupełnie powiązana dziedzina badań szkoliła modele do weryfikacji, krytyki lub udzielania informacji zwrotnej dotyczących wyników innego modelu. Podobnie jak sędziowie, te modele oceniają odpowiedzi i wyjaśniają swoje uzasadnienia. Różnica polega na tym, że krytycy i weryfikatorzy również podejmują działania na podstawie werdyktu: poprawiają odpowiedź lub inicjują nową próbę, gdy oryginał nie spełnia wymagań.
Dobrym przykładem jest SelFee – model oparty na LLaMA, szkolony na generacjach ChatGPT, informacjach zwrotnych od ChatGPT na temat tych generacji oraz poprawionych wersjach. Otrzymawszy odpowiedź, SelFee pisze informację zwrotną, a następnie przepisuje odpowiedź na podstawie tej informacji, mogąc kontynuować takie iteracje, aż wynik osiągnie określony próg jakości. Dzięki temu pełni rolę weryfikatora, ponieważ sprawdza własne wyniki, a także krytyka, ponieważ pisze informacje zwrotne i dokonuje poprawek.
Zaproponowano wiele innych metod krytyki, w tym samokorekcję, modele PEER oraz modele samokrytyczne. Ten sam mechanizm może generować i filtrować syntetyczne dane treningowe do SFT lub dostrojenia preferencji, podobnie jak w RLAIF i Constitutional AI.
Z daleka wszystkie te systemy – sędziowie sterowani promptem, sędziowie dostrojeni, pipeline’y danych syntetycznych, krytycy i weryfikatorzy – robią zasadniczo to samo: generują ocenę i wyjaśnienie. Różnica polega na tym, w jaki sposób wykorzystywana jest ocena – czy do raportowania jakości modelu, czy do decydowania o tym, które przykłady trafią do zbioru treningowego. Najnowsze prace nad weryfikatorami generatywnymi i modelami nagród opartymi na krytyce sugerują, że przynajmniej niektóre z tych ról można połączyć w jednym modelu, który zajmie się wszystkimi zadaniami oceniania.
Rodzina Prometheus: sędziowie dostrojeni, którzy konkurują z GPT-4
Sprzężone modelowo sędziowie stały się popularne dopiero dzięki Prometheus – modelowi stworzonemu do szczegółowej oceny w określonych dziedzinach. Jego metodologia nie jest radykalnie nowa; główną zmianą jest znacznie lepszy punkt wyjścia w LLaMA-2 oraz starannie przygotowany zbiór danych. Ponieważ pod względem jakości oceny dorównywał wielu własnościowym sędziom, szybko zyskał popularność i doprowadził do powstania kilku kolejnych wariantów.
Prometheus: rubryki jako dane wejściowe pierwszej klasy
Użycie własnościowego sędziego jest proste: wystarczy opisać kryteria i pozwolić modelowi pracować. Problemy polegają na już wspomnianych kwestiach, takich jak niekontrolowane wersjonowanie i koszty, a także na fakcie, że te modele są przede wszystkim testowane pod kątem ogólnych kryteriów, takich jak ogólne preferencje ludzi, i mogą mieć trudności z kryteriami specjalistycznymi. Prometheus rozwiązuje to za pomocą sprzężonego modelowo oceniającego, który po szkoleniu w danej dziedzinie może dorównać lub przewyższyć własnościowe sędziego.
Główna idea polega na tym, że Prometheus przyjmuje do obsługi specjalnie dostosowaną skalę oceniania, co umożliwia mu adaptację do nowych dziedzin i kryteriów bez konieczności ponownego szkolenia. Jest szkolony na zbiorze danych Feedback Collection – syntetycznym zestawie danych stworzonym przy użyciu GPT-4, obejmującym wiele zadań oceniających. Każdy przykład zawiera te same elementy:
- Instrukcja: pytanie lub zadanie podane modelowi będącemu pod oceną.
- Odpowiedź: odpowiedź danego modelu, która jest oceniana.
- Skala oceniania: specjalnie ustalone kryteria opisujące, jak należy ocenić odpowiedź.
- Odpowiedź referencyjna: przykładowa odpowiedź, która przyniosłaby najwyższą ocenę.
- Uzasadnienie: wyjaśnienie, dlaczego dana odpowiedź otrzymała określoną ocenę.
- Ocena: stopień od 1 do 5 według skali Likerta.
Kryterium oceny składa się z dwóch części: ogólnego opisu kryterium oraz wyjaśnienia, co oznacza każda ocena od 1 do 5. Użycie tych informacji umożliwia modelowi dokonywanie ocen z wysokim stopniem szczegółowości oraz stosowanie schematów oceny, których wcześniej nie widział. Badania Prometheusa były jednymi z pierwszych, które pokazały, jak bardzo doskonale przeszkolony sędzia może skorzystać z bogatego materiału referencyjnego dostarczanego mu jako dane wejściowe, a w szczególności z przykładowych odpowiedzi.
Proces generowania rozpoczyna się od 50 kryteriów napisanych przez ludzi i przebiega w trzech etapach:
- GPT-4, po zobaczeniu przykładów ręcznie napisanych kryteriów, rozszerza je do 1000 kryteriów.
- Dla każdego kryterium GPT-4 tworzy 20 instrukcji, co daje łącznie 20 000 instrukcji.
- Dla każdej instrukcji GPT-4 najpierw generuje odpowiedź, następnie informację zwrotną, a potem ocenę, w tej kolejności.
Dwa twoje triki balansujące sprawiają, że dane są bardziej przydatne. Po pierwsze, GPT-4 generuje pięć przykładów treningowych na każdą instrukcję, po jednym dla każdej oceny od 1 do 5, dzięki czemu rozkład ocen jest jednolity i sędzia nie uczy się przyznawać zwykle wysokich ocen. Po drugie, przykłady te mają podobną długość, aby sędzia nie uległ uprzedzeniu na rzecz rozwlekłości, czyli nawyku nagradzania dłuższych odpowiedzi bez względu na ich treść.
Prometheus został dopracowany na bazie LLaMA-2-13B-Chat przy użyciu zbioru opinii w połączeniu z zestawami oceny MT-Bench i Vicuna Bench. Dzięki temu, że we wprowadzeniu znajduje się cały materiał referencyjny, model uczy się poprzez SFT, by najpierw napisać swoją opinię, a dopiero potem podać ocenę. Taka kolejność jest celowa i odzwierciedla metodykę dopracowywania opartą na łańcuchu myślenia: napisana krytyka staje się kontekstem, od którego model czerpie informacje przy wyborze liczby, zamiast była to jedynie uzasadnienie dodane później. Zespół Prometheus podkreśla również konieczność umieszczenia specjalnego tokena rozdzielającego [RESULT] pomiędzy opinią a oceną, co zapobiega degradacji wyników podczas procesu inferencji i ma praktyczną zaletę w postaci ułatwienia analizy oceny.
Prometheus został porównany z GPT-3.5, GPT-4 oraz kilkoma modelami otwartymi na różnych zbiorkach danych, przy czym mierzono zarówno zgodność z ocenami ludzkimi, jak i użyteczność jego informacji zwrotnych. Jego wyniki wykazały korelację Pearsona na poziomie 0,897 z ocenami ludzkimi, co plasuje go na tym samym poziomie co GPT-4 i znacznie przewyższa wyniki GPT-3.5. Dlatego model dostosowany za pomocą wysokiej jakości danych oceniających do określonego obszaru może osiągnąć lub nawet przewyższyć poziom zgodności z ocenami ludzkimi modeli własnościowych o znacznie większych rozmiarach.
Oceny również potwierdzają to. Ludzcy recenzenci w 58,67% porównań woleli oceny Prometheus nad GPT-4, a w prawie 80% przypadków nad ocenami GPT-3.5. Pytani o powód, recenzenci wskazywali na to, że Prometheus jest bardziej krytyczny i bardziej konkretowy. W artykule stwierdzono, że GPT-4 ma tendencję do zachowywania neutralności i abstrakcji, podczas gdy Prometheus wyraźnie wyraża opinię na temat tego, czy odpowiedź jest dobra. To właśnie jest korzyść z specjalizacji: Prometheus nie jest ogólnym asystentem szkolonym do bycia przyjaznym, lecz modelem, którego jedynym zadaniem jest krytyka.
Prometheus 2: jeden model do ocen punktowych i parowych
Prometheus 2 kontynuuje tę linię, oferując kolejnego otwartego, szczegółowego oceniającego, który przyjmuje niestandardowe kryteria. Ma na celu wyeliminowanie dwóch słabości oryginału: zgodność z ocenami ludzkimi wciąż wymagała ulepszeń, a co ważniejsze, pierwszy Prometheus mógł przeprowadzać jedynie ocenę bezpośrednią. Można było uzyskać ranking poprzez porównanie dwóch ocen punktowych, ale ani Prometheus, ani większość wcześniejszych otwartych oceniających nie mogły w sposób natywny porównać dwóch odpowiedzi. Prometheus 2 łączy oba te tryby w jednym modelu, który dokładnie śledzi wyniki zarówno ludzi, jak i GPT-4.
Przykłady porównawcze w Prometheus 2 różnią się od tych z oceną bezpośrednią na trzy sposoby:
- Materiał referencyjny nie zawiera żadnej poprawnej odpowiedzi.
- Zawiera jedynie opis kryterium oceny.
- Komentarze są sformułowane inaczej.
W trybie parowym feedback musi porównać dwa odpowiedzi, wskazując, gdzie się różnią, i wykorzystać te różnice do uzasadnienia wyboru jednej z nich. Większość wcześniejszych zbiorów danych i modeli parowych opierała się na ogólnych kryteriach i często podawała jedynie prostą ocenę bez żadnego wyjaśnienia porównawczego.
Aby rozwinąć umiejętności w trybie parowym, Prometheus 2 wprowadza Kolekcję Preferencji, pochodzącą z Kolekcji Feedbacku. Ponieważ ta ostatnia zawiera pięć odpowiedzi na każdą instrukcję, po jednej dla każdej oceny, można utworzyć każdą możliwą parę z nich – dziesięć par na instrukcję. Etykieta dla każdej pary wynika bezpośrednio z porównania dwóch ocen Likerta.
Ponieważ wyjaśniający feedback w stylu łańcucha myśli jest kluczowy w podejściu Prometheus, same etykiety nie wystarczały. Z GPT-4 poproszono o napisanie nowego feedbacku dla każdej pary, skupiając się na tym, co obie odpowiedzi mają wspólnego i gdzie się różnią.
Istnieje kilka sposobów na stworzenie jednego sędziego, który obsługuje oba tryby oceny:
- Używanie promptów: zastosowanie gotowego modelu z różnymi promptami dla każdego trybu.
- Szkolenie w jednym formacie: szkolenie osobnego modelu dla każdego trybu i wybór tego, który najlepiej pasuje.
- Szkolenie łączne: szkolenie jednego modelu na mieszance obu rodzajów danych.
Tylko szkolenie łączne pozwala na stworzenie jednego specjalistycznego modelu obsługującego oba tryby; metoda promptów opiera się na modelach ogólnych, a szkolenie w jednym formacie daje dwa modele. Czwartą opcją jest szkolenie dwóch modeli w jednym formacie, a następnie ich połączenie poprzez fuzję modeli, co robi Prometheus 2. Dwa oceniające są szkolone oddzielnie – jeden na podstawie danych z Feedback Collection, a drugi na podstawie danych z Preference Collection – a ich wagi są łączone prostą metodą liniową, co pozwala na stworzenie jednego modelu zdolnego do oceny w obu trybach.
Kluczowym wynikiem jest to, że połączony model przewyższa zarówno model trenowany łącznie, jak i modele w pojedynczym formacie. Próbowano kilku metod łączenia, w tym arithmetic task, TIES i DARE. Bardziej zaawansowane metody czasami pomagają; na przykład, używając jako podstawy Mixtral 8x7B, najlepiej sprawdził się DARE. Jednak proste łączenie liniowe z współczynnikiem 0,5, polegające po prostu na średnieniu wag obu modeli, dobrze funkcjonuje w większości konfiguracji i jest łatwe do zaimplementowania. Jedną z przyczyn, dla których to działa, jest fakt, że oba procesy treningowe wychodzą od tego samego modelu podstawowego i uczą się powiązanych umiejętności, dzięki czemu ich wagi pozostają w obszarze kompatybilnym, gdzie średnienie łączy te umiejętności zamiast je niszczyć.
Prometheus 2 został stworzony na bazie Mistral-7B i Mixtral 8x7B: oddzielne wersje są dopracowywane na poszczególnych zestawach danych, a następnie łączone za pomocą różnych algorytmów. Utworzone w ten sposób modele przewyższają wszystkie inne otwarte narzędzia oceny w zestawieniach opartych na bezpośredniej ocenie oraz porównaniach parowych. Ich korelacja Pearsona z narzędziami własnościowymi poprawia się o 0,2 we wszystkich zestawach danych, a w testach rankingu parowego zamykają około połowy luki w stosunku do GPT-4.
Zyski wydają się mniejsze w trybie parowym, ale porównanie tam obejmuje modele nagród obok otwartych oceniaczy. Modele nagród, czyli systemy oceny używane w uczeniu się przez wzmacnianie na podstawie informacji od ludzi (RLHF), są szkolone wyłącznie do oceny preferencji parowych, nie dostarczają pisemnych informacji zwrotnej i są bardzo skuteczne pod względem dokładności w porównaniach parowych. Prometheus 2 wykazuje również lepszą spójność między różnymi trybami niż inne oceniacze: odpowiedź, którą preferuje w porównaniu parowym, zazwyczaj otrzymuje również wyższą ocenę przy bezpośredniej ocenie. Ta cecha ma znaczenie w praktyce, ponieważ sędziego, którego oceny w dwóch trybach się różnią, trudno jest ufać w żadnym z nich.
Prometheus-Vision: ocenianie modeli języka obrazu
Wszystko, o czym dotychczas mowa, dotyczy modeli tylko tekstowych. Modele wizji i języka (VLM), które przyjmują zarówno obrazy, jak i tekst, stały się powszechne zarówno w formie zamkniętej, takiej jak GPT-4V i Gemini, jak i w formie otwartej, np. LLaVA oraz wersje wizualne Llama 3.2. Poza dodatkową modalnością wejściową są one szkoleni i strukturyzowane w sposób bardzo podobny do modeli językowych opartych wyłącznie na tekście.
VLM wytwarza tekst na podstawie obrazu oraz instrukcji, a jego ocena dodaje kolejny wymiar. Należy sprawdzić dwie rzeczy:
- Czy odpowiedź jest zgodna z instrukcją, jak to ma miejsce w przypadku każdego modelu językowego.
- Czy odpowiedź opiera się na tym, co faktycznie pokazuje obraz.
Jednym z rozwiązań jest przekształcenie obrazu w tekst, na przykład za pomocą modelu do tworzenia napisów lub modelu obraz-tekst, a następnie przekazanie tego opisu oceniającemu tekst, takiemu jak GPT-4 lub Prometheus. Jednak takie wieloetapowe procesy powodują pojawienie się błędów: wszystko, co umknie uwadze modelu do tworzenia napisów, nie może zostać ocenione przez oceniającego. Użycie VLM jako oceniającego jest bardziej bezpośrednim rozwiązaniem.
Prometheus-Vision to otwarty narzędzie do oceny VLM. Własne modele VLM, takie jak GPT-4V, były już używane do oceny innych modeli VLM, ale Prometheus-Vision był pierwszym otwartym modelem zdolnym do oceny według szczegółowych, zdefiniowanych przez użytkownika kryteriów. Oprócz przejrzystości i kontroli charakterystycznych dla modeli otwartych, jego wyniki dobrze korelują zarówno z ocenami ludzi, jak i własnych modeli VLM, a także potrafi dostrzec subtelne różnice, np. odróżnić prawdziwe dzieło sztuki od jego parodii.
Gdy praca została opublikowana, nie istniał żaden zbiór opinii, krytyki ani preferencji do szkolenia precyzyjnego oceniającego VLM, więc zespół stworzył taki zbiór. Perception Collection follows the design of Feedback Collection, a każda instancja składa się z pięciu elementów wejściowych:
- Zdjęcie: obraz, który użytkownik przekazuje VLM.
- Instrukcja: tekstowa instrukcja użytkownika.
- Odpowiedź: tekstowa odpowiedź VLM na obraz i instrukcję.
- Kryteria oceny: szczegółowe wskazówki dotyczące punktowania, w tym opis kryterium oraz każdej oceny w skali od 1 do 5.
- Odpowiedź referencyjna: odpowiedź, która uzyskałaby ocenę 5, wygenerowana za pomocą GPT-4V.
Wynikami są pisemne uzasadnienie oraz ocena w skali od 1 do 5.
Budowa odpowiada zestawowi danych tekstowych. Proces polega na pobieraniu 5K obrazów z zestawów MS-COCO i MMMU, ręcznym stworzeniu 50 szablonów oceniania, wykorzystaniu GPT-4 do rozszerzenia ich do 15K szablonów, generowaniu 30K instrukcji wraz z odpowiadającymi im odpowiedziami referencyjnymi, a na końcu dodawaniu pięciu odpowiedzi do każdej instrukcji – po jednej na każdą ocenę – z odpowiednią informacją zwrotną. W porównaniu z metodą zbierania informacji zwrotnej istnieje znacznie więcej szablonów oceniania (15K wobec 1K), ale znacznie mniej instrukcji na szablon (dwie wobec 20).
Tutaj nie można użyć modelu bazowego zawierającego tylko tekst; szkolenie musi rozpocząć się od wcześniej przeszkolonego VLM. Prometheus-Vision wykorzystuje wersje 7B i 13B modelu LLaVA-1.5. Metoda to ten sam proces drobnej kalibracji opartej na rozumowaniu łańcuchowym co wcześniej: SFT uczy model pisania opinii, a następnie przypisywania oceny. W każdym przykładzie treningowym te dwie części są oddzielone stałym wyrażeniem So the overall score is, które pełni tę samą funkcję co token [RESULT] w modelu tekstowym. Dzięki rubrykom i odpowiedziom referencyjnym w danych wejściowych uzyskuje się model dostosowany do spersonalizowanej, szczegółowej oceny.
Prometheus-Vision lepiej koreluje z wynikami ludzkimi niż GPT-3.5-Turbo oraz wersja Prometheus skupiona wyłącznie na tekście, ale GPT-4 i GPT-4V ogólnie lepiej odpowiadają wynikom ludzi. Najgorsze wyniki osiąga na VisIT-Bench, który zawiera obrazy bogate w tekst. W tym przypadku GPT-4 radzi sobie dobrze, nawet lepiej niż GPT-4V, ponieważ otrzymuje jako dane wejściowe tekst wydobyty z obrazu, podczas gdy Prometheus-Vision ma trudności z jego odczytaniem. Na pozostałych testach Prometheus-Vision jest mniej więcej na tym samym poziomie co GPT-4 i GPT-4V, a w kilku przypadkach koreluje z wynikami ludzkimi silniej niż którekolwiek z tych modeli.
Człowieccy recenzenci ocenili jego wyniki jako mniej więcej tak dobre jak u GPT-4 i GPT-4V. Zespół badał również powszechne uprzedzenia oceniających, takie jak uprzedzenie długościowe – preferencję za dłuższymi odpowiedziami – oraz uprzedzenie samowzbogacające się – preferencję za własnymi wynikami. Nie stwierdzili żadnych wyraźnych oznak żadnego z tych uprzedzeń, z zastrzeżeniem, że eksperymentalne wyizolowanie pojedynczego uprzedzenia jest naprawdę trudne.
Inne kierunki w dopracowanej ocenie
Prometheus nie jest jedynym takim projektem. Istnieje wiele innych projektów, które szkoliły modele językowe do oceny, a każdy z nich wnosił unikalną koncepcję. Krótki przegląd poniżej obejmuje te najbardziej istotne, jeśli planujesz stworzyć własnego oceniającego.
Modele samorewolucyjne dążą do automatycznego dostosowywania się przy pomocy wewnętrznego oceniającego. Zamiast trenować oddzielny model nagród oparty na preferencjach ludzkich, sam model, który ma być dostosowany, jest szkolony do oceny własnych wyników za pomocą promptów w stylu LLM-as-a-Judge, a te oceny stają się nagrodą. Zastosowane do LLaMA-2, to podejście dostarczyło przydatnych informacji zwrotnych i poprawiło podstawowy model. Koncepcyjnie przypomina Prometheus, ponieważ model uczy się pełnić rolę sędziego, ale wynik jego oceny jest bezpośrednio używany jako sygnał treningowy dla tego samego modelu.
LLM-as-a-Meta-Judge
Ograniczeniem modeli samorewidentnych jest to, że nic nie poprawia samej umiejętności oceny; model staje się lepszy w reagowaniu, ale jego oceny pozostają na tym samym poziomie co na początku. Modele z elementem meta-rewidentnym wprowadzają trzecią rolę. Oprócz funkcji aktora i sędziego, model pełni również rolę meta-sędziego, który ocenia własne decyzje, co generuje dane treningowe służące do udoskonalenia zarówno umiejętności oceny, jak i samej polityki. Obie te zdolności rozwijają się wspólnie w trakcie iteracji treningowych.
Ewaluatorzy samoucy
Samouczący się oceniające systemy całkowicie eliminują z procesu etykietki odzwierciedlające ludzkie preferencje. Zbieranie danych o ludzkich upodobaniach jest kosztowne, a one tracą na wartości w miarę doskonalenia się modeli, dlatego ten podejście generuje syntetyczne dane oceniane iteracyjnie. Wychodząc od zestawu instrukcji, model językowy generuje pary kontrastujących wyników, z których jeden jest celowo gorszy od drugiego, a sędzia jest szkoleni do ich oceny poprzez pisanie wyjaśnień i werdyktów. Powtarzanie tego procesu z ulepszonym sędzią zapewnia lepsze dane treningowe za każdym razem. Bez żadnych danych z etykietkami ludzkimi, jak donoszono, uzyskane w ten sposób systemy oceny przewyższały zarówno GPT-4 używany jako sędzia, jak i modele oparte na ludzkich preferencjach pod względem dokładności ocen.
Oczywistym problemem jest cyrkularność. Sędzia, który sam generuje swoje dane treningowe, może zacząć dążyć do tego, co już uważa za dobre, a bez zewnętrznej kontroli ta tendencja pozostaje niewidoczna. Nawet jeśli zastosujesz pętlę samouczącą się, jedynym sposobem na potwierdzenie, że każda runda faktycznie przynosi poprawę, a nie tylko zwiększa pewność siebie, pozostaje niewielki zestaw danych oznaczonych przez ludzi.
FLAMe: podstawowe autorytety
Foundational Large Autorater Models (FLAMe) postępują w odwrotnym kierunku jeśli chodzi o dane: są szkolenia na bardzo dużym zbiorze ludzkich ocen, liczącym ponad 5 milionów takich ocen w ramach ponad 100 zadań oceny jakości. W porównaniu z innymi systemami oceny, modele FLAMe lepiej generalizują na nieznane zadania oceny, wykazują mniej uprzedzeń i stanowią solidne punkty wyjścia do dalszego dopracowywania w specjalistyczne systemy oceny. Jak donoszono, stale przewyższają one systemy oceny oparte na GPT-4 i wariantach Claude, a także systemy dopracowane na syntetycznych danych GPT-4.
Kompromis między ogólnością a specjalizacją
Badanie empiryczne dotyczące dostosowanych modeli sędziów, o tytule wskazującym na wniosek, że „dostosowane modele sędziów to klasyfikatory specyficzne dla danej zadania”, dogłębnie przeanalizowało korzyści i wady w porównaniu z modelami sędziów opracowanymi przez firmy. Jego wniosek brzmi: dostosowane modele sędziów doskonale radzą sobie w swojej specyficznej dziedzinie, czasami przewyższając GPT-4 w zestawach testowych pochodzących z ich dystrybucji treningowej, ale ustępują mu pod względem generalizacji, sprawiedliwości, oceny specyficznej dla poszczególnych aspektów oraz skalowalności. To nie jest zaskakujące – model sędziego wytrenowany na jednej dystrybucji uczy się właśnie tej dystrybucji; jeśli zapytać go o coś innego, zachowuje się jak wąski klasyfikator. Praktyczną implikacją jest używanie dostosowanego modelu sędziego wyłącznie do zadania, do którego został wytrenowany, oraz ponowna walidacja go przy użyciu ludzkich etykiet, gdy dane, z którymi ma do czynienia, zaczynają się zmieniać.
Optymalizacja preferencji bezpośredniej oceny
Optymalizacja preferencji w formie bezpośredniej oceny stosuje optymalizację preferencji do oceniaczy, a nie tylko do SFT. Pary preferencji są gromadzone dla trzech przypadków użycia: pojedynczej oceny, porównania parowego oraz klasyfikacji binarnej. Pierwsze dwa odpowiadają zwykłym ustawieniom punktowym i parowym; trzecie przedstawia ocenę jako pytanie typu „tak/nie”, np. czy dana cecha występuje w odpowiedzi. Dodawany jest również zadanie pomocnicze: na podstawie instrukcji i wyniku oceny model musi wywnioskować, którą odpowiedź była oceniana. Dla każdego przypadku użycia dobra i zła ocena tworzą parę preferencji, a oceniacz jest trenowany przy użyciu tej metody poprzez bezpośrednią optymalizację preferencji (DPO). Zaletą jest to, że sędzia uczy się nie tylko naśladować dobre oceny, ale także preferować je nad prawdopodobnie słabymi.
Czym kierują się oceny sędziego?
Rozsądne pytanie dotyczące każdego sędziego opartego na modelach językowych brzmi, czy rzeczywiście stosuje kryteria podane mu przez użytkownika, czy po prostu nagradza teksty przypominające dane treningowe. Analizy sędziów LLM w różnych systemach oceniania wykazały, że szczegółowe instrukcje dotyczące oceny zawarte w promptach poprawiają ich osądy jedynie nieznacznie, a ocenianie oparte na poziomie perplexity, które mierzy prawdopodobieństwo znalezienia odpowiedzi przez model, czasami lepiej pokrywa się z osądami ludzkimi niż prompty, szczególnie jeśli chodzi o jakość tekstu.
To wydaje się być sprzeczne z ustaleniami Prometheus, według których materiały referencyjne mają ogromne znaczenie. Te dwa wyniki łatwiej pogodzić, gdy zauważy się, co było mierzone. Analizy uwzględniające pojęcie „perplexity” koncentrują się głównie na ogólnej jakości odpowiedzi z punktu widzenia preferencji ludzkich. Większość modeli LLM jest intensywnie szkolenia na podstawie danych dotyczących preferencji, więc naturalne jest, że przypisują one wysoką prawdopodobieństwo odpowiedziom, które podobają się ludziom. Prometheus natomiast opiera się na szerokiej gamie specjalnych kryteriów wykraczających poza ogólne preferencje, a dla tych kryteriów wyraźne rubryki dostarczają informacji, których model nie może wywnioskować samodzielnie na podstawie tylko płynności mowy. Jeśli twoje kryteria są zbliżone do pytania „która odpowiedź bardziej podoba się ludziom”, rubryka może niewiele dodać; jeśli są specyficzne dla twojej dziedziny, jest niezbędna.
Krok po kroku – jak stworzyć własnego oceniającego
Biorąc pod uwagę obecną sytuację w badaniach, pomocne jest sprowadzenie jej do konkretnego procesu. Praca Prometheus już przedstawia zarys takiej struktury, a poniższa wersja dostosowuje ją nieco, aby uwzględnić wnioski z innych prac.
Krok 1: określenie kryteriów oceny
Najpierw dokładnie zdecyduj, co zamierzasz oceniać:
- Wymień konkretne kryteria istotne dla twojego zastosowania.
- Napisz szczegółowy opis każdego z nich, w tym co oznacza każdy poziom oceny.
Przykładem dobrego modelu takiej rubryki jest proces zbierania informacji zwrotnych – zawiera on opis kryteriów, opisy dla poszczególnych ocen oraz odpowiedzi referencyjne. Oczekuj konieczności wielokrotnych modyfikacji kryteriów. W miarę jak poznasz obszary, w których ludzie i modele się różnią, będziesz udoskonalał i rozszerzał tę rubrykę, a każda modyfikacja sprawi, że oceny zarówno przez ludzi, jak i modele będą bardziej spójne.
Krok 2: zebranie wysokiej jakości ludzkich etykiet
Zanim rozpoczniesz szkolenie lub nawet użyjesz jakiegokolwiek sędziego, potrzebujesz wiarygodnych danych do oceny przez ludzi. To one pozwalają stwierdzić, czy sędzia działa poprawnie, i powinny odzwierciedlać dane, z którymi sędzia będzie miał do czynienia w praktyce. Jeśli dane są przeznaczone wyłącznie do metaoceny, na przykład w celu walidacji sędziego typu LLM-as-a-Judge, zazwyczaj wystarcza niewielka liczba przykładów – około 100 do 1000. Dla dopracowania sędziego w stylu Prometheus potrzeba znacznie więcej przykładów, od około 1000 do 100 000.
Zbieranie danych od ludzi jest trudne i to właśnie w tym obszarze zespoły najczęściej inwestują za mało. Jeśli ludzie nie mogą dojść do porozumienia co do zadania, nie ma sposobu, aby stwierdzić, czy model radzi sobie dobrze, a szkolenie osoby oceniającej przy niejednolitych etykietach marnuje całe wysiłki. Wszystko, co dotyczy sekcji oceny przez ludzi powyżej, ma tu zastosowanie: kalibrujcie osoby oceniające, utrzymujcie wytyczne i nadal mierzcie stopień zgodności.
Krok 3: uzupełnienie danymi syntetycznymi
Modele Prometheus pokazują, że dane syntetyczne mogą tworzyć skutecznych oceniaczy: prawie całe ich dane treningowe, w tym instrukcje, odpowiedzi, oceny i informacje zwrotne, zostały wygenerowane przez GPT-4. Czyste dane syntetyczne niosą ze sobą ryzyko, ponieważ wystawiają model na wąski zakres możliwych danych wejściowych i przejmują uprzedzenia modelu wzorcowego. Mieszanie danych oznaczonych przez ludzi z danymi syntetycznymi zazwyczaj daje lepsze wyniki niż użycie któregokolwiek z nich samodzielnie. Wykorzystaj zestaw danych ludzkich do zapewnienia jakości, a zestaw syntetyczny do osiągnięcia wymaganej objętości i zakresu dopracowań; przy ich generowaniu zastosuj zasady równowagi z zakresu zbierania informacji zwrotnych, takie jak równomierne rozkładanie ocen i kontrolowanie długości odpowiedzi.
Krok 4: inwestuj w uzasadnienia
Oczywiście konieczne są dokładne oceny i rankingi, ale uzasadnienia wymagają nie mniej uwagi. Wiadomo, że fine-tuning to słaby sposób na wprowadzanie nowej wiedzy do modelu; dobrze radzi sobie natomiast z nauczaniem stylu i formatowania. Dla sędziego format informacji zwrotnej to główna rzecz, którą może kontrolować. Uzasadnienia konkretne, krytyczne i powiązane z kryteriami oceny sprawiają, że wyjaśnienia sędziego są rzeczywiście przydatne, a ponieważ model pisze uzasadnienie przed oceną, lepsze uzasadnienia zazwyczaj przyczyniają się do lepszych ocen. Umieść stały separator pomiędzy informacją zwrotną a oceną, aby wyniki były łatwe do analizy.
Krok 5: dodaj odpowiedzi referencyjne tam, gdzie to możliwe
Krok ten jest opcjonalny, ale zazwyczaj warto go wykonać. Odpowiedzi referencyjne pomagają zarówno sędziom, którym podano pytania, jak i tym dopracowanym. W przypadku sędziów dopracowanych przeciwdziałają one uprzedzeniom wiedzy, wypełniając luki w tym, czego model bazowy nauczył się podczas szkolenia wstępnego, a także sprawiają, że oceny punktowe stają się znacznie dokładniejsze i bardziej stabilne. W zadaniach faktograficznych lub wymagających głębokiej wiedzy z danej dziedziny odpowiedzi referencyjne często mają większe znaczenie niż sformułowanie pytania.
Krok 6: szkolenie i metaocena
Gdy dane oraz opcjonalnie odpowiedzi referencyjne są już dostępne, przeszkol sędziego za pomocą standardowego SFT. Repozytorium Prometheus oferuje kompletną implementację tego procesu. Od samego początku zachowaj część danych oznaczoną przez ludzi do testów i użyj jej do metaoceny: metryki klasyfikacji, jeśli wynik sędziego jest binarny, oraz metryki korelacji we wszystkich pozostałych przypadkach. W przypadku sędziów porównywalnych między sobą zmierz również częstotliwość, z jaką werdykt pozostaje niezmieniony po zamianie kolejności; sędzia, który zmienia zdanie wraz ze zmianą kolejności, nie jest gotowy do pracy.
Zanim zaczniesz polegać na sędzim, wykonaj kilka dodatkowych sprawdzeń:
- Oceń jego działanie na przykładach poza zakresem rozprzestrzenienia danych, aby sprawdzić, jak daleko sięga jego kompetencja.
- Porównaj rozkład jego ocen z rozkładem ocen ludzi, aby wykryć systematyczną łagodność lub surowość.
- Zbadaj bezpośrednio efekty długości i kolejności, zmieniając długość odpowiedzi oraz jej porządek dla tego samego treści.
Kiedy nie należy stosować dopracowania
Dopracowany oceniający nie zawsze jest odpowiednim narzędziem. Jeśli twoje kryteria są ogólne, takie jak ogólna użyteczność, dobrze skonfigurowany własny oceniający lub istniejący otwarty narzędzie oceny może być wystarczająco dobry i znacznie tańszy w użyciu. Jeśli nie możesz zebrać wiarygodnego zbioru danych z etykietami przygotowanymi przez ludzi, nie będziesz mógł zweryfikować żadnego oceniającego, niezależnie od tego, czy został dopracowany, więc najpierw to napraw. A jeśli rozkład zadań ciągle się zmienia, specyfika oceniających dopracowanych pod konkretne zadania oznacza, że będziesz musiał często je ponownie szkolić. Dopracowanie się opłaca, gdy kryteria są specjalistyczne, objętość oceny jest duża, a potrzebujesz kontroli nad wersjonowaniem, kosztami lub prywatnością danych.
Uwaga na temat kosztów i operacji
Posiadanie takiego „sędziego” jedynie przesuwa koszty, zamiast ich eliminować. Zamieniasz opłaty za korzystanie z API za każdą próbę na czas pracy GPU, hostowanie modelu oraz prace inżynieryjne niezbędne do utrzymania wersji modelu i zapewnienia jego powtarzalności. W zamian otrzymujesz ustaloną wersję modelu, która nie może ulec zmianie pod twoją kontrolą, dane do oceny, które nigdy nie opuszczają twojej infrastruktury, oraz możliwość przeprowadzania milionów ocen bez obaw o rosnące rachunki. Traktuj tego „sędziego” jak każdy inny model produkcyjny: ustal jego wagi, rejestruj, która wersja dała jakie wyniki, i przechowuj zestaw meteoceń, aby przyszłe ponowne szkolenie modelu można było porównać z obecnym na równych warunkach.
Główne wnioski
- Ludzkie oceny pozostają punktem odniesienia, ale tylko po kalibracji, dzięki aktualnym wytycznym i ciągłemu monitorowaniu zgodności, stają się wystarczająco wiarygodne, by można było na ich podstawie mierzyć cokolwiek.