Szkolenie agentów AI przedsiębiorstw: wybór między SFT, DPO, GRPO a RAG

Wyobraźmy sobie analityka, który dziesięć dni temu zadał agentowi przedsiębiorstwa pytanie: dlaczego sprzedaż w Ameryce Północnej spadła w zeszłym kwartale? System zapytał, co oznacza „zeszły kwartał”, i ustalił, że chodzi o Q2 FY2026. Przyporządkował Amerykę Północną do zatwierdzonej hierarchii regionalnej, wygenerował zapytania SQL dostosowane do konkretnego użytkownika, przetestował kilka hipotez i przedstawił oparty na danych raport.

Dziś analityk zadaje podobne pytanie. Agent nadal pamięta właściwy zakres analizy, ale generuje błędny format danych JSON, poświęca wiele słów na wyjaśnianie hipotezy, która już się nie sprawdziła, i z pełnym przekonaniem powołuje się na wstępny notatnik finansowy.

W takiej sytuacji wiele zespołów uznaje, że model wymaga dalszej kalibracji. Czasami jest to słuszne. Bardzo często jednak próbują dostosować zły model.

Ustal, co poszło nie tak. Mapowanie regionów to fakt, notatka finansowa to wiedza regulowana zasadami, a schemat SQL to interfejs, który ciągle się zmienia, więc wszystkie trzy istnieją w pamięci, mechanizmach wyszukiwania oraz umowach narzędziowych. Wagi powinny natomiast odzwierciedlać bardziej stabilne nawyki: wysyłanie prawidłowych wywołań narzędzi, przestrzeganie protokołu dowodowego, odbudowa po pustym wyniku, preferowanie wniosków opartych na cytatach oraz odmowa odpowiadania, gdy dostępne dowody są niewystarczające.

To rozdzielenie leży u podstaw wszelkich adaptacji w przedsiębiorstwach:

Zmieniające się fakty trafiają do mechanizmów wyszukiwania, trwały kontekst do pamięci, działania do narzędzi, a zachowania powtarzalne do procesu szkolenia.

Aktualizacja modelu to nie wynik z notatnika. To kontrolowane wydanie, a ślad dowodowy zaczyna się przed pierwszym krokiem optymalizatora i musi przetrwać odwrócenie zmian w środowisku produkcyjnym.

Następna część omawia standardowe narzędzia używane po szkoleniu z perspektywy agenta przedsiębiorstwa, co stanowi zupełnie inny cel niż model bazowy. Omówione tematy to:

• decydowanie o tym, czy dany defekt należy do elementów promptów, mechanizmów wyszukiwania, pamięci, narzędzi czy wag;
• tworzenie struktury danych zgodnej z przepisami prawnymi i odpornej na zanieczyszczenia;
• wybór między kontynuacją szkolenia wstępnego, dopracowaniem pod nadzorem, metodami LoRA, QLoRA, DoRA a pełnym dopracowaniem;
• dostosowywanie metod DPO, IPO, KTO, ORPO i SimPO do charakteru danych preferencji;
• rozróżnianie problemów, które rozwiązują metody PPO, GRPO, DAPO, GSPO, RLOO oraz szkolenie z wykorzystaniem weryfikowalnych nagród;
• wykorzystywanie techniki destylacji nauczyciel-uczeń w celu przekształcenia zaawansowanych możliwości systemu w praktyczne rozwiązania dostępne do wdrożenia;
• rejestracja, ocena, testowanie w warunkach awaryjnych, monitorowanie oraz cofanie adaptatorów jako elementów produktu w produkcji.

Jedna spójna sprawa przechodzi przez wszystko poniżej: INV-22041, dochodzenie sprzedażowe z udziałem wielu agentów dla najemcy acme-eu. Składa się ono z czterech logicznych etapów (Wzbogacanie danych, Wystarczalność danych, Testowanie hipotez i Raportowanie). Każdy etap posiada własne narzędzia i podprocesy, jednak umowa szkoleniowa pozostaje widoczna na granicy każdego etapu.

Kiedy szkolenie jest właściwym rozwiązaniem

Zastosuj szkolenie wtedy, gdy pożądana zmiana powtarza się, może być zmierzona i jest na tyle stabilna, by zostać uwzględniona w wagach modelu, a jej wprowadzenie w inny sposób byłoby zbyt kosztowne. Zazwyczaj jest to niewłaściwy pierwszy krok, gdy zmienia się polityka, katalog, nazwa klienta, dzisiejsza cena, uprawnienia lub schemat narzędzia, który mógłby zostać obsłużony za pomocą ograniczeń.

Wybierz najmniej nieodwracalną warstwę, która pozwoli usunąć błąd:

1. Pakiet promptów lub systemowy zarządza zachowaniami wymaganymi, których podstawowy model już pewnie przestrzega.
2. RAG obsługuje aktualną wiedzę przedsiębiorstwa, która musi mieć źródło.
3. Pamięć przechowuje preferencje określone przez użytkownika, trwałe powiązania oraz wcześniej zatwierdzone wyniki.
4. Kontrola narzędzi i schematów zapewnia determinizm, uprawnienia oraz kontrolę nad skutkami ubocznymi.
5. SFT lub PEFT wpływa na powtarzalną strukturę odpowiedzi, gramatykę narzędzi, wzorce naprawcze oraz styl dziedzinowy.
6. Optymalizacja preferencji jest stosowana, gdy kilka wyników jest prawidłowych, ale jeden jest zawsze lepszy.
7. Uczenie się przez wzmocnienie jest stosowane, gdy sukces można ocenić dopiero po serii decyzji.

Wykonaj INV-22041 przy użyciu tej samej metody. Wiedza o tym, że „Ameryka Północna” odpowiada zatwierdzonemu węzłowi regionu NA_01, jest zadaniem przeznaczonym dla zarządzanej pamięci lub metadanych. Powiązanie tenant_id, wykorzystanie warstwy semantycznej tylko do odczytu oraz zwracanie skategoryzowanego JSON w każdej prośbie SQL stanowią element kontraktu runtime oraz zachowanie narzędzia poddawanego szkoleniu. Preferowanie krótkiego, źródłowego wyjaśnienia zamiast przekonującej, nieuzasadnionej historii to doskonały cel do treningu preferencji.

Częsty błąd: dopracowywanie modelu na najnowszych dokumentach korporacyjnych. Model może zapamiętać przestarzałe lub ograniczone informacje, tracąc przy tym informacje o pochodzeniu, uprawnieniach do usuwania oraz semantykę autoryzacji.

Wybierz metodę na podstawie dostępnych danych nadzorczych

Zespoły często zaczynają od nazwy algorytmu. Lepiej zacznij od dowodów, które rzeczywiście posiadasz.

• Gdy prompty są sparowane z odpowiedziami „złotymi” lub śladami narzędzi „złotych”, użyj SFT.
• W przypadku wybranych i odrzuconych odpowiedzi zastosuj metody typu DPO.
• Gdy niezależne etykiety wskazują, czy wyniki są pożądane, czy nie, a nie ma parowania, KTO jest idealnym rozwiązaniem.
• Jeśli deterministyczny oceniający może ocenić każdą realizację (poprawność SQL, dokładną odpowiedź, testy jednostkowe, sprawdzenia polityki), optymalizacja oparta na weryfikowalnych nagrodach, tak jak GRPO lub RLVR, jest odpowiednia.
• Gdy jakość jest subiektywna i nie da się jej sprowadzić do reguły, której wszyscy ufają, klasyczny model nagród w połączeniu z konfiguracją PPO pozostaje istotny.

To nie jest kwestia ideologii. Każda decyzja wskazuje, co twoje dane są w stanie udowodnić.

Niezmienna cecha wersji, którą warto zachować

Dla każdego przykładu treningowego zapisz tupel zawierający identyfikator przykładu oraz informacje o źródle pochodzenia, powodzie udzielenia zgody i celu jej udzielenia, temu użytkownikowi, do którego należy, wersji polityki, hasz zastosowanej transformacji, grupie, do której trafił, oraz wersji osoby odpowiedzialnej za etykietowanie lub ocenę. Po wdrożeniu ten tupel pozwala odpowiedzieć na trudne pytania: Skąd pochodzi dany zachowanie? Czy przykład był zatwierdzony? Czy może zostać udostępniony innym użytkownikom? Która transformacja go stworzyła? Czy pojawił się również w procesie oceny?

Enterprise data plane

Większość problemów po treningu zaczyna się jeszcze przed jego rozpoczęciem. Nawet najlepiej sformułowany cel nie może uratować przykładów zanieczyszczonych, nieuprawnionych lub słabo określonych.

Pochodzenie ma priorytet przed przetwarzaniem wstępnym

Każdy surowy źródło danych wymaga właściciela, metody zbierania, licencji lub podstawy zgody, dozwolonego celu, zasady przechowywania, określenia geograficznego, klasy poufności oraz identyfikatora pochodzenia. Nie należy odrzucać tych metadanych, gdy dokumenty lub ślady stają się przykładami do szkolenia. Gotowy przykład musi pozostać powiązany z oryginalnymi źródłami oraz z każdą zastosowaną transformacją.

Prywatność, tajemnice i minimalizacja danych

Cenzura jest konieczna, ale to nadal nie wystarcza. Zbiór danych może nie mieć oczywistych nazw, a mimo to zawierać poufną logikę biznesową, rzadkie identyfikatory, wartości specyficzne dla klientów lub sekrety, które można odzyskać. Należy uwzględnić następujące kwestie:

• skanować na obecność danych osobowych i tajemnic zarówno przed, jak i po transformacji;
• utrzymywać izolację poszczególnych użytkowników poprzez próbkowanie, przechowywanie i ocenę;
• filtrować dane według celu, a nie tylko według uprawnień dostępu;
• sprawdzenie na obecność prawie identycznych elementów w zestawach testowych oraz chronionych korpusach;
• zapisanie ścieżki usunięcia, aby żądanie dotyczące praw dostępu dotarło do surowych danych, pochodnych przykładów, punktów kontrolnych, adapterów, pamięci cache oraz artefaktów oceny.

Zanieczyszczenie można zmierzyć

Funkcjonuje prosta miara operacyjna: wskaźnik zanieczyszczenia to liczba zanieczyszczonych elementów oceny podzielona przez całkowitą liczbę elementów oceny. Pojęcie „zanieczyszczone” obejmuje dokładne duplikaty, prawie identyczne elementy, parafrazy zawierające odpowiedź oraz syntetyczne przykłady pochodzące z elementów oceny. W przypadku oceny służącej do ustalenia wersji produktu celem jest wartość zero.

Etykiety tworzone przez ludzi wymagają umowy

Zbiór danych preferencji bez żadnej rubryki zamienia się w zbiór danych odzwierciedlający upodobania annotatorów. W fazie raportowania przydatna rubryka sortuje je w następującej kolejności:

1. zgodność z przepisami dotyczącymi autoryzacji i ochrony prywatności;
2. poparcie faktami oraz poprawne cytaty;
3. wartość statystyczna;
4. niepewność skalibrowana;
5. kompletność;
6. zwięzłość i styl.

Zgodność należy zmierzyć. W przypadku dwóch oceniaczy wskaźnikiem Cohen’a kappa jest zaobserwowana zgodność pomniejszona o zgodność oczekiwaną przypadkowo, podzielona przez jeden minus zgodność przypadkowa. Część zaobserwowana to udział etykiet, przy których oceniacze się zgadzają, a część przypadkowa pochodzi z częstotliwości występowania etykiet u każdego z oceniaczy. Niskie wartości kappa oznaczają, że kryteria oceny, przykłady lub szkolenie oceniaczy wymagają poprawy, a dodatkowe iteracje nie naprawią słabego sygnału.

Jak wygląda zapis treningu produkcyjnego

Przydatnym wynikiem nie jest zwykła para promptu i odpowiedzi. Jest to zapis, który umożliwia łączenie danych z procesem zarządzania oraz oceny:

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Wartości te zostały celowo sfabrykowane. Układ nie jest taki: jeden obiekt zawiera treść wraz z informacjami o osobie, która ją zatwierdziła, jej pochodzeniu oraz sposobie identyfikacji podczas oceny.

SFT, kontynuacja wstępnego szkolenia i szkolenie w trakcie

Ludzie łączą te techniki pod pojęciem „dokładnej kalibracji”, jednak każda z nich optymalizuje inną rozkład danych.

Dokładna kalibracja pod nadzorem

SFT sprawia, że model naśladuje określoną odpowiedź lub ścieżkę działania. Strata wynika z ujemnej sumy wartości dla poszczególnych pozycji: maska pomnożona przez log-prawdopodobieństwo, jakie model przypisuje danemu tokenowi docelowemu, biorąc pod uwagę dane wejściowe oraz wcześniejsze tokeny docelowe. W tym wzorze x to kontekst wejściowy, yₜ to token docelowy w pozycji t, maska mₜ przyjmuje wartość (1) dla tokenów podlegających nadzorowi i (0) dla promptu, danych wypełniających oraz wszystkiego innego, co nie jest uwzględniane, a θ oznacza parametry podlegające treningowi.

Tokeny systemu, użytkownika, wyniku działania narzędzia oraz dane wypełniające dostarczają kontekstu bez generowania gradientów. Tylko wybrane tokeny asystenta przyczyniają się do obliczania straty podlegającej nadzorowi.

Maska ma kluczowe znaczenie. Jeśli tokeny użytkownika i systemu trafią tam przypadkowo, model uczy się odtwarzać rozmowę zamiast na nią odpowiadać.

Co tak naprawdę robi cel oparty na entropii krzyżowej

W każdej pozycji z nadzorem model wytwarza jeden logit na każdy token z słownika, a funkcja softmax przekształca te logity w prawdopodobieństwa. W funkcji softmax prawdopodobieństwo danego tokena to jego wyeksponowany logit podzielony przez sumę wyeksponowanych logitów wszystkich tokenów ze słownika, dzięki czemu wyniki są dodatnie i sumują się do jedności.

Entropia krzyżowa następnie oblicza koszt modelu jako ujemny log prawdopodobieństwa, jakie przyznał on właściwemu tokenowi. Właściwy token o prawdopodobieństwie 0,8 kosztuje około 0,223, natomiast o prawdopodobieństwie 0,01 – około 4,605. Dlatego błędy popełniane z pewnością siebie powodują znacznie większe gradienty niż przewidywania, które są już poprawne.

Jedna z konsekwencji ma ogromne znaczenie w przedsiębiorstwach. Niewielka liczba przykładów wysokiej jakości narzędzi może skutecznie naprawić systematyczny błąd formatowania, o ile cel jest jednoznaczny. Gdy dwa przykłady przedstawiają semantycznie identyczne żądania połączone z sprzecznymi schematami narzędzi, taka sytuacja wymusza niekompatybilne prognozy.

Strata sekwencji, strata tokenów i znaczenie biznesowe się różnią

Strata sekwencji jest zwykle obliczana jako średnia wartości tokenów podlegających nadzorowi, czyli jako zsumowana wartość strat tokenów po zamaskowaniu podzielona przez liczbę takich tokenów. Ponieważ raport składający się z 500 tokenów powoduje około pięćdziesięciokrotnie większe straty tokenów niż odmowa składająca się z 10 tokenów, zbiór danych z równą liczbą obu typów raportów i odmów może nadal być zdominowany przez raporty podczas procesu optymalizacji.

Gdy poprawność odrzucenia, zobowiązania najemcy lub wybór narzędzia mają znaczenie biznesowe, same przykłady nie oddają tej wagi. Możliwe rozwiązania to:

• balansowanie partii według klasy zachowania;
• przypisywanie wagi przykładom lub wybranym tokenom;
• skracanie rozbudowanych celów;
• przeszacowanie rzadkich przypadków granicznych;
• oddzielenie jakości generowania od sprawdzania umowy w procesie oceny.

Każde przypisanie wagi musi być jawne. Narzędzie do próbkowania, którego nikt nie zarejestrował, stanowi część celu, mimo że równanie strat nigdy o nim nie wspomina.

Przymus nauczyciela i uprzedzenie ekspozycyjne

W ramach SFT każdy token jest przewidywany po poprawnych tokenach celu z poprzedniej pozycji. Podczas działania model czyta natomiast to, co sam wygenerował, więc nawet niewielki błąd może doprowadzić do sytuacji, której nigdy nie było podczas treningu.

Dla agenta ta luka objawia się jako łańcuchowe awarie narzędzi:

1. Model wytwarza identyfikator entity, który jest nieco błędny.
2. Narzędzie zwraca pusty wynik.
3. Model nigdy nie widział tego stanu.
4. Wymyśla wynik i nie naprawia zapytania.

Należy dołączyć trajektorie odzyskiwania stanu razem z idealnymi demonstracjami. Metody distillation on-policy oraz uczenie się przez wzmocnienie radzą sobie z tym samym przesunięciem rozkładu w sposób bardziej bezpośredni później.

Prawidłowe maskowanie rozmów z narzędziami

Rzeczywisty zapis zawiera politykę systemu, język użytkownika, rozumowanie asystenta, argumenty narzędzia, wyniki narzędzia oraz ostateczną odpowiedź. Należy zdecydować, które tokeny powinny określać zachowanie:

• Tokeny systemu i użytkownika zazwyczaj otrzymują maskę 0;
• Wywołania narzędzia przez asystenta zazwyczaj otrzymują maskę 1;
• Surowy wyjście narzędzia zazwyczaj otrzymuje maskę 0, ponieważ jest to obserwacja z otoczenia, a nie język, który asystent powinien naśladować;

Analiza asystenta lub ukryte rozumowanie odbywa się zgodnie z zasadami dostawcy modelu oraz polityką wdrażania;

końcowa odpowiedź otrzymuje maskę 1.

Przypadkowe nadzorowanie wyników narzędzia może sprawić, że model nauczy się fałszować dane z bazy. Przypadkowe wykluczenie argumentów narzędzia może poprawić styl raportowania, podczas gdy niezawodność narzędzia pozostanie bez zmian.

Pakowanie bez wycieków między przykładami

Załóżmy, że przykłady A, B i C zajmują odpowiednio 700, 900 i 1 100 tokenów. Umieśćmy każdy z nich w osobnej sekwencji o długości 4 096 tokenów – średnio wykorzystywane jest tylko około 22% dostępnych pozycji. Pakowanie zwiększa wykorzystanie zasobów, ale połączona sekwencja wymaga środków ostrożności:

• należy przestrzegać własnych zasad obsługi pozycji przez model;
• wszystko, co nie powinno być przyswajane (np. dodatkowe dane, wykluczone elementy), otrzymuje etykietę „ignoruj” frameworka, zwykle −100;
• Uwaga nie powinna przenosić się z jednego przykładu na drugi, jeśli metoda traktuje je jako niezależne;
• Podczas debugowania oraz przy składaniu żądań usunięcia nadal konieczne jest, aby metadane każdego przykładu były dostępne do odzyskania.

Częsty błąd: włączenie opcji packing=True i założenie, że domyślne ustawienia biblioteki pasują do szablonu czatu, implementacji mechanizmu uwagi oraz polityki straty. Sprawdź jeden zbiór ręcznie: zdekodowane dane wejściowe, etykiety, maski, granice przykładów oraz liczby tokenów podlegających nadzorowi.

Dla agenta korporacyjnego najważniejsze są przykłady SFT zawierające prawidłowe argumenty narzędzi, zachowania służące wyjaśnieniom, uporządkowane odmowy, możliwość odzyskania informacji po pustych wynikach, poprawną gramatykę cytowania oraz przejścia między agentami. Włącz negatywne przypadki graniczne do oceny, nawet jeśli dane treningowe zawierają tylko pożądane odpowiedzi.

Kontynuacja wstępnego szkolenia

Kontynuacja wstępnego szkolenia stosuje prosty cel oparty na następnym tokenie do tekstu z danej dziedziny. Należy go używać wtedy, gdy model bazowy nigdy wcześniej nie miał kontaktu z słownictwem, notacją ani ogólnym charakterem tekstu danego obszaru. Dokładne nauczanie polityki operacyjnej jest czymś, w czym model radzi sobie słabo.

Katastrofalne zapominanie stanowi tu główne ryzyko: poziom zdezorientowania w danej dziedzinie się poprawia, podczas gdy model ma trudności z realizacją ogólnych instrukcji, obsługą innych języków, zachowaniem bezpieczeństwa czy używaniem narzędzi. Należy przechowywać dane z powtórek i ustalać ogólne standardy funkcjonalności modelu.

Mieszanie danych z danej dziedziny z danymi z powtórek

Nazwijmy nową dystrybucję domen D_domain, a przykładom umiejętności, które muszą przetrwać, D_replay. Prosty cel mieszania dodaje ważoną oczekiwaną stratę dla danych z domeny do ważonej oczekiwaną straty dla danych z replayu. Żaden z tych wag nie jest uniwersalną stałą. Ściśle wyspecjalizowany model lokalny może przyjąć wyższą wagę dla domeny, podczas gdy wspólny model podstawowy przedsiębiorstwa zazwyczaj wymaga silniejszego terminu zachowawczego.

Obserwuj co najmniej trzy krzywe osobno: stratę walidacji domeny, stratę walidacji replayu oraz oceny zachowania w dalszej kolejności. Niższa łączna strata może maskować pogarszającą się krzywą replayu, dlatego warunki zatrzymania powinny obejmować zarówno progi zachowawcze, jak i zbieżność domeny.

Stopa uczenia określa zasięg oddziaływania

Kontynuowane szkolenie wstępne zmienia o wiele więcej parametrów niż mały adapter, a szybkość uczenia się odpowiednia dla adaptera może zaszkodzić złożonemu modelowi bazowemu. Należy stosować konserwatywne harmonogramy, często tworzyć punkty kontrolne i oceniać pośrednie wyniki, ponieważ ostatni krok optymalizatora nie jest automatycznie najlepszym punktem kontrolnym dla całego projektu.

Liczba tokenów również wpływa na efektywne zmiany. Bardzo mała szybkość uczenia się przy miliardach tokenów może spowodować większe zmiany w modelu niż przy większej szybkości uczenia się na małej, starannie wybranej grupie danych, dlatego należy rejestrować łączną liczbę tokenów i kroków optymalizatora, a nie tylko liczbę epok.

Środek szkolenia

Środkowy etap szkolenia znajduje się pomiędzy szerokim wstępnym szkoleniem a końcowym szkoleniem po fakcie. Starannie dobrane ślady z długim kontekstem, rozumowanie, multimodalność lub działanie agenta zmieniają jego możliwości przed osiągnięciem zgodności. W przypadku INV-22041 może to oznaczać długie ślady dochodzenia, w których agent widzi pusty wynik SQL, zastanawia się, czy winowajcą jest rozdzielczość czasowa lub mapowanie semantyczne, poprawia zapytanie, aktualizuje swój zbiór hipotez i tworzy zwięzły rejestr dowodów.

Pakowanie umieszcza kilka krótkich sekwencji w jednym oknie kontekstowym, co poprawia wykorzystanie zasobów, ale przykłady wymagają wtedy prawidłowych granic uwagi i straty. Zły narzędzie pakujące pozwala przykładowi jednego klienta na oddziaływanie na przykład innego bez żadnego ostrzeżenia.

SFT czy środkowy etap szkolenia: diagnostyka

Zadaj sobie pytanie, czy zachowanie, którego oczekujesz, można pokazać przy dość krótkim parach wejście-wyjście.

• Jeśli tak, zacznij od SFT.
• Metoda średniego szkolenia jest przydatna, gdy zadanie wymaga od modelu oceny czasu organizacji dokumentów, przechodzenia przez kilka etapów lub radzenia sobie z kontekstem odmiennym od tego, który widział wcześniej.
• Jeśli brakujące informacje zmieniają się regularnie, żadna z tych metod nie jest odpowiednia, wtedy rozwiązaniem są mechanizmy wyszukiwania lub specjalne narzędzia.

Dla INV-22041 ważnym celem szkolenia jest poprawny SQL JSON. Starannie dobrane długie ścieżki działania mogą pomóc agencji w odtworzeniu toku działań podczas 30-krotnego dochodzenia z kilkoma nieudanymi hipotezami. Dzisiejsza liczba sprzedaży pozostaje danymi czasowymi.

Optymalizacja efektywna pod kątem parametrów: LoRA, QLoRA, DoRA i dostrojenie prefiksem

Optymalizacja efektywna pod kątem parametrów powinna być standardem w przedsiębiorstwach, ponieważ umożliwia korzystanie z jednego wspólnego modelu bazowego w połączeniu z małymi, wersjonowanymi modyfikacjami zachowania.

LoRA

LoRA zamraża macierz wag W i uczy się aktualizacji o niskim rzędzie. Adaptowana macierz jest równa W plus iloczynowi dwóch małych macierzy B i A, skalowanemu przez alfa podzielone przez rzęd r.

Załóżmy, że W mapuje 4096 wejść na 4096 wyjść, a rzęd wynosi 16. Wtedy macierz gęsta zawiera około 16,8 miliona parametrów, podczas gdy dwie macierze LoRA mają zaledwie 131 072 parametrów do nauczania dla tej projekcji (16 × 4096 plus 4096 × 16). To stanowi około 0,78% macierzy gęstej.

Trzy ustawienia określają, co może robić adapter: rzęd określa jego pojemność, alfa podzielone przez rzęd skaluje aktualizację, a moduły docelowe decydują, gdzie model może się dostosować. Wszystkie trzy są częścią tożsamości modelu i muszą zostać zarejestrowane.

Dlaczego niski rzęd może wystarczyć

Gęsta aktualizacja umożliwia niezależną zmianę w każdym kierunku wejście-wyjście. LoRA zakłada, że aktualizacja specyficzna dla zadania mieści się w znacznie mniejszej, wewnętrznej przestrzeni. Zamiast uczyć się wartości d_out × d_in, uczy się jedynie r(dᵢ + dₒ), gdzie dᵢ to szerokość wejścia, a dₒ szerokość wyjścia.

Dla kwadratowej projekcji o rozmiarze 4096 na 4096 przy rzędzie 16 liczby wyglądają następująco:

• gęsta aktualizacja wymagałaby 16 777 216 parametrów;
• aktualizacja LoRA wymaga 131 072 parametrów;
• udział parametrów podlegających treningowi wynosi 0,0078125, czyli 0,78125%.

Te wartości opisują jedną projekcję. Rzeczywisty adapter adresuje wiele projekcji w różnych warstwach, dlatego należy policzyć parametry podlegające treningowi w instancjonowanym modelu, a nie ekstrapolować na podstawie pojedynczej macierzy.

Współczynnik skalowania nie jest tylko dekoracyjny

Gdy wartość alpha wynosi 32, a rzędu 16, mnożnik LoRA wynosi 2. Gdy rzędu zwiększy się do 64, przy niezmienionej wartości alpha na poziomie 32, mnożnik spada do 0,5. Uczone macierze oraz dynamika optymalizacji ulegają zmianie, mimo że zbiór danych i model bazowy pozostają niezmienione.

Część implementacji wykorzystuje skalowanie stabilizowane względem rzędu, proporcjonalne do alpha podzielone przez pierwiastek kwadratowy rzędu, zamiast alpha podzielonego przez rzędu. To zmienia porównania pomiędzy różnymi rzędami. Należy odnotować zasadę skalowania, wersję biblioteki, metodę inicjalizacji oraz mechanizm dropout.

Gdzie przytwierdzić adaptery

Każda z projekcji uwagi pełni inną rolę:

• q_proj kształtuje pytanie, które aktualny token kieruje do kontekstu;
• k_proj określa, w jaki sposób wcześniejsze tokeny sygnalizują zawartą w nich informację;
• v_proj ustala treść faktycznie pobieraną z tych tokenów;

o_proj określa, w jaki sposób wynik obliczeń uwagi jest zapisywany z powrotem do strumienia resztkowego.

Projekcje MLP kształtują transformację cech i mogą mieć wpływ na zachowanie modelu w danym domenie. Dostosowywanie wyłącznie projekcji zapytania i wartości jest powszechnym punktem wyjścia, a nie regułą. Matryca ablacji powinna obejmować różne moduły docelowe i ich rangę, a także rejestrować liczbę elementów podlegających treningowi, zysk z zadania, efekt zapominania, opóźnienie oraz rozmiar artefaktów.

Komponowanie adapterów nie jest automatycznie dodawalne

Dwa adaptery, które dobrze działają pojedynczo, mogą nadal wchodzić w konflikt, gdy oba są aktywne. Ich różnice mogą napierać na te same warstwy w sprzecznych kierunkach, zmieniać statystyki aktywacji lub polegać na różnych pakietach systemowych. Traktuj kompozycję jak nowy przepis: wagami składanymi są wartości bazowe plus różnica każdego adaptera pomnożona przez jego skalę sᵢ. To równanie wydaje się proste, ale zaktualizowane projekcje przechodzą przez warstwy uwagi, normalizacji i MLP w sposób nieliniowy, więc sprawdzaj kompozycję dokładnie tak, jak jest dostarczana.

QLoRA

QLoRA przechowuje zamrożoną bazę w formacie 4-bitowym, podczas gdy gradienty trafiają wyłącznie do adapterów LoRA. Opiera się na NF4, podwójnej kwantyzacji stałych kwantyzacyjnych oraz optymalizatorach typu paged, które łagodzą nagłe wzrosty zużycia pamięci.

Dwie różnice zapobiegają błędom w produkcji:

• QLoRA to technika dotycząca pamięci treningowej. Sama w sobie nie określa kwantyzacji używanej podczas dostarczania modelu.
• Sam adapter nie pokazuje, że zquantyzowana wersja zachowuje się w równy sposób. Należy powtórzyć oceny jakości, opóźnienia, wycieku danych oraz wykorzystania narzędzi na wersji aplikacji, którą faktycznie udostępniamy.

Dlaczego NF4 i podwójna kwantyzacja są ważne

Zwykłe liczby całkowite 4-bitowe dzielą zakres na równo rozstawione wartości. Wagi wstępnie nauczane są często bliskie rozkładowi normalnemu, więc takie równomierne rozstawienie niewydajnie wykorzystuje ich poziomy reprezentacyjne. NF4 umieszcza wartości w taki sposób, aby lepiej pasowały do tego rozkładu.

Kwantyzacja blokowa zapewnia każdemu blokowi własną skalę, czyli stałą, którą trzeba przechowywać. Podwójna kwantyzacja również zmniejsza rozmiar tych stałych, co redukuje dodatkową objętość metadanych w dużych modelach.

Jako przybliżoną ocenę pamięci potrzebnej na zamrożone wagi, należy pomnożyć liczbę parametrów przez liczbę bitów na wagę, podzielić przez 8 i dodać metadane. Przy idealnym przechowywaniu na poziomie 4 bitów model bazowy z 7 miliardów parametrów wymaga około 3,5 GB surowych wag (7B × 4 / 8). Dodatkowo dochodzą skale, bufory, tymczasowa dekwantyzacja, adaptery, gradienty, stan optymalizatora, aktywacje oraz koszty operacyjne frameworka, więc twierdzenie, że model 7B mieści się w 3,5 GB, nic nie mówi o pamięci potrzebnej do treningu.

QLoRA oszczędza pamięć dzięki zamrożeniu wag bazowych oraz optymalizacji za pomocą adapterów. Pamięć potrzebna na aktywacje nadal zależy od rozmiaru partii, długości sekwencji, szerokości warstw oraz polityki przechowywania punktów kontrolnych, co oznacza, że trening z długim kontekstem może nadal być ograniczony ilością pamięci na aktywacje, nawet przy wagach w formacie 4 bitów.

Optymalizatory stronicowane

Weryfikacja punktów aktywacji oraz długie sekwencje mogą powodować tymczasowe wzrosty zużycia pamięci. Optymalizatory typu paginated wykorzystują zarządzaną pamięć do przenoszenia stron optymalizatora między CPU a GPU w zależności od potrzeb. Dzięki temu można uniknąć błędów związanych z brakiem pamięci, chociaż mechanizm pagowania może obniżyć wydajność. Należy mierzyć czas trwania operacji oraz obciążenie pamięci serwera i nie traktować udanej alokacji pamięci jako udanej optymalizacji.

DoRA

DoRA dzieli wagę na wartość bezwzględną i kierunek, stosując aktualizację niskorankową głównie do kierunku. Przystosowana waga to wartość bezwzględna m pomnożona przez zaktualizowaną macierz W + ΔW, znormalizowana kolumna po kolumnie. Tutaj ΔW reprezentuje aktualizację w stylu LoRA. Intuicja polega na tym, że wartość bezwzględna i kierunek pełnią różne role, a ich rozdzielenie może przywrócić jakość przy umiarkowanym ranku, mimo dodatkowej złożoności.

Współczynnik normalizacji ustala każdy zaktualizowany kierunek, a m kontroluje jego wielkość. Dzięki temu DoRA jest bliższe stopniom swobody dostępnym przy pełnej drobnej kalibracji, ale kosztem dodatkowych parametrów i operacji. Pytanie praktyczne brzmi: czy wzrost jakości przetrwa dodatkową złożoność w zakresie szkolenia, obsługi i rejestru?

Kalibracja prefiksu i promptu

Kalibracja prefiksu polega na uczeniu się ciągłych tokenów wirtualnych, które kierują uwagą, bez ingerencji w bazowe wagi. Dzięki temu jest prosta i nadaje się do precyzyjnego sterowania, choć wyraża mniej informacji niż LoRA, gdy celem jest gramatyka narzędzia lub zachowanie wieloetapowe.

Sidecar czy połączenie?

Adaptery Sidecar nadają się do izolacji użytkowników lub zadań, szybkiego cofania zmian, routingu typu A/B oraz zapewniania możliwości audytu. Łączenie modeli jest odpowiednie tylko w przypadku wersji, która ma pozostać niezmieniona, po tym jak dokładny checksum po połączeniu został sprawdzony i zarejestrowany.

Sidecar umożliwiają również routowanie według określonego przeznaczenia, dzięki czemu adapter do generowania raportów nie może zostać aktywowany podczas trybu „Dostateczność danych”. Decyzja routera musi być odnotowana w śladzie działania wraz z identyfikatorem adaptera, skalą, bazowym checksumiem oraz powodem.

Łączenie modeli zmniejsza obciążenie adaptera podczas działania i może uproszczyć proces wdrażania, choć zamazuje wyraźną granicę pomiędzy bazowym modelem a jego modyfikacjami. Należy zachować oryginalne wersje modeli, sprawdzić checksum połączonego modelu i nigdy nie łączyć go z niewyznaczoną jako „najnowsza” bazą. Kompaktowa konfiguracja treningowa wygląda w ten sposób:

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Wśród istotnych parametrów znajdują się wartości większe niż r=16 i lora_alpha=32. Parametr assistant_only_loss=True chroni granice straty, a zamontowane moduły docelowe określają zakres adaptera; ponadto pakowanie musi być kompatybilne z maskami szablonu czatu.

Optymalizacja preferencji offline

SFT nakazuje modelowi naśladowanie. Optymalizacja preferencji każe mu wybrać jedną z możliwych opcji spośród prawdopodobnych alternatyw. Weźmy dwa raporty dotyczące tej samej sprawy, oba poprawne gramatycznie i statystycznie. Ten wybrany przytacza dostępne dowody, wymienia swoje założenia i na tym kończy. Ten odrzucony dodaje niepotwierdzoną historię przyczynowo-skutkową. Ten duet daje silniejszy sygnał niż kolejna „złota” odpowiedź.

Perspektywa Bradleya-Terry’ego

Modele preferencji parami zazwyczaj wychodzą od jednego założenia: prawdopodobieństwo, że odpowiedź yʷ przewyższy odpowiedź yˡ dla wejścia x, wynosi sigmoidę różnicy w nagrodach, σ[r(x, yʷ) − r(x, yˡ)]. Tutaj yʷ to wybrana odpowiedź, yˡ ta odrzucona, a r to nagroda, zarówno jawna, jak i ukryta. Liczy się tylko różnica pomiędzy tymi dwiema nagrodami.

DPO

DPO optymalizuje politykę bezpośrednio na parach preferencji, łącząc ją z polityką referencyjną. Strata wynosi ujemny log-sigmoid z beta pomnożony przez margines, przy czym margines to różnica między wzrostem log-prawdopodobieństwa polityki dla wybranej odpowiedzi w porównaniu z polityką referencyjną a tą samą różnicą dla odrzuconej odpowiedzi. W notacji πθ oznacza politykę pod treningiem, π₀ to zamarznięty model referencyjny, a β określa siłę marginesu preferencji względem polityki referencyjnej.

Checkpoint referencyjny oraz beta zaliczają się do metadanych wersji. Zmiana któregokolwiek z nich wpływa na cel optymalizacji, nawet jeśli zbiór danych pozostaje identyczny.

Przykład obliczenia DPO

Załóżmy, że obecna polityka oraz polityka referencyjna dają następujące log-prawdopodobieństwa sekwencji:

• obecna polityka, wybrana odpowiedź: −8,0;
• polityka referencyjna, wybrana odpowiedź: −9,0;
• obecna polityka, odrzucony raport: −7,5;
• referencja, odrzucony raport: −7,0.

W odniesieniu do referencji polityka poprawiła wybraną odpowiedź o −8,0 − (−9,0) = 1,0. W przypadku odrzuconej odpowiedzi zmiana wynosi −7,5 − (−7,0) = −0,5. Marża DPO wynosi 1,0 − (−0,5) = 1,5. Przy beta = 0,2 iloczyn beta i marży wynosi 0,3, a strata to −log σ(0,3), co wynosi mniej więcej 0,554.

Polityka zdobywa punkty, ponieważ poprawiła wybraną odpowiedź w porównaniu z referencją i pogorszyła odrzuconą. Ujemna marża spowodowałaby większą stratę, a gradienty odwróciłyby tę kolejność.

Obliczenia pokazują również, dlaczego odniesienie jest istotne. DPO nie pyta tylko o to, która odpowiedź ma wyższą surową prawdopodobieństwo. W tym przykładzie odrzucona odpowiedź nadal ma wyższą aktualną log-prawdopodobieństwo (−7,5 w porównaniu z −8,0), ale polityka zmieniła się we właściwym kierunku względem odniesienia.

Długość jest częścią sygnału

Log-prawdopodobieństwo sekwencji to suma wartości dla poszczególnych tokenów, więc dłuższe sekwencje mają tendencję do gromadzenia większej liczby ujemnych wartości log-prawdopodobieństwa. Budowa zbioru danych oraz różne warianty celu radzą sobie z tym na różne sposoby.

Jeśli wybrane raporty są konsekwentnie krótsze od tych odrzuconych, model może nauczyć się zwięzłości zamiast dyscypliny w prezentowaniu dowodów. Jeśli wybrane raporty są dłuższe, model może nauczyć się rozwlekłości. Ustrukturyzuj pary preferencji według różnicy długości i sprawdź, czy wzrost wskaźnika sukcesów utrzymuje się podczas oceny z kontrolą długości.

SimPO wykorzystuje średnią log-prawdopodobieństwo, która normalizuje wartości względem długości sekwencji, oraz dodaje margines nagrody docelowej. Dzięki temu zmniejsza zależność od oddzielnego modelu referencyjnego, ale stwarza własne wyzwania związane z doborami marginesów i skalowania. Brak modelu referencyjnego nie oznacza braku hiperparametrów.

Siła preferencji i niezgoda

Pary binarne informują jedynie o tym, że y_w wygrało. Nie wskazują one, czy zwycięstwo było oczywiste, czy niewielkie. Tam, gdzie to możliwe, należy zachować głosy oceniających, poziom pewności, wymiary rubryk oraz informacje o niezgodzie.

Rozkład oceniających 3-2 nie musi mieć takiej samej wagi treningowej jak jednomyślna decyzja 5-0. Zmniejszanie wagi par niejednoznacznych również ma swoje konsekwencje, ponieważ ważne preferencje mniejszości mogą zostać zignorowane. Przed wybraniem reguły wagowania sprawdź grupę użytkowników, język, geografię oraz klasę zadania.

Drift modelu referencyjnego

Mówi się, że szkolenie preferencji powinno rozpoczynać się od sft-v3, ale narzędzie DPO w tle ładuje sft-latest. Odnośnik matematyczny uległ zmianie. Należy przechowywać zarówno politykę inicjalizacji, jak i zamarzniętą politykę odniesienia używaną do obliczania straty. Zazwyczaj są one takie same, choć nie muszą, a możliwość powtórzenia eksperymentu wymaga zarówno identyfikatorów, jak i checksumów.

Metody pokrewne

• IPO zastępuje nieograniczone wartości straty preferencji logistycznych skończonym celem typu margines, co pomaga, gdy deterministyczne etykiety mogłyby spowodować nadnadawanie modelu przez DPO.
• KTO uczy się na przykładach oznaczonych jako pożądane lub niepożądane niezależnie, więc nie są potrzebne sparowane wyniki.
• ORPO łączy uczenie się z instrukcjami z karą za różnicę szans w jednym celu, bez oddzielnego modelu odniesienia.
• SimPO nie wymaga referencji, wykorzystując znormalizowaną pod względem długości log-prawdopodobieństwo sekwencji w połączeniu z marginesem docelowym.

Żaden metod nie sprawia, że testy wycieku lub bazowa metoda SFT stają się niepotrzebne. Szkolenie oparte na preferencjach może zwiększyć wskaźnik zwycięstw, ale pogorszyć kalibrację, długość odpowiedzi, granice odrzuceń lub obszary dotyczące mniejszości.

Wybór w ramach rodziny DPO

Podjąć decyzję należy na podstawie rekordu decyzji, a nie trendów:

• wybierz DPO w przypadku dobrze sformatowanych par oraz stabilnego modelu referencyjnego, którego uruchomienie jest dostępne finansowo;
• spróbuj IPO, gdy deterministyczne lub mało zakłócone preferencje skłaniają DPO do nadmiernych marginesów;
• wybierz KTO, gdy informacje zwrotne przychodzą w postaci niezależnych wyników „dobry” lub „zły”, a łączenie ich byłoby sztuczne;
• spróbuj ORPO, jeśli pojedyncza faza łącząca SFT z uczeniem się preferencji upraszcza operacje;
• Spróbuj SimPO, jeśli ograniczeniem jest mała ilość pamięci dostępnej na model referencyjny, a nagrody normalizowane względem długości sekwencji odpowiadają charakterowi zadania.

Zacznij każdy kandydat od tej samej bazy SFT i przekaż mu tę samą podziałkę danych, zestaw narzędzi oceny oraz budżet obliczeniowy. Jeśli ustawienia się różnią, porównujesz różne procesy, a nie cele. Minimalna konfiguracja DPO wygląda następująco:

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

Odniesieniem musi być punkt kontrolny zapisany w manifestacji wykonywania, a nigdy to, co rejestr modeli obecnie nazywa „najnowszym”.

Klasyczne RLHF: model nagród, PPO i RLAIF

Klasyczne RLHF uruchamia jednocześnie trzy modele. Polityka generuje kandydatów na odpowiedzi, model nagród je ocenia, a PPO dostosowuje politykę, powstrzymując wszelkie zmiany na tyle duże, by je zdyskontynuować.

PPO opiera się na ograniczonym celu zastępczym. Mówiąc krótko, bierze oczekiwane minimum z ilorazu prawdopodobieństw pomnożonego o korzyść oraz ograniczonego ilorazu pomnożonego o korzyść, a następnie odejmuje karę KL mierzącą odchylenie od odniesienia. Symbole oznaczają następujące rzeczy:

• ρₜ to iloraz prawdopodobieństw pomiędzy nową a staryą polityką;
• Aₜ szacuje, czy wybrana akcja przewyższa oczekiwania;

ε określa maksymalny rozmiar aktualizacji polityki;

kara KL utrzymuje politykę w pobliżu wartości referencyjnej.

Wybierz tę architekturę, gdy jakość jest rzeczywiście subiektywna, istnieje wystarczająco dużo porównań, aby stworzyć model nagród, a optymalizacja polityki online usprawiedliwia dodatkową złożoność operacyjną.

Szkolenie modelu nagród

Model nagród zazwyczaj stosuje tę samą stratę typu Bradley-Terry dla par odpowiedzi: ujemną log-sigmoidową wartości wyniku nauczonego dla wybranej odpowiedzi minus wartość wyniku dla odrzuconej. Funkcja oceny rφ to nauczona funkcja skalarna o parametrach φ, szkolona tak, aby odpowiedzi wybrane były rankowane wyżej niż odrzucone.

Wartość bezwzględna nagrody sama w sobie nie ma żadnego znaczenia. Wynik 7 nie oznacza „siedmiu jednostek wartości”, a jedynie porównania w ramach skalibrowanej rozkładu operacyjnego są przydatne. Skala nagród może się różnić pomiędzy poszczególnymi punktami kontrolnymi, zbiorkami danych lub klasami zapytań.

Traktuj model nagród jako system rankingowy i mierz:

• dokładność na pary danych pozostawionych bez użycia;
• skalibrowanie poprzez różnicę wyników;
• zgodność z etykietami ludzkimi według segmentów;
• odporność na atakujące dane wejściowe;
• wrażliwość na długość, formatowanie, liczbę cytatów oraz terminy identyfikacyjne;
• zachowanie poza rozkładem.

Zarezerwuj zbiór „złoty”, który nigdy nie trenuje modelu nagród ani nie kieruje optymalizacją polityki. W przeciwnym razie polityka może nadfitować swój mechanizm oceny, podczas gdy panel sterowania pokazuje postępy.

Klipowanie PPO z liczbami rzeczywistymi

Załóżmy, że stara polityka daje prawdopodobieństwo działania 0,20, a zaktualizowana polityka – 0,25. Stosunek to 0,25 / 0,20 = 1,25. Przy ε = 0,2 mechanizm ograniczania ustala ten stosunek na poziomie 1,20. W przypadku dodatniej przewagi wynoszącej 2:

• wartość bez ograniczeń to 1,25 × 2 = 2,50;
• wartość po ograniczeniu to 1,20 × 2 = 2,40;
• PPO wybiera mniejszą z tych wartości, czyli 2,40.

Aktualizacja nadal wzmacnia to działanie, ale nie może uzyskać pełnej korzyści wynikającej z dużego skoku w prawdopodobieństwie.

Gdy przewaga jest ujemna, wybór wartości minimalnej zapobiega temu, by optymalizator wykorzystywał mechanizm ograniczania w przeciwnym kierunku. To ostrożne podejście jest powodem, dla którego zrzut stanu starej polityki oraz wersja z rozwojem pozostają nieruchome przez całą partię.

Kontroler KL

Wartość KL zapobiega temu, by polityka zbytnio odbiegała od punktu odniesienia. Skorygowana nagroda to nagroda wyuczona minus współczynnik βᴋʟ pomnożony przez rozbieżność KL pomiędzy polityką a punktem odniesienia. Jeśli βᴋʟ jest zbyt mały, polityka może wykorzystywać model nagród, stać się powtarzalna lub stracić jakość językową. Jeśli jest zbyt duży, proces uczenia się ulega zahamowaniu. Niektóre systemy dostosowują wartość beta, aby utrzymać rozbieżność KL w określonym przedziale.

Należy śledzić wartość KL w zależności od pozycji tokena i fragmentu zadania, a nie tylko jako średnią globalną. Niska średnia może ukrywać znaczne zmiany w przypadku odrzuceń, wywoływania narzędzi lub języków mniejszościowych.

Model aktora-krytyka

Klasyczny PPO zazwyczaj wymaga sześciu komponentów. Są to aktor, który jest szkolony, plus zamrożony zapis jego poprzedniej wersji, polityka referencyjna, która stanowi punkt odniesienia dla wyrażenia KL, oraz model wartości pełniący rolę krytyka. Lista uzupełniana jest modelem nagród i silnikiem wdrażania. Mogą one dzielić się wagami lub infrastrukturą, zachowując przy tym odrębną tożsamość. Metody preferencji offline oraz metody grupowe bez krytyka są atrakcyjne, ponieważ eliminują części kosztownego i podatnego na błędy systemu rozproszonego.

Nie wybieraj PPO tylko dlatego, że jest to kanoniczna metoda RLHF. Zasługuje na swoje miejsce wtedy, gdy optymalizacja pod kątem nauczonej, subiektywnej nagrody jest warta dodatkowego sprzętu do jej uruchamiania i utrzymywania.

RLAIF zastępuje niektóre lub wszystkie ludzkie etykiety preferencji ocenami sztucznej inteligencji, kierowanymi przez pisemną konstytucję. To, co dodaje, to skalowalność, a nie prawda obiektywna. Umowa dotycząca danych musi obejmować instrukcje sędziego i konstytucję, wersję sędziego, który wydał decyzję, fragmenty, w których sędziowie się nie zgadzają, oraz moment, w którym interweniuje człowiek.

Najgroźniejszym błędem jest manipulacja nagrodami: system znajduje cechę powierzchowną, która daje wysoką ocenę, ale nie służy rzeczywistemu celowi. Model nagród przedsiębiorstwa może uznać, że dłuższe raporty, dodatkowe cytaty lub częste frazy ograniczające oznaczają „lepszą” jakość. Testy adwersarialne oraz bezpośrednie metryki zadań powinny pozostać poza zakresem naukowo ustalonej nagrody.

RLAIF i oceny konstytucyjne

Konstytucja przekształca zasady w protokół oceny. W przypadku INV-22041 może polecać sędziemu, aby najpierw ocenił uprawnienia, a następnie wsparcie w postaci cytatów, trafność statystyczną, kalibrowaną niepewność oraz zwięzłość.

Etykiety oparte na sędziach dodają trzy dodatkowe elementy do śledzenia:

• konstytucję oraz instrukcje dla sędziego;
• model sędziego oraz jego konfigurację dekodowania;
• politykę orzekania w przypadku niezgody lub niepewności.

Ukryty uprzedzenie pojawia się, gdy zmienia się kolejność oceniania. Należy zamienić elementy wybrane i odrzucone, losowo ustawić identyfikatory neutralne oraz dodać pary kontrolne sprawdzone przez ludzi. Sędzia, który zmienia swoją decyzję po zmianie kolejności, nie może być uważany za wiarygodne źródło informacji o preferencjach.

Uczenie się wzmacniające z weryfikowalnymi nagrodami

Jeśli sukces można sprawdzić mechanicznie, model nagród oparty na uczeniu maszynowym może w ogóle nie być potrzebny. SQL można analizować i wykonywać w określonych ramach. Kod można uruchamiać wraz z testami. Wyniki statystyczne można porównać z oczekiwanymi rezultatami i założeniami.

GRPO

GRPO wybiera grupę kandydujących odpowiedzi na jeden prompt i normalizuje ich nagrody. Przewaga danej odpowiedzi to jej nagroda minus średnia grupy, podzielona przez odchylenie standardowe grupy plus mały współczynnik stabilizujący ε.

Załóżmy, że istnieje osiem kandydujących planów SQL o nagrodach, uszeregowanych od najgorszych do najlepszych: −0,3, −0,2, 0, 0, 0,5, 0,8, 0,8 i 1,0. Ich średnia wynosi 0,325, a odchylenie standardowe populacji to około 0,47. Każdy kandydat jest porównywany z innymi elementami grupy, co eliminuje potrzebę osobno trenowanego krytyka, chociaż skuteczność tej metody zależy od jakości jej modelu nagród.

Dla najlepszej trajektorii znormalizowana korzyść wynosi mniej więcej (1,0 − 0,325) / 0,47, czyli około 1,44. W najgorszym przypadku jest to (−0,3 − 0,325) / 0,47, czyli około −1,33.

Dokładne wartości zależą od tego, czy implementacja wykorzystuje wariancję populacji, czy próby, oraz od sposobu przetwarzania nagród przed ich użyciem. Należy ustalić te szczegóły, ponieważ wpływają one na skalę gradientu.

Jeśli każda próba otrzymuje nagrodę 1, odchylenie standardowe wynosi zero i nie istnieje żaden sygnał względny. Epsilon zapobiega dzieleniu przez zero, ale nie może stworzyć informacji, z których można by się uczyć. Rozwiązaniem jest dynamiczne próbkowanie lub trudniejszy plan nauczania.

Dla INV-22041 złożona nagroda może wymagać, aby:

• JSON było poprawne zgodnie ze schematem;
• obecny był predykat najemcy;
• SQL był tylko do odczytu;
• zapytanie działało w ramach określonego limitu kosztów;
• Dane zwrócone są wystarczające do przeprowadzenia deklarowanego testu;
• Raport odnosi się wyłącznie do dowodów udostępnionych agentowi.

Naiwna suma ważona pozwala doskonałości w jednej wymiarze zrekompensować krytyczne naruszenie. Weźmy nagrodę składającą się z 0,3 raza poprawności, 0,2 raza jakości dowodów, 0,2 raza ważności SQL oraz 0,3 raza stylu. Zapytanie między użytkownikami nadal może uzyskać pozytywną ocenę, jeśli odpowiedź i styl są dobre. Dlatego bezpieczeństwo i autoryzacja wymagają ścisłych ograniczeń. W takiej formie nagroda wynosi zero, gdy autoryzacja się nie powiedzie lub nastąpi wyciek chronionych danych. W przeciwnym razie jest to suma ważona nagród za poprawność, narzędzia i dowody minus ważony termin kosztu.

W bardziej ryzykownych warunkach naruszenie może przynieść ujemną nagrodę końcową zamiast zera. Ważne jest brak kompensacji, ponieważ płynność nigdy nie może zrekompensować nieuprawnionego dostępu.

Zachowaj komponenty nagrody jako oddzielne, łatwo obserwowalne elementy. Optymalizator potrzebuje jednego skalara, ale panel sterowania, który osobno wykresuje poprawność, uprawnienia, ważność narzędzia, jakość dowodów, koszt i długość, ułatwia diagnozowanie prób manipulacji nagrodą.

Normalizacja nagród może ukrywać skalę biznesową

Normalizacja grupowa bierze pod uwagę jedynie względny porządek w obrębie jednego zapytania. Jeśli wszystkie kandydaty są kiepskie, a jeden jest nieco lepszy, może on otrzymać dodatnią przewagę. Nadal konieczne są bezwzględne dolne granice.

Przypadek przeciwny to grupa, w której wszystkie kandydaty są poprawne. Choć pokazuje to zdrowe zachowanie systemu, niewiele uczy. Zachowaj takie zapytania w procesie oceny i usuń je lub obniż ich wagę przy optymalizacji względnej polityki tylko wtedy, gdy polityka próbkowania jest wyraźnie określona.

Stosunki polityk i krawędziowanie

Cele w stylu GRPO zazwyczaj zachowują wskaźniki ważności i mechanizm krawędziowania z PPO. Dla każdego tokena wskaźnik dzieli prawdopodobieństwo nowej polityki przez prawdopodobieństwo starej polityki, a celem jest oczekiwana wartość minimalna z iloczynu wskaźnika przez korzyść oraz skróconego iloczynu wskaźnika przez korzyść, minus wyraz KL. Korzyść może być definiowana dla całej sekwencji, podczas gdy wskaźniki są stosowane dla każdego tokena – to niespójność, która częściowo skłoniła do powstania rozwiązań na poziomie sekwencji, takich jak GSPO.

DAPO: stabilniejsze szkolenie przy długich procesach rozumowania

DAPO wprowadza cztery praktyczne mechanizmy. Granice krawędziowania są oddzielone, grupy są próbkowane dynamicznie, gradient polityki jest obliczany dla każdego tokena, a próbki trwające zbyt długo są traktowane w sposób wyraźny. Dynamiczne próbkowanie odrzuca grupy, których nagrody są identyczne, ponieważ nie przekazują one żadnego względnego sygnału.

Vanilla GRPO może doświadczać załamania entropii, niestabilności długich łańcuchów lub partii składających się wyłącznie z grup poprawnych lub błędnych, i wtedy przychodzi z pomocą DAPO. Jego rozwiązanie można najlepiej opisać jako cztery inżynieryjne metody na radzenie sobie z zaobserwowanymi błędami podczas treningu:

1. Clip-Higher. Górne i dolne granice krawędziowania są oddzielone, co daje bardziej prawdopodobnym tokenom większą przestrzeń do rozwoju, bez powodowania symetrycznej niestabilności wszędzie.
2. Dynamiczne próbkowanie. Prompty, których wybrana grupa jest całkowicie poprawna lub całkowicie błędna, są filtrowane, ponieważ ich znormalizowane zalety nie oferują dużego kontrastu.
3. Strata gradientu polityki na poziomie tokenów. Długie odpowiedzi są liczone w drobnych jednostkach tokenów i nie są rozcieńczane przez średnie wartości na poziomie próbek.

Zbyt długie kształtowanie nagród. Kary za długość wprowadzane są stopniowo, unikając ostrej granicy, która mogłaby stworzyć niestabilne gradienty w pobliżu maksymalnej długości.

Każdy z tych mechanizmów adresuje inny objaw. Nie przyjmuj akronimu jako jednego nierozdzielnego pakietu, nie sprawdziwszy, jaki konkretnie problem występuje w twoim obciążeniu pracy.

W przedsiębiorstwowych agentach SQL dynamiczne próbkowanie może skupić trening na zapytaniach, w których tylko niektóre plany odpowiadają wymaganiom danego użytkownika. Zbyt długie kształtowanie zapobiega temu, by model tracił tysiące tokenów na rozumowanie przy prostym zapytaniu, a Clip-Higher pomaga, gdy użyteczne działania naprawcze mają bardzo niską prawdopodobieństwo wystąpienia.

GSPO: sekwencja jako jednostka

GSPO oblicza stosunki ważności oraz wartości krawędziowe dla całej sekwencji, a nie osobno dla każdego tokena. To lepiej pasuje do nagród na poziomie sekwencji i przyczynia się do stabilizacji sztucznej inteligencji w bardzo dużych modelach typu Mixture-of-Experts.

Lekcją nie jest to, że GSPO zastępuje GRPO. Chodzi o to, że jednostka optymalizacji powinna odpowiadać zarówno nagrodzie, jak i architekturze. Gdy wynik biznesowy jest oceniany dla każdej sekwencji, a polityką jest model typu Mixture-of-Experts, GSPO zasługuje na przetestowanie.

Mówiąc w uproszczeniu, GSPO oblicza stosunek prawdopodobieństwa sekwencji poprzez uśrednienie różnic w logarytmicznych prawdopodobieństwach poszczególnych tokenów w zależności od długości odpowiedzi, a następnie wykładniczo przekształca uzyskany wynik, co przenosi go do przestrzeni stosunków. Następnie cel ten ogranicza ten stosunek na poziomie sekwencji i stosuje zaletę wywodzącą się z grupy na tym samym poziomie. Ponieważ nagroda ocenia całą trajektorię, jednostka optymalizacji jest teraz zgodna z jednostką oceny.

Niewielkie zmiany w routingu pomiędzy tokenami w modelu MoE mogą sprawić, że stosunki na poziomie poszczególnych tokenów będą niestabilne, dlatego agregacja na poziomie całej sekwencji może być bardziej stabilna, ale kosztem mniejszego stopnia lokalizacji zasług. Oceniaj razem zbieżność, entropię, stabilność routera, nagrodę oraz jakość końcową i nie polegaj wyłącznie na nagrodzie.

RLOO

REINFORCE Leave-One-Out wykorzystuje pozostałe przykłady w grupie jako bazę dla każdego z nich. Jest to estymator gradientu polityki bez krytyka i przydatny wskaźnik przy porównywaniu metod opartych na grupach.

Przy G przykładach przykład i otrzymuje bazę równą średniej nagrody pozostałych G − 1 przykładów, a jego przewaga to jego nagroda minus ta baza. Nie ma dzielenia przez odchylenie standardowe grupy, jak w normalizacji według współczynnika z. Estymator jest prosty i nieuprzedzony w ramach konstrukcji REINFORCE, chociaż skala nagród bezpośrednio wpływa na skalę gradientu.

Weźmy nagrody 1,0, 0,8 i 0,2. Dla pierwszego przykładu baza w metodzie leave-one-out wynosi (0,8 + 0,2) / 2 = 0,5, co daje przewagę 0,5. Baza trzeciego przykładu to (1,0 + 0,8) / 2 = 0,9, co daje wartość −0,7.

RLVR i drobna kalibracja wzmacniania

Obszerniejszym wzorcem jest uczenie się przez wzmocnienie z weryfikowalnymi nagrodami. Przykładowe trajektorie są przetwarzane za pomocą deterministycznych lub ściśle określonych narzędzi oceny, a wzmocnienie otrzymuje to, co przejdzie te testy.

Nagrody końcowe sprawdzają, czy ostateczna odpowiedź jest poprawna, natomiast nagrody procesowe oceniają poszczególne kroki w realizacji zadania. Nadzór nad procesem może pomóc w zlokalizowaniu błędu, ale narzędzia oceny kroków są kosztowne i mogą nadmiernie ograniczać prawidłowe rozumowanie. W agentach korporacyjnych nagrody procesowe są przydatne w interfejsach widocznych dla użytkownika (wybór narzędzi, autoryzacja, konstruowanie argumentów, udostępnianie dowodów i przekazywanie informacji) i nigdy nie odnoszą się do ukrytych procesów myślowych.

Nagroda końcowa kontra nagroda procesowa

Nagroda w SQL oparta wyłącznie na wyniku mogłaby być prostym wskaźnikiem, który przyjmuje wartość 1, gdy wynik odpowiada oczekiwanemu, a 0 w przeciwnym razie. Jest to obiektywne i niewymagające kosztownych obliczeń, a mimo to pozwala modelowi dojść do odpowiedzi za pomocą niebezpiecznego lub kosztownego zapytania.

Nagrody uwzględniające proces dodają obserwowalne niezmienniki, sumując sześć składników. Obejmują one sprawdzenie, czy schemat jest ważny, czy użytkownik ma odpowiednie uprawnienia, czy zapytanie pozostaje tylko do odczytu, jaki jest jego koszt, czy wynik jest prawidłowy oraz czy dowody zostały właściwie udostępnione. Każdy składnik powinien być sprawdzoną funkcją widocznych elementów. Ocena powinna obejmować drzewo składni SQL, decyzję o uprawnieniach, plan wykonywania, zwrócony zbiór danych, zapis testu statystycznego oraz odniesienia, a nigdy prywatne procesy myślowe.

Testy gradera to testy modelu

Stwórz macierz testów gradera przed każdym uruchomieniem RL:

• przechodzi znana, poprawna trajektoria;
• błędny tenant zawodzi;
• predykat tenanta ukryty w podzapytaniu jest poprawnie odczytywany;
• komentarz SQL nie może symulować wymaganego predykatu;
• pusty wynik jest odróżniany od błędu wykonania;
• drogi połączenie kartezjańskie zawodzi;
• sfałszowana cytata zawodzi, nawet jeśli ostateczna liczba jest prawidłowa;
• przerwanie czasu pracy narzędzia oceniającego kończy się niepowodzeniem;
• błędnie sformatowany wynik narzędzia oceniającego nie może stać się pozytywną nagrodą.

Po każdej zmianie w narzędziu oceniającym należy ponownie uruchomić historyczne trajektorie. Zmiana wersji nagrody inicjuje nową linię eksperymentów, nawet jeśli kod polityki pozostaje niezmieniony.

Myślenie ma swoją cenę

Sama poprawność może prowadzić do marnotrawnego rozumowania, dlatego należy dodać termin kosztu ograniczonego: nagroda to poprawność minus lambda razy koszt rozumowania Tₕ. Ten koszt może być reprezentowany przez tokeny rozumowania, milisekundy lub znormalizowany czas obliczeniowy, a λ określa, ile dodatkowo kosztuje namyśl. Kara powinna być stosowana dopiero po spełnieniu minimalnych wymogów poprawności i bezpieczeństwa, w przeciwnym razie model nauczy się odpowiadać szybko, ale błędnie.

Załóżmy, że dwie poprawne trajektorie otrzymują podstawową nagrodę 1,0 – jedna przy użyciu 400 tokenów rozumowania, a druga 1 000. Przy koszcie tokena znormalizowanym na 1 000 oraz lambda = 0,1 krótsza trajektoria otrzymuje 0,96 (odjęcie 0,04), a dłuższa 0,90 (odjęcie 0,10).

Zatem krótsza, poprawna trajektoria wychodzi na korzyść. Mimo to błędna odpowiedź składająca się z 100 tokenów powinna nie przejść testu poprawności i nie otrzymać wartości −0,01, by konkurować z poprawnymi odpowiedziami.

Opóźnienie i liczba tokenów są ze sobą skorelowane, ale nie są identyczne. Paralelne wywołania narzędzi, trafienia do pamięci cache, planowanie partii oraz architektura modelu mogą zmieniać upływ czasu, podczas gdy liczba tokenów używanych do rozumowania pozostaje niezmienna. Wybierz tę miarę kosztu, która odzwierciedla ograniczenia w produkcji.

RL agenta wieloetapowego

Decyzje modelu, wyniki narzędzi, odczyty z pamięci oraz przekazy między agentami znajdują się w ramach jednej trajektorii przedsiębiorstwa. Zapisz jej przejścia stanów oraz ocenij ostateczną umowę biznesową oprócz lokalnych niezmienników.

Np. mechanizm Enrichment może nie otrzymać żadnej bezpośredniej nagrody za zadanie pytania wyjaśniającego. Jego wartość objawia się wtedy, gdy mechanizm Data Sufficiency tworzy odpowiedni zapytanie, a mechanizm Reporting unika błędnych twierdzeń przyczynowo-skutkowych. Przypisywanie zasług nie może wymazać tej zależności.

Trajektoria to zapis zdarzeń typowanych

Przedstaw proces wdrażania jako coś więcej niż tylko transkrypcję rozmowy. Każde przejście powinno zawierać:

• identyfikatory stanu i obserwacji;
• agent działający oraz wersja jego polityki;
• dostępny zestaw narzędzi i zakres uprawnień;
• wybrana akcja oraz jej surowe argumenty;
• decyzja polityki i wynik użycia narzędzia;
• czytanie i zapisywanie z pamięci;
• treść przekazywana dalej;
• daty i godziny, koszt oraz ostateczny wynik.

Ta forma umożliwia odtwarzanie zdarzeń, analizę poza ramami polityki oraz dokładne przypisywanie nagród. Zapobiega również temu, by proces szkolenia traktował obserwacje narzędzi tak, jakby zostały one wygenerowane przez asystenta.

Nagrody hierarchiczne

Dla czterostopniowej procedury badawczej należy określić lokalne nagrody za umowę oraz końcową nagrodę biznesową. Całkowita nagroda to końcowa nagroda R★ plus zsumowana wagowo suma nagród za cztery etapy R₁ do R₄ – po jednej dla uzupełniania informacji, wystarczającej ilości danych, testowania hipotez oraz sporządzania raportu, przy wagach γ₁ do γ₄.

Lokalne nagrody przyspieszają proces uczenia się, ale mogą również prowadzić do konfliktów. Uzupełnianie informacji może zwiększyć jakość wyjaśnień poprzez zadawanie zbyt wielu pytań. Sporządzanie raportów może optymalizować zwięzłość poprzez pominięcie pewnych ograniczeń. Nagroda końcowa oraz niezmienne wymogi muszą mieć większą wagę niż lokalna wygoda.

Zasługa powinna odpowiadać odpowiedzialności przyczynowej. Jeśli Enrichment przekazuje Reportingowi błędne mapowanie entity, a Reporting wiernie podaje otrzymany wynik, karanie wyłącznie Reportingu uczy czegoś błędnego. Zachowaj wyniki każdego etapu i oceniaj najwcześniejsze naruszenie umowy.

Dobra praktyka: ćwicz w najmniejszym środowisku, które nadal zachowuje rzeczywistą umowę, używając narzędzi w izolacji, deterministycznych przykładów, wersjonowanych narzędzi oceny, ścisłych limitów czasu oraz bez danych dostępowych z produkcji.

Destylacja: przenoszenie możliwości, a nie kopiowanie modelu

Destylacja przekształca drogie zachowanie „nauczyciela” w mniejszy lub łatwiejszy do wdrożenia „uczeń”.

Destylacja logitów

Uczeń jest szkolony tak, aby dostosować swoją rozkładu tokenów do złagodzonego rozkładu nauczyciela. Strata wynosi kwadrat temperatury pomnożony o rozbieżność KL pomiędzy funkcją softmax nauczyciela a funkcją softmax ucznia, obie obliczane na podstawie logitów podzielonych przez temperaturę T. Czynnik kwadratowy zapewnia zachowanie skali gradientu. Wyższa temperatura ujawnia względne prawdopodobieństwa tokenów poza najczęściej występującym, tzw. „ciemną wiedzę”, której nie uwzględniają sztywne etykiety.

Jak zmienia się temperatura

Załóżmy nauczyciela, który ma logity 8, 4 i 2 dla trzech kandydujących tokenów. Przy T = 1 funkcja softmax skupia niemal całą wagę na pierwszym tokenie. Gdy T = 2, efektywne logity spadają do 4, 2 i 1, a rozkład staje się łagodniejszy, dzięki czemu uczeń uczy się, że pierwszy token wygrywa, a także że drugi token ma większe szanse niż trzeci.

Gdy temperatura rośnie, gradienty pochodzące z alternatywnych rozwiązań stają się bardziej informacyjne. Jeśli ją zbytnio podniesiemy, rozkład stanie się bardziej jednolity, tracąc przydatną strukturę. Należy ją dostosować na podstawie jakości transferu sprawdzonej oddzielnie.

Czynnik kwadratowy kompensuje zmniejszanie się gradientów podczas dzielenia logitów przez temperaturę. Jeśli go pominieć, równowaga pomiędzy stratą związaną z destylacją a stratą związaną z twardymi etykietami ulegnie zmianie.

Łączenie twardych i miękkich celów

Powszechnym celem jest połączenie dwóch składników: wagi przypisanej do straty SFT oraz wagi przypisanej do straty związaną z destylacją. Twarde etykiety zachowują znane poprawne wyniki, natomiast prawdopodobieństwa nauczyciela typu „miękki” przenoszą względne preferencje. Te dwie wagi określają równowagę.

W przypadku wywołań narzędzi, ścisła zgodność ze schematem może mieć większe znaczenie niż niepewność modelu nauczyciela. W przypadku wyjaśnień w języku naturalnym rozkład danych modelu nauczyciela może wykazywać bardziej złożone zachowanie. Wagi mogą różnić się w zależności od klasy tokena, ale ta dodatkowa złożoność musi pozostać poddawalna testom i dobrze udokumentowana.

Destylacja sekwencyjna i według zasady on-policy

Destylacja sekwencyjna polega na szkoleniu na wynikach wygenerowanych przez model nauczyciela. Jest prosta, ale uczeń widzi jedynie rozkład stanów modelu nauczyciela.

Destylacja według zasady on-policy pozwala uczniowi generować dane, a następnie model nauczyciela nadzoruje stany, do których uczeń faktycznie dochodzi. Jest to szczególnie pomocne w przypadku agentów, gdzie małe wczesne odchylenia powodują powstawanie nowych stanów narzędzi w dalszej kolejności.

Gdy celem jest stworzenie zwięzłego opisu procesu rozumowania, należy zachować to, co jest widoczne: sposób rozwiązywania problemów, ślady użytych narzędzi oraz wyniki, które można zweryfikować. Ukryty tekst opisujący proces rozumowania nie powinien stać się warunkiem koniecznym do działania systemu.

Filtrzy do stworzenia zwięzłej sekwencji

Wyniki generowane przez nauczyciela stanowią syntetyczne dane treningowe i wymagają takich samych kontroli jak dane napisane przez ludzi:

• weryfikacja pod kątem autoryzacji i licencji;
• skanowanie w poszukiwaniu danych osobowych i tajemnic;
• uruchamianie narzędzi w środowisku izolowanym;
• zweryfikowanie wyników w sposób deterministyczny, gdzie to możliwe;
• usuwanie duplikatów na podstawie ocen;
• śledzenie pochodzenia danych aż do nauczyciela, zapytania, ustawień dekodowania oraz kontekstu źródłowego.

Wybór najlepszych rozwiązań może poprawić jakość syntetycznych wyników, ale ogranicza różnorodność i może wzmacniać uprzedzenia selektora. Zachowuj statystyki generowania i selekcji, aby można było odtworzyć rozkład danych ucznia.

Pętla destylacji on-policy

Destylacja on-policy składa się z pięciu kroków:

1. Uczeń generuje wyniki na podstawie swojej obecnej polityki.
2. Nauczyciel ocenia te stany lub dostarcza dla nich rozkłady tokenów.
3. Niebezpieczne lub nieważne trajektorie są usuwane.
4. Uczeń aktualizuje swoje rozwiązania na podstawie pozostałych stanów.
5. Ewaluacja sprawdza zdolności i tendencje zmiany rozkładu.

Pętla jest skierowana na rzeczywiste błędy ucznia. Wymaga więcej zasobów niż statyczne dane nauczyciela i może odziedziczyć niestabilność od ciągle zmieniającego się rozkładu danych ucznia. Ustal stałą tożsamość nauczyciela i roboczą kopię wyników ucznia po każdej iteracji.

Destylacja to nie dekodowanie spekulatywne

Destylacja uczy model „ucznia”, aby ten mógł naśladować model „nauczyciela”. Dekodowanie spekulatywne uruchamia mniejszy model w czasie wnioskowania i każe modelowi docelowemu sprawdzić proponowane tokeny. Model „uczeń” po destylacji może pełnić rolę modelu roboczego, ale obie te techniki dążą do różnych celów.

Destylacja sprawia, że model można uruchamiać samodzielnie taniej. Dekodowanie spekulatywne przyspiesza działanie modelu docelowego tylko wtedy, gdy wiele tokenów roboczych zostaje zaakceptowanych, a proces weryfikacji jest efektywny. Należy oceniać je oddzielnie.

Umowa dotycząca destylacji w przedsiębiorstwach

Należy precyzyjnie określić następujące elementy:

• model nauczyciela oraz wersję API;
• parametry generowania oraz środowisko narzędzia;
• wersję promptu lub systemu pakietowego;
• zasady filtrowania i oceny;
• bazę modeli „ucznia”, tokenizator oraz linię pochodzenia adaptera;
• oceny bezpieczeństwa zarówno dla nauczyciela, jak i ucznia;
• prawa do wykorzystania danych obejmujące wyniki pracy nauczyciela.

Mniejsze modele również odziedziczają możliwe błędy. Przeprowadź ponownie testy dotyczące prywatności, cytowania, autoryzacji, używania narzędzi oraz sytuacji adwersarialnych na uczniu i nie zakładaj, że zgodność nauczyciela jest przenoszona na niego.

Co zmieniło się w modelach najnowszej generacji podczas szkolenia i dopracowywania

To nie liczba parametrów wyjaśnia cechy najnowszych modeli. Ich procesy przetwarzania danych przekroczyły jeden etap szkolenia z nadzorem. Najskuteczniejsze z nich łączą kilka elementów: dane podawane w określonej kolejności, uczenie się przez wzmocnienie, nagrody, które można zweryfikować, syntetyczne trajektorie oraz przenoszenie wiedzy od nauczyciela na ucznia. Każdy z tych elementów wypełnia inny brak, jaki pozostawia sama imitacja.

Dokładna kalibracja to już nie jedna operacja. To cały proces edukacyjny, który prowadzi model od naśladowania przez eksplorację, następnie weryfikację, dopasowanie i w końcu wdrożenie.

DeepSeek-R1

DeepSeek-R1 stawia uczenie wzmacniające w centrum adaptacji rozumowania. R1-Zero wychodziło od z góry przeszkolonego modelu bazowego i stosowało uczenie wzmacniające, nie ucząc go najpierw żadnych ludzkich sekwencji rozumowania. Eksperyment miał na celu sprawdzenie, czy rozumowanie może powstać z optymalizacji wyników, a nie z kopiowania przygotowanych śladów rozumowania.

Główną metodą była Optymalizacja Polityki Względnej Grupy (GRPO). Polityka tworzy grupę kandydatów na odpowiedź na dany prompt, a każdy z nich otrzymuje nagrodę. Przewaga wynika z porównania z grupą, czyli z różnicy między nagrodą a średnią grupy podzieloną przez odchylenie standardowe grupy plus ε, bez konieczności używania oddzielnie trenowanego modelu wartości. Odpowiedzi lepsze od innych uzyskują dodatnią przewagę, natomiast gorsze – ujemną. Usunięcie komponentu krytycznego pozwala zaoszczędzić pamięć i zasoby obliczeniowe, zachowując przy tym użyteczny sygnał uczenia się.

GRPO sprawdziła się szczególnie dobrze tam, gdzie poprawność można było sprawdzić automatycznie: weryfikacja odpowiedzi w matematyce, kompilacja i testy kodu oraz walidacja formatu w przypadku strukturalnych odpowiedzi. Model uczył się na podstawie obiektywnych wyników, bez konieczności podawania etykiety preferencji człowieka dla każdego kroku rozumowania.

R1-Zero pokazało, że zachowania takie jak weryfikacja, cofanie się w rozwiązywaniu problemów oraz wydawanie większej ilości zasobów obliczeniowych na trudne zadania mogą powstać dzięki uczeniu się przez wzmacnianie. Ujawniło również ograniczenia czystego treningu opartego na wynikach. Rozumowanie może stać się trudne do zrozumienia, niespójne pod względem językowym lub dostosowane wyłącznie do nagrody, bez tworzenia dopracowanej odpowiedzi.

Pełny proces DeepSeek-R1 poradził sobie z tymi ograniczeniami dzięki stopniowemu planowi nauczania. Zaczyna się od czytelnych przykładów do rozpoczęcia pracy, przechodzi do uczenia się przez wzmacnianie w zakresie rozumowania, następnie do próbkowania odrzucania, potem do połączonego rozumowania i ogólnego treningu SFT, a kończy na uczeniu się przez wzmacnianie w celu dostosowania. Dane do rozpoczęcia pracy umożliwiły ustalenie czytelnego stylu rozumowania, uczenie się przez wzmacnianie rozszerzyło możliwości poza prostą imitację, próbkowanie odrzucania zachowało lepsze, samodzielnie wygenerowane ścieżki rozwoju, trening SFT na danych dotyczących rozumowania i ogólnych danych ugruntował to zachowanie, zachowując jednocześnie szeroką użyteczność, a ostatnia faza uczenia się przez wzmacnianie poprawiła pomocność i bezpieczeństwo.

Sama GRPO nie była niczym nowym. Decydujące okazało się to, w jaki sposób sekwencjonowano uczenie się pod nadzorem, weryfikowalne RL, samogenerowane dane oraz końcową synchronizację.

DeepSeek następnie dokonał drobnej optymalizacji mniejszych, gęstych modeli na podstawie skutecznych ścieżek rozumowania. Część tej kosztownej zdolności rozumowania przeniosła się tym samym do modeli łatwiejszych do wdrożenia, a studenci uczyli się na przykładach zawierających bardziej złożoną strukturę rozwiązywania problemów, a nie tylko ostateczne odpowiedzi.

Qwen3 i fuzja trybów

Qwen3 traktował rozumowanie i bezpośrednią odpowiedź jako zachowania, które należało nauczyć razem. Etap po treningu rozpoczął się od chłodnego startu z długim łańcuchem myślenia, następnie przeszedł do RL skupionego na rozumowaniu, połączył zachowania związane z rozumowaniem i tymi, które nim nie były, a na końcu zastosowano szersze RL w celu osiągnięcia ogólnej synchronizacji.

Fuzja trybów to ciekawy pomysł treningowy. Jedna polityka uczy się obu zachowań, podczas gdy alternatywą jest punkt kontrolny oparty na długim rozumowaniu w połączeniu z oddzielnym punktem kontrolnym dla krótkiej odpowiedzi. Dzięki temu można określić, kiedy wymagana jest rozbudowana ścieżka rozumowania, a kiedy wystarczy bezpośrednia odpowiedź, dzięki czemu umiejętność rozumowania pozostaje zachowana, bez konieczności stosowania tego samego rozbudowanego stylu we wszystkich zadaniach.

GSPO i drobnozmiarowość aktualizacji

GSPO (Group Sequence Policy Optimization) zmieniło stopień drobnozmiarowości aktualizacji polityki. Metody na poziomie tokenów zazwyczaj obliczają i korygują wskaźniki ważności oddzielnie dla każdego tokena, nawet jeśli nagroda obejmuje całą odpowiedź, co może powodować niespójne aktualizacje w obrębie jednej wygenerowanej sekwencji.

GSPO oblicza stosunek ważności dla całej sekwencji i traktuje ją jako jedną jednostkę optymalizacyjną. Mówiąc prościej, średniuje stosunek logarytmicznych prawdopodobieństw pomiędzy zaktualizowaną polityką a polityką, która wygenerowała trasę, na całej długości odpowiedzi, a następnie podnosi wynik do potęgi. Średnienie wzdłuż sekwencji daje sygnał na poziomie odpowiedzi, który odpowiada jednostce, która otrzymała nagrodę.

Metoda ta jest szczególnie przydatna, gdy uczenie się wzmacniające staje się niestabilne ze względu na szumy wynikające ze zmian prawdopodobieństw na poziomie tokenów. Nowość polega na połączeniu trzech elementów, które często się nie pokrywają: wygenerowanego obiektu, jednostki nagrody oraz jednostki optymalizacyjnej.

Kimi K2: stabilność i trajektorie agenta

Kimi K2 wprowadziło metody zapewniające stabilność treningu, które uczyniły znacznie większe procesy optymalizacji bardziej niezawodnymi. MuonClip łączy optymalizację macierzy w stylu Muon z mechanizmami kontrolnymi, które zapobiegają niestabilnemu wzrostowi wag. QK-Clip monitoruje zachowanie mechanizmu uwagi i selektywnie ogranicza problematyczne projekcje zapytań i kluczy, gdy ich wartości logits stają się skrajne.

Są to innowacje z zakresu wstępnego treningu, a nie techniki dokładnej kalibracji późniejszej, jednak są tu istotne, ponieważ jakość po treningu zależy od punktu kontrolnego, który jest od niego odziedziczony. Mały zbiór danych do adaptacji nie może skutecznie naprawić modelu bazowego uszkodzonego przez niestabilność optymalizatora lub eksplozję wartości logits w mechanizmie uwagi.

Postępy Kimi K2 po treningu również opierały się na trajektoriach agencyjnych: programowaniu, wywoływaniu narzędzi, obsłudze obserwacji oraz realizacji zadań wieloetapowych. Trening wykorzystuje sekwencje działań z informacjami zwrotnymi z otoczenia, a nie tylko pary pytanie-odpowiedź. Typowa ścieżka prowadzi od zadania przez wybór narzędzia, generowanie argumentów, informacje zwrotne po wykonaniu, naprawę błędów aż do zweryfikowanego wyniku.

Części takich trajektorii można sprawdzić mechanicznie dzięki działającemu kodowi, odpowiedziom narzędzi oraz sygnałom wskazującym na zakończenie zadania. Pętla może wtedy nagradzać coś więcej niż tylko przekonującą ostateczną odpowiedź – może sprawdzić, czy model wybrał odpowiednią umiejętność, stworzył ważne argumenty, prawidłowo zareagował na obserwacje i ukończył zadanie.

Procesy nauczyciel-uczeń w Meta

Meta’s Muse Spark i Muse Glimmer ilustrują pełniejszy proces współpracy nauczyciela i ucznia. Nauczyciel może tworzyć ostateczne odpowiedzi, średnie etapy rozumowania, wielomodalne analizy, decyzje dotyczące narzędzi oraz ścieżki naprawcze, ale nic z tego nie staje się materiałem szkoleniowym, dopóki nie zostanie przefiltrowane pod kątem poprawności, bezpieczeństwa, pochodzenia, różnorodności i istotności.

Muse Glimmer obejmuje siedem kroków adaptacji. Najpierw nauczyciel tworzy ślady, które przechodzą przez określone filtry. Następnie uczeń przechodzi przez destylację logitów, średnie dopasowanie podczas szkolenia oraz dopasowanie pod nadzorem, a potem przez destylację wiedzy w ramach aktualnej polityki, zakończone uczeniem się wzmacniającym.

• Destylacja logitów przenosi rozkład prawdopodobieństwa nauczyciela, a nie tylko wybrany przez niego token. Dzięki temu zachowuje się informacje o prawdopodobnych alternatywach oraz względnej pewności, które są pomijane podczas szkolenia z wykorzystaniem twardych etykiet.
• Proces szkolenia w trakcie pokazuje uczniowi dane dotyczące długiego kontekstu oraz zachowań agentów jeszcze przed wąskim dostosowaniem na podstawie instrukcji, dzięki czemu te umiejętności trafiają do jego szerszej reprezentacji, a nie pozostają jako cienka warstwa dodana na końcu.
• Proces destylacji wiedzy w ramach tej samej polityki naprawia kluczową słabość zwykłej destylacji. Uczeń szkolony wyłącznie na podstawie trajektorii nauczyciela uczy się stanów nauczyciela, lecz podczas wykonywania zadań napotyka stany powstałe w wyniku jego własnych błędnych decyzji. Jeśli uczeń tworzy tę samą trajektorię, a nauczyciel udziela porad dotyczących tych stanów, rozbieżność się zmniejsza.
• Następnie uczenie przez wzmocnienie wzmacnia zachowania, które przynoszą mierzalne rezultaty.

W połączeniu te kroki sprawiają, że destylacja staje się wieloetapowym procesem przenoszenia umiejętności, a nie jedynie jedną operacją kompresji.

Teraz widoczny jest kompletny schemat działania: dane nadzorowane służą do określenia zachowania, weryfikowalne algorytmy RL umożliwiają imitację, syntetyczne trajektorie zapewniają pełne pokrycie, jednostka optymalizacji dostosowuje się do granularności nagrody (cała sekwencja), a proces destylacji odbywa się na bazie własnych stanów modelu uczącego się, aby przekazać jego umiejętności modelom gotowym do użycia.

Trwałą innowacją nie jest nazwa pojedynczego modelu. System szkoleniowy składa się z: kolejności danych, weryfikacji wyników, sposobu, w jaki strategia eksploruje środowisko, kontroli niestabilnych aktualizacji oraz końcowego przeniesienia wiedzy, które nie zakłada, że mniejszy model uczący się może doskonale odtworzyć funkcjonowanie modelu nauczyciela.

Szkolenie to proces wypuszczania modeli

Sukcesywna implementacja nadal nie stanowi artefaktu gotowego do wdrożenia. To, co jest wysyłane, to kompletny zestaw instrukcji. Obejmuje on bazowy model oraz jego tokenizer – czy to adapter, czy połączone wagi – pakiet systemowy i schematy narzędzi, umowę pamięciową oraz politykę odzyskiwania danych, a na koniec proces kwantyzacji, politykę działania w czasie rzeczywistym oraz zasady bezpieczeństwa.

Tożsamość rejestru

Jako minimum należy zarejestrować:

• sumy kontrolne dla modeli bazowego i referencyjnego;
• hashy danych oraz ich transformacji;
• spis składowych i raport o zanieczyszczeniach;
• cel, optymalizator, wartość początkową, hiperparametry oraz moduły docelowe;
• hashy kodu i kontenera;
• informacje o sprzęcie oraz dokładności liczbowej;
• wersje narzędzi do oceny, modelu nagród, systemu oceny oraz polityk;
• raport z oceny, zatwierdzenia, osobę odpowiedzialną, datę wygaśnięcia oraz cel odwrócenia zmian.

Ocena wymaga minimalnych standardów i porównań

Zastosuj dwa progi:

1. Progi absolutne. Tempo wycieków wynosi zero w chronionych zestawieniach, ważność schematu narzędzia przekracza ustalony próg, powiązanie z najemcą wynosi 100%, a progi odmowy i bezpieczeństwa są spełnione.
2. Relatywny postęp. Kandydat musi osiągnąć lepsze wyniki niż obecna receptura produkcyjna w odniesieniu do docelowego defektu, przy jednoczesnym zachowaniu wszystkich progów.

Warto ocenić cały czas działania, a nie tylko sam model. Silniejszy adapter może ulec regresji po zastosowaniu nowej kwantyzacji, szablonu czatu, polityki wyszukiwania lub schematu narzędzia.

Nie sprowadzaj jakości przedsiębiorstwa do jednej średniej

Niech Mₖ będzie metryką używaną do oceny warstwy k. Wartość ważona S to suma wag poszczególnych warstw pomnożonych przez ich metryki, przy czym suma wag wynosi 1, co pozwala w przyjemny sposób skondensować wyniki. Jednak średnia ważona umożliwia korektę, więc duży postęp w przypadku standardowych zapytań w języku angielskim może zakrywać poważny regres w zakresie izolacji użytkowników lub w językach, dla których dostępnych jest niewiele danych.

Sortuj leksykalnie w następującej kolejności:

1. podstawowe wymogi dotyczące bezpieczeństwa, prywatności i uprawnień;
2. minimalne wymagania dotyczące zachowania możliwości;
3. poprawa wyników w zadaniu docelowym;
4. ograniczenia związane z kosztem i opóźnieniem;
5. ogólna klasyfikacja kandydatów, którzy przeszli wszystkie wcześniejsze kryteria.

To odzwierciedla zasadę projektowania nagród: umów, których nie można złamać, nie da się zrekompensować stylem czy wydajnością.

Przedziały ufności i niewielkie postępy

Szum próbkowania może tłumaczyć zaobserwowaną różnicę w dokładności. Dla metryki binarnej o proporcji p̂ wśród n niezależnych elementów błąd standardowy wynosi mniej więcej pierwiastek kwadratowy z p̂(1 − p̂) / n. Przy p̂ = 0,90 i n = 100 wynosi on około 0,03, co sprawia, że wzrost o jeden punkt nie jest przekonujący.

Kandydaci odpowiadają na te same pytania, dzięki czemu testy sparowane są zazwyczaj bardziej wiarygodne niż traktowanie wyników jako niezależnych. Należy zastosować metodę bootstrap do analizy różnic pomiędzy poszczególnymi elementami lub użyć odpowiedniego testu sparowanego, a także podać przedziały ufności wraz z szacunkami punktowymi.

W ocenach wykorzystujących LLM jako sędziego potrzebne są dodatkowe środki kontroli: losowy porządek, ustalone wersje sędziów, kalibracja przez ludzi oraz monitorowanie niezgód między sędziami. Niewielka przewaga uzyskana dzięki jednemu pytaniu do sędziego nie stanowi podstawy do ogłoszenia o wypuszczeniu produktu.

zestaw testów zapominania

Celowy wzrost nie powinien wymazać ogólnych umiejętności. Zachowaj stały zestaw umiejętności obejmujący:

• podążanie za instrukcjami;
• określenie granic bezpieczeństwa i odmowy;
• zachowanie w różnych językach;
• wybór odpowiedniego narzędzia i sformatowanie jego wywołania;
• znajdowanie faktów w długich kontekstach;
• skalibrowane poczucie pewności i umiejętność decydowania, kiedy powstrzymać się;
• zadania z pokrewnych dziedzin, które nie były celem;
• testy oporne i dotyczące prywatności.

Zgłoś różnice w porównaniu z dokładną wersją bazową lub produkcyjną. Gdy coś idzie nie tak z minimalnym poziomem umiejętności, sprawdź dane treningowe, ranking, szybkość uczenia się, liczby epok, mieszankę powtórzeń oraz cel przed dodawaniem kolejnych przykładów do treningu.

Dwie bramy kwantyzacji

Gdy używana jest kwantyzacja QLoRA lub nowsza, oceniaj dwa razy:

1. Brama artefaktu treningowego wykorzystuje wersję bazową wraz z adapterem podczas oceny dokładności w środowisku rozwojowym.
2. Brama artefaktu serwisowego wykorzystuje to, co jest używane w produkcji: dokładną wersję po połączeniu lub wersję sidecar, jądra w czasie wykonywania, kwantyzację, tokenizer oraz szablon rozmowy.

Pierwsza brama sprawdza, czy trening nauczył odpowiedniego zachowania. Druga pokazuje, czy implementacja je zachowała.

Canary i odwrócenie zmian

Canary można dzielić według ograniczonego ruchu, klasy użytkownika, typu żądania lub trybu cienia. Należy obserwować, jak często zadania są udane i czy ludzie interweniują w celu korekty, jak często polityka odrzuca żądania, jakie występują błędy narzędzi, ile kosztują tokenów i jaka jest opóźnienie, a także wszelkie odchylenia w nagrodach lub rozkładzie danych wejściowych.

Odwrócenie zmian wymaga przywrócenia poprzedniej wersji, co oznacza coś więcej niż tylko poprzedni adapter. Jeśli nowy pakiet systemu, tokenizer lub schemat narzędzia są nadal aktywne, system nie został odwrócony.

Artymetyka kanarków

Załóżmy, że krytyczne awarie występują historycznie z częstotliwością p. Przy n niezależnych żądaniach typu canary prawdopodobieństwo wystąpienia przynajmniej jednej awarii wynosi 1 − (1 − p)ⁿ. Przy 1% częstotliwości awarii i 100 żądaniach oznacza to 1 − 0,99¹⁰⁰, czyli około 63,4%, więc mały „kanarek” może łatwo przeoczyć rzadkie, lecz poważne awarie.

Projektowanie mechanizmu canary powinno opierać się zarówno na procentach, jak i na ocenie ryzyka. Celowo należy w nim uwzględnić ryzykowne ścieżki narzędziowe, nietypowe języki, bardzo długie konteksty, żądania znajdujące się na granicy uprawnień, zapytania niezwracające żadnych wyników oraz odrębne grupy użytkowników. Ocena typu shadow zwiększa zakres testowania bez żadnych skutków ubocznych, ale nie może ujawnić wszystkich efektów interakcji wynikających z rzeczywistych działań.

Wyzwalacze promocji i cofania

Ustal wyzwalacze przed uruchomieniem mechanizmu canary:

• bezwzględne naruszenie zasad oznacza natychmiastowe zatrzymanie;
• Wyciek chronionych danych oznacza natychmiastowe zatrzymanie procesu incydentu oraz zachowanie dowodów;
• Błąd narzędzia lub opóźnienie przekraczające ustalone progi oznaczają konieczność pauzy i diagnozy;
• Statystycznie wiarygodna regresja w obszarze docelowym oznacza konieczność cofnięcia zmian;
• Niepojęty wzrost ocen lub decyzji sędziów oznacza wstrzymanie awansu;
• Brak danych telemetrycznych oznacza nieudane zakończenie procesu, ponieważ nie można ocenić wersji wydanej.

Nikt nie powinien wymyślać kryteriów akceptacji, patrząc na panel sterowania. To zamienia zarządzanie w negocjacje pod presją wdrażania.

Zachowaj zapisy o odrzuconych próbach

Zapisy audytowe mają większą wagę, gdy zawierają informacje o kandydatach, którzy nie odnieśli sukcesu, wraz z powodami. Proszę rozważyć ten przypadek:

• Próba z qlora-v4 podniosła ważność narzędzia o trzy punkty;
• odpowiedzi oparte na cytatach były o pięć punktów mniej wiarygodne po zastosowaniu kwantyzacji danych;
• system odrzucił je;
• po dokładniejszym zbadaniu zespół powiązał tę spadek jakość z projekcjami wyników, które źle reagują na kwantyzację;
• w produkcji nadal używano wersji dpo-v1.

To dowodzi, że system może zatrzymać model, który na pierwszy rzut oka wydaje się atrakcyjny. Rejestr zawierający jedynie udane próby nie może pokazać, że mechanizmy kontroli faktycznie działają. Manifest wersji adaptera do raportowania mógłby wyglądać w ten sposób:

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

Manifest zawiera nazwę identyfikatora wersji, kontrolny sumę hash dla bazowej wersji, odnoszoną wersję (wcześniejszą budowlę SFT) oraz szczegóły adaptera. Jest na tyle krótki, by można go przejrzeć, a na tyle kompletny, by móc zweryfikować podane informacje.

Przewodnik krok po kroku: INV-22041

Raport o błędzie jest precyzyjny: zwykle agent bazowy dochodzi do prawidłowej odpowiedzi, ale błędne wywołania narzędzi, słaba zdolność do odzyskania po pustych wynikach SQL oraz brak odniesień do przyczyn podważają tę skuteczność. Oto osiem kroków, które to rozwiązują:

1. Zlokalizuj błąd. Mapowanie regionów znajduje się w zarządzanej pamięci, aktualne dane sprzedażowe w warstwie semantycznej, a uprawnienia w polityce działania w czasie rzeczywistym. Szkolenia koncentrują się na gramatyce narzędzi, mechanizmach odzyskiwania, odniesieniach oraz kalibrowanym odrzucaniu próśb.
2. Buduj warstwę danych. Skompiluj 4 200 przykładów SFT wraz z 1 100 śladami odzyskiwania w wielu krokach, dołącz informacje o pochodzeniu danych, usuń wersje robocze dokumentów finansowych i utrzymaj contamination_rate = 0 w zestawie do wypuszczenia.
3. Ustanów SFT. Wytrenuj adapter LoRA o rzędzie 16 i alfa 32 na wybranych projekcjach uwagi. Skuteczność analizy za pomocą narzędzi wzrasta z 0,71 do 0,94, podczas gdy ogólne możliwości pozostają stabilne.
4. Dodaj dane preferencji. Osoby oceniające wybierają zwięzłe, cytowane raporty zamiast bardziej płynnych, ale nieobsługiwanych alternatyw. Procedura DPO działa przy beta = 0,2 w oparciu o ustalony punkt odniesienia SFT, osiągając wskaźnik sukcesu 0,78 przy nadal zerowym wskaźniku wycieków.
5. Stosuj weryfikowalne metody RL tylko wtedy, gdy jest to uzasadnione. W fazie oceny wystarczającości danych należy wygenerować osiem ścieżek działania SQL i narzędzi na każde zadanie oraz ocenić je pod kątem wiązania z użytkownikiem, ważności, tego, czy działają, jakie są ich koszty oraz czy dane są wystarczające. GRPO poprawia możliwości odzyskiwania informacji, natomiast DAPO jest wykorzystywane, gdy grupy o identycznych nagrodach oraz długie wyniki osłabiają sygnał.
6. Sprawdź dopasowanie architektury. Jeśli studentem jest model typu MoE, którego wskaźniki ważności na poziomie tokenów destabilizują proces RL, porównaj GSPO z tym samym narzędziem oceny przy tym samym budżecie.
7. Przeprowadź destylację, gdy tego wymagają względy ekonomiczne. Przenieś obserwowalne zachowanie narzędzi do mniejszego lokalnego modelu studenta, wykorzystując wyniki nauczyciela oraz dane z polityki działania, a następnie powtórz testy na dokładnie skwantyzowanej wersji.
8. Ujawnij przepis. Zaznacz każdy składnik, sprawdzaj go przez 72 godziny, promuj tylko raz, gdy zarówno bezwzględne wartości, jak i względne zyski przekroczą określone progi, a w rejestrze audytowym pozostaw jeden celowo odrzucony przypadek.

W trakcie działania system nadal korzysta z aktualnego kwartału, schematu oraz uprawnień. Szkolenie poprawia jego funkcjonowanie w oparciu o te dane, nie czyniąc go ich właścicielem.

Drzewo awarii: gdzie idą nie tak dobre projekty szkoleniowe

Częstym problemem jest optymalizacja proxy, podczas gdy brakuje umowy z przedsiębiorstwem:

• Wysoka dokładność szkolenia może maskować zanieczyszczone wyniki oceny.
• Wygrane porównania preferencji mogą wynikać z dłuższych odpowiedzi lub wyciekłych cytatów.
• Krzywa nagród może odzwierciedlać wykorzystywanie nieuczciwych oceniaczy.
• Uczniowie przejmują niebezpieczne nawyki nauczyciela wraz z jego umiejętnościami.
• Adapter, który wygląda bez zarzutu, może ulec awarii w rzeczywiście wdrożonym środowisku kwantyzowanym.
• Procedura cofania może się nie powieść, jeśli przywróci wagi, ale pozostawi resztę składników w niezmienionym stanie.

Cel szkolenia potwierdza jedynie, że doszło do optymalizacji. Jedynym dowodem na poprawę systemu przedsiębiorstwa jest udokumentowanie tych zmian.

Proof of concept a adaptacja w środowisku przedsiębiorstwa

Pytanie, czy dana idea poprawia jakąś miarę efektywności, ma sens na poziomie proof of concept. W skali przedsiębiorstwa konieczne są dodatkowe dowody: prawidłowe dane, niezależna miara efektywności, poprawa, która przetrwała integrację, wyraźny efekt działania oraz możliwość cofnięcia zmian.

Najcenniejsze działania po szkoleniu to często nie nowsza funkcja straty, lecz inżynieria łącząca ścieżki danych, umowy nagród, możliwość powtórzenia eksperymentu, ocenę, identyfikację w rejestrze, wdrożenie, telemetrię oraz mechanizmy odwracania działań.

Dwanaście zasad pracy

1. Zmieniaj dane przechowywane w bazach, zachowując stabilne zachowanie w adapterach.
2. Wybieraj algorytm na podstawie nadzoru i umowy nagród, które faktycznie posiadasz.
3. Ustal stałe wersje modelu referencyjnego, narzędzi oceny, sędziego oraz polityki.
4. Dla SFT w formie czatu używaj funkcji straty przeznaczonej wyłącznie dla asystentów i sprawdzaj granice pakowania.
5. Wolą PEFT i traktuj pełne dopasowywanie modelu jako wyjątek wymagający pisemnego uzasadnienia.
6. Szkolenie z użyciem QLoRA nie oznacza dostarczania skwantyzowanego modelu.
7. DPO wymaga ustalonego modelu referencyjnego oraz wartości beta, a metody bez modelu referencyjnego nadal potrzebują bazowych wartości.
8. Przeprowadź testy jednostkowe każdej weryfikowalnej nagrody w odniesieniu do trajektorii przeciwników.
9. Wybierz DAPO lub GSPO, ponieważ zaistniała awaria uzasadnia to, a nie dlatego, że są nowsze.
10. Proces destylacji przenosi zarówno zachowanie, jak i tryby awarii, więc oceniaj model uczeń niezależnie.
11. Utrzymuj poziom zanieczyszczeń na zera w zestawach określających wersję do publikacji.
12. Zarejestruj pełny proces implementacji i przeprowadź ćwiczenia odwracania zmian przed promocją.

Umowy, a nie drabina

Adaptacja w przedsiębiorstwach to nie wspinaczka od SFT ku coraz modniejszym akronimom. To łańcuch umów.

Umowa dotycząca danych określa, czego mogą nauczyć przykłady, cel wskazuje optymalny sygnał, a środowisko wymienia możliwe działania. Ocena definiuje poprawę, rejestr zapisuje dokładnie to, co zostało stworzone, wdrożenie określa, jak dużym ryzykiem będzie narażona organizacja, a odwrócenie zmiany informuje, czy zmiana jest rzeczywiście odwracalna.

Gdy te umowy są prawidłowe, LoRA, DPO, GRPO, destylacja oraz wszelkie kolejne metody po szkoleniu stają się przydatnymi narzędziami inżynieryjnymi. Bez nich nawet piękna krzywa nagród to jedynie droższa demonstracja.