Drobne dostosowanie modelu agentywnego: szkolenie wiki wiedzy zamiast wag modelu.

Wiedza, której firma posiada, ale do której nie ma dostępu

Załóżmy, że producent maszyn ma około 900 raportów serwisowych. Ta masa dokumentów skrywa odpowiedzi na pytania o ogromnej wartości: które serie maszyn najczęściej ulegają awarii i z jakiego powodu, które naprawy są skuteczne, a co psuje się podczas instalacji zimą, ale nigdy latem.

A tu jest problem: nikt nie może przekazać tych odpowiedzi. Kilku doświadczonych pracowników pamięta fragmenty informacji, ale żaden dokument nie zawiera wszystkiego w pełni. Przeczytanie wszystkich 900 raportów jest poza możliwościami jednej osoby. Dlatego ta wiedza pozostaje wewnątrz firmy, a ona nadal nie może do niej dotrzeć. Prawie każda organizacja powyżej określonego wieku żyje z tym problemem, a większość dzisiejszych projektów opartych na sztucznej inteligencji go ignoruje.

Czego naprawdę chcą firmy

Firmy nie chcą przeszukiwać swoich danych, ponieważ funkcja Ctrl+F od dawna rozwiązała problem wyszukiwania. Chcą uzyskać wiedzę. Porównaj wersje pytań służące do wyszukiwania z wersjami edukacyjnymi:

• Pytanie służące do wyszukiwania pyta o to, co mówi protokół testowy 214. Pytanie edukacyjne pyta o to, jak konkretna mieszanka zachowuje się podczas zimnych betonowania na podstawie piętnastu lat raportów testowych.
• Pytanie służące do wyszukiwania prosi o dokument patentowy z konkretnego przypadku. Pytanie edukacyjne pyta o to, jak naprawdę przebiega proces składania wniosków, jakie zastrzeżenia się powtarzają i co powoduje odrzucenie wniosku od razu.
• Pytanie służące do wyszukiwania prosi o informacje dotyczące numeru biletu 8812. Pytanie edukacyjne pyta o to, co robią najbardziej doświadczeni pracownicy obsługi klienta, gdy maszyna awariuje dwa razy w miesiącu, oraz co obiecują klientowi.

Wiedza ta ma swoją wartość, ale zachowuje się okrutnie: istnieje jedynie w postaci fragmentów i nigdy nie pozostaje w jednym miejscu. Nic na papierze jej nie utrzymuje. Pojawia się pomiędzy dokumentami, jako wzorce przenikające setki raportów, jako proces kształtujący się na podstawie trzystu przypadków, jako zasada, którą dwóch wyższych rangą pracowników ma w pamięci. Gdy ci dwaj odejdą, to pamięć firmy wychodzi za drzwi, a nie tylko dwóch pracowników.

Dlaczego „rozmowa z dokumentami” nie wystarcza

Zwykłym rozwiązaniem w tej branży jest włączanie wszystkiego, pobieranie najbliższych fragmentów i generowanie tekstu na ich podstawie. Dla zapytań typu wyszukiwanie to działa dobrze, i nie jest to atak na RAG. Mimo to system przywraca tylko to, co ktoś zapisał. Gdy postawimy pytanie edukacyjne, na przykład o to, która seria zawodzi najczęściej i dlaczego, system pobiera trzy fragmenty z trzech raportów, następnie improwizuje na miejscu wiarygodnie brzmiącą syntezę, a następnym razem zupełnie inną. Nikt nie wyodrębnił informacji potrzebnych do nauki, ich nie sprawdził ani nie nadał im stabilnej formy. Zamiast wyszukiwać wiedzę, system odtwarza ją dla każdego pytania, i to w kiepski sposób.

Sama masa danych jest również chaotyczna – zawiera sprzeczne wersje zasad, przestarzałe specyfikacje oraz błędy przenoszone dalej. Każdy system, który czyta te surowe dane, odziedzicza te wady. Wyobraźmy sobie dwa pliki PDF: jeden obiecuje 12 miesięcy gwarancji, a drugi 24. Oba są pobierane, a odpowiedź staje się kwestią losu.

Nawet jednorazowa synteza dokonana przez człowieka, czy to raport konsultanta, czy streszczenie na wiki przygotowane przez stażystę, napotyka dwa kluczowe pytania. Skąd ktoś wie, że jest to poprawne, i skąd ktoś wie, że jest to kompletny? Nie ma żadnej prawdy podstawowej, żadnego testu ani definicji ukończenia pracy, więc dokument zaczyna się cicho niszczyć już w dniu ukończenia.

Zatem prawdziwy problem leży gdzie indziej niż w wydobywaniu informacji. Chodzi o przekształcenie ogromnych ilości danych w wiedzę, na którą ludzie mogą polegać, oraz o utrzymanie tej wiedzy w prawidłowości z upływem czasu. Ujęte w jedno zdanie: wydobywanie diamentów z kopalni węgla. Są tam, ale ręczne przesiewanie węgla nie przemawia do nikogo.

Dlaczego drobna optymalizacja modelu zawodzi

Finetuning to naturalny instynkt, który wydaje się słuszny z konkretnego powodu. Jest to prawdziwe, tradycyjne uczenie maszynowe: dane, etykiety, funkcja straty, aktualizacje wag oraz zbiór testowy, którego model nigdy nie widział. To właśnie ten rygor brakuje w świecie dokumentów i czatów.

Jednak zmienia to niewłaściwą warstwę. Wagi są nieprzejrzyste. Gdy odpowiedź generowana „na zimno” jest błędna, nie ma żadnego neuronu w odległości czterech milionów, który mógłby ją naprawić. Wszystko, czego model się nauczył, zamarza w momencie treningu i starzeje się wraz z kolejną falą raportów, a każde odświeżenie wymaga kolejnego treningu, oceny i wdrożenia. Finetuning ma również złą reputację, jeśli chodzi o naukę umiejętności i stylu przy jednoczesnym niepewnym przechowywaniu faktów. Krótko mówiąc, poprawny cykl jest zastosowany do niewłaściwego obiektu.

Uruchamianie cyklu o jedną warstwę wyżej

Propozycja polega na zachowaniu całego standardowego cyklu szkolenia ML i uruchomieniu go na wyższym poziomie, w oparciu o wiedzę zamiast wag. Nazywa się to Agentic Finetuning.

To odniesienie jest strukturalne, a nie poetyckie: każda część standardowego cyklu szkolenia ma bezpośrednie odpowiedniki, a tym, co jest szkolone, jest wiedza.

Obiektem treningu jest wiki – zbiór czytelnych stron zawierających wydobyte informacje, przy czym każde twierdzenie jest powiązane ze swoimi źródłami. Jedna strona może dotyczyć zachowania przy chłodnym wlewie, a inna tego, jak faktycznie przebiega proces formowania. Człowiek może otworzyć takie strony i z nimi dyskutować. Agent na górnym poziomie pozostaje celowo prosty – czyta tylko wiki i nic więcej, więc cała inteligencja tkwi w tym, co zawiera wiki. Błędna odpowiedź jest korygowana poprzez naprawę wiedzy, tak jak backprop koryguje wagи, a nigdy poprzez drobne modyfikacje promptu i nadzieję.

Czytaj diagram jako jedną rundę w pętli: najpierw głębokie przetwarzanie danych, następnie benchmark wyciągnięty z surowych danych, dostosowywania aż do ustabilizowania wyników, a na końcu tajemnicze pytania, których żaden wcześniejszy krok nie dotyka.

Krok 1: wyeksportowanie plus cel

Wszystko jest przesyłane niesortowane, wraz z odpowiedzią na niedoceniane pytanie: co należy się z tego nauczyć? Przykładami mogą być zachowanie materiałów lub rzeczywisty przebieg procesów. Określony cel skierowuje przetwarzanie na pozyskiwanie wiedzy, a nie na tworzenie streszczeń.

Krok 2: głębokie przetwarzanie, wiki v0

Następnie cała masa dokumentów jest starannie przetwarzana, dokument po dokumencie i region po regionie, na taką głębokość, jaką wymaga cel. To kosztowny etap, który odbywa się tylko raz. Głębokość ma znaczenie już na początku z określonego powodu. Gdyby pojawiła się tylko w miejscach, na które później wskazałby benchmark, wiki przybrałoby wtedy kształt wynikający z tego testu, a wiedza zostałaby dostosowana do egzaminu, a nie do danych. Przetwarzanie najpierw na większej głębokości pozwala samej masie dokumentów określić ich kompletność, dzięki czemu rola benchmarku ogranicza się do weryfikacji i korygowania błędów.

Wynalezione po drodze sprzeczności, takie jak para gwarancji 12 przeciwko 24 miesiącom, trafiają do kolejki do przetworzenia przez człowieka. Nie blokują one procesu przetwarzania i są rozstrzygane na końcu, ponieważ żaden model nie wie, który plik PDF jest przestarzały.

Krok 3: benchmark tworzony na podstawie danych, nigdy na podstawie wiki

Ludzie zazwyczaj najpierw na tym się pogubiają. Jeśli pytania testowe pochodzą z wiki, to wszystko, czego brakuje w wiki, nie ma pytania sprawdzającego to zagadnienie, więc ten „ślepy punkt” tworzy własny test i go zdaje. Dlatego pytania wymagają trzech innych źródeł: surowych dokumentów (co czytelnik powinien wynieść z tego raportu?), deklarowanego celu (pytania łączące różne dokumenty dotyczące trendów, przyczyn i procesów) oraz osób zaangażowanych (co faktycznie jest im zadawane). Następnie zestaw ten dzieli się – 75 procent służy do szkolenia, a 25 procent jest przechowywanych jako tajne pytania o takim samym rozkładzie tematów, bez powtórzeń w innej formie i bez możliwości ich przeglądania przez kogokolwiek. Nauczanie w oparciu wyłącznie o test pozbawiłoby go sensu.

Krok 4: odpowiedź, ocena, diagnoza, przepisanie

Każda błędna odpowiedź ma swoją podstawową przyczynę, a każda z tych przyczyn ma swój własny ścieżkę rozwiązania:

• Jeśli w danych istnieje informacja potrzebna do nauki, a wiki ją przeoczyło, należy ponownie przeszukać tę obszar, tym razem dokładniej.
• Jeśli takiej informacji nigdzie nie ma, należy zapytać człowieka i pod żadnym pozorem nie wymyślać odpowiedzi.
• Jeśli dwie źródła są sprzeczne, należy ujawnić ten konflikt.
• Jeśli sama pytanie jest błędne, należy je poprawić i nie ingerować dalej w proces.

Jedna zasada przewyższa wszystkie pozostałe: odpowiedź na pytanie nigdy nie jest kopiowana do wiki. Wskaźniki pokazują, gdzie należy dalej szukać, dokumenty decydują o tym, co zostanie zapisane, a to, co zostanie zapisane, muszą być ogólne strony, których może użyć każde późniejsze pytanie. Jeśli ta zasada zostanie złamana, wiki zamienia się w arkusz odpowiedzi, a nikt tego nie zauważy.

Krok 5: sprawdzenie uczciwości

Gdy wyniki treningowe przestają rosnąć, pytania tajne są wykorzystywane tylko raz. Jeśli wyniki treningowe i pytania tajne są blisko siebie, wiki rzeczywiście zawiera pozyskane informacje i można je certyfikować, wersjonować oraz dostarczać z podanymi ograniczeniami na pudełku. Jeśli są od siebie daleko, to co zostało stworzone, to nic wartościowego. Wtedy egzamin jest odnowiany: usuwane są pytania już użyte, a nowe tworzone są na podstawie zbioru danych z nowymi sformułowaniami i przykładami; nowy, zamknięty zestaw jest przechowywany, a proces optymalizacji kontynuowany. Ponieważ wiki skłaniała się ku starym pytaniom, późniejsze rundy obejmują zadania, których wcześniej nie widziała. Spadek z 95 punktów w treningach do 71 w pytaniach tajnych jest problematyczny, chociaż ten sam problem nadprzystosowania pojawiłby się w każdym notatniku Kaggle z 2019 roku. Stare lekcje nadal się przydają – to właśnie jest cała idea.

Proces produkcji dostarcza wtedy niekończący się zbiór testów. Pytanie, które agent obsłuży nieprawidłowo, staje się zarówno poprawką w wiki, jak i nowym wpisem do bazy benchmarków, a świeże raporty uruchamiają ponownie ten cykl. Ostatecznie firma posiada żywą, sprawdzoną bazę danych, która przetrwa nawet zmiany personelu.

Cała metoda mieści się w jednym zdaniu:

Benchmaki wskazują, gdzie szukać, dane mówią, co zapisać, a tajny zbiór informacji podaje, kiedy przestać.

Gdzie się sprawdza

Metoda ta nadaje się dla organizacji, których wartość tkwi w ograniczonych zasobach, które posiadają. Nadają się do niej firmy inżynieryjne i zajmujące się materiałami, posiadające dziesięciolecia raportów i protokołów testowych, a także kancelarie prawne i zajmujące się własnością intelektualną, gdzie rzeczywisty proces przebiega w setkach spraw. Nadają się również producenci z instrukcjami i historiami serwisowymi, a także zespoły wsparcia przechowujące lata rozmów – ich benchmark jest praktycznie gotowy do wyeksportowania.

Kupujący, którzy żądają dowodów, również odnoszą korzyści, ponieważ certyfikat z wynikami testów na pytania poufne ma większą wagę niż twierdzenie, że produkt korzysta z najnowszej wersji modelu.

Dwa efekty uboczne stają się samymi produktami. Oczyszczone wiki stanowią doskonały materiał wprowadzający, ponieważ nowi użytkownicy mogą bezpośrednio zapoznać się z informacjami. A ustalenia audytu, według których dwie polityki są ze sobą sprzeczne, podczas gdy pracownicy działają improwizacyjnie, to właśnie to badacze kosztują firmy wysokie opłaty za odkrycie. Ten cykl sam to ujawnia w trakcie procesu.

Ograniczenia

Metoda zyskuje zaufanie dzięki znajomości swoich ograniczeń, a oto one:

• Umiejętności, styl i ton są poza zakresem tej metody. Jeśli model nie potrafi rozumować lub pisać w sposób wymagany przez zadanie, to już jest obszarą rzeczywistego dopracowywania modelu. Agentic Finetuning dostosowuje to, co agent wie, a nie to, co potrafi robić.

Wiedza o świecie wykracza poza zakres. Opanowuje ona tylko zbiór danych jednej organizacji i nie czyni agenta mądrzejszym w kwestii betonu w ogóle, a jedynie dotyczącym betonu tej konkretnej firmy.

Wartości zmieniające się co godzinę nie pasują. Ceny w czasie rzeczywistym wymagają bieżącego wyszukiwania, a nie strony wiki. Jeśli zostaną one włączone bezpośrednio, rezultatem będzie pięknie sformułowana kłamstwo.

Wiedza bez arbitrażu pozostaje nierozwiązana. Sprzeczności pojawiają się w wyniku pętli, a osoba znająca prawdę musi je rozwiązać. Gdy organizacja naprawdę nie może określić, czy jej gwarancja trwa 12 czy 24 miesiące, żadna technika tego nie rozstrzyga, chociaż audyt rejestrujący spór ma wartość sam w sobie.

Mali zbiory danych nie usprawiedliwiają tego podejścia. Przy dwudziestu dokumentach ręczne tworzenie strony wiki zajmuje popołudnie. Pętla okazuje się opłacalna, gdy żaden człowiek nie jest w stanie zapamiętać całego zbioru danych.

Podejmowanie działań to zupełnie inny problem. Ta metoda polega na odpowiadaniu w oparciu o wiedzę. Wypłacanie zwrotów to zupełnie inny problem związany z bezpieczeństwem, a każdy, kto oferuje obie usługi jednocześnie, zasługuje na podejrzenie.

Nudne elementy, prawdziwa przewaga

To wszystko nie stanowi przełomu w badaniach. Zbiory testowe są stare, narzędzia do oceny modeli LLM to standardowa praktyka, a wydobywanie wiedzy to ugruntowana dziedzina. Przewagą jest to, że prawie nikt nie zajmuje się tymi nudnymi aspektami. Zespoły porównują modele, podczas gdy informacje naprawdę ważne leżą nieprzeczytane w folderze o nazwie FINAL_v2_old_DO_NOT_DELETE.

Modele same się udoskonalają, ale wnioski z danych firmy same się nie wydobyją. Tym, co warto trenować, jest to, co faktycznie należy do samej firmy.

Pozycje pokrewne

• Tradycyjna AI, AI generatywna i AI agencyjna: w czym się różnią — Przewidywanie, tworzenie, działanie: prosty porównanie tradycyjnej, generatywnej i agencyjnej AI w języku zrozumiałym dla laików, ze przykładami z zakresu wsparcia, nauki o danych i rekrutacji oraz wskazówkami, kiedy używać każdej z nich.
• Analityka agencyjna w praktyce: Slackbot, warstwa semantyczna oraz opcja zakupu vs samodzielna budowa — Opis praktyk naukowca danych dotyczący tworzenia Slackbotu umożliwiającego komunikację z danymi, wdrażania go, skalowania warstwy semantycznej, zakupu rozwiązania Omni oraz powodów, dla których ważne były adopcja i odpowiednie umiejętności.