Dopracowanie modeli stało się tanie, ale agenci wciąż potrzebują mechanizmu do zarządzania wagami.
Jak przekształcić przechowywane lekcje agenta w wagi przy użyciu samodystylacji w ramach tej samej polityki, czterech kryteriów promocji oraz dlaczego powtórzenie pętli trzy razy ją niszczy.
Źródła: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.
Każdej nocy mózg w tle przeprowadza zadanie zbiorcze. Epizody z dnia znajdują się w hipokampie, a podczas snu są ponownie odtwarzane i selektywnie zapisywane w kórze mózgowej. Badacze obserwowali to odtwarzanie u szczurów kilka godzin po usunięciu labiryntu. Następnego ranka istnieją umiejętności, które zostały nabyte dopiero poprzedniego dnia, a same ćwiczenia nigdy nie są widoczne.
Andrej Karpathy już jakiś czas temu wskazał na brakującą fazę w tych systemach: brak etapu destylacji, brak snu. Po około osiemnastu miesiącach naukowcy zaczynają ją tworzyć. Artykuł z 2026 roku nosi nawet tytuł „Language Models Need Sleep” i opisuje proces łączenia pamięci modelu z nowo dodanymi wagami eksperta podczas specjalnej fazy snu.
Rozróżnienie pomiędzy fazą obserwacji a fazą snu przeszło więc z metafory na diagram architektury, co jest zarówno dobrą nowiną, jak i pułapką. Konsolidacja stała się na tyle tania, że można ją włączyć do harmonogramu, i dlatego ciekawe aspekty inżynieryjne przeniosły się gdzie indziej – do filtru, który wybiera z dziesięciu tysięcy tych nielicznych przypadków, które zasługują na uwzględnienie w wagach modelu.
Wynikają z tego cztery umiejętności. Po pierwsze, oddzielenie szybkiego pętla (kontekst, obsługiwany na żądanie) od wolnego pętla (wagi, zmieniane przy każdej wersji), przy czym każdy z nich ma swoją cenę. Po drugie, przekształcenie już działającego w produkcji agenta w uprzywilejowanego samouka, bez konieczności używania większego modelu. Po trzecie, ocenianie każdej lekcji według czterech kryteriów awansu, zanim dotknie jej jakikolwiek gradient. Po czwarte, wykrywanie błędów, które ukrywają dema jednorundowe, poprzez uruchomienie pętli trzy razy. Jedynym wymogiem wejścia jest posiadanie czegoś, co korzysta z API LLM.
Dwa pętle z różnymi zegarami
Pierwsza połowa historii opisuje agenta, który kończy zadanie i zapisuje to, czego się nauczył, w pliku tekstowym zawierającym lekcje, które są odtwarzane na początku każdego zapytania, dzięki czemu kolejna sesja rozpoczyna się od lepszej pozycji niż poprzednia. Druga połowa dotyczy konsolidacji: oddzielnego procesu offline, który odtwarza przechowywane ślady, określa, które z nich są wystarczająco stabilne i wartościowe do szkolenia, i zapisuje tylko te informacje do parametrów.
Badanie pamięci z 2026 roku nazwało ten proces cyklem Accumulate-Internalize. Najpierw informacje są wyraźnie gromadzone w pamięci i plikach z instrukcjami, gdzie lekcje można łatwo sprawdzić i edytować. Następnie stabilne informacje są integrowane z parametrami, dzięki czemu w czasie wykonywania zadań stają się szybkie, uniwersalne i nie wymagają dodatkowych kosztów. Mówiąc prościej, agent cały czas pracuje na podstawie notatek, a coś innego, później i oddzielnie, decyduje, które strony warto zapamiętać.
Proces nocny składa się z trzech kroków: odtwarzania, selekcji i destylacji. Tylko trzeci krok wymaga osądu i jest najważniejszy.
- Szybki zegar tyka w momencie żądania. Kontekst i pamięć dostosowują się do każdej rozmowy, a zmiany są odwracalne i niewielkie pod względem kosztów.
- Wolny zegar tyka w momencie publikacji. Proces konsolidacji aktualizuje wagi co kilka tygodni, po zaawansowanych procedurach i przy znacznych kosztach.
Dobre rozwiązania wykorzystują oba zegary i śledzą, która lekcja znajduje się gdzie. Złe rozwiązania albo w ogóle nie przesuwają wolnego zegara, przez co rosną koszty utrzymania kontekstu, albo łączą szybki zegar bezpośrednio z wagami, co prowadzi do wczesnego zatruwania danych.
Najlepszym nauczycielem jest sam agent, który posiada instrukcje postępowania
Klasyczna destylacja uczy studenta naśladowania wyników nauczyciela. Problem polega na tym, skąd pochodzą dane: student uczy się na dopracowanych ścieżkach nauczyciela i nigdy nie widzi chaotycznych stanów powstających w wyniku jego własnych błędów. Jego pierwszy błąd prowadzi go w miejsce, którego zbiór treningowy nigdy nie odwiedził.
Destylacja typu on-policy koryguje ten problem. Przykłady pochodzą z własnego zachowania studenta, a nauczyciel ocenia lub kieruje tymi danymi, dzięki czemu sygnał korekcyjny dotyczy rzeczywistej rozkładu błędów studenta. Jest to intensywna informacja zwrotna dotycząca własnych błędów, a nie pokaz sukcesów kogoś innego.
To, co czyni to praktycznym rozwiązaniem, to fakt, że nauczyciel nie musi być modelem o większych możliwościach. Może to być ten sam model z niesprawiedliwą przewagą: instrukcje w kontekście, wcześniej przetworzone lekcje oraz informacje o epizodzie, który już się zakończył. System badawczy o nazwie SEED opiera się dokładnie na tym podejściu. Przekształca ukończone ścieżki działania agenta w umiejętności opisane prostym językiem, a następnie włącza te wskazówki bezpośrednio do samej polityki, tak że podczas procesu inferencji nie ma potrzeby żadnych dodatkowych instrukcji ani wyszukiwania informacji w pamięci. Lekcja staje się w ten sposób zachowaniem agenta.
Wyobraź sobie nauczyciela jako ucznia niosącego plecak. Proces destylacji polega na usunięciu plecaka bez utraty tego, co się w nim znajdowało.
Mniejsza wersja tego rozwiązania mieści się w ciągu popołudnia. Wybierz pięćdziesiąt zadań, którymi agent już się zajmuje, zamroź instrukcje, aby przestały się zmieniać, i przygotuj obie strony tego procesu:
# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()
tries = [bare.run(t) for t in tasks]
Następnie niech ocena nauczyciela służy do oceny własnych prób ucznia, a następnie niech uczeń ćwiczy na tej podstawie. To właśnie jest cała procedura destylacji on-policy w kilku linijkach:
graded = [teach.grade(x) for x in tries]
finetune(bare, graded) # one round only
# now serve it with NO playbook
Podczas jednego testu przeprowadzonego w czerwcu na zestawie pięćdziesięciu zadań z kolejki obsługi, uczestnik bez żadnych wskazówek miał 61% poprawnych odpowiedzi, uczeń korzystający z przewodnika osiągnął 79%, natomiast model wdrożony bez żadnego przewodnika uzyskał 77% poprawnych odpowiedzi.
Szesnaście z osiemnastu punktów osiągniętych dzięki przewodnikowi utrzymało się, a liczba tokenów w każdej prośbie spadła z 4 270 do 910. Torba z narzędziami zostaje zdjęta, a umowa dzierżawy przekształca się w własność. Pierwszy próbny wykonywanie zadań sprawia wrażenie, że problem został rozwiązany.
Gradient to zobowiązanie
Przemysł opierał się aktualizacjom wag przez około trzy lata, a ten opór był uzasadniony. Kontekst można zmodyfikować, przebadać i usunąć w ciągu popołudnia. Aktualizacja wag jest nieprzejrzysta, skomplikowana i można ją cofnąć jedynie poprzez powrót do konkretnego punktu kontrolnego, co oznacza utratę wszystkiego, czego model nauczył się od tamtego momentu.
Katastrofalne zapominanie to klasyczny przykład tego ryzyka: regresy w możliwościach, których nikt nie mierzył, odkrywane później przez klienta. Dopasowanie bezpieczeństwa wymaga również ponownej weryfikacji po każdej aktualizacji, ponieważ właściwości potwierdzone w modelu bazowym nie przechodzą automatycznie na wersję dostosowaną.
Przydatnym porównaniem jest gałąź funkcjonalna łącząca się z główną, gdzie obowiązują zasady powtarzania, przeglądu, śledzenia pochodzenia oraz możliwości cofnięcia zmian. Porównanie to ma jednak jeden istotny mankament – cofanie zmian w git jest precyzyjne, natomiast cofanie wag odbywa się albo w całości, albo wcale, więc jeden błędny merge niszczy wszystko, co trafiło po konkretnym punkcie kontrolnym.
Cztery kryteria decydują o tym, co zostaje przyjęte:
- Lekcja powtarzała się w wystarczającej liczbie różnych przypadków, by wyglądać jak wzorzec, a nie przypadek.
- Pojawiała się w dokumencie instruktażowym bez żadnych sprzeczności.
- Pokazuje zmierzoną wartość eliminacji luki w porównaniu z bazą, która rzeczywiście została przetestowana.
- Ma przejrzysty ślad pochodzenia, dzięki czemu można nazwać elementy, które ją stworzyły.
Wszystko, co nie przechodzi tych sprawdzeń, pozostaje w kontekście, gdzie błąd skutkuje kosztem w postaci tokenów, a nie przestojem w procesie. Z reguły wagi przechowują resztki, a kontekst – zmiany.
Cztery bramy działają sekwencyjnie, a ta sekwencja jest częścią projektu: lekcja, która nie przechodzi pierwszej bramy, nigdy nie trafia do oceny przy czwartej. Brama, która promuje więcej niż niewielką liczbę kandydatów, nie jest prawdziwą bramą.
Zgodnie z badaniem przeprowadzonym w czerwcu 2026 roku na temat agentów samodoskonalących się, decyzja leży w uprzęży, a nie w modelu. To uprząż wybiera ślady wartych przekształcenia w sygnały treningowe, wyodrębnia z nich elementy nadzoru, zachowuje warunki, w których były one ważne, oraz ocenia, czy dany doświadczenie nadaje się w ogóle do uczenia się poprzez modyfikację parametrów.
Gdy istnieją dwie drogi postępowania, coś powyżej nich musi wybrać, który proces doskonalenia ma zostać uruchomiony, w którym momencie i w ramach jakiego budżetu, uwzględniając również limity dowodowe i zasady cofania. To warstwa kontrolna jest rzeczywistym produktem końcowym. Wybierając, najpierw przeczytaj kolumnę z informacjami o cofaniu, ponieważ drogi, które można odwołać jedną linijką tekstu, zasługują na około dziewięć z dziesięciu wyborów.
Pierwsza runda działa; trzecia się psuje
Ciężki wynik powinien spowolnić wszystkich. Artykuł „Rethinking Continual Experience Internalization” pokazuje, że jedna sesja przekształcania doświadczeń w wagi daje dobre rezultaty, natomiast powtarzanie tego samorozwijającego się cyklu powoduje spadek wydajności.
Autorzy przypisują ten spadek trzem czynnikom: sposobowi reprezentacji doświadczeń, sposobowi, w jaki ta reprezentacja kształtuje to, nad czym nadzoruje „nauczyciel”, oraz rozkładowi trajektorii, które umożliwiają przenoszenie wiedzy. Sukces w jednej sesji był jedynie demonstracją. Rzeczywistym wymogiem jest utrzymanie stabilności na przestrzeni kolejnych sesji, a nikt jeszcze tego nie rozwiązał.
Wcześniejsze testy w kolejce wsparcia potoczyły się dokładnie tak, jak przewidywał artykuł. W drugiej rundzie wynik wyniósł 74%, co jest nieco poniżej 77% z pierwszej rundy, co łatwo można było uznać za błąd. W trzeciej rundzie wynik spadł do 58%, poniżej poziomu początkowego grupy studentów, z którą rozpoczęto eksperyment, a model nieznacznie pogorszył swoje wyniki w dwóch kategoriach zgłoszeń, które nie znalazły się w zestawie oceny. Należy pamiętać o różnicy między pierwszą a trzecią rundą, ponieważ tylko pierwsza trafia do większości opisów.
Istnieje druga granica. Agentic RL oznacza zastosowanie uczenia się wzmacniającego do całych, wieloetapowych sekwencji działań agenta, przy czym nagrody pochodzą z wyników, które maszyna może sprawdzić. Jest to korzystne tam, gdzie sprawdzanie jest tanie, np. w przypadku kodu, matematyki i strukturyzowanych zadań. Najcenniejsze zadania agentów w świecie rzeczywistym dostarczają słabych, późnych lub łatwych do wykorzystania sygnałów. Artykuł „Early Experience” mówi o tym otwarcie: wiele rzeczywistych środowisk nie ma weryfikowalnych nagród, a te, które je mają, często wymagają długotrwałych i kosztownych testów. Rozwiązaniem jest uczenie się na podstawie własnych wczesnych interakcji agenta bez żadnej zewnętrznej nagrody, traktując konsekwencje działań jako formę nadzoru.
Własność również wiąże się z dodatkowymi kosztami. Każda z połączonych wersji staje się odrębnym produktem, wymagającym zestawu testów regresji, nowej oceny bezpieczeństwa oraz własnego slotu do obsługi, a liczba wersji dla poszczególnych użytkowników pomnaża całą tę listę przez liczbę klientów.
Realistyczny pogląd na połowę 2026 roku: uczenie się oparte na parametrach wszedło już w wczesną fazę produkcji w przypadku agentów zajmujących się programowaniem i używaniem narzędzi, których nagrody można sprawdzić, natomiast pozostaje na poziomie badawczym tam, gdzie nagrody są niejasne. Strona przedstawiająca kontekst przedstawia uzasadnione zarzuty. Gdy lekcja pasuje do zestawu instrukcji i funkcji wyszukiwania, włączenie jej do wag przyspiesza pracę i poprawia jakość, ale kosztem możliwości audytu, a dla wielu produktów jest to słaba zamiana.
Zbuduj bramkę przed jej koniecznością
Zamrożony model pozostaje świadomym wyborem projektowym, z jedną wadą. Obecne modele na najwyższym poziomie są same trenowane jako agenci, poprzez uczenie się wzmacniające w środowiskach wykonywalnych, skupiające się na długoterminowym używaniu narzędzi. Zamrożony artefakt dostępny przez API jest coraz częściej wynikiem tych samych procesów, o których mowa, więc era doświadczenia pojawia się najpierw poprzez zmianę w sposobie tworzenia podstawowych modeli.
Pierwszym praktycznym krokiem jest właściwe wyposażenie pętli akumulacji w odpowiednie narzędzia. Następnie warto przeprowadzić tani audyt: otwórz plan działania z zeszłego miesiąca i zlicz wpisy, które pojawiły się w pięciu lub więcej odrębnych przypadkach bez żadnych sprzeczności. Taka analiza przekształciła czterdzieści trzy wpisy w sześć kandydatów, z których tylko jeden otrzymał zatwierdzenie.
Ten pojedynczy wpis stanowi pierwszy gradient. Reszta to błędy, które powinny pozostać w kontekście, gdzie błąd kosztuje tokeny, a nie punkt kontrolny. Pytanie, które należy sobie postawić: która lekcja z planu działania występowała wystarczająco często i bez sprzeczności, by można ją było zatwierdzić do użycia?
Literatura pokrewna
- Wybór ram roboczych dla agentów w zależności od charakteru zadań: sześć wymiarów i ścieżka decyzyjna — Wybierz LangGraph, CrewAI, AutoGen, Temporal lub nic wcale, testując sześć wymiarów zadań: determinizm, czas trwania, idempotencja, ślad audytowy, szybkość pracy zespołu oraz koszt każdej decyzji.
- Wiele rąk, jeden pióro: siedem zasad orkiestracji agentów AI — Kiedy proces pracy jest lepszy od agenta, dlaczego orkiestratorzy nie powinni posiadać narzędzi, jak zapisywać wyniki działania podagentów i warunki zakończenia, wraz z przykładami w Pythonie dla każdej z tych zasad.