Файнцюнінг патаннеў, але агентам усё роўна патрэбны фільтр для вагаў
Як ператварыць захаваныя ўрокі агента ў вагі праз on-policy самадыстыляцыю, чатыры крытэрыі павышэння і чаму трохразовы паўтор цыкла яго ламае.
Крыніцы: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.
Кожныя ночы мозг тыха працуе над пакетным задачэм. Эпізоды, якія з’явіліся за дзень, залягаюць у гіпокампе, і пад час сну яны перэглядаюцца і выборча запісваюцца ў кору галавного мозга. Научнікі спостараліся за гэтым працэсам у ўсачоў, чырвоныя гадзіны пасля таго, як іх пазбавілі лабірынта. Наступны ранак яны бачылі навыкі, якія былі «позычаны» толькі перад тым, а сам працэс навчання ніколі не спостараліся.
Андрэй Карпаты ўжо давно атрымуў увагу на відсутную фазу ў агентах: няма кроку перакапалення, няма сну. Праз апошніяўшыся адзіннаццаць месцацоў галузь пачала ствараць такую фазу. У стацыянцы 2026 года нават была падана стацыянцы пад назвай «Мадэлі мовы патрабуюць сну», у якой опісваецца, як пад час спецыяльнай фазы сну запісваюцься памяці мадэлі ў новаадданыя параметры эксперта.
Такім чынам, разлік межы працы і сну перайшаў з метафары ў дыяграму архітэктуры, што ў той жыткі ёсць і хорашая новіна, і пастка. Консалідацыя стала настолькі дышэўнаю, што ёе можна запланаваць, і самэ гэта прычына таго, што цікавая інжынерыя перайшла в іншыя направленні — да фільтра, які выбірае з дзесяці тысяч урокаў тыя калькі, якія заслуговуюць на тое, каб быць уключанымі ў вагі.
Звідсіля выліваюцца чатыры навыкі. Першы: роздзелення швайнага цыклу (кантэкст, обрабатваны за кожны запіт) ад медзвянага цыклу (вагі, зміненыя з кожнай версіяю), пры чым кожны з іх мае свою цэну. Другі: ператворэнне агента, які ужо працуе ў працэйнай асяроддзі, у прывілейаванага самоучыцу, без патрэбы ў большай модэлі. Трэці: оцэнка кожнага урока за чатырма крытэрыямі просування пры тым, як яшчэ не застосоўваецца градыент. Чатырты: выяўленне неудач, якія хаваюцься пад час дэманстрацый адзінага раунду, праз запуск цыклу тры разы. Џедыныя вакументы для удзеле — наявнасць продукту, які выкарыстоўвае API LLM.
Два цыклы з разнымі таймерамі
Першая частка історыя — гэта календар, які выкананае заведама і заносіць тое, што ён вывучыў, у файл з простым тэкстам, які чытаецца на пачатку кожнага запіту, тады наступны запуск пачынаецца з больш высокага рывка, чым пярэдні. Другая частка — гэта консалідацыя: аддзельны офлайн-процэс, які перэглядае зберажаныя даны, выбірае тыя, якія ўстойчывыя і достатна ценныя для навчання, і запісвае толькі гэтыя даны ў параметры.
У даследжэнні памяці 2026 года гэты парацэс называецца цыклам «Акумуляцыя-Інтэрналізацыя». Спачатку даны акумулююцца ў памяці і файлах з інструкцыямі, дзе урок можна лёгкаа пераглядаць і рэдагаваць. Потым устойчывыя залішкі даных інтэрналізуюцца ў параметры, дзе ў час аналізу яны стаюць шырокімі, універсальнымі і безкоштовнымі для выкарыстоўвання. Проста кажучы, календар працуе цэлы дзень з блокнота, а ўсё іншае, пазней і окрэма, выбірае, якія сторункі варта запам’ятаваць.
Ночны ўрадок складаецца з трохо крокаў: перагляд, выбір, адсаўканне. Толькі срэдні крок выклікае неабходнасць прыняць рашэнне, і самэ гэтае рашэнне мае найбольша значыць.
- Шырокі гадзіннік стрэлківае ў момент запіту. Кантэкст і памяць прыстосоўваюцца па кожнай размове, а змяны ўсё можна адвярнуць і гэта не коштае многа.
- Павольны гадзіннік стрэлківае ў момент выпуску. Прыкрэпленне апдэйтавае вагі кожныя калькі недзеў, праз спецыяльны механізм і за рэальныя зусіллі.
Хорашыя сістэмы выкарыстоўваюць оба гадзіннікі і сочаць за тым, якая «урок» знаходзіцца дзе. Некалічныя сістэмы альбо ніколі не прыступаюць да руху павольнага гадзінніка і плацяць усё большыя зусіллі за кантэкст, альбо падключаюць шырокі гадзіннік безпосерэдна да вагоў, чым прычыняюць раннюе занятасце вадамі.
Найлепшы вучыльнік — гэта сам агент, які мае інструкцыі
Класычныя методы дыстыляцыі навучаюць студэнта імітаваць рэзультаты працы вучыльніка. Але проблема крыўціцца ў тым, звядзе камплекты дадзеных: студэнт вучыцца на адгэтаваных шляхах вучыльніка і ніколі не бачыць хаотычных станоў, якія ствараюць яго сабеўласныя памылкі. Яго першы неправільны крок ведае туды, куды ніколі не заходзіў камплект дадзеных для трэніравання.
Методы дыстыляцыі на основе сэрвісу корэктуюць гэты падход. Абразкі дадзеных беруцца з сабеўласнага поведэння студэнта, а вучыльнік оцэнюе чы ўказвае напрамак гэтым дадзеным, такім чынам сігнал корэкцыі падае на распад памылак, якія насправды ёсць у студэнта. Гэта інтэнсыўныя адзывы пра сабеўласныя памылкі, а не показачык успехоў каго-небудзь іншага.
Тое, што робіць гэта практычным, — гэта тое, што вучыльнік не павінен быць большой мадэллю. Цэю можа быць тая ж самая мадэль з несправедлівай перадбачальнай перадбанасцю: інструкцыі ў кантэксце, вучыльныя матэрыялы, якія ужо булі выкарыстоўваны, і інформацыя пра тое, што вяршылася. Сістэма доследжэння пад назвай SEED працюе самэ пра гэта. Яна ператварае завершаныя траекторыі агента на навыкі, напісаныя простай мовай, а потым включае гэтыя навыкі ў саму політыку, не залішаючы жадных падказак або запытанняў да памяці пад час вырахункаў. Вучыльны матэрыял стае самым паведаннем.
Уявіце сабе вучыльніка як учня, які носіць рукзак. Процэс дыстыляцыі — цэе процэс адключэння рукзака без втраты таго, што было ў яму.
Малая версія можа быць завершана за адні полудзень. Выберыце пяцьдзесят задач, якія агент ужо віконвае, заморозьце інструкцыі, каб яны больш не змяніліся, і наладзіце обе стороны:
# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()
tries = [bare.run(t) for t in tasks]
Потым нехай вучыльнік оцаніць власныя спробы учня і на адной гэтай падставе ведаць яго. Гэта ўсё, што ўключае працэс дыстыляціі на адной поліцы, у калькі лініях:
graded = [teach.grade(x) for x in tries]
finetune(bare, graded) # one round only
# now serve it with NO playbook
У ходзе працы выдаюцься тры цыфры, якія варта запісаць. У аднай з пробаў у чырвені на частцы з пяцдзiesцю заданнямі з лісты чакання, студэнт без дапаможных матэрыялаў атрымаў 61% правільных адказаў, студэнт, які выкарыстоўваў інструкцыю, — 79%, а мадэль, якая працавала без жадных інструкцый, — 77%.
Шысцьце з адзіннадцатых пунктав, якія дала інструкцыя, засталіся актуальнымі, а кожны запіт зменіўся з 4,270 токенав на 910. Роль дапаможных матэрыялаў заканчылася, а прыемнае власнасць ператварылася на абсалютную. Першы запуск стварыў вражанне, што проблема рашана.
Градыент — гэта абавязак
Індастрыя протыявала апдэйтам ваг прыблізна тры гады, і гэты протыявор быў рашытны. Кантэкст можна змініць, пераглянуць і удаліць за аднаго дня. Апдэйт ваг ёсць незрозумілым, складным у кераванні, і яго можна скасаваць толькі праз вярненне да пункта контролю, што ведае про відмову ад усьго, што мадэль навучылася пасля таго моменту.
Катастрофічна забывчыца — гэта класычны прыклад такога рызыку: зніжэнне спроможнасцяў, якія ніхто не мерыў, а якія пазней выявляе кліент. Таксама пасля кожнай апдэйту неабходна паўтарна перапрацоўка супараднення з безпекай, адтолькі ўсе характэрыстыкі, падтверджаныя у базовай модэлі, не пераходзяць аўтаматычна ў модэль пасля дакладнай налаштовкі.
Корыстным адносам для параджання ёсць ветка з фічамі, якая прыўязываецца да галоўнай, дзе прымаюць удзел практыка павтарэння, перагляд, вядомасці пра паходжэнне і можласць адкатування. Аднак гэты аднос мае адну дорогую слабасць: адкатування ў git адбываецца чыста і точна, тады як адкатування ваг у модэлі — гэта або ўсё, або нічога, таму адна неправільная злучэння ведае пра пазбавленне усяго, што было дадана пасля пункту контролю.
Чатыры крэтэрыяя вялікія, калі людзі заканчываюць навчанне:
- Урок павтарыўся ў достатнім колі разнае падзеяў, каб выглядаў як патэрн, а не як віпадак.
- Ён застаўся ў кансэпцыі навчання, не будучы ніколі заперачаным.
Усё, што не праходзіць гэтыя перакананні, застаецца ў кантэксце, дзе памылка коштае плата за токены, а не пастановку контроля. Як правіло, вагі зберагаюць залішак, а кантэкст — змяну.
Чатыры контрольныя точкі працуюць па адной лініі, і гэтая лінія ёсць часткай дызайну: урок, які не праходзіць першую контрольную точку, ніколі не выкарыстоўваецца для перагляду ў чатырохкі.
За рэзультатамы апыткі, адбытайных у чэрвені 2026 года над агентамі, якія самастаўляюць ся, рашэнне знаходзіцца ў канструкцыі, а не ў самай модэлі. Якраз канструкцыя выбірае тыя даны, якія варта ператворыць у сігналы для навчання, выдэляе з іх элементы нагляду, сохраняе умовы, пад якімі яны былі актуальныя, і адначасова ацэнюе, чы рэальна даная практыка падходзіць для навчання параметраў.
Калі існуе два варыянты, якісьці вышэй за імі павінны выбраць, які працэс паспрабоўкі запускаць, у які момент і ў межах якога бюджэту, а таксама ў межах установленых практык анулювання і вярнення да пачатковага стану. Гэты кантрольны слой і ёсць справжнім рэзультатам. Выбіраючы, спачатку чытайце століцу з інформацыяй пра анулювання, таму што варыянты, якія можна анулюваць простым выдаленнем адноўы рэчы, заслуговуюць на адносна дзевяць з дзесяці варыянтаванняў.
Першы раунд работае; трэцій раунд не работае
Нявянаклівы рэзультат павінен спамітліць усіх. У стацыянце „Rethinking Continual Experience Internalization“ паведамляецца, што адна тэпа перакладу досвяду ў вагі ўсё ж працюе добра, тады як паўтарэнне самаэвалюючага цыклу прыводзіць да падупаду карыстнасці.
Аварыяць прычыну падупаду адносяць да трохох аспектаў: спосабу прэдставлення досвяду, спосабу, якім гэта прэдставленне вплывае на тое, што контролюе „вучыльнік“, а таксама да распадзелу траекторыяў, якія здзейснююць перанос знанняў. Успех у аднай тэпе быў толькі дэманстрацыяй. Рэальная задача — застаць стабільным паўтароўна, і ніхто яе яшчо не рашыў.
Першыя прыклады працы з адміністрацыяй падтрымкі парадкаваліся самэй так, як пісалася ў статыцэ. У другым раундзе рэзультат склікаў 74%, што на трохці меньш за 77% з першага раунда, і гэта легка можна было спыліць як пахыбку. У трэцім раундзе рэзультат склікаў 58%, што было ніжэй за пачатковы рэзультат студэнта, з якім пачыналася эксперыментацыя, а мадэль таямніча паслабела ў двух катэгорыях запыткаў, якіх не было ў наборы для ацэнкі. Найважлівейшы момент — гэта разліка між першым і трэцім раундамі, адколькі толькі першы раунд часта згадваецца ў большасці аналізаў.
Існуе ўсьмоўшчы практычны абмежэнні. Агентныя методы расучэння пад кераваннем маюць на меты застосаванне тэхнік расучэння пад кераваннем да цэлых мнагаэтапных процэсаў дзеяння агента, пры чым награды вылічваюцца на адпаведнасць рэзультатам, якія машына можа пераканацца. Гэты падход ёсць эфектывным там, дзе перакананне ёсць дашчавым, напрыклад у кодзе, матэматыцы чы структураванай працы. Найцэннейшыя задачы агента ў рэальным свеце даюць нечыстыя, запазджаныя чы лёгкія да выкорыстання сігналы. У стацыі «Early Experience» гэта чыста адзначаецца: багато рэальных срэдавішчаў не маюць пераканальных наград, а тыя, якія існуюць, часта выклікаюць трывалыя чы дашчавыя тэсты. Адпаведны адказ — расучацца на базе самых ранніх взаімадзеянняў агента без зусібных званоўных наград, пры чым наследкі дзеянняў выступаюць у ролі нагляду.
Аўтанумеўка таксама прыносіць додатковыя расходы. Кожны аднойчы створаны варыянт стае самастоятным продуктом, які трэба тэставаць, пераканацца ў яго безпеце чы стварыць для яго окрэмы рэсурс, а колькісць варыянтав для кожнаго корыстувальніка прымножае ўсю гэтую лісту на колькісць кліяў.
Разумны ўзгляды на серэдзіну 2026 года: навчанне на адзінаках ужэ вікорыстоўваецца ў практычных цілях для агентаў, якія кодуюць і вікорыстоўваюць інструменты, пры чым ўзнагароды для іх можна пераканацца, а ў тых віпадках, калі узнагароды ёсць нечыткімі, гэта застаецца на рэвэруснам рэвэрсі. Група, якая займаецца кантэкстам, прыводзіць праведныя аргументы проты. Калі урок падходзіць під правіла і функціі выкарыстоўвання, яго включэнне ў вагі прыяўляе швальнасць і якасць, але паслабляе можлівасці аўдытавання, і для багато продуктов гэта ёсць паслаблым кампенсам.
Створыце механізм прыемлівасці пры яго неабходнасці
Заморожаны модэль застаецца свядомым выборам у дызайне, але ёсць адна проблема. Чырвоныя модэлі сучаснасці самыя трэнуюцца як агенты, праз навчанне падкрэпленням у довгастрым кантэксце вікорыстоўвання інструментаў у выконвальных срэдах. Заморожаны продукт, які запрашваецца праз API, все чырэз больш стае выходцам з тых самых цыклаў, якія тут опісаны, таму эпа дасвядчэння спачатку прыходзіць у вачынку змены спосабу стварэння базовых модэляў.
Практычным першым крокам ёсць правільна наладка ціклу акумуляцыі. Потым спробуйце недорогі аўдыт: ачыніце план дзеяння за мінулы месяц і підсчытайце ентры, якія з’явіліся ў пяці чы ў большым ліку разоў без суперсечанняў. Адной такой перагляду хватыла, каб з чацверыхдзяцяты трох ентрыў залішылася шасць кандыдатаў, і толькі адны з іх паспелі на затверджэння.
Этот адзін ентр — гэта першы градыент. Рэшта — гэта шум, які трэба залішыць у кантэксце, куды памылка коштуе токенав, а не контрольнай точкі. Запіт, які трэба запамятаць: які урок у плане дзеяння павтараецца достатнь часта, без суперсечанняў, каб яго можна было затвердзіць для выпуску?
Супаўзаемая літэратура
- Выбір фрэймворку для агента на адпрацоўку завад: шасць вектараў і шлях прыняцтва рашэння — Выберыце LangGraph, CrewAI, AutoGen, Temporal або нічога, пры тэставанні шасці вектараў завад: дэтэрмінізм, трымкі жыцця, ідэмпотэнцыя, летак аўдыту, швальнасць каманды і косць за прыняцце рашэння.
- Многія рукі, адна ручка: сэм правіл для кантролю агентаў AI — Калі рабочы працэс лепшы за агента, чаму оркестраторы не должны трываць інструменты, як запісваць рэзультаты падагентаў і умовы завершэння, з прыкладамі на Python для кожнага.