Агентны файнцюнінг: навучаем вікі ведаў замест вагаў мадэлі
Цыкл ML-навучання запускаецца на вікі з высноў, здабытых з дакументаў кампаніі: бенчмаркі з сырых даных, сакрэтныя пытанні і сертыфікат з сумленнымі абмежаваннямі.
Крыніцы: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
Знанні, якіяяе ў компаніі і даеяныяяе не можаць выкарыстоўваць
Уявіце сабе вырабніка апаратаў, у якога ёсць абоўша 900 атласаў абслужвання. У гэтым накупе схованыя адпаведзі на пытанні, якіяяе прыносяць рэальныя грошы: якіяяе серыі апаратаў частаяяе ламаюцца і з якіх прычын, якіяяе рэмонты ўтрымваюцца, і што ламаецца пад час установкі ў зіму, але ніколі ў лета.
У гэтым і ёсць проблема: ніхто не можаць перадаць гэтыяяе адпаведзі. Калькіяяе давгастажныяяе працавнікі зберагаюць часткі інфармацыі ў памяці, але жадны дакумент не раскрывае усё абоўша. Чытанне абоўша 900 атласаў немагчыма для адной людзі. Таму знанні застаюцца ўнутры компаніі і даеяныяяе не можаць імі скорыстацца. Практычна кожнаяяе організацыя, якаяяе перасіліла певны вік, жыве з гэтым, а большасць сучасных праектаў з ШЫ ігнаруе гэта.
Што на самай справе хочуць компаніі
Компаніі не хочуць шукаць у своіх даных, аджэ функцыя Ctrl+F ўжо давно заменіла сабой стандартны пошук. Яны хочуць атрыбутыў вучэння. Пораўняйце версіі запытанняў для пошуку з версіямі, якія служаюць для навучэння:
- Запытанне для пошуку спрашвае, што сказана ў протаколе тэста 214. Запытанне для навучэння спрашвае, як конкрэтны склад ведае ся пад час застосоўвання ў холадных умовах на працягу пяцнадцаты годзін тэставання.
- Запытанне для пошуку спрашвае дакумент патэнта да адного конкрэтнага случая. Запытанне для навучэння спрашвае, як на самай працоўгэ выглядае працэс подання заявкі, якія заперчэнні часта павтараюцца і што прыводзіць да адхоўкі заявкі ў першую ж спробу.
- Запытанне для пошуку спрашвае інформацыю па номеру 8812. Запытанне для навучэння спрашвае, што робяць апытныя працавнікі падтрымкі, калі апарат два разы за месц перыводзіць у несправнасць, і што яны обяцваюць кліенту.
Ці знання маюць вялую цэннасць, і яны паводзяцца жорсткая: яны існуюць толькі ў віглядзе фрагментаў і ніколі не застаюцца ў аднам месцы. Нічога на паперы іх не трыважыць. Яны з’яўляюцца між дакументамі, як шаблоны, якія распрастаюцца на сотні звярненняў, як працэс, які крысталізуецца з троха сотак прыкладаў, як правіле, якое два высокія спецыялісты трыважуць у сваёй галаве. Калі этыя два пакінуць, то за дверый выйдзе памяць компаніі, а не проста два спаведамальнікі.
Чаму «размова з вашымі дакументамі» не ўсё
Звычным падчынным спосабам у галузі ёсць абсорбаванне усяго, запрашэнне найбліжэйшых фрагментаў і стварэнне тэксту на ўзмацоўку з іх. Для пошуку гэта добра працюе, і гэта не ўражэнне для тэхналогіі RAG. Тым не менш, сістэма вяртае тое, што хтось запісаў. Калі задаць пытанне для навучэння, напрыклад, якая серыя найбольш невыходзіць і чаму, юніт выберае тры фрагменты з трох паведамленняў, потым на месцы стварае сінтэзу, якая здаецца впэўненай, а наступны раз — іншую. Ніхто не выкарыстоўвае гэты матэрыял для навучэння, не перакантролюе яго і не дае яму стабільнага фармата. У змену запыткам да веды, сістэма пераконструюе яе па кожнаму пытанню, прычому гэта робіцца слаба.
Самы скупак дадзеных таксама ў стане хаосу: тут ёсць суперэкты правілаў, застарэлыя спецыфікацыі і памылкі, якія перадаюцца далей. Кожная сістэма, якая чытае гэты скупак у незменённым варыянце, успадковуе гэтыя недакладнасці. Уявіце два PDF-файлы: адны обяцвае 12 месца гарантыі, а другі — 24. Оба запрашуюцца, і адпаведны адказ становіцься рэшэнням у вопысе монеты.
Нават адзін разовы чалавечы сінтэз, будзь то адказ кансалтанта чым звярнутая артыкул інтэрна, сталкнуецца з двума крытычнымі пытаннямі. Як можна ведаць, што ўсё правільна, і як можна ведаць, што ўсё завершана? Не існуе об’екtyўной правды, ні тэстаў, ні апісання таго, калі праца завершана, таму дакумент пачынае таяцца тыхо ў той жа дзень, калі яго стварылі.
Таму справжняя проблема лежыць не ў самым адзыскванні інформацыі. Гэта ператварэнне вялічзіны дадзеных у знаёмства, на якія можна паспакоўвацца, і падтрымка тых знаёмстваў у правільным стане працоўна. Адмаовічана ў фразу: выкарыстоўванне алмазаў з касцёлавай шахты. Яны там, а ручная сортаванне касцёлу нікому не падходзіць.
Чаму файнцюнінг модэлю не дапамагае
Файнцюнінг — гэта прыродны ўпорк, і ён здаецца правым не без прычыны. Цэў справжнія класычны метод машыннага навучэння: даны, атрыбуты, показатэль збытку, актуалізацыя ваг і тэставанне, якое мадэль ніколі не бачыла. Гэта самэ ўсё тое строгое падходжэнне, якога не хапяе сфера документо-чатоў.
Аднак гэта вплывае на неправы шар. Вагі ў такім падходзе застаюцца незрозумелымі. Калі адпаведзь, якая была сфармулявана мгновэна, ёсць некорэктной, не існуе нейронаў, якія моглы б яе парадражаваць. Усё, што было выучана, застаецца незменным пад час трэніравання і «старэе» разам з наступным пакетам даных, а кожна перзапісваецца выклікае новы цыкл трэніравання, аналізу і запуску. Файнцюнінг таксама мае рэпутацыю методу, які вучыць навыкам і стылю, але неяксначна зберагае факты. Корача кажучы, праві цыкл апісваецца навакол неправага об’екта.
Адрыхтаванне цыклу на адны шар вышэй
Працоўная прыказка заключаецца у тым, каб застаўці весь стандартны цыкл навчання штучнай нейронной сеткі і запусціць яго на вышэйшам роўні, на ведомасцях, а не на вагах. Гэта называецца Агентным файнцюнінгам.
Спраўацаванне ёсць структурным, а не поэтычным: кожная частка стандартнага цыклу навчання мае прамага адпаведніка, і тое, што навчаецца, — гэта ведомасці.
Об’ект, які можна навчаць, — гэта вікі, адзін пакет чытальных старонак з выкаранымі выводамі, пры чым кожны тверджэнне прыязначаецца да своіх джэрэл. Одна старонка можа абсалютвацься наявнасцю паведання пры холаднай залівке, а іншая — на тым, як фактычна праходзіць працэс падготавкі дакументаў. Чалавек можа ачыніць такія старонкі і спраўляцца з іхнім тэкстам. Агент, які працуе вышэй, застаёцца нейкім простым элементам, які чытае толькі вікі, таму ўсё інтэлектуальнае знаходзіцца ў тым, што ёсць у вікі. Некарэктны адпаведжанне выправляецца паўнісцюю ведомасця, так сама як backprop выправляе вагі, а не праз простыя змены запрошэння і надзею.
Чытайце дыяграму, працуючы з яёю адной разам пад час выканання ціклу: спачатку глыбока аналіза, пасля — стандартны показнік, вырахаваны на аднойчыне з неапранутымі дадзеннямі, налагоджэнне пакуль показнікі не стабілізуюцца, і нарэшце — таёмныя запытанні, якіх ніякі пакульшы крок не тычацца.
Крок 1: выкарыстоўванне дадзенняў і ўсходжэнне
Усё заваносяе без сортавання, разам з адказам на недаастаткова уважаная запытанне: што трэба выучыць з гэтага? Прыкладамі можуць быць спосаб дзеяння матэрыялаў або рэальны ход справ. Зазначанае усходжэнне спрыяе аналізу з метай выучання, а не стварэння падсумакоў.
Крок 2: глыбока аналіза, wiki v0
Далей увесь набор дакументаў адгледваецца асцярожна, дакумент за дакументам і рэгіон за рэгіонам, на такую глыбіну, якая неабходна для выпанавання меты. эта дорога стадыя і адбываецца толькі раз. Глыбіну выбіраюць спачатку не без прычыны. Якбы яна выявлялася толькі там, дзе пазней будзе працоўваць крытэрый, тады вікі б практычна стваралася на адповеднасць гэтаму крытэрыю, а знанні былі б налаштаваны для тэста, а не для дакументаў. Адгледванне набору з глыбіны дазволяе самам набору вярнуцься да стану цэліснасці, таму роль крытэрыю скупляецца на перакантроле і выправленні.
Суперасункі, якія з’яўляюцца па дарозе, напрыклад, пара гарантый 12 проты 24 месцаў, падаюць у чэргу для адгледкі чалавекам. Яны не блакуюць процэс адгледвання, і ўсе яны выяснююцца напрыкінцы, адтолькі што жаданая мадэль не можа ведаць, які PDF ёсць застарэлым.
Шаг 3: крытэрый, створаны на адповеднасць дакументам, ніколі не на адповеднасць вікі
Людзі зазвычай спачатку падаюць на галечынкі самэй тут. Калі запітанні для тэста беруцца з вікі, то все, чаго няма ў вікі, не мае запытанняў, якія б гэта выявлялі, таму «слепая зона» стварае сабе свой экзамен і складае яго з успехам. Таму запытанні патрэбуюць троха іншых джэраў: сырыя дакументы (што чытачу следзе взяць з гэтага абলоўкі?), заявленую мету (запытанні, якія споўнаюць разныя дакументы пра тэндэнцыі, прычыны і працэсы) і асобы, якія беруць удзел (што іх на самай праўдзе запытаюць). Потым гэты набор дзеліцца: 75 працэнтав — на навучэнне, а 25 працэнтав залічваецца як секрэтныя запытанні з той самай распаўдзейкай тэм, без парафразавання і з перакрыццям, і нікому не разрэшаецца іх пераглядаць. Навчанне пад эгідай тэста пазбавіла б яго сэнсу.
Шаг 4: адпаведзь, оцэні, дыягностыкуй, перапісаў
Кожна неправільная адпаведзь фіксуецца з выявленнем асновной прычыны, і кожная прычына мае свой шлях:
- Калі інфармацыя прысутня ў дадзенах, а вікі яе працягнула, то трэба зноў адкрыць гэты раён, глыбэй.
- Калі яе няма нідзе, трэба запытаць чалавека і ніколі не выдумваць адпаведзь.
- Калі два істочнікі не сагласны, трэба паказаць гэты суперакцыян.
- Калі сама запытка была некорэктная, трэба яе пасправіць і не трогаць агента.
Адна правіла перамагае ўсе іншыя: адпаведзь на запытку ніколі не копіюецца ў вікі. Крэтынія паказывае, дзе трэба шукаць, дакументы вяршаюць, што зафіксаваць, а тое, што зафіксаваць, павінна быць загальныя старонкі, якія могу выкорыстаць будзь-якія пазнейшыя запыткі. Як толькі гэта правіла нарушаецца, вікі ператвараецца на кнігу адпаведзяў, пры чым ніхто гэтага не бачыць.
Шаг 5: перакананне ў чыстасці
Калі рэзультаты трэніравання перастаюць падыходзіць угору, таямніцкія запытанні выконваюцца адна раз. Калі рэзультаты трэніравання і таямніцкіх запытанняя знаходзяцца падобнае, значы вікі справаўна зберагла атрыбуты, якія былі выучаны, і ёё можна сертыфікаваць, стварыць версію і выдаты, пры чым меры яе можаўкі будуць адразу прыведзеныя на упаковцы. Калі ж рэзультаты супраціўныя, то створанае рашэнне ёсць безпрагунным. Тады экзамен паўтараецца: спаленыя запытанні знятыя з вжыцтва, новыя ствараюцца на адной з баз дадзэнняў з яшчэ свежым формулюваннем і прыкладамі, новы запечатанный набор захаваны, і працэс налаштоввання продаўжваецца. Паколькі вікі была налаштавана на старыя запытанні, на пасляўплываючых раундах яе чакаюць задачы, якія ёй раней не падвайшліся. Падых з 95 балоў па трэніраванню да 71 па таямніцкіх запытанняя ёсць серйозным проблемам, хоць той самы перэналяжванне бы выяўілася ў будзь-кам нотбуку Kaggle у 2019 годзе. Старыя урокі застаюцца актуальнымі, і гэта ёсць весь сенс.
Практыка забезпечвае непаўнаважны сэт тэстаў. Кожна задача, якую агент не справляеся рашыць, стае прычыной практычнага выправлення ў вікі і стварэння новай пунктай у базе крытэрыяў, а свежыя справаздачы пачынаюць гэты цыкл занова. У канцы кампанія мае жывую, перапрацоўваную базу дадзеных, якая застаецца актуальной нават пасля завершэння працы спецяў.
Усю гэтую методыку можна выразіць ў адной фразе:
Крытэрыяў паказваюць, дзе шукаць, даны — што запісваць, а секрэтны сэт — калі зупыніцца.
Дзе яна паслужыць
Гэтая методыка падходзіць для арганізацыяў, чыяе значэнне закладваецца ў скончаных колекціях дадзеных, якімі яны володзяць. Падходзяць інжынерныя і матэрыяльныя компаніі з дзесяткамі гадоў звітаў і протаколаў тэстаў, а таксама юрыдычныя і праваўнія аб’еднанняя, дзе рэальны працэс развіваецца ў меры сотняў спраў. Таксама падходзяць вырабнікі з інструкцыямі і історыяй абслужвання, а таксама команды падтрымкі, якія ведуць багатыя розмовы пра гады, чыя крытэрыяў практычна вжо ёсць на вывозе.
Покупці, які вімагаюць доказів, таксама отрымуюць корысць, аджэ сертыфікат із оцінкою за секрэтнімі запітаннямі мае більшу вагу, ніж тверджэння про тыя, што продукт працюе на найновішый версіі.
Два побічні ефекты самі стаюць продуктамі. Очышчэна вікі ёсць чудовім матэрыалом для ознайомлення, оскількі новачкі можуць непасрэдна прочытаты отрымані знання. А рэзультаты аўдыту, што дві політыкі суперэчаць одна одній, покі персонал імпровізуе, — гэта тыя, што консультанты коштуюць компаніям дужэ дорого для віявлення. Гэты цыкл дае можлівісць гэта знайты.
Обмежэння
Метод здобувае довіру, знаючы своі обмежэння, тож ось яны:
- Навічкі, стыль і голос не входзяць до сферы застосування. Калі мадэль не можа міркуваты чы пісаты так, як гэта потрыбно для задачы, гэта ужо сфера файнцюнінгу мадэлі. Агентній файнцюнінг налаштовуе тыя, што знае агент, а не тыя, што ён можа робіты.
Нудныя часткі, але справжня перадоўга
Нічога з гэтага не ўзначае нараджэння новай навуковай розкладкі. Наборы для тэстаў старыя, прыстроі для ацэнкі LLM-модэляў ўжо сталыя, а выкарыстоўванне знаёмасцей — гэта вядомая галузь. Перадоўга заключаецца ў тым, што маладзейшыя людзі ведаюць, як выпрацаваць нудныя часткі. Команды практыкуюць порэванне модэляў, тады калі насправды важлівыя выводы застаюць непрачытанымі ў папке з назвай FINAL_v2_old_DO_NOT_DELETE.
Модэлі самі по сабе продовжаюць праграсваць, але урокі з дадзеных компаніі не будуць выкарыстоўваны самі сабой. Тое, што варта трэнаваць, — гэта тое, што ў працоўніку належыць самой компаніі.