Навчанне агентаў AI падпрыемства: выбір між SFT, DPO, GRPO і RAG.

Уявіце аналітака, які дзвоніць агенту падчырпрыемніка дзесяць дзён тыму і спытае: чаму ў пярэднім квартале знізіліся продажы ў Паўнечыжній Амерыцы? Сістэма запытала, што значыць „пярэдні квартал“, і выбрала Q2 FY2026. Яна прысвятыла Паўнечыжнюю Амерыку затверджанай рэгіональнай іерархіі, створыла SQL-запыты, прыкладзілася да калькіляў і падалае апошніяй аналітычная дапоўедзь.

Сёння аналітак спытае пра тое ж. Агент усё ўсё памятае правільны дыяпазон, але выдае некарэктны JSON-даныя, прыкладзіць калькіляў да гіпотэзы, якая вялікай мерай вяжучыся, і з аблігацыяй цітае чэрнавёскія нотаткі.

У такі момант багатыя команды вырашаюць, што модэлю трэба дапрацаваць. Іноды гэта правільна. Але часта яны проста навучаюць не тое.

З'ясавайце, што пайшло не так. Карта рэгіонаў — гэта факт, фінансавая справаздачнасць — гэта знання, а схема SQL — гэта інтэрфейс, які постаўляе змяні, таму ўсе трое знаходзяцца ў памяці, працэсах адзыскання інформацыі і контрактах з інструментамі. Узвешанні ж должны падтрымваць стабільныя прычыны: выдачу правільных запытань да інструментам, дотрыманне протаколу доказаў, вярненне пасля порожніх рэзультатаў, прагненне да выводаў, падкрэпленых цітатамі, і адмову ад адпаведзення, калі доказы, якія можа бачыць агент, недастатковы.

Гэтыя розпады лягаюць у основу всіх адаптацыяў у корпоратывах:

Змены фактов атрымуюцься праз працэсы адзыскання інформацыі, стабільны кантэкст — у памяць, дзеянні — у інструменты, а повтаруванае паведанне — праз навчанне.

Апдэйт мадэлі — гэта не проста рэзультат працы з блокнотам. Гэта контролюваная выпускная версія, і ўсё, што стосуецца доказаў, почынаецца ўжо до першага крока оптымізатора і должна перазстаць пасля адкатаў у працэсе выканання.

У наступным абзацы рассматрываецца стандартны набор адзінстваў пасля трэніравання з точкі зору агента падпрыемства, што ўжо зусім іншая мета, чым мадэль-бенчмарк. Уключаныя тэмы:

• выбір таго, чыяя недакладнасць належыць да прапанаў, процэса выкарыстоўвання дадзэнняў, памяці, адзінстваў чы ўзвешанняў;
• стварэнне плоскосці дадзэнняў, якая ўсунутая ад незаконных дзеянняў і стойкая да забруднення;
• выбір межы між продажным прэтрэніраваннем, кантроліруемым фін-цюнінгам, LoRA, QLoRA, DoRA і повным фін-цюнінгам;
• падбір DPO, IPO, KTO, ORPO і SimPO па форме дадзэнняў прыямоўкаў;
• розрозненне проблем, якія рашаюць PPO, GRPO, DAPO, GSPO, RLOO і трэніраванне з пераканальваным адзінствам;
• выкарыстоўванне методу дыстыляцыі вучыльніка і учня для ператварэння перэдніх можлівасцей у прыемныя з точкі зору эканоміі рашэнняў;
• рэўістрацыя, ацэнка, тэставанне, манітарынг і вярнэнне адаптараў як элементаў працэсу вырабоцтва.

Адзін ключоўы кейс праходзіць праз усё, што напісана ніжэй: INV-22041 — розследаванне практык прымытку для арэндніка acme-eu. Яго складаюць чатыры логічныя этапы (Узбагачэнне, Дастатковасць дадзэнняў, Перапытка гіпотэзы і Адгукунак). Кожная стадыя мае своі інструменты і падпроцесы, пры тым умовы навучэння застаюць віднымі на кожнай межы этапаў.

Калі навучэнне — гэта правы спосаб

Зверніцеся да навучэння, калі бажаная змяна павтараецца, можа быць вымерана і ёсць достатньна стабільной, каб застацца ў параметрах, а калі ўжыцце яе в іншым месцы будзе дорожэ. Зазвычай гэта не правы першы крок, калі змінюецца політыка, каталог, імя кліента, ціна на сёгодні, права доступу або схема інструмента, якую можна было б рэшыць за дапамогою обмежэнняў.

Выберыце наіменш незворачны слой, які усуне дыфект:

1. Пакет заповедзей або сістэмы керуе явнымі прыемамі, якія базовы мадэль ужо надзеяздна выконвае.
2. RAG керуе актуальнымі корпаратывнымі знаннямі, якія павінны маты чыстае паходжэнне.
3. Памяць зберагае праганні корыстувальніка, стойкія супарабоці і ранейшыя затверджаныя рэзультаты.
4. Контроль інструментаў і схем забезпечвае дэтэрмінізм, автарызацыю і кантроль над парадоксальнымі наследкамі.
5. SFT або PEFT нацэлены на стабільную структуру адпаведзей, граматыку інструментаў, шаблоны вяснавання і стыль домэны.
6. Оптымізацыя праганняў прымаее значэнне, калі кілька выходаў ёсць правядзімымі, але адны з іх ёсць адносна лепшым.
7. Навчанне па падкрэпленні прымаее значэнне, калі успех можа быць ацэнены толькі пасля серыі рашэнняў.

Застосавайце INV-22041 на той самы лесце. Інформацыя пра тое, што карты „Паўнечная Амерыка“ адпавядаюць затверджанаму вузлу рэгію NA_01, ўтрымванае ў кераванай памяці або метаданах. Прыўязка tenant_id, выкарыстоўванне толькі для чытання семантычнага шару і вярненне JSON з адпаведнымі датамі ў кожным запытэ SQL ўскладнюецца як часткаяя умовая работы, так і часткаяяя характэрыстыкая інструмента, які можна навучыць. Выбіранне короткага, падтрыманага доказам адказу замест пераканальнай, але не падтрыманай доказам історыі ёсць чыстыя мета для навучэння прыорытэтаў.

Частая памылка: тонкая налаадка на найновейшыя корпаратыўныя дакументы. Мадэль можа запам’ятаваць застарэлыя або обмежаныя твэрджэнні, адчыніваючыся ад інформацыі пра паходжэнне, правах на выдаленне і семантыцы разрэшэнняў.

Выберыце метод на аднойчынку з тым надзорам, які у вас ёсць

Команды часта пачынаюць з назвы алгорытму. Усё ж лепшая пачынаць з рэальных у вас доказаў.

• Калі ў патрабаваннях ёсць золатыя адпаведзіць чы рэкорды золатых інструментаў, выкорыстоўваеце SFT.
• Калі ёсць выбраныя і адхіленыя адпаведзіць, прыменяйце методы класу DPO.
• Калі незалежныя атрыбуты пазначаюць выходы як бажаныя чы небажаныя без якога-лібо спароўвання, KTO ўзьмецца належна.
• Калі дэтэрміністычны ацэнкавальнік можа оцаніць кожны рэзультат (валіднасць SQL, точную адпаведзь, тэсты на елементы, перакананні ў правілах), тады падходзіць оптымізацыя з верыфікабельнымя наградамі, такая як GRPO чы RLVR.
• Калі якасць ёсць суб’ектываю і не можа быць выражана правіламі, якімі доверае кожны, класычныя мадэлі наградаў плюс настройкі PPO застаюць актуальнымі.

Нічыга з гэтага не ёсць ідэялогіяй. Кожны выбар паказвае, што можа падтвердзіць вашы даны.

Інварыянт выдання, які варта зберагчы

Для кожнага прыклада трэніравання запісваецца тупл, які містыць ідэнтыфікатор прыклада і месца, з якіх ён прайшоў, прычыны надання згоды і мету яе, тэнанта, да якога ён належыць, версію правіл, хэш застосаванай трансформацыі, групу, у якую ён патрапіў, а таксама версію тагувальніка або оценяльнага прыстрою, які яго створыў. Пасля запуску гэты тупл дапамагае адпаведзаць на складныя запытанні: звядзе гэтае паведанне? Чы быў прыклад автарызаваны? Чы можа ён распаўзціся між тэнантамі? Калькі трансформацыі яго створыла? Чы ён таксама з’явіўся пад час ацэнкі?

План дадзейнаў падпрыемства

Большасць проблем пасля трэніравання пачынаецца ўжо до самага трэніравання. Нават найболей вывераная мета не можа вырашыць проблемы з прыкладамі, якія занятыя, неавтарызаваныя або паспісаныя некорэктна.

Праўільнае вяскаванне прайшлага прыходзіць раней за прадзеянне

Кожны неапдэтаваны істочнік трэбуе власніка, метода збору, ліцэнзы або падставы для санкцыі, дазволенай мэты, правіла зберагчэння, геаграфічнага рэгіону, класа чутлівасці і ідэнтыфікатора лініяй развіцця. Не трэба адмовляцца ад гэтых метадаў, калі дакументы аб следы стаюць прыкладамі для навчання. Готавы прыклад павінен заставацца працоўным да аднойчыных істочнікаў і да кожнай застосаванай трансфармацыі.

Прыватнасць, секрэты і мінімізацыя дадзэнняў

Рэдакцыя ўсё ж неабходна, але яе недастатнька. Набор дадзэнняў можа не мець явных назв, але ўсё раве магчыма ў яму знаходзіць конфідэнцыйную бізнес-логіку, рэдкія ідэнтыфікаторы, значэнні, спецыфічныя для кліянтаў, або секрэты, якія можна восстановіць. Неабходна адзірваць наступныя аспекты:

• сканаваць на наявнасць PII і секрэтов як да, так і пасля трансфармацыі;
• захоўваць ізоляцыю корыстнікаў праз выбіранне прыкладоў, зберагчэнне і ацэнку;
• фільтрацыю водзіць за мэтай, а не толькі за правамі на доступ;
• Перакантролюйце на наявнасць майжэ аднаковых элементаў у тэстовых наборах і захаваных корпусах дакументаў;
• Запісуйце лянцюг выдалення, каб запіт на права доходзіў да первісных дадзеных, адгэнераваных прыкладаў, пунктавых контролаў, адаптараў, кэшаў і рэзультатаў ацэнкі.

Забрудненне можна вымерыць

Дзеяў просты паметрай: каляр забруднення — гэта колькасць забрудненых элементаў ацэнкі, дзеленыя на абшчую колькасць элементаў ацэнкі. Пад «забрудненымі» разумяюцца абоўсцю аднаковыя элементы, майжэ аднаковыя элементы, парафразы, якія несу адпаведны адказ, і сінтэтычныя прыклады, адгэнераваныя з элементаў ацэнкі. Для ацэнкі, якая вяліка ў выпуск, цэль — нуль.

Для людзкіх атрыбутаў патрэбны контракты

Набор дадзеных па прыярытэтам без крэтыкі ператвараецца на набор дадзеных, які залежыць ад упадабанняў анотавальніка. Для этапу атрыбутацыі корыстная крэтыка ранжуе іх так:

1. Салідарнасць з правіламі автарызаціі і прыватнасці;
2. фактычная падкаперкія і праві цітаты;
3. статыстычная правядзібнасць;
4. калібруваная нэпэўнасць;
5. полнасць;
6. канцызнасць і стыль.

Згоду трэба мерыць. Для двух атрыбутаваўчыкаў Коэна каппа — гэта спазірваная згода за вырахунак з згоды, якая магла бы выйсці адгуком, дзелёная на адзін за вырахунак з адгукама адгуком. Спазірваная частка — гэта частка атрыбутаў, па якім атрыбутаваўчыкі састаюцься, а частка адгуком вырахоўваная на адной з частот атрыбутаў кожнага атрыбутаваўчыка. Нізкая каппа значыць, што крэтыкатура, прыклады або адучэнне атрыбутаваўчыкаў трэба парадкаваць, і дадатковыя эпохі не вылечыць слабы сігнал.

Як выглядае запіс адучэння для працы

Корыстны элемент — гэта не проста пара запытку-адказ. Гэта запіс, які дазволяе выконваць з’едыненні керавання і ацэнкі:

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Значэнні ўзначальваюцца намерна. Але структура — ні: адна аб’екта несе ў сабе контэнт, а таксама інфармацыю пра таго, хто яго автарызаваў, звядзе гэта ўзята і як ён ідэнтыфікуецца пад час ацэнкі.

SFT, продактыўнае прадзялёванне і прадзялёванне ў ходу навчання

Людзі аб’еднваюць гэтыя методы пад тэрміном „точнае налаштаванне“, пры тым кожны з іх оптымізуе разную распадзелку дадзэнняў.

Точнае налаштаванне пад наглядам

SFT дапамагае модэлю наследзіць цэльны адказ чыя-небудзь траекторыю. Збыт вырахоўваецца як аб’ектыўная сума па пазіцыях: маска умножаная на лог-верыятнасц, якую модэль прызначае цэльнаму токену, з урахоўваннем вхідных дадзенняў і пакульшых цэльных токенав. У гэтым формуле x — гэта вхідны кантэкст, yₜ — цэльны токен у пазіцыі t, маска mₜ прымае значэнне (1) для токенав, якія належаць да працоўванага кантэксту, і (0) для прапанаў, заполнень і усяго іншага, што не ўваходзіць у працоўваны кантэкст, а θ — для параметраў, якія можна трэнаваць.

Токены сістэмы, карыстальніка, рэзультата работы інструмента і заполнень задаюць кантэкст, не ствараючы градыентаў. Толькі выбраныя цэльныя токены асістэнта спадчынаюць на аб’ектыўны збыт.

Маска мае важнае значэнне. Калі токены карыстальніка і сістэмы віпадкова патрапляюць у кантэкст, модэль выучаецца воспроіцаваць кантакт у замест на тое, каб на яго адказаць.

Што на самай працоўванні крос-ентропіі насправды выканаецца

У кожнай позыцыі з наглядам змоўка генеруе адны лоджыт на кожны токен вокабуляру, а функцыя softmax ператварае этыя лоджыты на верыятнасці. У функцыі softmax верыятнасць токену вырахоўваецца як яго экспаненаваны лоджыт, дазелэўжаны сумай экспаненаваных лоджытаваў усяго вокабуляру, таму рэзультаты ўзьміваюцца як паазытныя і дадаюцца да аднаго.

Крос-ентропія пасля таго раслічвае змоўку за адынуты лог верыятнасці, яку яна даўша правільнаму токену. Правільны токен з верыятнасцю 0,8 коштае або-223, а з верыятнасцю 0,01 — або-4,605. Таму абэрнутыя памылкі ствараюць набліжна большыя градыенты, чым прызнакі, якія ужо правільныя.

У падчынных абяцэнках існуе адна насуперш важная наследкі. Няшмат прыкладаў высокакалітэтных інструментаў можа адлучна вылечыць сістэматычны дыфект фарматавання, як толькі цэль застаецца ясной. Калі два прыклады паказваюць сэмантычна ідэнтычныя запіты, якія супакоўваюцца з протыярыснымі схемамі інструментаў, такая сітуацыя вымагае некасуючыхся прыкладоў пры прыняцці рашэнняў.

Падышэнне парадку, падышэнне токенаў і ўплыв на бізнес разныя

Падышэнне парадку зазвычай вырахоўвана на адной заснове надзірваных токенаў, тыябо як сума падышэнняў токенаў, пасланых у маску, дазелілена на колькасць надзірваных токенаў. Паколькі атчынак з 500 токенамі стварае прыблізна пяцідзесяці разоў больш падышэнняў токенаў, чым атчынак з 10 токенамі, набор дадзеных з роўным колькасцю абоўх тыпаў атчынакоў пры оптымізацыі можа застацца пад домінаваннем атчынакоў з большым колькасцю токенаў.

Калі правільна адказка, прыявленне да жылецу чырага або выбор засоба маюць значэнне для бізнесу, прыклады самі по сабе не паказваюць гэтага значэння. Варыянты ўключаюць:

• збалансаваць пакеты па класе паведання;
• надаць важыню прыкладам чырага або выбраным токенам;
• скорачыць дужа дзялёныя цялевыя даны;
• збільшыць колькасць рэдкіх гранічных кейсаў;
• разлучыць качэнне генеравання і перакананне контракту пад час ацэнкі.

Будзь-якая надача важыні павінна быць явной. Сэмплер, які ніхто не задаў, ўжо ёсць часткай цялевай функцыі, нават калі у рэвалюцыйнай задачы яго ніколі не памінююць.

Прымус вучыльніка і уперадзеванне

Пад SFT кожны токен прыгадваецца пасля правільных паканальных токенав цялевага даны. У час выканання модэль чытае тое, што сама генеравала, таму нават маленькія памылкі можу прывесты яе да стану, які ніколі не быў показаны пад час трэніравання.

Для агента гэтыя проблемы выражаюцца як адночасныя неудачы засоба:

1. Мадэль выдае ідэнтыфікатор аб’екта, які ў міру некалькі некарэктны.
2. Інструмент вяртае порожній рэзультат.
3. Мадэль ніколі раней не бачыла такога стану.
4. Яна выдумвае рэзультат і не відтворае первісны запіт.

Неабяжна ўключыць траекторыі вяснавання разам з ідэальнымі дэманстраціямі. Методы на-палітыкі дыстыляцыі і падкрэпленняя навучэння пазніяй болей прымусова борцацца з тым самым зсувам распадзелу.

Правільна маскаванне розмов з інструментамі

Рэалістычны транскрыпт містыць політыку сістэмы, мову карыстальніка, логіку асістэнта, аргументы інструмента, рэзультаты інструмента і заканчоўны адказ. Пазначыце, якія токены павінны навучаць поведэнку:

• токены сістэмы і карыстальніка зазвычай маюць маску 0;
• выклікі асістэнта да інструментаў зазвычай маюць маску 1;
• сырой выход інструмента зазвычай мае маску 0, адтуды што ён ўзгляд з арэны і не мова, якую асістэнт павінен імітаваць;

Аналіз асістэнта або скрытыя выкладкі выконваюцца па правілах прадаўцы модэлі і політыцы ўпрацоўкі;

Фінальны адказ атрымвае маску 1.

Якшчы неактыўна карыстацца выходамі інструмента, модэль можа научыцца ствараць фальшывыя рэзультаты з базы дадзенаў. Якшчы неактыўна адключыць аргументы інструмента, стыль адчытнай інфармацыі можа паспрабаваць падбіцца, тады як надзяйнасць інструмента застанецца такой жа, як і раней.

Упакоўка без прасачання межаў між прыкладамі

Спадзяймося, прыклады A, B і C выконваюць 700, 900 і 1,100 токенаў. Кожны з іх размішчаем у адной самастоятнай последовасці з 4,096 токенаў, і, у сярэднем, выкарыстоўваецца толькі апошнія 22% выдзеленых пазіцый. Упакоўкі падвышаюць ступень выкарыстоўвання, але сумарная последовасць трэба захаўваць па адпаведным правілам:

• Трэба прымець правіла, якія модэль сама вяршыць па пазіцыям;
• Усё, што не трэба запамятаць (додатковыя даны, аргументы, якія адключаны), атрымвае атрыбут ігноравання ад фрэймворку, зазвычай −100;
• Якша, калі метод спрыяе прыкладам як незалежным, увага не павінна пераходзіць з аднаго прыкладу на іншы;
• Для дэбаггінгу і запытак пра выдаленне все ўсё трэба, каб метаданы кожнага прыклада былі можлівы да вярнуць.

Частая памылка: увімкнуць packing=True і выдумаць, што стандартны настройкі бібліятэкі падходзяць для шаблона чату, рэалізацыі механізма увагі і правілы вычыслення збытку. Пераканацеся самі, як выглядае адна пакетна обработка: дэкодаваныя даны, меткі, маскі, межы прыкладаў і колькасць токэнаў пад наглядам.

Для корпаратывных агентаў найценнейшымі ёсць тыя прыклады SFT, у якіх ёсць правільныя аргументы інструментаў, можласць уточнэння, структураваныя адмовы, вярненне пасля порожніх рэзультатаў, граматыка цітатаў і перадача задач між агентамі. Уключайце негатыўныя кейсы для ацэнкі, нават калі у даных для навчання ёсць толькі бажаныя адпаведзі.

Продактыўнае прадзяўленне

Продактыўнае прадзеянне прымае стандартную мету наступнага токэна для тэкста з конкрэтнай галузі. Яго трэба выкарыстоўваць тады, калі базовы мадэль ніколі раней не стыкалася з слоўнікам, пазначэннямі чым загальным распадам тэкста данай галузі. Точна выучыць правіла ўзаўмадзеяння — гэта тое, у чым мадэль паспела паставіцца слаба.

Катастрофічнае забыванне ёсць рызыкам у такім разе: роўень панікі ў галузі паднікае, тады калі мадэль паспела паставіцца слаба ў выкананні загальных інструкцый, працэсе з іншымі мовамі, падтрыманні безпекі чым вікорыстанні інструментаў. Трэба заставіць даныя з паўтарэння і стварыць базовыя стандарты ўсіх можлівасцей модэлі.

Сумешчанне дадзэнняў галузі з дадзэннямі паўтарэння

Новая дыстрыбуцыя домэна называецца D_domain, а прыклад спосабнасцей, якія павінны застацца, — D_replay. Простая мета з сумаванням додае зважаную адзінаковую шкоду для даных домэна да зважанай адзінаковай шкоды для даных replay. Жадны з гэтых коефіцыентав не ўсюды ёсць сталяным. Чыста спецыялізаваны локальны мадэль можа прыйняць вышэйшы коефіцыент для домэна, тады калі мадэль, выкорыстоўваная ў всій корпорацыі, зазвычай патрабуе сільнейшага тэрміна для зберэжэння.

Пазірце прынеймна тры крывыя окрэма: шкоду па верыфікацыі домэна, шкоду па верыфікацыі replay і ацэнкі поведэння ў наступных етапах. Ніжэйшая сумарная шкода можа маскаваць пагіршэнне крывыі replay, таму у умовах зупінкі трэба включыць як прагу зберэжэння, так і крэтар збліжэння домэна.

Шчытаўка навчання задае радыус уражэння

Продактыўнае прадзеянне зміняе значна больш параметраў, чым маленькі адаптар, і шчыльнасць навучэння, якая падходзіць для адаптара, можа зашкодзіць базоваму модэлю. Ожывайце абераглівыя планы, часта стварайце контрольныя пункты і ацэнівайце проміжныя контрольныя пункты, таму што фінальны крок оптымізатора не ўсега ёсць лепшым контрольным пунктам для практычнага выкарыстоўвання.

Колькасць токенаў таксама вплывае на эфектывныя змяны. Мінімальная шчыльнасць навучэння для мільярдаў токенаў можа змусіць модэль змяніцца больш, чым модэль з большай шчыльнасцю на маленькай, рэтэльна падобранай колькасці дадзенняў; таму фіксавайце загальную колькасць токенаў і крокаў оптымізатора, а не толькі колькасць эпох.

Серэдзінная фаза навучэння

Серэдній этап адаптавання знаходзіцца між шырокім прадзялованнем і заканчальным пасляадаптаваннем. Разлічныя траекіяры дзейнаў у дужа дзялёваных кантэкстах, для рашэння прыбліжэнняў, мультымадальныя даны або даны агента змінююць яго можлівасці пры перадзялованні. Для INV-22041 гэта можа значыць довгія траекіяры расследавання, калі агент бачыць порожнія рэзультаты SQL, задаецца пытанням, чы не ў часовым разбіванні чы семантычным картаўанні прычына, пасля чаго правіць запіт, апдэйтуе свой набор гіпотэз і запісвае стыслы ўказнік доказаў.

Збіркаванне дадзеных размешчае калькі короткіх последоўнасцей у аднам кантэкстным вікні, таму павышае ўжыццё рэсурсаў, але тады прыклады патрабуюць правільнага прыдзеўлення ўвагі і меж збыткаў. Некалічны збіркавальнік дазволяе прыкладу аднаго кліента прыдзеўляць увагу прыкладу іншага без жадных паведамленняў.

SFT чы серэдній этап адаптавання: дыягназа

З’ясавайце, чы можа бажанае паведанне быць паказаным у досыта короткай парэ вхід-выход.

• Калі так, пачніце з SFT.
• Узел серэдньага трэнінгу становіць сэрцаўуючы элемент, калі задача выклікае ад модэлю неабходнасць аналізаваць час організаціі дакументаў, пераходзіць праз калькі этапаў або працаваць з кантэкстам, які не падобаецца таму, што яна бачыла раней.
• Калі нехватка інфармацыі рэгулярна зменшваецца, ніякі з варыянтов не падходзіць, тады рашэннем стае выкарыстоўванне засобаў для пошуку інфармацыі.

Для INV-22041 правільны SQL JSON ёсць цэлью SFT. Адбіраныя дзялёныя траекторыі можаць дапамогчы агенту вярнуцца да правільных рашэнняў пасля 30 крокаў расследавання з калькамі нявялікіх, невялікіх гіпотэз. Колькасць продажаў сёння застаецца дадзенням часу выканання.

Цюнінг з мінімальным выкарыстоўваннем параметраў: LoRA, QLoRA, DoRA і цюнінг прыфіксаў

Тонкі цюнінг з мінімальным выкарыстоўваннем параметраў павінен стаць стандартам для падпрыемстваў, адколькі ён дазволяе выкарыстоўваць адну спільную базовую модэль разам з малымі, версіяванымі змянамі ў ўзімку.

LoRA

LoRA заморажва матрыцу ваг W і выучае апдэйт нізкага рангу. Адаптаваная матрыца доравнае W плюс добутак двух маленькіх матрыц B і A, масштабаваны альфаю, раздэланаму на ранг r.

Падазрóм, W перадае 4096 вхідных дадзеных у 4096 выходных, а ранг становіцца 16. У такім разе ў ўшчэльненай матрыцы ёсць прыблізна 16,8 мільйона параметраў, тады як у двух матрыцах LoRA ёсць толькі 131 072 параметраў, якія можна навучыць для гэтага проекцыі (16 × 4096 плюс 4096 × 16). Гэта станавіцца прыблізна 0,78% ад колькасці параметраў у ўшчэльненай матрыцы.

Тры настройкі вялікі ўплыв на тое, што можа робіць адаптар: ранг вялікі ўплыв на яго ўместнасць, альфаю, раздэланы на ранг, масштабавае апдэйт, а цэльвыя модулі вялікі ўплыв на тое, дзе можа адаптавацца модэль. Усе тры ўскладненні ёсць часткай ідэнтычнасці модэля і павінны быць зарэўнаваны.

Чаму нізкі ранг можа быць достатнім

Жыццёвае апдэйтаванне дазволяе кожнаму направленью ввод-выход змінювацца самастойна. LoRA прыпускае, што апдэйтаванне, спецыяльнае для конкрэтнага заведама, знаходзіцца ў значна меншым внутранічным падпросторы. У замяне на выучэнне значэнняў d_out × d_in ён выучае толькі r(dᵢ + dₒ), дзе dᵢ — шырыня вводу, а dₒ — шырыня выходу.

Для квадратнай проекцыі 4096 на 4096 з рангам 16 ці фігуры такія:

• для жыццёвае апдэйтаванне патрэбны 16,777,216 параметраў;
• для апдэйтавання LoRA патрэбны 131,072 параметраў;
• частка параметраў, якія можна апдэйтаваць, станавіць 0.0078125, тыяму 0.78125%.

Гэтыя цыфры опісваюць адну проекцыю. Рэальны адаптар націлёваны на багато проекцый у багацькох шарах, таму трэба пісаць колькасць параметраў, якія можна апдэйтаваць, у самай інстанціяванай модэлі, а не экстраполюваць на адну матрыцу.

Тэрмін масштабавання — не косметычны

Калі значэнне alpha становіць 32, а ранг — 16, кэфіцыент LoRA дорэчы 2. Калі ранг падыходзіць да 64, а alpha застаецца 32, кэфіцыент падыходзіць да 0,5. Навучаныя матрыцы і параметры оптымізацыі зменяюцца, нават калі набор дадзеных і базовы мадэль не зменяюцца.

У дзеяных рэалізаціях замест алгорытму, які вырахоўвае кэфіцыент на адносе alpha да рангу, выкарыстоўваецца алгорытм стабілізаванага масштабавання, пры якому кэфіцыент вырахоўваецца на адносе alpha да квадратнага кораня рангу. Гэта зміняе спосаб порэвання рангаў. Запісваць неабходна правілы масштабавання, версію бібліятэкі, параметры ініцыялізацыі і механізм dropout.

Дзе прыўязваць адаптары

Кожна з проекцыяў атэнцыі выпольвае разныя функцыі:

• q_proj формуе запыт, які тэкушчы токен задае кантэксту;
• k_proj керуе тым, як ранейшыя токены сігналізуюць пра тое, што ў яных ёсць;
• v_proj задае сам контэнт, які фактычна берацца з яных;

o_proj вылучае, як выходны даны ўвагі пасля перадачы працуюць зямлішча залішковага струмэна.

Проекціі MLP формуюць трансфармацыю характэрных параметраў і можу мяць значэнне для падзеяў у конкрэтным домэне. Налагоджэнне толькі праекцый запытку і значэння ёсць распашчыцай парадыгмай, а не правілам. Матрыца абляцыі павінна включаць змяну цэльных модуляў і ўрадку, а таксама фіксавацыю колькасці параметраў, якія можна налагодзіць, падыходу задання, эфекту забывання, часу адпаведзі і розмеру артфактам.

Складанне адаптараў не ёсць автаматычна аддытываўным

Два адаптары, які добра працуюць самаста, можа ўжо стварыць суперсцягванне, калі якія-небудзь з іх будуць актываўаныя. Іхнія дэльты могу тыснуць на тыя ж шары ў суперсуперэктныя направленні, змяніць статыстыку актывацыі або выкарыстоўваць разныя пакеты сістэмы. Спрыяйце складанню як новаму рэцэпту: сумарныя вагі ў складанні — цэлае базовае значэнне плюс дэльта кожнага адаптара у паўстаўцы з яго масштабам sᵢ. Гэтая формула выглядае проста, але апдэйтаваныя праекцыі праходзяць праз шары увагі, нормалізацыі і MLP нелінейна, таму тэставаць складанне трэба абсалютна так, як яно выдаваецца.

QLoRA

QLoRA зберагае зафіксаванае базовае значэнне у 4-бітным фармаце, тады як градыенты праходзяць толькі да адаптараў LoRA. Ён выкарыстоўвае тэхніку NF4, двойную квантызацыю канстант квантызацыі і оптымізаторы з пагаворкамі, якія паглотваюць перэпады памяці.

Две асоблівасці запобегаюць памылкам у працэсе вырабоцтва:

• QLoRA — цэлая тэхніка для трэніравання з урахоўванням памяці. Яна сама не візначае квантызацыю пад час выдавання рэзультатаў.
• Толькі адаптар не паказвае, што квантаваныя версіі працуюць на аднаковы лад. Павтарыце ацэнкі якосьці, затрымкі, вытэкання і вікорыстоўвання інструментаў на той варыянт, які насправды вы выдаеце.

Чаму важнае NF4 і двойная квантавацыя

Звычныя 4-бітныя цэлыя чыслы дзеляць дыяпазон на равнарадзісныя значэнні. Загадзя натрэнаваныя вагі часта маюць распад, сэродні нормальнаму, таму равнарадзісныя прыметкі неэфектываўна выкарыстоўваюць ўсі ўмоўкі прэдставлення. NF4 размешчае значэнні так, каб лепей падходзілі да гэтага распаду.

Квантавацыя па блаках дае кожнаму блаку свой скаляр — сталярную вялічыну, якая павінна быць збераганая. Двойная квантавацыя таксама скорачае гэтыя сталярныя вялічыны, чым зменшае надбавку метаданых у вялікіх мадэлях.

Як апрынтовая оцэнка памяці для зашчытаных ваг, памножыце колькасць параметраў на колькісць бітоў на вагу, раздзеліце на 8 і дадзіце метаданы. Калі хаваць іх у ідэале на 4 біты, база з 7 мільярдаў параметраў патрабуе або-і 3,5 ГБ для необработаных ваг (7 млрд × 4 / 8). Да гэтага дадаюцца масштабавання, буферы, тымчасовая дэквантызацыя, адаптары, градыенты, стан оптымізатора, актывацыі і додатковыя вітраты фрэймворку, таму тверджэнне, што мадэль з 7 млрд параметраў помішчаецца ў 3,5 ГБ, нічога не гарантуе ў чысці памяці для трэніравання.

QLoRA захоўвае памяць за рахунак зашчытаных базовых ваг і оптымізацыі адаптараў. Памяць для актывацыяў усё ж залежыць ад розмеру пакета, дужыны сэрыі, шырыны шара і правіл стварэння чэкпоінтаў, што значыць, што трэніраванне з дужым кантэкстам можа заставацца обмежаным памяцю для актывацыяў нават з 4-бітнымі вагамі.

Оптымізаторы з пагінацыяй

Актывацыя чэкпоінтаў і дужыя лініяй зместу можу спрычыніць тымчасовыя падвышэнні навантажэння на памяць. Оптымізаторы на адной стороне памяці выкарыстоўваюць кераваную памяць, каб за патрэбы перамешчаць сторанкі оптымізатора между CPU і GPU. Чырвоныя гэта можа запобець абяроце з-за нехваткі памяці, хоць працэс пагінацыі можа зменшыць працэздатнась. Звярніце увагу на час выканання задачы і навантажэння на памяць хоста, і не вважайце успешную распадзелу памяці успешной оптымізацыей.

DoRA

DoRA дзеліць вагу на велічыну і напрамак і прыкладае апдэйт нізкага рангу пераважна да напрамка. Адаптаваная вага — гэта выучаная велічына m у паўнай меры на матрыцу W + ΔW, нормалізаваную столбчык за столбчыкам. Тут ΔW — гэта апдэйт у стылі LoRA. Ідэя заключаецца у тым, што велічына і напрамак выпалююць разныя ролі, і ўскладненне ў ўзніманні ўскладнення можа вярнуць якосць пры незначным рангу.

Чыленак нормалізацыі фіксуе кожны апдэйтаваны направленні, а m контролюе яго велічыну. Чырвоныя параметры прыбліжаюць DoRA да ступеняў свабоды, якія ёсць ў повнай налаштовкі, але за цэну дадатковых параметраў і аперацый. Адпаведны вопыт для практычнага выкарыстання — эмпірычны: чы рост якосці застоіцца пасля дадатковай складнасі ў трэніраванні, аддачы і рэйстрырацыі?

Настройка прыфікса і прампта

Настройка прыфікса выучае неперывныя віртуальныя токены, якія керуюць увагай, не чынячы змян у базовых вагах. Чырвоныя параметры робяць ўстройства компактнымі і падходзячымі для частковага керавання, хоць ў выпадку граматыкі інструментаў чы робіць багатоэтапнага поведзення яны прадстаўляюць меншую эфектыўнасць чым LoRA.

Sidecar чы злучэнне?

Адаптары Sidecar падыходзяць для ізоляцыі тэнантаў або задаў, шыранаг абрыву, маршрутызацыі тыпу A/B і аўдытабільнасці. З’еднанне падходзіць толькі для версіі, якая мае застацца незменной, пасля таго, як быў ацэнены і зарэгістраваны точны чэксум з’еднанага модэлю.

Sidecars таксама дазваляюць маршрутызацыю па заявленай мэты, таму адаптар для стварэння атласа дакументацыі не можа таямна актывацыяцца пад час рэжыму Дастатковасці дадзэнняў. Рашэнне маршрутазатора павінна быць зафіксаванае ў логах, разам з ID адаптара, масштабам, базовым чэксумам і прычыной.

З’еднанне зменшае накладныя вітраты адаптара пад час выканання і можа спростыць развяртанне, аднак губіць чыстую межу між базовым модэлю і яго змянамі. Пазберагце нез’еднаную лінію праецэсу, зробіце чэксум з’еднанага модэлю і ніколі не з’еднавайце яго з непрыкрэпленым „паўнастаўным“ базовым модэлю. Компактная конфігурацыя для навчання выглядае так:

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Серэд значных параметраў ёсць r=16 і lora_alpha=32. Параметр assistant_only_loss=True адпавядае за контроль граніцы збытка, а модулі-цілі, які ўстановлены як фіксаваныя, вялікі ўплыв маюць на дыяпазон прыменшэння збытка; кроме таго, працэс пакавання даных павінен быць сумесны з маскамі шаблона чату.

Оптымізацыя праганаў у рэжыме без з’ўязку

SFT паведамляе модэлю, каб той імітаваў. Оптымізацыя праганаў паведамляе модэлю, каб той выбіраў адну з можлівых альтэрнатываў. Узямім два атласы па аднам і тым жа даследжэнню, якія ў той жа час ёсць граматычна і статыстычна правільнымі. Выбраны атлас наводзі падтрымлівыя доказы, апісвае сваія прыпускі і на гэтым завершае. Атлас, які быў адхілены, дадае непадтрыманую прычынна-наследню історыю. Такі пара дае сільнейшы сігнал, чым ўсё інша «золатая» адпаведзь.

Падход Брэдлі-Тэрры

Модэлі парнае прыярэння частаюць выходзіць з адной заявы: верыгоднасць таго, што адпаведна yʷ пераможае yˡ для вхідных дадзеных x, ёст тангенс сайдзіга разліку наград, σ[r(x, yʷ) − r(x, yˡ)]. Хутчэй yʷ — гэта выбраная адпаведна, yˡ — адрадзена, а r — як неявная, так і явная награда. Значэнне мае толькі разлік між гэтымі двума наградамі.

DPO

DPO оптымізуе політыку безпасосна на парах праганаў, прычаму яе прыяўляе да базовай політыкі. Збыткі вырахоўваюцца як аб’ектыўнае значэння лог-сігмоўды для канстанты beta у паўсвязі з маржынальным падыходам; маржа – гэта разлік между лог-верыятнасцямі выбранай адпаведзі і базовай адпаведзі, вырахаваным у логарыметрычных едыніцах, за вырахунак таго ж значэння для адхіленае адпаведзі. У пазначэннях πθ – гэта політыка, якая трэнуецца, π₀ – гэта зафіксаваны базовы модэль, а β задае ступень сілы маржынальнага праганаў у паўсвязі з базовай політыкай.

Базовы чэкпоінт і значэнне beta лічыцца метаданнымі выдання. Змена будзь-кага з іх змініць аб’ектыўную функцію, нават калі набор дадзеных застаецца тым самым.

Прыклад вырахунку DPO

Праўдзімо, што чынныя політыка і базовая політыка даўаюць такія лог-верыятнасці для последоўнасцей:

• чынная політыка, выбраная адпаведзь: −8.0;
• базовая політыка, выбраная адпаведзь: −9.0;

Чырвоныя правілы, адхоўнаны атлас: −7.5;

Атлас, адхоўнаны атлас: −7.0.

Па апэксу да атласа, правілы павысілі выбраную адпаведзь на −8.0 − (−9.0) = 1.0. Для адхоўнай адпаведзі змяненне становіць −7.5 − (−7.0) = −0.5. Маржа DPO = 1.0 − (−0.5) = 1.5. З beta = 0.2 множыння beta на маржу дае 0.3, а збыт складае −log σ(0.3), прыблізна 0.554.

Правілы зарабляюць балы, таму што павысілі выбраную адпаведзь па апэксу да атласа і знізілі адхоўную. Негатыўная маржа даўала бы большы збыт, а градыенты змянілі бы гэты парадак.

Расчыткі таксама паказваюць, чаму рэферэнс мае значэнне. DPO не проста выбірае тую адпаведзь, якая мае вышую первачную верыятнасць. У гэтым прыкладзе адраджаная адпаведзь все ўсё мае вышую тэкучую лог-верыятнасць (−7,5 проты −8,0), але політыка рухаецца правым кірмом у адносе да рэферэнса.

Дзейнае ўжо ў складзе сігналу

Лог-верыятнасць последовальнасці — гэта сума па токэнах, таму дыяўанейшыя последовальнасці тэндуюць накапліваць большае колькасць ад’ёмных лог-верыятнасцей. Стварэнне набора дадзеных і варыянты цэлі рашаюцыя гэтыя проблемы рознымі спосабамі.

Калі выбраныя адпаведзі заўжды будуць корачэй за адраджаныя, мадэль можа выучыць кароткасць замест адпаведнай дысцыпліны. Калі выбраныя адпаведзі будуць дыяўанейшымі, мадэль можа выучыць занадто дэталізаваны стыл. Структуруйце пары прыямоў па разліку ў дзейнае і пераканайцеся, чы рост коефіціента паводзків застаецца стабільным пад ацэнкай з контролем дзейнае.

SimPO выкарыстоўвае сярэднюю лог-прыбыль, якая нормалізуееся па дужыне последовальнасці, і дадае маржу цэльвога адзынака. эта зменшае залежнасць ад окалічнага модэлю-асаціявання, але стварае сабе ўласныя маржы і варыянты масштабавання. Няма асаціявання не значыць няма гіперпарадаметраў.

Сілу прыямоўкі і незгоду

Бінарная пара проста пазначае, што y_w выграў. Яна не пазначае, чы была перамога явной чы малай. Калі гэта можліва, трэба захаваць галасы атрыбутараў, ўпэўненасць, выміры крэтырыю і ступень незгоды.

Разлік у галасах 3-2 атрыбутараў не павінен мець той жа вага пад час навучэння, як екзальтнае рашэнне 5-0. Зніжэнне вагі неясных пар таксама мае наследкі, адтолькі ўсё ж можа знікнуць правільная прыямоўка меньшасці. Перад выборам правіла вагавання трэба пераканацца ў паўтарэнні атрыбутараў, мове, геаграфіі і класе задання.

Зміна асаціявання

Сказваецца, што трэніраванне праганняў должна пачынацца з sft-v3, але запускчык DPO тыха завантажае sft-latest. Матэматычны апіс зменіўся. Неабходна зберагаць як політыку ініцыялізаціі, так і зафіксаваную апісную політыку, якая вікорыстоўваецца для вычыслення патынання. Зазвычай яны аднаковыя, хоць і не павінны быць такімі, а для відтворнасці рэзультатаў неабходны як ідэнтыфікаторы, так і чэксумы.

Суседнія методы

• IPO заменяе необмежаны падход у вычысленні патынання логістычных праганняў на скончаную мету у стылі маржы, што дапамагае, калі дэтэрміністычныя меткі інакш моглі б спрычыніць перэадаптаванне DPO.
• KTO выучаецца на прыкладах, пазначаных як бажаныя чы роўнасныя, незалежна, таму не патрабуецца парнаванне выходных даных.
• ORPO аднаўляе навчанне па інструкціях і штраф за праганні на адно цэльвое выраз, без окрэмай апісной модэлі.
• SimPO не выкарыстоўвае рэферэнсаў, а выкарыстоўвае лог-прыбыльнасць последоўнасці, нормалізаваную па дужыне, плюс цэльвы маржын.

Няма методу, які бы зробіў непатрэбнымі тэсты на прасачванне інфармацыі чыльнік SFT. Трэніраванне на прагантаваннях можа падняць шансы на успех, але пагіршыць калібрацыю, дужыну адпаведзей, межы адхілення чыльніка чы ўзельцы, якія станавяць меньшасць.

Выбір у мяжах сям’і DPO

Дзеянне трэба выбіраць на адзеўленні прыняцця рашэння, а не на адзеўленні тэндэнцый:

• выберыце DPO для чыста сформаваных пар і стабільнага рэферэнснага модэлю, які можна лёгка запрацаваць;
• спробуйце IPO, калі дэтэрміністычныя чыльнікі чы з малым шумам прыводзяць DPO да чрэзмерных маржын;
• выберыце KTO, калі адзывы прыходзяць у вастоўнай форме «добра» чы «вяліка», і паруванне было бы штучным;
• спробуйце ORPO, калі адна фаза, якая спалучае SFT і навчанне на прагантаваннях, спростоўвае аперацыі;
• Спробуйце SimPO, калі мемары для мадэлі-парадгуна ёсць самым строгім лімітам, а награды, нормалізаваныя па дужыне последоўнасці, падходзяць для выканання задачы.

Зачынайце працу кожнага кандыдата з аднаго базовага варыянта SFT і даўце яму той самы разбіўкі дадзеных, набор для ацэнкі і вычысковы бюджэт. Калі настройкі разныя, вы пораўнюеце працэсы апрацоўкі, а не цялевыя показнікі. Мінімальная настройка DPO выглядае так:

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

Апэлаваным пунктам должна быць контрольная точка, зазначаная ў маніфесце запуску, а не тое, калі мадэльны рэжыстр наразе называе „паўнастаю“.

Класычны RLHF: мадэль награды, PPO і RLAIF

У класычным RLHF адразу працуюць тры мадэлі. Політыка пішае кандыдатскія адпаведзі, мадэль награды оцінюе іх, а PPO налагоджвае політыку, стрымваючы будзь-якія змяны, якія моглі б яе дэстабілізаваць.

PPO апоўзаецца на абмежанай заменнай меты. Коротка сказана, ён берае сярэднюе мінімума адносу верыятнасцяў у паўназі з адносам выгоды і абмежанага адносу у паўназі з адносам выгоды, пасля чаго вырахоўвае штраф KL, які меры разлік з апэлаваным пунктам. Сімвалы маюць наступны значэнне:

• ρₜ — аднос верыятнасцяў между новай і старой політыкамі;
• Aₜ — ацэнка таго, чы робіце, выбраная на прыкладзе, перавышае адзічыннія;

ε выказвае максымальны размер апдэйта політыкі;

штраф KL прымешчае політыку да рэферэнснага стану.

Выберыце гэты падход, калі якасць ёсць сапраўды суб’ектываўнаю, існуе достатнько паўстаноўкі для стварэння модэлю награды, і оптымізацыя політыкі онлайн правядзіцца з метай компенсацыі дадзенай аператыўнай складнасці.

Адучэнне модэля награды

Модэль награды зазвычай выкарыстоўвае той самы парныя функцыю пазыранняя Bradley-Terry: аб’ектыўнае лог-сігмід аўтаматычна выучанага балу для выбранага адпаведнага рашэння за вырахунак балу для адхіленага. Функцыя оцэнкі rφ — гэта выучаная скалярная функцыя з параметрамі φ, якая адучваецца так, каб выбраныя адпаведнія рашэння стаялі вышэй за адхіленыя.

Абсалютная вяласць награды сама па сабе не мае значэння. Рэйтынг 7 не абярначае „семь едынакоў добра“, і толькі парабяранні ў межах калібруванай дыстрыбуцыі дадзеных ёсць інформатыўнымі. Масштаб наград можа разлічвацца ад аднаго контрольнага пункта, набора дадзеных чы класу запыткаў да іншага.

Спрыяйце модэлю награды як сістэме ранжыравання і меркуйце:

• точнасць на парах дадзеных, якія не былі выкарыстоўваны для трэніравання;
• калібруванне па разніцы рэйтынгаў;
• згоднасць з атрыбутамі, заданымі людзьмі, па часткам;
• стойкасць да адварсальных даных;
• чулівасць да дужыны, фарматавання, колькасці цітатаў і тэрмінаў, атрыбутуючых ідэнтычнасці;
• працэздатнасць па захадам дыстрыбуцыі дадзеных.

Заставьце золаты набор дадзеных, які ніколі не будзе выкарыстоўваны для трэніравання модэля награды і ніколі не будзе вядомаць оптымізацыю політыкі. У працоўных случаях політыка можа занадта прылегаць да свага мэтрыку, пакуль панелі керування паказваюць прыбыль.

PPO clipping з рэальнымі цыфрамі

Скажым, старая політыка дае верыгоднасць дзеяння 0,20, а апдэйтаваная — 0,25. Спявазанне становіць 0,25 / 0,20 = 1,25. З ε = 0,2 механізм кліпання обмежвае гэта спявазанне до 1,20. Для парадыгмальнай перады 2:

• значэнне без кліпання — 1,25 × 2 = 2,50;
• значэнне пасля кліпання — 1,20 × 2 = 2,40;
• PPO выбірае меньшае з гэтых значэнняў, тое самае 2,40.

Апдэйт усё ж такі падкрэпляе дзеяння, але не можа адзыскваць паўную цэльную пераду, якая могла бы выйсці з вялікага падыскання верыгоднасці.

Калі перада ёсць аб’ектывнаю, выбіранне мінімуму не дазволяе оптымізатору выкорыстаць механізм кліпання у працоўным напрамку. Гэты абераганы падход ёсць прычыной таго, чаму копія старай політыкі і версія з роулдаулом застаюцца незменнымі пры ўсім батчы.

Кантролер KL

Тэрмін KL не дазволяе політыцы занадто далека адхіляцыяцься ад стандарту. Корэгураваная награда — гэта выучаная награда за вырахунак коефіціянта βᴋʟ умножанага на дывергэнцію KL между політыкай і стандартам. Калі βᴋʟ занадта маленькі, політыка можа выкорыстоўваць модэль наград, стаць павтаральнай або паспячыць парадкі якосці мовы. Калі ж ён занадта вялікі, працэс выучэння зупініцца. Дзеякія сістэмы адлагоджваюць значэння беты, каб утрымаць дывергэнцію KL у заданым дыяпазоне.

Следзіце за дывергэнціяй KL па пазіцыі токэнаў і частках задання, а не толькі як за глобальным сярэднім значэннем. Незначны сярэдній показнік можа маскаваць значныя змяны ў рэакціях на адмовы, вызовах інструментаў або мовах меньшынства.

Модэль актара-крытыка

Класычны ППО зазвычай выкарыстоўвае шасць элементаў. Яны включаюць актара, які праходзіць навчанне, а таксама зафіксаваны фотакопію яго паканальнай версіі, політыку-асацыяцыю, якая фіксуе значэння KL, і мадэль значэння, якая выполняе ролю крытыка. Да гэтага даўаюцца мадэль награды і механізм розгортання. Гэтыя элементы можу дзеліцца вагамі або інфраструктурой, але застаюцца окрэмымі за сваімі ідэнтытэтамі. Методы, якія працуюць па зразку «офлайн» і не выкарыстоўваюць крытыка, ўзялі популярнасць, таму што яны адключаюць частыні дорогіх, схільных да абыектаў распраўленых сістэм.

Не выбірайце ППО толькі таму, што гэта стандартны метод RLHF. Ён заслуговае на свае месца тады, калі оптымізацыя на адной заснованай на навучанні, суб’ектываўной наградзе ёсць цэнная, і додатковыя прыстроі для ўпрацоўкі і падтрымкі ёсць доцэльныя.

RLAIF заменяе часткі або всі людскія крытэрыя выбору на рашэнні AI, керованыя пісанай констытуцыяй. Гэта дае масштаб, але не абсалютную правду. Контракт з дадзенням, які керуецца правіламі, павінен уключаць інструкціі судды і констытуцыю, версію судды, якая была выкарыстоўвана, тыя часткі, у якіх судды не пагоджуюцца, і момент, калі втручаецца чалавек.

Найбольшая небяспека — гэта маніпуляцыі з наградамі: алгорытм знаходзіць поверхневыя характэрыстыкі, якія даюць высокія балы, але не спрыяюць рэальнай мэты. Мадэль наград для падпрыемства можа счыліць, што дэльнейшыя справаздачы, дадатковыя цітаты або частыя фразы-захаванні означаюць „лепшае“. Адвэрсарыяныя тэсты і прымітэры выканання заданняя не ўключаюцца ў выучаныя награды.

RLAIF і констытуцыйныя рашэнні

Канстытуцыя ператварае прынцыпы ў протакол адлікання. Для INV-22041 яна можа паведаміць суддзе спачатку уважваць автарызацыю, пасля — падтрымку на адказах, статыстычную правядзімасць, калібраваную нявяснасць і стысласць.

Атрыбуты, заснованыя на суддзе, дадаюць тры дапаможныя элементы для назірання:

• канстытуцыю і запіт суддзе;
• мадэль суддзе і ўстановкі яе дэкадавання;
• палітыку адлікання ў разе неяснасці або расхіднасці.

Паклоненасць пазіркам выклікаецца калі змінюецца парадак. Заменіце выбраныя і адраджаныя элементы, абяцайце нейтральныя ідэнтыфікаторы і дадзіце пары, перакантрованыя людзьмі. Суддзя, якая зменяе свае рашэнне, калі змініцца парадак, не можа быць надзеяй на адказ пра прынцыпы выбору.

Навчанне пад кантролем з пераканальнымі наградамі

Калі успех можна пераканалізаваць механічнаю способам, можа зовсім не знадобіцца мадэль адказоў, выучаная на даных. SQL можна парсаваць і запускаць у абмежаных умовах. Код можна выкананіць праз тэсты. Статыстычныя выводы можна парабіліць з прынятымі рэзультатамі і перадположэннямі.

GRPO

GRPO выбірае групу кандыдатскіх адказоў на адну запытку і нормалізуе ўсі ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўсія ўс

Для найкрашчай траекторыя нормавяваныя пераднае складаецца прыблізна (1,0 − 0,325) / 0,47, тое ўсьмо 1,44. Для найгоршай — (−0,3 − 0,325) / 0,47, прыблізна −1,33.

Точныя цыфры залежаць ад таго, чы рэалізацыя выкарыстоўвае дывергэнцію панявіны чы выборкі, а таксама ад таго, як прадаюцца награды. Неабяжна фіксаваць гэтыя дэталі, каліж тыя зміняюць масштаб градыента.

Якшы кожная выборка отрымае награду 1, стандартная дывергэнція будзе равна нулю і не будзе абсалютнага сігналу. Эпсілон запобегае дзеўянню на нуль, але не можа стварыць інфармацыю, з якой можна было б навучыцца. Рашэннем ёсць дынамічны выбір выборак чы аднойчы жорсткія правілы.

Для INV-22041 комплексная награда можа выкарыстоўваць такія трэбаванні:

• JSON павінен быць правільным па схеме;
• павінен быць наявны прэдыкат арэндніка;
• SQL павінен быць толькі для чытання;
• запыт павінен выконвацца ў межах ліміту віткоў;
• Вернутыя даныя ўстаткуюць для адбытага тэста;
• У атласе наводзяцца толькі тыя доказы, якія былі выданы агенту.

Простая сума з вагамі дазволяе выдачу высокага рэйтынга за паслугі ў аднай вімензіі компенсаваць серьзёзную парабіяну. Узямімо награду, якая складаецца з 0,3 за правільнасць, 0,2 за якасць доказаў, 0,2 за правамернасць SQL і 0,3 за стыль. Запыт, які выкананы для калькольнікаў, можа застацца з пааздоўжным рэйтынгам, калі адпаведзь і стыль будуць хорашыя. Таму для абезпекі і автарызаціі патрэбны строгія правіла. У такім фармаце награда становіць нуль, калі автарызацыя не выйшла або адбылася вытока західваных дадзеных. У іншым случае гэта сума з вагамі наград за правільнасць, інструменты і доказы, за вырачэннем з вагамі тэрміна з віткамі.

У болей рызыкаваных умовах парабіяна можа прынесці негатыўную канечную награду замест нуля. Галоўнае — гэта немагчымасць компенсацыі, адколі якіснае выкананне ніколі не можа компенсаваць неавтарызаваны доступ.

Зберагаюце элементы награды окольна, каб іх было можна адзіно спазірваць. Оптымізатору патрэбен адзін скаляр, але панелі керування, якія адзіно атрыбутуюць показнікі правільнасці, автарызаціі, чыннасці інструменту, якосці доказаў, косцоў і дужыны, дапамагаюць выявіць маніпуляціі з наградамі.

Нормалізацыя наград можа сховаць меру значэння для бізнесу

Групавая нормалізацыя абмовічна займаецца толькі ступенем адноснасці ў межах аднаго запіту. Калі кожны кандыдат ёсць паслабны, а ўсё-такі ёсць адны, які ў меру лепшы, ён можа атрымаць паўзлівую перадачу. Тым не менш, застаецца неабходная абсалютная ніжняя межа.

Адваротны случай — група, у якой кожны кандыдат правільны. Хоць гэта і дэманструець здаровае парадкавае падходжэнне, гэта мало чым навучае. Такія запіты трэба заліць у ацэнку, а выключыць іх або зменшыць ўхіл для оптымізацыі адноснай політыкі толькі тады, калі політыка выбору ясна прызначана.

Спявазанні політык і кліпінг

Цялевыя функцыі у стыле GRPO зазвычай застаюцься з тымі ж парадуксамі ў співвядношэннях значэнняў і процэсам кліпінгу, якія існуюць у PPO. Для кожнага токэна співвядношэнне дзеліць верыятнасць новай політыкі на верыятнасць старой, а цялевая функцыя вырахоўвана як мінімум з прыемлівага значэння співвядношэння на адночыну і кліпаванага співвядношэння на адночыну, з вырахункам вырахунку KL. Адночыну можна задаць для кожнай последовальнасці, тады як співвядношэння прыкладзяюцца да кожнага токэна; гэта несувязанасць часткова стала прычыной стварэння альтэрнатыў на рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэліннг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг-рэвэлінг

Vanilla GRPO можа страждаць ад краху энтропіі, нестабільнасці дзялёгіх ланцаў, або ад пакетаў, заполненых або ўсіма правільнымі, або ўсіма неправільнымі групамі, і самэ тады дапамага DAPO. Яго прыемы можна найлепей адначытаць як чатыры інжынерскія рашэнні да спазірваных неудач у навчанні:

1. Clip-Higher. Верхнія і ніжняя межы кліпавання аддзейнаюцца, чым даецца корыстным токенам з нізкай верыятнасцю больш прастору для росту, не ствараючы сіметрычнай нестабільнасці па всім.
2. Дынамічнае выбіранне. Прыказы, у якіх выбраная група ўсё ў правілі або ўсё неправільна, фільтруюцца, адтолькі ўжо ўжо ўхаўленыя прыямнікі такіх прыказоў не ствараюць значныя разніцы.
3. Патэнт-рэвэльная градыентная втрата. Дзялёгія адпаведзі зважаюцца на рэвэлі токеноў і не разбавляюцца за счыткам усіх прыказаў.

Занадто дзейнавы шэпаванне награды. Штрафы за дзейнаўую дужыну прыходзяць паступова, чыгаючыся ад жорсткага межы, якая стварыла бы нестабільныя градыенты поблізу максымальнай дужыны.

Кожны механізм рашае адзінаковы сімптам. Не прыймайце абрывку як адзін недзеляемы пакет без пераканання, якія проблемы насправды ёсць у вашай працы.

У агенце SQL для падпрыемства дынамічна выбіранне можа сфокусаваць навчанне на запытках, дзе толькі дзеяныя планы падходзяць праваму корыстніку. Занадто дзейнавы шэпаванне запобегае таму, каб модэль вітрачала тыячы токенав для разумавання пры простай запытцы, а Clip-Higher дапамагае, калі корыстныя дзеянні вяснавання пачынаюцца з вельмі нізкай верыгоднасцю.

GSPO: последовальнасць як елемент

GSPO вычыляе спявароты значыння і кропкаванне для всей последовальнасці, а не незалежна для кожнага токэна. Гэта лепей падходзіць да наград на рэвэльнай гэтыя, і адносна стабілізацыя RL у вельмі большых мадэлях тыпу Mixture-of-Experts заслуговыць на увагу.

Урок не ў тым, што GSPO заменяе GRPO. Урок у тым, што елемент оптымізацыі павінен адпавядаць як наградзе, так і архітэктурэ. Калі рэзультаты бізнесу оцэнююцца па кожной последовальнасці, а політыка — модэллю тыпу Mixture-of-Experts, GSPO заслуговыць на прымэрку.

У простыях словах, GSPO стварае співвядношэнне верыятнасці последовальнасці, сярэднічаючы разлікі лог-верыятнасцей кожнага токена працягом дужыні адпаведнай адпаведзі і экспаненціруючы рэзультат, што прыводзіць да значэння ў прасторэ співвядношэнняў. Пасля чаго цяль выкарыстоўвае гэта співвядношэнне на рэвэлі последовальнасці і прыкладвае перавагу, выведзеную з групы, на тым жа рэвэлі. Паколькі награда ацэнюе всю траекторыю, блок оптымізацыі цяпер супарадніцца з блокам ацэнкі.

Незначныя змяны маршрутацыі між токенамі ў модэлі MoE можу зробіць співвядношэння кожнага токена шумнымі, таму агрэгатаванне па всій последовальнасці можа быць стабільнейшым, але за цену менш локалізаванай награды. Ацэнюйце развіцце, энтропію, стабільнасць маршрутацыі, награду і якасць выходных дадзеных разам, і не пакладайцеся толькі на награду.

RLOO

Метод REINFORCE Leave-One-Out выкорыстоўвае іншыя прыклады з групы як базовыя значэнні для кожнага прыкладу. Гэта апрэцэнавальнік градыента на адной засадзе політыкі без вікорыстоўвання крытарыў, і ён ўжыткавы інструмент для параболення методаў, заснованых на групах.

Пры наявнасці G прыкладоў прыклад i атрымлівае базовае значэнне, роўнае сярэднему значэнню награды іншых G − 1 прыкладоў, а яго перадчынства ўзначаецца як розлік награды гэтага прыкладу і гэтага базовага значэння. Не выконваецца дзеленне на стандартную адхіленне групы, як у нормалізацыі па з-скору. Апрэцэнавальнік ёсць простым і безупэчным пад правіламі пабудовы REINFORCE, хоча масштаб награды безпасова вплывае на масштаб градыента.

Узьмем награды 1,0, 0,8 і 0,2. Для першага прыкладу базовае значэнне па методу Leave-One-Out становіць (0,8 + 0,2) / 2 = 0,5, тады перадчынства будзе 0,5. Базовае значэнне трэцьяго прыкладу — (1,0 + 0,8) / 2 = 0,9, што дае −0,7.

RLVR і тонкая налаадка падкрэплення

Шырэйшыя падчынні — гэта навчанне падкрэпленням з пераканальванымі наградамі. Выбіраюцься траекторыі, запускаюцься дэтэрміністычныя або строго заданыя оценкавальныя прыстроі, і падкрэпляецца тое, што працюе.

Награды за рэзультат пераканальваюць, чы рашэнне ў падсумку правільна, тады як награды за працэс оцэнююць проміжныя крокі. Кантроль працэсу можа выявіць неудачу, але оценкавальныя прыстроі для кожнага кроку коштаюць дужа дорага і могу чрэзмерна обмежыць правільныя міркуванні. У корпоратыўных агентах награды за працэс здобываюць значэнне праз спостатэльныя інтэрфейсы (выбір інструментаў, автарызацыя, стварэнне аргументаў, выдача доказаў і перадача інформацыі) і ніколі не за схованыя ланцюгі міркуванняў.

Награда за рэзультат проты награды за працэс

Награда ў фармаце SQL, якая вырачваецца толькі на адпаведнасць рэзультата, можа быць простым показнікам, які доравнае 1, калі рэзультат падпадае пад адказаны, і 0 іншым чынам. Гэта об’ектыўна і недорого для вырачэння, пры тым гэта дазволяе модэлю дасягнуць адказу за дапамогою небезпечнага або дорогага запыту.

Награды, якія врачаюць працэс, дадаюць можлівасць адзірвання певных стабільных параметраў, сумуючы шасць чыннікаў. Яны включаюць перакананне ў правамернасці схемы, перакананне ў тым, што корыстувач прыўязаны, перакананне ў тым, што запыт застаецца толькі для чытання, вартасць запыту, правамернасць рэзультата і перакананне ў тым, што доказы былі належна выданы. Кожны чыннік павінен быць перапрацаванай функцыяю відавальных элементаў. Оцэнка павінна включаць дрэва сінтаксісу SQL, рашэнні пра автарызацыю, план выканання, вярнуты набор дадзеных, рэкорд статыстычнага тэсту і цітаты, а ніколі прыватныя внутрашніе механізмы модэля.

Тэсты градэра — гэта тэсты модэля

Створыце матрыцу тэстаў градэра прыямо перад кожным запускам RL:

• Пройшла вядомая правільная траекторыя;
• Неправільны тэнант не выконваецца;
• Прэдыкат тэнанта, спрыважаны ў падзапытанні, чытаецца правільна;
• Каментар SQL не можа падрабаць неабходны прэдыкат;
• Порожнія рэзультаты адразняюцца ад бяговых памылак;
• Картэзійны з’еднанні з высокімі віткамі не выконваецца;
• Фальшывая цітата не выконваецца, нават калі канечная цыфра правільная;
• Затрымка у працэ градэра не выконваецца;
• Неправільны выхід градэра не можа стаць паўным бонусам.

Пасля кожной змены градэра павтараюць історычныя траекторыі. Змена версіі бонуса пачынае новую лінію експерыментаў, нават калі код правіл не змініўся.

Мысленне мае свою цэну

Толькі правільна адаптацыя можа спрыяць неэфектываму мышлэнню, таму трэба дадаць паказчык лімітаваных затрат: награда складаецца з правільнасці за вырахунак лямбда у паўстаўцы затрат на мышлэнне Tₕ. Гэтыя затраты можу быць токенамі для мышлэння, мілісэкундамі або нормалізаванымі вычысленнямі, а λ паказвае, скількі дапамогае дадаць дадатковых зусібоў для раздумаў. Штраф застосоўваецца толькі пасля пераканання ў правільнасці і безпецы, інакш модэль научыцца адпавядаць быстра, але некорэктна.

Спадзяймося, два правільных варыянты адпаведзення абоба атрымуюць базовую награду 1,0: адны выкарыстоўвае 400 токенамі для мышлэння, а другі — 1,000. Калі затраты на токены нормалізаваныя да 1,000, а lambda = 0,1, кораткі варыянт атрымае 0,96 (за вырахунак 0,04) або 0,90 (за вырахунак 0,10).

Такім чынам, кораткі правільны варыянт выходзіць на першае месца. Аднак некорэктнае адпаведзення з 100 токенамі должна не працаваць за правіламі правільнасці і не атрымляць -0,01, каб не конкуруваць з правільнымі адпаведзеннямі.

Час затрымкі і колькасць токенав корэляцыя, але не ўзгодныя. Паралельныя вызовы інструментаў, запуск з кэша, планаванне пакетаў і архітэктура модэлі можу змяніць час, які праглядаеся на гадзінніку, тады калі колькасць токенав, выкарыстоўваных для розумовых вычынкаў, застаецца незменнай. Выберыце той показнік вартасці, які адпавядае абмежэнням працы.

RL-агент з калькамі

Рашэнні модэлі, рэзультаты інструментаў, чытанне памяці і перадача агента — усе гэта ўскладненыя элементы ў межах адной дзейнаўскай траекторыі. Зберагуйце пераходы ў стане і оценіце канечны даговор пра бізнес, а таксама локальныя інварыянты.

Напрыклад, пры ставленні дапаможнага пытання Enrichment можа не атрымаць прымітной награды. Яго значэнне праказуецца, калі Data Sufficiency стварае правільны запіт, а Reporting ухіляецца ад хыбных прычынна-наследных тверджэнняў. Прызначэнне крэдытавання не павінна стырваць гэту залежнасць.

Траекторыя — гэта журнал запісаў падзейнаў

Прадстаўьце працэс розгортання не проста як транскрыпцію чату. Кожны пераход павінен міткаваць:

• ідэнтыфікатары стану і спазірвання;
• дзеячы агент і версія яго політыкі;
• доступны набор засобаў і меры автарызаціі;
• выбраная дзеянне і яе первысныя аргументы;
• рашэнне політыкі і рэзультат работы засоба;
• чытанне і запіс у памяці;
• перадача дадзеных;
• часовыя пазначкі, косць і канечны рэзультат.

Гэты фармат падтрымлівае перагляд дзеянняў, аналіз па зямле політыкі і точную прызначэння наград. Ён таксама не дазволяе працэсу навчання спрыяць спазірванню засобаў так, як калі б іх створыў асістэнт.

Хіерархічныя награды

Для чатыроэтапнага адзьнавання неабяжна ўзначыць местныя награды за контракт плюс канечную бізнес-награду. Аб’ёмная награда складаецца з канечнай награды R★ плюс сумы з узважэннем чатырох этапных наград R₁ да R₄; кожная з іх прыналежыць адпаведна этапам Адзбагачэння, Дастатковасці дадзеных, Перапыткі гіпатэзы і Адгласавання, пры чым вагі станавяць γ₁ да γ₄.

Местныя награды прышвычваюць да працэсу, але яны таксама можу стварыць суперсцягі. Адзбагачэння можа максымізаваць якасць адгласавання, задаючы занадта многа запытанняў. Адгласавання можа оптымізаваць краткасць, не пісаючы пра певныя абмежэнні. Канечная награда і жорсткія інварыянты павінны мець перавагу над местным зручнэцтвам.

Адаптаванне павінна выконвачвацца ў спадчыну ад калянкавай адпаведнасці. Калі Enrichment надае Reporting некорэктную інформацыю пра супарадненне аб’ектаў, а Reporting верна перадае атрыманыя рэзультаты, то караць толькі Reporting вучыць некароткім прыемам. Зберагаць выходы кожнага этапу і адначасова ацэніць першыя нарушэнні кантракту.

Хорашая практыка: трэнавацца ў самай маленькай асяроддзі, якая яшчэ зберагае рэальны кантракт, з інструментамі у фармаце sandbox, дэтэрміністычнымі фіксатарамі, версіяванымі засобамі ацэнкі, строгімі тайма-аутамі і без крантовых даных.

Дыстыляцыя: перанесенне можлівасцяў, а не копіюванне модэлю

Дыстыляцыя ператварае дорогі прыем паведання «вучыльніка» у меншы або лёгкій у розмішчэнні «вучня».

Дыстыляцыя логітов

Учнік трэнуецца так, каб яго распад токэнаў падабяўся распаду вучыльніка з меншай інтэнсывнасцю. Збыт вырахоўваецца як квадрат тэмпературы у паўсуме з дывергенцыяй KL между функцыяй softmax вучыльніка і учніка, пры чым обе функцыі вырахоўваюцца на лоджытах, раздзеленых на тэмпературу T. Квадратны фактар парадкавае масштаб градыента. Вышэйшая тэмпература адкрывае ступенявыя верыятнасці токэнаў, якія знаходзяцца за першым токэном, тое самае — „тамуюцюя інфармацыю“, яку не паказваюць жорсткія меткі.

Якія змянююцца тэмпературы

Уявіце сабе вучыльніка, у якога лоджыты для трох працэсавых токэнаў станавяць 8, 4 і 2. Пад T = 1 функцыя softmax перакладае практычна всю масу на першы токэн. Пад T = 2 эфектывныя лоджыты зменшаюцца да 4, 2 і 1, і распад становіцца менш інтэнсывным; такім чынам учнік учыцца, што першы токэн ёсць найболей верагодным, а таксама што другі токэн ёсць верагодным больш, чым трэці.

Калі час тэплароць вырастае, градыянты ад другіх альтэрнатыў становяцца болей інформатыўнымі. Як толькі ўстановіць яго занадта высокі, распад стане болей роўным, адбываецца втрата корыстной структуры. Яго трэба налаштаваць на адповіднасці з якасцю пераносу даных, якія не былі вікорыстаны для навчання.

Квадратны каляр компенсуе сябе за зменшэнне градыянтов, калі лоджыты дзеляцца на тэплароць. Як толькі яго не включыць, баланс між втратамі, выніклымі пад час працэсу дыстыляціі, і втратамі, выніклымі пад час вікорыстання жорсткіх метак, змініцца.

Спалучэнне жорсткіх і мяккіх цэлей

У звычайным падходзе сумішуюць два элемента: вага для втрат, выніклых пад час працэсу SFT, плюс вага для втрат, выніклых пад час дыстыляціі. Жорсткія метакі зберагаюць вядомы правільны выхід, а мяккія верыятносці вучыльніка перадаюць вялікія прыямосты. Гэтыя две вагі встановляюць баланс.

Для вызоў інструментаў правільна структура схемы можа мець большое значэнне, чым неяснасць учыльніка. Для адказаў на адпаведзі з прыроднага языка распад учыльніка можа прадстаўляць болей насыценую структуру. Вагі можу разлічвацца залежна ад класу токенаў, але гэтая дапаможная сложнасць павінна заставацца прабавляемай і задокументаванай.

Аптаматызацыя па последоўнасці і на практыцы

Аптаматызацыя па последоўнасці трэнуецца на выходных даных, створаных учыльнікам. Хоць гэта проста, учнік бачыць толькі распад станоў учыльніка.

Аптаматызацыя на практыцы дазволяе учніку ствараць даны, а потым учыльніку карыстацца надзорам над станамі, якія учнік насправды досягае. Гэта особліва корыстна для агентаў, дзе невялікія раннія адхіленьні ствараюць новыя станы інструментаў па выходзе.

Калі мета — аптавацыя логікі, трэба застаўляць тое, што можна побачыць: як рашаюцься проблемы, шляхі вікорыстоўвання інструментаў і рэзультаты, якія можна пераканацца. Скрытая логіка не павінна стаць абавязковай часткай працэса.

Фільтры для аптавацыі последоўнасці

Рэзультаты, створаныя вучыцелем, ўжо ўважаюцца сінтэтычнымі дадзеннямі для навчання, і яны патрабуюць тых сабе ж правіл кантролю, якія існуюць для дадзенняў, напісаных людзьмі:

• перагляд з метай аправення і ліцэнзавання;
• перакананне на наявнасць персональных дадзенняў і секрэтных інформацыяў;
• выкорыстоўванне інструментаў у сэндбоксе;
• перакананне дэтэрміністычна, дзе толькі гэта можліва;
• удаленне дублікатаў на адной з асэсаментных стадыяў;
• відстэйкванне паходжання дадзенняў да вучыцеля, запіту, настройкаў дэкадавання і вучэйнага кантэкста.

Выбір найкрашчых прыкладаў можа падняць якасць сінтэтычных даных, але зменшыць ў розмаўнасці і можа паўсіліць уперадзе падбір канкрэтных прыкладаў. Зберагаюце статыстыку генеравання і выбору, каб было можна восстановіць распад даных учня.

Цыкл дыстыляціі на основе правіл

Цыкл дыстыляціі на основе правіл складаецца з пяці крокаў:

1. Учэнь генеруе даныя на адпаведнасці з сваімі ныякімі правіламі.
2. Учыцель оцінюе гэтыя станы або задае для іх распад токенав.
3. Небезпечныя або некарэктныя траекторыі фільтруюцца.
4. Учэнь адкорэктавае свою працу на адпалікшых станах.
5. Евалюяцыя пераканальваецца ў здатнасці учня і ў можлівых адхылэннях.

Цыкл нацэлёваны на рэальныя памылкі учня. Ён карыць больш, чым статычныя даныя учыцеля, і можа успадкаваць нестабільнасць ад распаду даных учня, які постаўляе змены. Фіксуйце ідэнтычнасць учыцеля і фіксуйце рэзультаты працы учня пасля кожнай ітэрацыі.

Дыстыляцыя — гэта не спекулятывная дэкодаванне

Дыстыляцыя дапамагаее учніку апрыксаваць вучыльніка. Спекулятывная дэкодаванне працюе з меншым праектам на час вывода выводаў і прымешчае, каб цэльвы модэль параболіў пераканацца ў правільнасці запропанаваных токэнаў. Учнік, створаны па методу дыстыляцыі, можа выступаць у ролі праектама, але гэтыя два методы ставяць разныя цілі.

Дыстыляцыя робіць модэль дышэўнейшым для самастойнай працы. Спекулятывная дэкодаванне прышвыдшуе працу цэльвага модэля толькі тады, калі большая частка праектавых токэнаў прыймаецца, а перакананне ў ўсім выконваецца эфектыва. Іх трэба ацэніваць окрэма.

Контракт на підпрыемнюю дыстыляцыю

Чыткая прызначэння кожнага з наступных элементаў:

• модэль вучыльніка і версія API;
• параметры генеравання і сераўскае сераўысе;
• версія запросу або сістэмнага пакета;
• правілы фільтрацыі і ацэнкі;
• база учнікаў, токенізатор і лініяеў адаптараў;

Ацэнкі безпекі як для вучыцеля, так і для учня;

Права на выкарыстоўванне дадзэнняў, якія распрастраняюцца на працы вучыцеля.

Меншыя мадэлі таксама спадзяюцься на патэрны абяканняў. Перадзейце тэсты на прыватнасць, цітаванне, автарызацыю, выкарыстоўванне інструментаў і адпраўнія на учні, і не прыймайце за гэта, што адпаведнае супакоранне вучыцеля будзе дапамагаць і ўчню.

Што змянілася ў мадэлях новай генерацыі пад час навчання і дапрацоўкі

Не колькісць параметраў ёсць тым, што адпавядае за мадэлі новай генерацыі. Іхнія працэсы навчання перасталі складацца толькі з адной этапы кераванага дапрацоўкі. Найэфектывнейшыя з іх аб’еднваюць калькі элементаў: дадзеныя, якія подаюцца у павярнутым парадку, навчанне з падкрэпленням, награды, якія можна пераканацца, сінтэтычныя траекторыі, а таксама перанесенне знанняў з вучыцеля на учня. Кожны з эых элементаў заполняе аднае з прасэнняў, якія застаюцца нерашанымі толькі за дапамогою імітацыі.

Тонкая наладка большэй не ўскладненыя процедура. Гэта цэлы курс, які ведае мадэль ад імітацыі да аналізу, потым да пераканання, пасля да супараднасці, і нарэшце да выкорыстання.

DeepSeek-R1

DeepSeek-R1 ставіць метод насічання на цэнтр прылагоджэння розумовых процэсаў. R1-Zero выйшаў з ужо прадзеянага базовага модэля і застаўляў метод насічання, не выучываючы яго спачатку жадных шляхоў мышлення, напісаных людзьмі. Эксперымент пераканваўся, чы розумовыя процэсы можа выйсці з оптымізацыі рэзультатаў, а не з копіювання падготавленых следаў мышлення.

Центральным методам была оптымізацыя групавайяя статыкі (GRPO). Статыка стварае групу кандыдатаў для аднаго запіту, і кожны з іх атрымлея награду. Адчыненне выклікаецца параваненнем з групай, тыяму што награда за вырахунакам награды за вырахунакам сярэдньяга значэння групы за стандартныя адхылэнні групы плюс ε, без аддзінальна трэнаванага модэлю значэння. Адпаведныя на адпаведныя на сваіх сарабочых атрымляюць пазітыўную перадачу, а слабейшыя — негатыўную. Адмова ад крытыка скарочвае памяць і вычысленні, заўсёды залічваючы корыстны сігнал для навучэння.

GRPO чырпала ўсё большыя успехі там, дзе можна было автаматычна пераканацца ў правільнасці: перакананне адпаведзенняў у матэматыцы, компіляцыя і тэсты коду, а таксама перакананне фармату для структураваных адпаведзенняў. Модэль навучалася на аб’ектывах рэзультатах, без патрэбы ў маркіранні людскіх прыярэнняў для кожнага крока разумавання.

R1-Zero паказаў, што такі формы поведзення, як перакананне, адступленне і выкарыстоўванне большых вычыслювальных рэсурсаў для складных задач, могу выкліквацца за дапамогою RL. Ён таксама адкрываў меры чыстага трэнінгу на адпаведных рэзультатах. Разумовыя працэсы моглі стаць важкімі для розумення, неадэкватнымі з пункту гляду мовы або настоўленымі на атрыбуты награды, не даючы гладкага адпаведзення.

Полны практычны прыемлік DeepSeek-R1 прыменяў стэпавы падход, каб прыняць гэтыя меры. Ён пачынаўся з прыкладаў, якія было лёгка чытаць у стані «холаднага запуску», пераходзіў да RL для разумовых процэсаў, потым да методу выбірання адмов, пасля чаго — да сумешанага разумовага прыемліка і загальнага SFT, і завершаўся стадыяю RL для супараднення. Даныя «холаднага запуску» стварылі чытаемы стыль разумовых процэсаў, RL для разумовых процэсаў расшырыў можлівасці за межы імітаціі, метод выбірання адмов заставіў лепшыя самаствораныя траекторыі, SFT на даных разумовых процэсаў і загальных дадзенах уніфікаўваў поведзенне, захоўваючы шырокую корыстнасць, а заключная стадыя RL пасіліла корыстнасць і безпеку.

Сама GRPO не была чым-то новым. Важна была тое, як быў аранжаваны ўзаемны звязак между надзорамым навучэннем, пераверымым RL, самастайна створанымі дадзеннямі і заканчоўным супародненнем.

DeepSeek пасля чаго дакладна настроўваў меншыя, ўжоць паўназначальныя мадэлі на аснове успішных траекторыйяў разумовага аналізу. Частка дорогогая спроможнасці разумовага аналізу такім чынам перайшла ў мадэлі, якія лёгкія ў вікорыстоўванні, а студэнты навучаліся на дэманстраціях, якія мелі багатшую структуру рашэння проблем, а не толькі заканчоўныя адпаведзі.

Qwen3 і злучэнне рэжымаў

Qwen3 рашыла задачы разумовага аналізу і прымытых адпаведзей як поведэнкі, якія трэба было навучыцца разам. Пасля трэніравання спачатку вяліся працы з довгым ланцугам мыслей, пасля чаго перайшлі да RL, спрамаванага на разумовы аналіз, злучыліся разумовая і не-разумовая поведэнкі, а пасля чаго было застосавана шырэйшая версія RL для загальнага супароднення.

Мадэль фюзыі ўособліва цікавая ідэя для трэніравання. Адна політыка выучае оба спосабы поведзення, тады калі альтэрнатыва — гэта контрольны пункт з длігім аналізам плюс окольны контрольны пункт з краткай адпаведзю. Гэта спосаб працюе тады, калі неабходны длігія логічныя маневры, і тады, калі паслужыць простая адпаведзь, такім чынам здольнасць до логічных размышленняў застаецца, не прымушваючы кожную задачу выконвацца у аднаковым, длігам стылі.

GSPO і ступень дзеяння апдэйта

GSPO (Group Sequence Policy Optimization) змяніў ступень дзеяння апдэйта політыкі. Методы на рэвэлі зазвычай вычыляюць і скраяюць коефіцыенты значымасці окрэма для кожнага рэвэлу, нават калі награда пакрывае весь адпаведзь, і гэта можа спрычыніць неадэкватныя абнаўленні ў межах адной генераванай последовальнасці.

GSPO вылічае співвазненне значэнне для всіяў лінію і ператварае яе на адну елемента оптымізацыі. Простаю мовай, ён вырахоўвае сярэднюе значэнне логарыфмічнага співвазнення верыятнасцей межы апдэйтаванай стратэгіі і стратэгіі, якая створыла траекторыю, пры чым бераецца увагу дужыня рэакцый, а пасля — гэта значэнне экспаненціруецца. Сярэдньяе за всю лінію дае сігнал на рэвалюцыйнам рывень, які адпавядае елементу, які отрымаў награду.

Гэты падход становіцца наіболей корыстным, калі навчанне пад кераваннем падтрымкі становіцца нестабільным, таму што змяны верыятнасцей на рывень токэнаў ёсць шумнымі. Новасць заключаецца у супарадненні трох прынцыпоў, якія часта не адпавядаюць адна другой: створаны об’ект, елемент награды і елемент оптымізацыі.

Kimi K2: стабільнасць і траекторыі агента

Kimi K2 адаптава методы стабільнасці пад час трэніравання, якія робяць вельмі большыя працэсы оптымізацыі болей надзеянымі. MuonClip спалюе оптымізацыю матрыц у стыле Muon з механізмамі, якія не дазволяюць вагам растаць нестабільна. QK-Clip сочыць за паведаннем атэнцыі і выборча обмежвае проблемныя проекціі запыткаў і ключоў, калі ўхідныя значэнні для яных станавяцца крайнімі.

Гэта ўдзелкі прадзейнаўкі, а не тэхнікі дальнейшай настройкі, пры тым яны маюць важлівую ролю, таму што якасць пасля трэніравання залежыць ад чэкпоінта, які ён успадковвае. Маленькі набор дадзеных для адаптавання не можа эфектыва вярнуць базовую мадэль, пашкодзеную нестабільнасцю оптымізатора або эксплозіяйю ухідных значэнняў атэнцыі.

У падзе K2 пасля трэніравання таксама выкорыстоўваліся агентныя траекторыі: кодаванне, запуск інструментаў, апрацоўка спазыраў і завершэнне багатыядэрных заданняў. У трэніраванні вікорыстоўваюцься последоўнасці дзеянняў з адзывамі аптэншчэння аптэншчэння, а не толькі пары запыт-адказ. Тыповы пат пачынаецца з задання, пераходзіць да выбору інструмента, генеравання аргументаў, адзыва пасля выканання, вярнення з адмовамі і параболізаванага рэзультата.

Часткі такіх траекторыяў можна механічна пераканаць за дапамогою коду, які выконваецца, адказаў інструментаў і сігналаў пра завершэнне задання. Тады цыкл можа надаць награду не толькі за пераканлівы фінальны адказ. Ён можа пераканаць, чы рэчымодэль выбрала правыя можлівасці, створыла валідныя аргументы, належна адрасавалася да спазыраў і завершыла заданне.

Працэсы вучыцеля-вучня ў Meta

Meta's Muse Spark і Muse Glimmer адаптуюць працэс навчання вчыльнікаў і учняў. Вучыльнік можа ствараць канечныя адпаведзі, проміжныя аргументы, мультымадальныя аналізы, выбор засобаў і стратэгіі вярнення да правільнага рашэння, але нічга з гэтага не стае матэрыялам для навчання, пакуль не будзе перакантрольавана за правільнасцю, безпекай, паходжэнням, разнаўрасовасцю і рэлевантнасцю.

Muse Glimmer абмежвае працэс адаптацыі семью крокамі. Спачатку вучыльнік стварае следы, якія праходзяць чэрзі контрольванае фільтраўванне. Потым учнік пераходзіць чэрзі працэс дыстыляцыі логітов, проміжнае навчанне і тонкую наладку пад наглядам, пасля чаго — дыстыляцыю знанняў у межах самай стратэгіі, а ў канцы — навчанне з падкрэпленням.

• Дыстыляцыя логітов пераносіць распад верыятнасцяў вучыльніка, а не толькі выбраны сімвол. Гэта дае інфармацыю пра правдападобныя альтэрнатывы і ступень вярытасі, якія працэс навчання з жорсткімі меткамі ігнаруе.
• У процэсе серэдньага трэніравання учнік атрымлеў можлівасць працаваць з дадзеннямі длігага кантэксту і агентскімі мадэлямі раней, чым працюе з вузкім налаштаваннем па інструкціях, таму такія навыкі стаюць часткай яго болей шырокага апісання і не застаюцься тонкім шаром, дадзеным напрыканце.
• Метод наладжвання знанняў у рамках самай палітры трэніравання выправляе асновную слабас звычайнага наладжвання. Учнік, трэнаваны толькі на траекторыях вучыльніка, выучае станы вучыльніка, але пад час выканання задач сталкаецца з станамі, створанымі яго сабеўласнымі некорэктнымі рашэннямі. Калі учнік стварае траекторыю, а вучыльнік дае рэкамендаціі па гэтых станах, розбіжнасці зменшаюцца.
• Потым навчанне пад кантролем падкрэпленняў зміцняе тыя поведэнчныя патэрны, якія даюць вімерымыя рэзультаты.

Разам усі этыя крокі ператвараюць процэс наладжвання знанняў у багатастадыйную программу пераносу можлівасцяў, а не ў просты процэс сціскання.

Цяпер візуальна форма рэцэпту граніцы: надзірваныя даныя для задання паведамлення, пераканальваныя алгорытмы рэндамайзавання для пераведання імітацыі, сінтэтычныя траекторыі для пакрыцця, елемент оптымізацыі, які падходзіць па гранулярнасці награды (цэлыя последованасці), а таксама працэс дыстыляцыі на сопных станах учня, каб перадаць яго здольнасці мадэлям, якія можна выкорыстоўваць.

Няма жаднага конкрэтнага назвы модэлі, якая б была трывалай інновацыяй. Сістэма адучэння складаецца з: парадку даных, пераканальвання рэзультатаў, спосабу, якім політыка доследжвае можлівасці, кантролю нестабільных апдэйтаў, а таксама фінальнай перадачы, якая не прыпускае, што меншы учнік можа ідэальна відтворыць свога вучыльніка.

Адучэнне — гэта выпуск

Успешны вычысленні не ўжо ўтвараюць артыфакт, які можна размістыць. Тое, што выкладзаецца, — цэлы пакет інструкцый. Ён включае базовую мадэль і яе токенайзер, будзь то адаптар чы сумаваныя вагі, пакет сістэмы і схемы інструментаў, контракт памяці і правілы адзыскання, а таксама квантызацыю, правілы работы пад час выканання і правілы безпекі.

Ідэнтыфікацыя рэжыстру

Як мінімум, трэба зарэўіструваць:

• чэксумы для базовай і аднаковай модэляў;
• дайджэсты для набора дадзеных і яго трансфармазацый;
• спіс частак і атлас забруднення;
• цэль, оптымізатор, насэнне, гіперпараметры і цэльвыя модулі;
• дайджэсты коду і кантэйнера;
• апаратная частка і чысловая точнасць;
• версіі градэра, модэля награды, суддзі і правілаў;
• атлас ацэнкі, затверджэнні, власніка, дату заканчэння тэрміну і мету анулювання.

Для ацэнкі неабходны мінімум і параваненні

Застосавайце два крытэрыя:

1. Абсалютныя прагі. Што да прасачоў ў захаваных модулях ёсць нуль, значэнне валіднасі схемы інструменту перасікае заданы порог, ступень прыўязкі аб’екта да ўтрэмлення ёсць 100%, а крытэрыі адхілення і безпекі таксама выпалююць.
2. Стосавыя прагі. Кандыдат павінен парадзіць нынешнему способу вырабніцтва ў чысце усунення целевага дыфекту, пры чым усе прагі застаюцца задовольненымі.

Ацэнівайце весь час выканання, а не толькі саму мадэль. Аднакоўшы адаптар можа паслабіць свою эфектывнасць пасля застосавання новай методы квантывацыі, шаблона чату, правілы выкарыстоўвання даных чы адменскай схемы інструменту.

Не спрыяйце зведчэнню якосці падпрыемства да аднаго сярэдньага значэння

Заўважкім, Mₖ — гэта метрыка для ацэнкі фрагмента k. Вагавы бал S складаецца з сумы ваг кожнага фрагмента, умножаных на ўзэйшую метрыку, пры чым сума ваг дорэчва 1, што дапамагае чыста практычна атрымліваць рэзультаты. Аднак вагавая сярэдняя дозволяе компенсацыю, таму вялікі прырост у стандартных англійскіх фарматах атрымання даных можа маскаваць серьёзны спад у ізоляцыі тэнантов або у мовах з малым колькам даных.

Фільтруйце лексыкагачыслаўна за следуючым порадкам:

1. мінімумы па крытэрыях безпекі, прыватнасці і автарызаціі;
2. мінімумы па крытэрыях зберэжэння можлівасцяў;
3. прырост у выкананні цэльвога заведама;
4. обмежэнні па вартоці і часе адпаведзення;
5. агрэгатны ранг сярод кандыдатаў, якія праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова праўілова пр

   Шум у выборцы можа адказаць за заўважаную разніцу ў тачнасці. Для бінарнай метрыкі з прыцэнтам p̂ сярод n незалежных элементаў стандартная памылка прыблізна равная квадратнаму корану з p̂(1 − p̂) / n. Калі p̂ = 0.90 і n = 100, яна становіць апошнія 0.03, што робіць падыгу на адну пунктую прычыну непераканлівай.

   Кандыдаты адпавядаюць на тыя ж запытанні, таму парныя тэсты зазвычай есць эфектывнейшымі, чым расследаванне рэзультатаў як незалежных. Выкарыстоўваюце метод бутстрэп для разлікавання разніцы па кожным элементу або падобны парны тэст, і адносіце інтэрвалы паверы ўяве разам з оценкамі пунктавых значэнняў.

   Для ацэнкі LLM як суддзі трэба додатковыя меры контролю: адбытак запытанняў на аб’ектавай базе, фіксаваныя версіі суддзі, калібраванне людзьмі і назіранне за незгодамі суддзяў. Незначны перавага ад аднаго запытання суддзі не ёсць прычыной для заявы пра выпуск.

   Набор для перазабывання

   Целевая дапага не павінна страчваць загальныя спроможнасці. Хавайце фіксаваны набор, які включае:

   • следаванне інструкцыям;
   • то, дзе заканчваецца безпека і дзе прыменяюцца адказы;
   • працэўнае стаўленне ў разныя мовы;
   • выбіранне правага інструмента і фарматаванне яго вызову;
   • пошук фактов у дзялёных кантэкстах;
   • калібраваная адказнасць і ведаўне рашэнне пра тое, калі трэба адмовіцца;
   • задачы суседніх домэнаў, якія не былі цэлью;
   • адверсарскія тэсты і пераглед прыватнасці.

   Адзвярніцеся на дзельты па адносу да точнага базовага або працоўнага фармату. Калі спроможнасці не выпанаваюцца, перагляньце даныя для трэніравання, ранг, шчыльнасць навучэння, колькасць эпох, сумешанне павторэнняў і цэль, прычым не спяшайцеся шукаць больш прыкладаў для цэлі.

   Две вораты квантызацыі

   Калі выкарыстоўваецца QLoRA або болей сучасная квантызацыя, адмацавайце два разы:

   1. Брама для артыфактав трэнінгу выкарыстоўвае базовую версію плюс адаптар для ацэнкі точнасці ў процэсе развіцця.
   2. Брама для артыфактав выканання выкарыстоўвае тое, што выкарыстоўваецца пад час рэальнага выканання: точную з’еднаную версію або версію тыпу sidecar, кернэўкі часу выканання, процэс квантызаціі, токенізатор і шаблон чату.

   Першы спосаб выявляе, чы трэнінг научыў неабходным прыемам. Другі паказвае, чы ўпроваджэнне ўтрымала іх.

   Canary і адкат

   Canary-версіі можна раздзеляць за межамі трафіку, класамі корыстувачаў, тыпамі запытоў або рэжымам shadow. Следзіце, як часта задачы выконваюцца успешна і чы людзі втручаюцца для корэкцыі, як часта політыка адмовляе, якія ёсць бягаванні з інструментамі, вітраты на токены і затрымкі, а таксама будзь-якія змяны ў наградах або распадзе вхідных дадзенняў.

   Адкат павінен вярнуць пярэйшую версію, што значыць больш, чым проста пярэйшы адаптар. Калі новы пакет сістэмы, токенізатор або схема інструмента ўсё ўсё ў дзейнасці, значыць сістэма не была адкатавана.

   Арыметыка «канарэйскіх птахоў»

   Спачатку заўважым, што крытычныя бяды історычна выклікаюцца з частотай p. Пры n незалежных запыткаў у фармаце «канарэйскі птах» верыгоднасць таго, што будзе знайдзена хоць адна такая бяда, становіць 1 − (1 − p)ⁿ. Пры частоце бяд 1% і 100 запытках гэта дае 1 − 0.99¹⁰⁰, тое ўсьмо 63.4%, таму «канарэйскі птах» можа лёгка працягваць работу, не зазначаючы рэдкіх, але серьёзных бяд.

   Дызайн «канарэйскага птаха» павінен базавацца як на рызыку, так і на процэнтах. Яго трэба намеравана запрацоўваць з рызыкаванымі шляхамі выканання задач, нестандартнымі мовамі, дужа дзяўгімі кантэкстамі, запыткамі, якія знаходзяцца на межы прав, запыткамі, якія не вяртаюць нічога, а таксама з рознымі групамі корыстувачаў. Шэду-ацэнка дапамагае расшырыць паверхню тэставання без побачных эфектаў, але не можа адкрыць усе эфекты вярнай дзейнасці.

   Трыгеры для прыдушэння і вярнення да пачатковага стану

   Неабходна задаць трыгеры ўсё раней, чым запускаецца «канарэйскі птах»:

   • Абсалютнае наявнасць наяўнасці праваляння правіл значыць негайныя абаранення;
   • Адыяванне захаваных дадзейнаоў означае зупненне процэсу адбывання інцыдэту і зберэжэнне доказаў;
   • Памылка або затрымка інструмента, якія перасягаюць заданыя прагрызы, означаюць паузу і дыягнастыку;
   • Статыстычна правідліва рэгрэсія ў цэльбе означае адвярнэнне змян;
   • Нез’ясаваныя змяны у наградах або крытэрыях ацэнкі означаюць адкладэнне падняць у ранг;
   • Відсутнасць тэлеметрыі означае незавершанне процэсу, так як немагчыма ацэніць рыліс.

   Ніхто не павінен ствараць крытэрыі прыйнятнасі, прыглядаючыся да панелі керування. Гэта ператварае кераванне на пераговоры пад тым пячынем, калі трэба аддаць рыліс.

   Зберагаць інфармацыю пра адхіленыя працэсы

   Аўдытныя запісы маюць большую значымасць, калі ў іх ёсць інформацыя пра кандыдата, які не працаваў, з пазначэннем прычыны. Уявіце такі случай:

   • Працэс qlora-v4 падняў значымасць інструмента на тры пункты;
   • Аджэ адказы, падкрэплены цітатамі, былі на пяць пунктоў менш точныя пасля застосавання квантызаціі дадзеных;
   • сістэма адхіліла іх;
   • працюючы далей, команда выявіла зв’язак між гэтым падыкшчэнням і прогнозамі выходных рэзультатаў, якія паслабаюць пад вплывом квантызаціі;
   • продакшн продавяла вікорыстоўванне dpo-v1.

   Гэта доказвае, што такая сістэма можа зупініць мадэль, якая на першы погляд здаецца прыемной. Рэестр, які містыць толькі апрацаваны варыянты, не можа паказаць, чы рэгуляры працуюць. Маніфест выдання для адаптэра Reporting можа выглядаць так:

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

У маніфесце указваецца ID выдання, чэксум базовага дадзення, адказанне-парадагон (ранейшая версія SFT) і даклэдзіны адаптара. Ён настацькі, каб яго можна было пераглянуць, і достатнь абы воспамяніць усе неабходнае для падтверджэння твэрджэння.

Пашагоўскі апіс: INV-22041

Звястка пра дыфект ёсць конкрэтная: базовы агент зазвычай даходзіць да правільнага адказу, але некарэктныя вызовы інструментаў, слабкая рэкаверазія пасля порожніх рэзультатаў SQL і відсутнасць апаводзінаў пашкаджаюць яго работу. Для рашэння гэтых проблем прызначаны восьмыя крокі:

1. Аднайсціць дыфект. Карта рэгіонаў захавваецца ў кераванай памяці, актуальныя даныя пра прыбыткі — у семантычным шарэ, а правыя належнасці — у правілах работы. Навчанне спрамована на граматыку інструментаў, ўмеласці рэкаверазіі, апаводзіны і правільнае адхіленне.
2. Створыце план дадзейнаў. Кампілюйце 4,200 прыкладаў SFT плюс 1,100 траекцый вярнення пасля кальколяў, прыўяжыце інфармацыю пра паходжанне, адзяліце праектныя фінансавыя дакументы і падтрымайце contamination_rate = 0 для комплекту выдання.
3. Стварыце SFT. Адучыце адаптар LoRA з рангам 16 і альфа-значэннем 32 на выбраных проекціях атэнцыі. Рэшыткі аналізу за дапамою інструментаў падыходзяць з 0,71 да 0,94, тады калі загальныя показнікі спроможнасці застаюцца стабільнымі.
4. Дадзіце даны пра прыярытэты. Атласавальнікі выбіраюць стыснутыя, дакладныя атласы замест альтэрнатыў, якія ўсё ж такі ўсунутыя з падтрымкай. DPO працуе з beta = 0,2 на адназначным кансэртнам SFT-рэферэнсе, досягаючы 0,78 паказніка успеху, пры чым рэшытка прасачання застаецца равнаю нулю.
5. Ўжывайце перакананыя методы RL толькі там, дзе гэта падтрымліваецца. У этапы адказальнасці дадзенняў неабходна запрашыць васьмыя траекторыі SQL і інструментаў на кожны запіт і оцаніць іх па ступеню прычыснення да конкрэтных умов, правядзімасці, косцу, а таксама па тым, чыяхо дадзенняях достатнія. GRPO спрыяе крашчаму вяснаванню, а DAPO выкорыстоўваецца, калі групы з ідэнтычнымі наградамі і дужыя выходы паслабляюць сігнал.
6. Пераканайцеся, што архітэктура падходзіць. Калі студэнт — гэта мадэль тыпу MoE, чыяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя
7. Апублікуйце рэцэпт. Фіксуйце кожны компонент, аналізуйце яго прычыны прыблызна 72 гадзіны, практыкуйце толькі тады, калі будуць апавярэжаны абсалютныя показнікі і стосавічныя прыросты, і залейце адну спробу, якая была навмысна адхоўвана, у журнал аўдыту.

У час працы готовая сістэма яшчэ чытае тэкушчы квартал, схему і правыя на доступ. Навчанне павышае яе эфектыўнасць у супакоўненні з гэтымі фактамі, але не робіць яе ўладнікамі іх.

Дрэва абыякавасці: дзе паспелыя праекты навчання падводзяць

Паўтараючыся патэрн — калі проксі оптымізуецца, а корпаратыўны контракт відсутні:

• Высока точнасць навчання можа маскаваць занятыя адлікі.
• Пераможныя парадыранні можу выйсці з дужэйшых адказоў або выцяклых цітатаў.
• Крывая наград за працу можа адбіваць сабой выкорыстанняяцелівых ацэнкавачаў.
• Учні перадаюць небяпечныя прычыны вучыльніка разам з яго навыкамі.
• Адаптар, які выглядаюць бездоганна, можа зламацца пад час працы ў квантаваным сераўеры, які насправды выкорыстоўваецца.
• Працэс вярнення да пачатковага стану можа зазнаць няудачы, калі ён вярнуе вагі, але залішыць рэшту элементаў без змян.

Цель трэніравання паказвае толькі тое, што адбылася оптымізацыя. Толькі доказы выпуску можа паказаць, што корпоратыўная сістэма павысіла свою эфектыўнасць.

Доказ концэпцыі проты корпоратыўскай адаптацыі

Запытанне пра тое, чыі ідэя паўтарае павышэння паказніка, ёсць справядлівым на этапы доказа концэпцыі. На корпоратыўнай этапы додаюцца дакументацыйныя трэбаванні: законныя даны, незалежны паказнік, павышэння, якое перазстало пасля інтэграцыі, атрыбуемы рэзультат і можлівасць вярнення да пачатковага стану.

Таму самая ценная работа пасля навучэння частаю не ў вялікай меры стосуецца новых функцыйяй змены збытку. Гэта інжынерныя рашэнні, якія з’еднаюць лянцюг дадзэнняў, кантракты на адзынаку, можлівасць павторнага стварэння рэзультатаў, ацэнку, ідэнтыфікацыю ў рэестрэ, развяртанне, тэлеметрыю і можлівасць анулювання змян.

Дванаццаць правіл працы

1. Зберагаюце змены фактов у хранільнях, а стабільнае прадзеянне — у адаптарах.
2. Выбірайце алгорытм на аднойчыну з кантрактамі на награду і нагляд, якія у вас ёсць.
3. Фіксуйце версію базовага модэлю, прыстрою для ацэнкі, судды і правіл.
4. Для чат-СФТ выкорыстоўвайце функцыю змены збытку, прызначаную толькі для асістэнтаў, і пераканаўцеся ў правільных межах пакавання.
5. Вядомае прывялівайце PEFT, а повнае фін-цюнінгаванне расследжваюце як асаблівы случай, для якога патрэбна пісьмовая прычына.
6. Навучэнне з QLoRA не значыць выдачу квантаванага модэлю.
7. DPO патрэбуе фіксаванага базовага модэлю і значэння beta, а методы без базовага модэлю все рава патрэбуюць базовых показнікаў.

Адзінкава перацовка кожнай пераканальванай награды проты працоўных сцэнарыёў працоўніка.

Выбірайце DAPO або GSPO таму, што фактычны неяксамент падтрымлівае іх выбор, а не таму, што яны новейшыя.

Працэс дыстыляцыі пераносіць як модзель працы, так і способы яе неяксаменства, таму неабходна незалежна ацэніць «вучня».

Для сэтакаў, якія вялікануе выпуск, трэба падтрымваць рэвэрсію забруднення на роўні нуля.

Зарэгіструйце цэлы алгорытм і апрабавайце процедуру адвярнення змян пры парадку на вышэйшы ранг.

Контракты, а не лесць

Адаптаванне пад практычныя задачы — гэта не падыём ад SFT да ўсё бол модных акронімав. Гэта ланцуг контрактав.

У дакуменце кантракта прызначана тое, што можа навучыць прыклад, у цялевым пункце называецца оптымізаваны сігнал, а ў апісанні асяроддзя перыявляюцца можлівыя дзеянні. Ацэнка візначае ступень паліпшэння, рэйстры фіксуюць абоўшчыну створанага, працэс запуску вылічае, які рызык будзе несць арганізацыя, а працэс анулювання паведамляе, чы рошчэнне справды можна вярнуць.

Калі такія кантракты правільныя, LoRA, DPO, GRPO, методы дыстыляціі і ўсі іншы методы пасля трэніравання стаюць корыстнымі інжынернымі інструментамі. Без іх нават гарная крывая наград проста ёсць дорожэйшым дэманстрацыйным прыкладам.

Спаднія матэрыялы

• Стварэнне агента падтрымкі LEPA за дапамою LangGraph — Канектаванне вузлаў Wire SupportState, ўзяцце і класыфікацыя даных, умовныя рэшткі і маркі START/END, каб запіт на падтрымку школы могаў уточніць інфармацыю або перэйсці да дакументацыі.
• Канцэпцыя LangGraph на простай мове: стан, памяць і оркестрацыя — Як што перад напісаннем коду: што такое оркестрацыя, час выканання, агенты з станамі, краткасрочная і дазгасласрочная памяць, мнагаагентныя сістэмы і участка чалавека ў працы агентаў у LangGraph.
• Чатырошаровая архітэктура для агента выдачы інформацыі для керуючых на Azure — Як дэтэрміністычны агент выдачы інформацыі дзеліць працу між Fabric, процедурамі зберагання дадзеных у SQL, FastAPI на Azure Functions і Copilot Studio, каб стварыць дакументы для керуючых.