Тонке налаштування стало дешевшим, але агентам все ще потрібен механізм для керування вагами
Як перетворити збережені уроки агента на ваги за допомогою самодистиляції в межах політики, чотирьох критеріїв покращення та чому повторення цього циклу тричі руйнує його.
Джерела: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.
Щоночі мозок тихо виконує пакетну обробку інформації. Епізоди, що сталися протягом дня, зберігаються в гіпокампі, і під час сну вони переглядаються та вибірково записуються у кору головного мозку. Дослідники спостерігали за цим процесом у щурах через кілька годин після того, як їм зняли лабіринт. Наступного ранку з’являються навички, які були опановані лише напередодні, причому сам процес навчання ніколи не спостерігається.
Кілька років тому Андрей Карпаті вказав на відсутню фазу у цих агентах: немає кроку дистиляції, немає сну. Приблизно через вісімнадцять місяців у цій галузі почали створювати таку фазу. У статті 2026 року навіть було дано назву „Моделі мови потребують сну“, у якій описується процес об’єднання пам’яті моделі в контексті з новоствореними експертними вагами під час спеціальної фази сну.
Таким чином, розмежування між процесами пробудження та сну перейшло від метафори до архітектурної діаграми, що є водночас і доброю новиною, і пасткою. Процес консолідації став настільки недорогим, що його можна включити до графіка, і саме тому цікаві інженерні рішення перемістилися в інше місце — до фільтра, який серед десяти тисяч можливих уроків вибирає ті кілька, які варто включити до параметрів моделі.
З цього випливають чотири навички. По-перше, розділення швидкого циклу (контекст, оброблюваний за кожним запитом) від повільного циклу (ваги, які змінюються з кожною версією), причому для кожного існує певна ціна. По-друге, перетворення агента, який вже використовується в продакшені, на автодидика з привілеями, без необхідності використання більшої моделі. По-третє, оцінка кожного уроку за чотирма критеріями покращення ще до того, як до нього буде застосовано градієнтний метод. По-четверте, виявлення недоліків, які приховуються під час демонстрацій одного циклу, шляхом виконання циклу тричі. Єдиною вимогою є наявність продукту, який використовує API LLM.
Два цикли з різними таймерами
Перша половина історії — це виконання агентом завдання та записування отриманих знань у книзу інструкцій, файл простого тексту з уроками, який читається на початку кожного запиту, щоб наступна робота починалася з кращої позиції, ніж попередня. Друга половина — це консолідація: окремий офлайн-процес, який переглядає збережені дані, визначає, які з них стабільні та достатньо цінні для навчання, та записує лише ці дані у параметри.
Дослідження пам’яті 2026 року називає цей цикл «Accumulate-Internalize». Спочатку інформація накопичується явно — у пам’яті та книгах інструкцій, де уроки можна легко переглядати та редагувати. Потім стабільні залишки інформації інтегруються у параметри, де вони стають швидкими, універсальними та безкоштовними під час виконання завдань. Простіше кажучи, агент працює весь день з блокноту, а щось інше, пізніше та окремо, вирішує, які сторінки варто запам’ятати.
Нічний процес складається з трьох кроків: повторна обробка, відбір та узагальнення. Лише середній крок передбачає прийняття рішень, і саме він є найважливішим.
- Швидкий «годинник» працює під час запиту. Контекст та пам’ять адаптуються залежно від кожної розмови, причому ці зміни є зворотними та дешевими у виконанні.
- Повільний «годинник» працює під час оприлюднення результатів. Процес консолідації оновлює ваги кожні кілька тижнів, але це відбувається з певними обмеженнями та за реальну ціну.
У хороших системах використовуються обидва «годинники», і вони відстежують, де знаходиться кожен урок. У поганих системах або повільний «годинник» ніколи не просувається вперед, через що зростають витрати на підтримку контексту, або швидкий «годинник» безпосередньо підключається до ваг, що призводить до раннього забруднення даних.
Найкращим вчителем є сам агент, який має інструкції для роботи
Класична дистиляція навчає студента імітувати результати роботи викладача. Проблема полягає у тому, звідки беруться дані: студент вчиться на відполірованих шляхах розвитку викладача та ніколи не бачить хаотичних станів, які створюють його власні помилки. Його перший неправильний крок призводить у місце, яке ніколи не відвідувалося набором даних для навчання.
Дистиляція в межах політики коректує цю проблему. Зразки беруться з власної поведінки студента, а викладач оцінює чи направляє ці дані, тож сигнал корекції стосується саме тієї розподілу помилок, який існує у студента. Це інтенсивний зворотний зв’язок щодо власних помилок, а не показуха успіхів когось іншого.
Те, що робить це практичним, — це те, що вчитель не обов’язково має бути більшою моделлю. Це може бути та сама модель із непропорційною перевагою: посібник у контексті, вже вивчені уроки та інформація про епізод, який вже закінчився. Дослідницька система під назвою SEED працює саме з цим принципом. Вона перетворює завершені траєкторії дій агента на навички, описані простою мовою, а потім включає ці поради безпосередньо до самої політики, не залишаючи жодних підказок щодо навичок чи пошуку в пам’яті під час інференсу. Урок стає поведінкою.
Уявіть собі вчителя як учня з рюкзаком. Процес дистиляції — це процес видалення рюкзака без втрати того, що було всередині нього.
Мала версія підходить для виконання протягом одного дня. Виберіть п’ятдесят завдань, які агент вже виконує, заморозьте посібник, щоб він більше не змінювався, та налаштуйте обидві сторони.
# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()
tries = [bare.run(t) for t in tasks]
Потім нехай вчитель за допомогою своєї оцінки оцінить власні спроби учня та тренуватиметься на цьому. Ось усе про процес дистиляції в межах політики у кількох реченнях:
graded = [teach.grade(x) for x in tries]
finetune(bare, graded) # one round only
# now serve it with NO playbook
Під час виконання отримуються три числа, які варто записати. Під час одного тестування у черзі підтримки, що складалася з п’ятдесяти завдань, у червні у студента без додаткових матеріалів було прийнято 61% відповідей, у студента з посібником — 79%, а модель, яка працювала без посібника, досягла рівня 77%.
Шістнадцять з вісімнадцяти пунктів, які давав посібник, залишилися ефективними, і кількість токенів у кожному запиті знизилася з 4 270 до 910. Рюкзак знімається, а оренда перетворюється на власність. Перше виконання створює враження, що проблема вирішена.
Градієнт — це зобов’язання
Індустрія опиралася оновленням ваг протягом приблизно трьох років, і цей опір був обґрунтованим. Контекст можна змінити, перевірити та видалити протягом одного дня. Оновлення ваг є непрозорим, складним у керуванні, і його можна скасувати лише шляхом повернення до певної точки контролю, що призводить до втрати всього, чого навчилася модель з того моменту.
Катастрофічне забування — це типова форма цього ризику: зниження можливостей, яке ніхто не вимірював, але яке згодом виявляє клієнт. Також необхідно повторно перевіряти узгодженість з вимогами безпеки після кожного оновлення, оскільки властивості, підтверджені у базовій моделі, не автоматично переносяться у модель після доробки.
Корисним порівнянням є ситуація, коли гілка з функціями приєднується до основної гілки, де застосовуються механізми повторення, перегляду, відстеження походження та можливість скасування змін. Однак це порівняння має одну значну слабкість: у git скасування змін відбувається точково, тоді як скасування ваг у моделі — це або все, або нічого, тож одна невдала операція об’єднання гілок руйнує все, що було додано після попереднього контрольного пункту.
Чотири критерії визначають, що може вважатися готовим рішенням:
- Урок повторювався у достатній кількості різних ситуацій, щоб це виглядало як закономірність, а не випадковість.
- Він залишався у посібнику без жодних суперечливих зауважень.
Усе, що не пройшло ці перевірки, залишається в контексті, де помилка коштує певної суми, а не призводить до зупинки процесу. Зазвичай ваги зберігають залишки, а контекст — зміни.
Чотири етапи виконуються послідовно, і ця послідовність є частиною дизайну: урок, який не пройшов перший етап, ніколи не потрапляє на перевірку у четвертий. Етап, який проходить більше ніж незначну кількість кандидатів, не є справжнім етапом.
Згідно з опитуванням агентів, які покращують себе, у червні 2026 року, рішення приймається за допомогою керуючого механізму, а не моделі. Саме цей механізм вибирає дані, які варто перетворити на сигнали для навчання, виділяє з них елементи контролю, зберігає умови, за яких вони були коректними, та вирішує, чи певний досвід взагалі підходить для навчання параметрів.
Коли існує два варіанти, щось вище мусить вибрати, який процес покращення активувати, у який момент та в межах якого бюджету, з урахуванням критеріїв ефективності та умов скасування змін. Саме цей керуючий шар є справжнім результатом роботи. При виборі спочатку перегляньте стовпець з умовами скасування, адже варіанти, які можна скасувати одним кроком видалення, заслуговують приблизно на дев’ять з десяти виборів.
Перший етап працює; третій — не працює
Свіжий результат має сповільнити всіх. У статті „Rethinking Continual Experience Internalization“ йдеться про те, що один етап перетворення досвіду на ваги ефективний, тоді як повторення цього саморозвиваючогося циклу призводить до падіння продуктивності.
Автори пояснюють це падіння трьома факторами: способом представлення досвіду, тим, як це представлення впливає на те, що контролює „вчитель“, та розподілом траєкторій, які забезпечують передачу знань. Успіх у одному етапі був лише демонстрацією. Справжньою вимогою є стабільність протягом усіх етапів, але ніхто ще не знайшов рішення цієї проблеми.
Експеримент із чергою підтримки у попередньому етапі пройшов саме так, як передбачалося в статті. У другому етапі результат склав 74%, що трохи нижче за 77% першого етапу, і це легко можна було вважати випадковістю. У третьому етапі результат становив 58%, що нижче за показники самого студента, з яким починався експеримент, крім того, якість моделі тихо погіршилась у двох категоріях заявок, яких не було у наборі для оцінки. Важливо пам’ятати про різницю між першим та третім етапами, адже лише перший етап часто згадується у описах.
Існує ще один бар’єр. Агентне машинне навчання означає застосування методів посиленого навчання до цілих багатокрокових процесів роботи агента, причому винагороди визначаються на основі результатів, які машина може перевірити. Цей підхід є ефективним там, де перевірка є дешевою, наприклад у коді, математиці чи структурованій роботі. Найцінніші завдання агентів у реальному світі дають нечіткі, запізнілі або схильні до маніпуляцій сигнали. У статті «Early Experience» це прямо зазначено: у багатьох реальних середовищах немає підтверджуваних винагород, а ті, що є, часто вимагають тривалих та дорогих тестувань. Рішенням є навчання на основі власних ранніх взаємодій агента без зовнішньої винагороди, при цьому наслідки дій розглядаються як форма керування.
Власність також приносить додаткові витрати. Кожна об’єднана версія стає окремим продуктом, який потребує набору тестів на регресію, нової оцінки безпеки та власного ресурсу для роботи, а кількість версій на одного користувача множить усі ці витрати на кількість клієнтів.
Реалістичний погляд на середину 2026 року: навчання на рівні параметрів вже використовується на ранніх етапах створення агентів для програмування та використання інструментів, у яких можна перевіряти результати їхньої діяльності, але залишається на рівні досліджень у випадках, коли оцінка результатів є нечіткою. Прихильники контекстного підходу мають обґрунтовані заперечення. Коли урок вписується у вже існуючі правила та функції пошуку, його вбудовування у параметри моделі прискорює процес та покращує якість, але водночас ускладнює перевірку, і для багатьох продуктів це є невигідною заміною.
Створіть необхідний механізм ще до його потреби
Заморожена модель залишається свідомим дизайнерським вибором, хоча існує одна проблема. Сучасні передові моделі самі навчаються як агенти за допомогою методу посилення на основі використання інструментів у виконуваних середовищах протягом тривалого часу. Заморожені версії моделей, які надаються через API, все частіше є результатом саме цих процесів навчання, тож ера такого підходу спочатку проявляється у змінах у способі створення базових моделей.
Практичним першим кроком є належне налаштування циклу накопичення даних. Потім спробуйте недорогий аудит: відкрийте план дій минулого місяця та підрахуйте записи, які з’являлися у п’яти або більше окремих епізодах без суперечностей. Одна така перевірка перетворила сорок три записи на шість кандидатів, і лише один отримав схвалення.
Цей єдиний запис є першим градієнтом. Решта — це шум, який слід залишати в контексті, де помилка коштує токенів, а не контрольної точки. Питання, яке варто запам’ятати: який урок у плані дій зустрічався достатньо часто, без суперечностей, щоб отримати дозвіл на використання?
Пов’язана література
- Вибір фреймворку агента з урахуванням характеристик робочого навантаження: шість осей та шлях прийняття рішень — Виберіть LangGraph, CrewAI, AutoGen, Temporal або взагалі нічого, протестувавши шість осей робочого навантаження: детермінізм, термін існування, ідемпотентність, історія аудиту, швидкість роботи команди та витрати на кожне рішення.
- Багато рук, один перо: сім правил оркестрування AI-агентів — Коли робочий процес кращий за агента, чому оркестратори не повинні тримати інструменти в себе, як записувати результати роботи підагентів та умови завершення, із прикладами коду на Python для кожного випадку.