Тонкая настройка стала дешевой, но агентам по-прежнему нужен механизм контроля весов
Как преобразовать сохранённые уроки агента в веса с использованием метода самодистилляции в рамках одной политики, четырёх критериев повышения качества и почему тройное выполнение цикла нарушает его работу.
Источники: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.
Каждую ночь мозг тихо выполняет пакетную обработку информации. Эпизоды, произошедшие за день, хранятся в гиппокампе, и во время сна они воспроизводятся и выборочно сохраняются в коре головного мозга. Исследователи наблюдали это воспроизведение у крыс спустя несколько часов после того, как лабиринт был убран. На следующее утро у них уже появляются навыки, которые они освоили лишь накануне, при этом сам процесс тренировки так и не наблюдается.
Некоторое время назад Андрей Карпати указал на отсутствующую фазу в алгоритмах: нет этапа обобщения информации, нет сна. Примерно через восемнадцать месяцев в этой области начали разрабатываться подобные решения. Статья 2026 года даже носила название «Языковым моделям нужен сон» и описывала процесс объединения внутриконтекстных воспоминаний модели с новыми экспертными весами во время специальной фазы сна.
Таким образом, разделение на фазы бодрствования и сна перешло от метафоры к архитектурной схеме, что является одновременно и хорошей новостью, и ловушкой. Процесс консолидации стал настолько дешевым, что его можно включить в расписание, и именно поэтому интересные инженерные решения сместились в другое русло — на фильтр, который выбирает из десяти тысяч возможных уроков те немногие, которые заслуживают того, чтобы быть включены в веса модели.
Из этого вытекают четыре ключевых навыка. Во-первых, разделение быстрого цикла (контекст, обрабатываемый по каждому запросу) от медленного цикла (веса, изменяемые при каждой версии), причем для каждого из них существует своя стоимость. Во-вторых, превращение уже действующего агента в автодидекта с привилегиями без необходимости использования более крупной модели. В-третьих, оценка каждого урока по четырем критериям для продвижения ещё до того, как к нему будет применен градиентный спуск. В-четвертых, выявление сбоев, скрытых при однократных демонстрациях, путем выполнения цикла три раза. Единственным требованием является наличие продукта, использующего API большой языковой модели.
Два цикла с разными таймерами
Первая половина истории — это выполнение агентом задачи и запись полученных знаний в файл с инструкциями, простой текстовый файл с уроками, который снова читается в начале каждого запроса, чтобы следующая работа начиналась с более высокой точки, чем предыдущая. Вторая половина — это процесс консолидации: отдельный офлайн-процесс, который воспроизводит сохранённые данные, определяет, какие из них достаточно стабильны и ценны для обучения, и записывает только эти данные в параметры.
В исследовании памяти 2026 года этот цикл назван циклом накопления и интернализации. Сначала информация накапливается явно — в памяти и файлах с инструкциями, где уроки можно легко просматривать и редактировать. Затем стабильные данные интернализируются в параметры, где они становятся быстрыми, универсальными и не требуют дополнительных затрат во время выполнения задач. Проще говоря, агент целый день работает с блокнотом заметок, а что-то другое позже и отдельно выбирает, какие страницы стоит запомнить.
Ночной процесс состоит из трех этапов: воспроизведение, отбор и обобщение. Только средний этап требует принятия решений, и именно он имеет наибольшее значение.
- Быстрые часы отсчитывают время по запросу. Контекст и память адаптируются под каждый диалог, причем эти изменения возможно откатить и они не сопряжены с большими затратами.
- Медленные часы отсчитывают время при публикации. Процесс консолидации обновляет веса каждые несколько недель, но только после проверки и с реальными затратами.
Хорошие решения используют оба вида часов и отслеживают, где находится та или иная информация. Плохие решения либо вообще не запускают медленные часы, из-за чего растут затраты на поддержание контекста, либо подключают быстрые часы непосредственно к весам, что приводит к раннему «отравлению» данных.
Лучшим учителем является сам агент, владеющий инструкциями
Классическая дистилляция учит студента имитировать результаты работы учителя. Проблема заключается в том, откуда берутся данные: студент учится на отточенных вариантах действий учителя и никогда не видит хаотичных состояний, возникающих из собственных ошибок. Первая ошибка приводит его в место, которое никогда не посещалось в наборе данных для обучения.
Дистилляция в рамках одной политики исправляет эту проблему. Примеры берутся из собственного поведения студента, а учитель оценивает или направляет эти действия, так что сигнал коррекции соответствует реальному распределению ошибок студента. Это непрерывная обратная связь по собственным ошибкам, а не подборка успехов кого-то другого.
Практичность данного подхода заключается в том, что учителю не обязательно быть более мощной моделью. Это может быть та же самая модель с явным преимуществом: контекст учебника, ранее извлеченные уроки и информация о событиях, уже завершившихся. Исследовательская система под названием SEED работает именно на этом принципе. Она преобразует завершённые траектории действий агента в навыки, описанные простым языком, затем включает эти рекомендации непосредственно в правила поведения, исключая необходимость в каких-либо указаниях к навыкам или поиске информации во время выполнения задач. Урок превращается в конкретное поведение.
Представьте учителя в виде ученика с рюкзаком. Процесс дистилляции — это удаление рюкзака без потери содержимого.
Миниатюрная версия этого подхода может быть реализована за один день. Выберите пятьдесят задач, с которыми уже справляется агент, заморозьте учебник, чтобы он больше не менялся, и настройте обе части системы.
# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()
tries = [bare.run(t) for t in tasks]
Затем пусть учитель оценит собственные попытки ученика и на этой основе проведёт тренировку. Вот вся процедура дистилляции в рамках одной политики в нескольких строках:
graded = [teach.grade(x) for x in tries]
finetune(bare, graded) # one round only
# now serve it with NO playbook
В ходе тестирования получаются три показателя, которые стоит зафиксировать. В одном из экспериментов в июне с группой из пятидесяти задач из очереди поддержки у студента без дополнительных инструментов было принято 61% ответов, у студента с пособием — 79%, а у модели, внутренне усвоившей алгоритмы, но работавшей без пособия — 77%.
Шестнадцать из восемнадцати показателей, улучшенных благодаря пособию, остались стабильными, причем количество токенов на каждый запрос снизилось с 4 270 до 910. Это позволяет считать проблему решенной уже после первой попытки.
Градиент — это обязательство
Индустрия сопротивлялась обновлениям весов модели около трех лет, и это сопротивление было обоснованным. Контекст можно изменить, проверить или удалить за один день. Обновление весов же является непрозрачным, сложным в управлении, и его можно отменить только путем возврата к определенной точке сохранения, что приводит к потере всего, что модель выучила после этой точки.
Катастрофическое забывание — это типичная форма этого риска: снижение способностей, которое никто не измерял, но которое позже обнаруживает клиент. Также необходимо повторно проверять соответствие требованиям безопасности после каждого обновления, поскольку свойства, подтвержденные в базовой модели, автоматически не переносятся на модель, отрегулированную под конкретные задачи.
Полезным сравнением может служить ситуация, когда ветка с новыми функциями объединяется с основной веткой, где применяются механизмы повторения, проверки, отслеживания происхождения изменений и возможность отката. Однако это сравнение имеет один серьезный недостаток: в git откат происходит очень точно и контролируемо, тогда как при откате весов модели все либо остается без изменений, либо полностью сбрасывается, поэтому один некорректный объединение может уничтожить все изменения, внесенные после предыдущей точки контроля.
Четыре критерия определяют, что считается успешным результатом:
- Урок повторялся в достаточном количестве разных ситуаций, чтобы это выглядело как закономерность, а не случайность.
- Он оставался в руководстве по работе и ни разу не был опровергнут.
Все, что не проходит эти проверки, остается в контексте, где ошибка приводит к удорожанию стоимости, а не к сбою на контрольной точке. Как правило, веса хранят остаточные данные, а контекст — информацию о смене состояния.
Четыре этапа выполняются последовательно, и эта последовательность является частью дизайна: урок, не прошедший первый этап, никогда не будет рассматриваться на четвертом. Этап, который отбирает более небольшого числа кандидатов, не считается настоящим этапом.
Согласно опросу агентов, занимающихся самосовершенствованием, проведенному в июне 2026 года, решение принимается с помощью механизма управления, а не модели. Именно этот механизм выбирает те следы, которые стоит преобразовать в сигналы для обучения, извлекает из них данные для надзора, сохраняет условия, при которых они были действительны, и определяет, подходит ли тот или иной опыт вообще для обучения параметрам.
Когда существует два пути развития, какой-то вышестоящий элемент должен выбрать, какой процесс улучшения запустить, в какой момент и в рамках какого бюджета, учитывая критерии доказательств и возможности отката. Именно этый управляющий слой является истинным результатом работы. При выборе сначала следует ознакомиться со столбцом с информацией об откате, поскольку варианты, которые можно отменить одной строкой удаления, заслуживают примерно девять из десяти выборов.
Первый раунд работает; третий — нет
Положительный результат должен замедлить работу всех участников. В статье «Rethinking Continual Experience Internalization» говорится, что один раунд преобразования опыта в веса дает хорошие результаты, тогда как повторение этого саморазвивающегося цикла приводит к снижению производительности.
Авторы связывают это снижение с тремя факторами: способом представления опыта, тем, как это представление влияет на то, что контролирует «учитель», и распределением траекторий, обеспечивающих передачу знаний. Успех в одном раунде был лишь демонстрацией; настоящей задачей является стабильность во всех раундах, и никто её пока не решил.
Результаты первого тестирования в очереди поддержки соответствовали прогнозам, изложенным в статье. Во втором раунде показатель составил 74%, что немного ниже 77% первого раунда, и это легко можно было списать на случайные отклонения. В третьем раунде показатель упал до 58%, что ниже уровня начальных студентов, с которыми начиналось эксперимент, причем качество работы модели ещё больше ухудшилось в двух категориях заявок, отсутствовавших в наборе для оценки. Следует запомнить разницу между первым и третьим раундами, поскольку только первый раунд упоминается в большинстве отчётов.
Существует ещё одно ограничение. Агентно-ориентированное обучение с подкреплением подразумевает применение методов обучения с подкреплением к целым многошаговым процессам действий агента, при этом награды определяются на основе результатов, которые машина может проверить. Этот подход эффективен там, где проверка стоит недорого, например, в коде, математике и структурированной работе. Однако наиболее ценные задачи агентов в реальном мире предоставляют нечеткие, запоздалые или поддающиеся манипуляции сигналы. В статье «Early Experience» это прямо указано: во многих реальных средах отсутствуют проверяемые награды, а те, что имеются, зачастую требуют длительных и дорогостоящих тестов. Решением является обучение на основе собственных ранних взаимодействий агента без внешнего подкрепления, при этом последствия действий рассматриваются как элементы надзора.
Владение такими решениями также сопряжено с дополнительными расходами. Каждая консолидированная версия становится отдельным продуктом, требующим набора инструментов для тестирования, новой оценки безопасности и собственного ресурса для работы; к тому же количество версий на одного пользователя умножает общий объем работ в зависимости от числа клиентов.
Реалистичный прогноз на середину 2026 года: обучение на уровне параметров вошло в стадию раннего применения для агентов, занимающихся программированием и использованием инструментов, у которых вознаграждения поддаются проверке, в то время как в ситуациях, когда вознаграждения нечеткие, оно остается на уровне исследований. Сторонники контекстного подхода предлагают весомые аргументы в свою защиту. Когда урок соответствует руководству и функциям поиска, его включение в веса ускоряет процесс и повышает качество, но при этом утрачивается возможность аудита, и для многих продуктов это плохая замена.
Создайте необходимый механизм заранее
Использование замороженной модели остается осознанным дизайнерским решением, имеющим один недостаток. Современные передовые модели сами обучаются в качестве агентов с помощью метода подкрепления в экзекутируемых средах с долгосрочным использованием инструментов. Замороженные модели, предоставляемые через API, все чаще являются результатом тех же процессов обучения, что и описано здесь, поэтому эра такого подхода сначала проявляется в изменении способа создания основных моделей.
Практическим первым шагом является тщательная настройка цикла накопления данных. Затем проведите недорогой аудит: откройте план действий прошлого месяца и подсчитайте записи, которые появлялись в пяти или более отдельных случаях без противоречий. В результате одного такого анализа сорок три записи превратились в шесть кандидатов, и только одна получила одобрение.
Эта единственная запись и является первым градиентом. Остальные — это шум, который следует оставлять в контексте, где ошибка стоит токенов, а не прерывания работы. Вопрос, который стоит запомнить: какой урок из плана действий встречается достаточно часто и без противоречий, чтобы его можно было одобрить к использованию?
Связанная литература
- Выбор фреймворка агента в зависимости от характера задачи: шесть параметров и путь принятия решения — Выберите LangGraph, CrewAI, AutoGen, Temporal или вообще ничего, протестировав шесть параметров задачи: детерминизм, срок выполнения, идемпотентность, журнал аудита, скорость работы команды и стоимость каждого решения.
- Множество рук, один перо: семь правил оркестрации ИИ-агентов — Когда рабочий процесс лучше агента, почему оркестраторам не следует контролировать инструменты, как записывать результаты действий подагентов и условия завершения, с примерами на Python для каждого случая.