Обучение корпоративных ИИ-агентов: выбор между методами SFT, DPO, GRPO и RAG.

Представьте, что десять дней назад аналитик задал вопрос агенту предприятия: почему в прошлом квартале снизились продажи в Северной Америке? Система спросила, что означает «прошлый квартал», и определила его как второй квартал финансового года 2026. Она отнесла Северную Америку к утвержденной региональной иерархии, сгенерировала SQL-запросы, связанные с конкретными пользователями, протестировала несколько гипотез и предоставила подробный отчет.

Сегодня аналитик задает похожий вопрос. Агент по-прежнему помнит правильные параметры, но генерирует некорректный JSON-формат данных, тратит много времени на объяснение уже проверенной как неверной гипотезы и с полной уверенностью цитирует черновик финансовой записки.

На этом этапе многие команды решают, что модель требует доработки. Иногда это действительно так. Но часто они собираются обучать неверную модель.

Выясните, что пошло не так. Карта регионов представляет собой факт, финансовая запись — это знание, управляемое правилами, а схема SQL — интерфейс, который постоянно меняется; поэтому все три элемента находятся в памяти, механизмах поиска и контрактах инструментов. Веса же должны отражать более стабильные привычки: отправку корректных запросов к инструментам, соблюдение протокола обработки доказательств, восстановление после получения пустого результата, предпочтение выводам, сопровождаемым цитатами, и отказ от ответа, когда имеющихся у агента доказательств недостаточно.

Это разделение лежит в основе всей адаптации в корпоративных системах:

Изменения фактов относятся к механизмам поиска, устойчивый контекст — к памяти, действия — к инструментам, а воспроизводимое поведение — к процессу обучения.

Обновление модели — это не просто результат работы блокнота. Это управляемая версия, и её цепочка доказательств начинается ещё до первого шага оптимизатора и должна выдерживать откат в производственной среде.

Далее рассматривается стандартный набор инструментов после обучения с точки зрения корпоративного агента — совершенно иного целевого объекта по сравнению с эталонной моделью. Рассматриваются следующие аспекты:

• определение того, относится ли дефект к пromptам, механизмам поиска, памяти, инструментам или весам модели;
• создание структуры данных, соответствующей законодательству и устойчивой к загрязнению;
• выбор между продолжением предварительного обучения, контролируемой настройкой параметров, методами LoRA, QLoRA, DoRA и полной настройкой параметров;
• подбор методов DPO, IPO, KTO, ORPO и SimPO в зависимости от формы данных предпочтений;
• различение проблем, которые решают методы PPO, GRPO, DAPO, GSPO, RLOO и обучение с верифицируемой наградой;
• использование техники дистилляции «учитель-ученик» для преобразования передовых возможностей модели в готовые к внедрению решения;
• регистрация, оценка, тестирование в реальных условиях, мониторинг и возврат к предыдущей версии адаптеров в качестве продуктов для производства.

Все описанное ниже связано с одним основным случаем: INV-22041 — расследование процесса продаж с участием нескольких агентов для арендатора acme-eu. Оно включает четыре логических этапа (дополнение информации, проверка достаточности данных, проверка гипотез и составление отчета). Каждый этап имеет собственные инструменты и подпроцессы, однако договор об обучении остается видимым на границах каждого этапа.

Когда обучение — правильное решение

Обращайтесь к обучению, когда желаемое изменение повторяется, его можно измерить, оно достаточно стабильно, чтобы быть зафиксированным в параметрах системы, и когда его применение в других местах будет слишком дорогостоящим. Обычно это неправильный первый шаг, когда изменяется политика, каталог, имя клиента, сегодняшняя цена, разрешение или схема инструмента, с которыми можно справиться с помощью ограничений.

Выбирайте наименее необратимый уровень, который позволит устранить дефект:

1. Пакет инструкций или системных настроек обеспечивает выполнение конкретных действий, которые базовая модель уже надежно выполняет по умолчанию.
2. RAG используется для работы с актуальными корпоративными знаниями, требующими привязки к конкретным источникам.
3. Память хранит указанные пользователем предпочтения, стабильные связи между данными и ранее одобренные результаты.
4. Контроль инструментов и схем обеспечивает детерминизм, авторизацию и контроль над побочными эффектами.
5. SFT или PEFT направлены на формирование стабильной структуры ответов, грамматики использования инструментов, шаблонов восстановления и стиля работы в определенной области.
6. Оптимизация предпочтений применяется, когда несколько вариантов вывода являются допустимыми, но один из них постоянно лучше остальных.
7. Обучение с подкреплением используется в случаях, когда оценка успеха возможна только после серии принятых решений.

Запустите INV-22041 по той же схеме. Знание того, что карты «Северная Америка» соответствуют утвержденному узлу региона NA_01, является задачей для управляемой памяти или метаданных. Привязка tenant_id, использование read-only семантического слоя и возврат типизированного JSON в каждом SQL-запросе являются частью контракта во время выполнения и частью поведения обучаемого инструмента. Предпочтение краткого, с цитатами, объяснения перед убедительным, но без цитат, описанием — отличная цель для тренировки предпочтений.

Частая ошибка: финальная настройка на самых новых корпоративных документах. Модель может запомнить устаревшие или ограниченные утверждения, теряя при этом информацию о происхождении, правах на удаление и семантику авторизации.

Выберите метод в зависимости от имеющихся у вас данных

Команды часто начинают с названия алгоритма. Вместо этого начните с реально имеющихся у вас доказательств.

• При наличии подсказок, соответствующих золотым ответам или следам работы инструментов, используйте метод SFT.
• При наличии выбранных и отклонённых ответов применяйте методы класса DPO.
• При наличии независимых меток, обозначающих желательность или нежелательность результата, без какой-либо связи между ними, метод KTO является наиболее подходящим.
• Если существует детерминистичный оценщик, способный оценить каждый результат (валидность SQL, точный ответ, тесты на единицы, проверки политики), то подходит оптимизация с верифицируемыми наградами, такая как GRPO или RLVR.
• Когда качество является субъективным и нельзя свести его к правилу, которому доверяют все, классическая модель наград в сочетании с настройкой PPO остаётся актуальной.

Всё это не связано с идеологией. Каждый выбор указывает на то, что могут доказать ваши данные.

Инвариант выпуска, который стоит сохранить

Для каждого примера обучения записывается тупл, содержащий идентификатор примера и информацию о его источнике, причины предоставления согласия и цели его использования, тенанта, к которому он относится, версию политики, хэш применённой трансформации, категорию, в которую он попал, а также версию того, кто создал его (маркировщика или оценщика). После развертывания этот тупл позволяет ответить на сложные вопросы: откуда взялось тое или иное поведение? Был ли пример авторизован? Может ли он утекнуть между тенантами? Какая трансформация его сформировала? Появлялся ли он также в процессе оценки?

Плоскость данных предприятия

Большинство сбоев после обучения возникают ещё до его начала. Даже самая совершенная цель не может спасти примеры, которые загрязнены, неавторизованы или плохо специфицированы.

Происхождение данных важнее предварительной обработки

Каждый сырой источник данных должен иметь владельца, способ сбора, основу лицензирования или согласия, разрешенную цель использования, правило хранения, географическую зону, класс конфиденциальности и идентификатор происхождения. Не следует удалять такие метаданные, когда документы или следы превращаются в примеры для обучения. Готовый пример должен оставаться прослеживаемым относительно исходных источников и всех примененных к ним преобразований.

Конфиденциальность, секреты и минимизация данных

Цензура необходима, но этого недостаточно. Набор данных может не иметь очевидных названий, но при этом содержать конфиденциальную бизнес-логику, редкие идентификаторы, значения, специфичные для клиентов, или восстанавливаемые секреты. Необходимо учитывать следующие аспекты:

• проводить поиск персональных данных и секретов как до, так и после преобразования;
• сохранять изоляцию различных пользователей путем выборки данных, их хранения и оценки;
• фильтровать данные по цели использования, а не только по правам доступа;
• проверка на наличие почти идентичных записей в тестовых наборах и защищённых корпусах данных;
• фиксация цепочки удалений, чтобы запрос на доступ к данным доходил до исходных данных, полученных на их основе примеров, контрольных точек, адаптеров, кэшей и результатов оценки.

Уровень загрязнения можно измерить

Для этого подходит простой операционный показатель: коэффициент загрязнения — это количество загрязнённых элементов оценки, делённое на общее количество таких элементов. Под «загрязнёнными» понимаются точные дубликаты, почти дубликаты, парафразы, содержащие правильный ответ, а также синтетические примеры, полученные на основе элементов оценки. Для оценки, определяющей версию продукта, целевое значение — ноль.

Для ручной маркировки необходим контракт

Набор данных с предпочтениями без чётких критериев превращается в набор, отражающий личные вкусы аннотаторов. Для этапа отчётности полезны критерии, позволяющие классифицировать их в следующем порядке:

1. соблюдение требований к авторизации и конфиденциальности;
2. фактическая поддержка и корректные цитаты;
3. статистическая достоверность;
4. калиброванная неопределенность;
5. полнота;
6. краткость и стиль.

Степень согласованности необходимо измерять. Для двух оценщиков коэффициент Каппа Коэна рассчитывается как наблюдаемая степень согласованности за вычетом степени согласованности, ожидаемой случайным образом, деленная на один минус степень согласованности, ожидаемая случайно. Наблюдаемая часть представляет собой долю меток, по которым оценщики совпадают, а случайная часть определяется на основе частоты меток у каждого оценщика. Низкий коэффициент Каппа указывает на необходимость корректировки критериев оценки, примеров или процесса обучения оценщиков, причем дополнительные итерации не помогут улучшить слабый сигнал.

Как выглядит запись обучения в производственных условиях

Полезным результатом является не просто пара вопроса и ответа. Это запись, которая обеспечивает возможность объединения данных для управления и оценки:

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Значения сознательно выдуманы. Расположение элементов — нет: один объект содержит информацию о том, кто его авторизовал, откуда он взялся и как он идентифицируется при оценке.

SFT, продолжение предобучения и промежуточное обучение

Люди объединяют эти методы под понятием «точная настройка», однако каждый из них оптимизирует разную распределенность данных.

Контролируемая точная настройка

SFT заставляет модель имитировать целевой ответ или траекторию поведения. Потери рассчитываются как отрицательная сумма по всем позициям: маска умножается на лог-вероятность, которую модель присваивает целевому токену с учетом входных данных и предыдущих целевых токенов. В этой формуле x — это входной контекст, yₜ — целевой токен на позиции t, маска mₜ принимает значение (1) для токенов, находящихся под надзором, и (0) для промпта, заполнителей и всего остального, что исключено из обработки, а θ обозначает параметры, подлежащие обучению.

Токены системы, пользователя, результата работы инструмента и заполнители обеспечивают контекст, но не генерируют градиенты. Только выбранные целевые токены помощника влияют на показатель потерь, рассчитываемый с учетом надзора.

Маска играет важную роль. Если токены пользователя или системы случайно попадают в данные, модель учится воспроизводить диалог вместо того, чтобы на него отвечать.

Что на самом деле делает цель кросс-энтропии

На каждой позиции с надзором модель генерирует один логит для каждого токена словаря, после чего функция softmax преобразует эти логиты в вероятности. При использовании softmax вероятность токена равна его экспоненцированному логиту, деленному на сумму экспоненцированных логитов всех токенов словаря; таким образом получаемые значения положительны и суммируются до единицы.

Функция кросс-энтропии затем оценивает работу модели по отрицательному логарифму вероятности, которую она присвоила правильному токену. Правильный токен с вероятностью 0.8 стоит примерно 0.223, а токен с вероятностью 0.01 — примерно 4.605. Следовательно, ошибки, совершаемые с высокой уверенностью, приводят к гораздо более крупным градиентам, чем предсказания, которые уже верны.

Одно последствие имеет огромное значение в предприятиях. Небольшой набор примеров качественных инструментов может эффективно устранить систематические ошибки форматирования, при условии, что цель ясна. Когда два примера демонстрируют семантически идентичные запросы, сопровождаемые противоречивыми схемами инструментов, это приводит к несовместимым прогнозам.

Потеря последовательности, потеря токенов и деловая важность различаются

Потеря последовательности обычно рассчитывается как среднее по надзорным токенам, то есть как сумма потерь токенов после маскировки, деленная на количество надзорных токенов. Поскольку отчет, содержащий 500 токенов, приводит к примерно в пятьдесят раз большим потерям токенов, чем отказ, состоящий из 10 токенов, набор данных с равным количеством обоих типов отчетов при оптимизации может тем не менее оставаться под доминированием отчетов.

Когда правильность отклонения, привязка арендатора или выбор инструмента имеют важное бизнес-значение, примеры сами по себе не могут отразить эту значимость. Варианты следующие:

• сбалансировать пакеты по классу поведения;
• наделить весом примеры или выбранные токены;
• сократить объемные цели;
• повысить частоту обработки редких граничных случаев;
• отделить оценку качества генерации от проверки соответствия контракту.

Любое взвешивание должно быть явным. Сам метод выборки, который никто не задокументировал, остается частью цели, даже если уравнение потерь о нем не упоминает.

Принудительное обучение и смещение из-за воздействия окружения

При SFT каждый токен предсказывается после правильных предыдущих токенов цели. Однако во время выполнения модель читает то, что сама сгенерировала, поэтому небольшая ошибка может привести к ситуации, которая никогда не возникала во время обучения.

Для агента это приводит к каскадным сбоям инструментов:

1. Модель генерирует идентификатор сущности, который немного неверен.
2. Инструмент возвращает пустой результат.
3. Модель никогда раньше не видела такого состояния.
4. Она выдумывает результат и не исправляет запрос.

Включайте траектории восстановления вместе с идеальными примерами. Методы на основе политики и методы обучения с подкреплением позже более прямо решают проблему смещения распределения.

Правильная маскировка диалогов с инструментами

Реалистичный протокол включает в себя политику системы, язык пользователя, логику помощника, аргументы инструмента, результаты работы инструмента и окончательный ответ. Необходимо определить, какие токены должны служить для обучения поведению:

• токены системы и пользователя обычно получают маску 0;
• звонки помощника к инструментам обычно получают маску 1;
• чистый вывод инструмента обычно получает маску 0, поскольку это наблюдение из окружающей среды, а не язык, который помощник должен имитировать;

Анализ ассистента или скрытые процессы рассуждения осуществляются в соответствии с правилами поставщика модели и политикой развертывания;

окончательный ответ получает маску 1.

Если случайно контролировать вывод инструмента, модель может научиться фабриковать результаты из базы данных. Если случайно исключить аргументы инструмента, качество отчета может улучшиться, в то время как надежность инструмента останется прежней.

Пакетирование без утечек между примерами

Предположим, примеры A, B и C занимают по 700, 900 и 1 100 токенов соответственно. Разместите каждый из них в отдельной последовательности объемом 4 096 токенов; в среднем используется лишь около 22% выделенных позиций. Пакетирование повышает коэффициент использования, однако для объединенной последовательности требуются ограничения:

• необходимо соблюдать правила обработки позиций самой моделью;
• все то, что не должно усваиваться (дополнительные данные, исключенные элементы), получает метку игнорирования фреймворка, обычно −100;
• Внимание не должно переходить от одного примера к другому, если метод рассматривает их как независимые;
• Для отладки и запросов на удаление по-прежнему необходимо, чтобы метаданные каждого примера были доступны для восстановления.

Частая ошибка: включение параметра packing=True и предположение, что стандартные настройки библиотеки подходят для шаблона чата, реализации механизма внимания и политики потерь. Проверьте одну группу примеров вручную: декодированные входные данные, метки, маски, границы примеров и количество обработанных токенов.

Для корпоративного агента наиболее ценными являются примеры SFT с корректными аргументами инструментов, поведением по уточнению запроса, структурированными отказами, возможностью восстановления после пустых результатов, соблюдением грамматики цитирования и передачей задач между агентами. Включайте в оценку негативные крайние случаи, даже если в данных для обучения присутствуют только желаемые ответы.

Продолжение предобучения

Продолженная предобучающая обработка применяет простую цель выбора следующего токена к тексту конкретной области. Используйте её тогда, когда базовая модель никогда ранее не сталкивалась с лексикой, обозначениями или общим стилем текста данной области. Точное обучение операционной политике — это то, в чём у модели сильные трудности.

Здесь существует риск катастрофического забывания: показатели путаницы в рамках конкретной области улучшаются, в то время как модель плохо справляется с выполнением общих инструкций, работой с другими языками, обеспечением безопасности или использованием инструментов. Храните данные для повторного использования и устанавливайте минимальные стандарты функциональности.

Смешивание данных конкретной области с данными для повторного использования

Назовем новое распределение доменов D_domain, а пример способностей, которые должны сохраняться, — D_replay. Цель простого смешивания заключается в добавлении взвешенной ожидаемой потери для данных домена к взвешенной ожидаемой потере для данных реплея. Ни один из коэффициентов взвешивания не является универсальной константой. Тщательно специализированная локальная модель может использовать более высокий коэффициент взвешивания для доменных данных, тогда как общая корпоративная базовая модель обычно требует более сильного показателя сохранения.

Следите отдельно за как минимум треми кривыми: потерями при проверке домена, потерями при проверке реплея и оценками поведения на последующих этапах. Более низкая совокупная потеря может скрыть ухудшение кривой реплея, поэтому условия остановки должны включать как минимальные показатели сохранения, так и критерии сходимости домена.

Скорость обучения определяет радиус воздействия

Продолженная предобучающая обработка изменяет гораздо больше параметров, чем небольшой адаптер, и скорость обучения, подходящая для адаптера, может повредить базовую модель с плотной структурой. Используйте консервативные графики обучения, часто сохраняйте состояния модели и оценивайте промежуточные результаты, поскольку последний шаг оптимизатора не обязательно является лучшим вариантом для дальнейшего использования.

Количество токенов также влияет на эффективность изменений. Очень маленькая скорость обучения при обработке миллиардов токенов может привести к более значительным изменениям в модели, чем при использовании более большой скорости обучения на небольшом отобранном наборе данных; поэтому фиксируйте общее количество токенов и шагов оптимизатора, а не только количество эпох.

Промежуточное обучение

Промежуточная обучающая фаза находится между обширным предварительным обучением и окончательной постобучающей фазой. Тщательно отобранные примеры с длинным контекстом, задачами на рассуждения, мультимодальными данными или следами действий агента изменяют его способности до момента согласования. Для INV-22041 это может означать длинные записи результатов исследований, в которых агент видит пустой результат SQL, задумывается, не являются ли причиной проблемы размер временных интервалов или семантическое сопоставление, исправляет запрос, обновляет свой набор гипотез и ведет краткий учетный журнал доказательств.

Сборка примеров позволяет поместить несколько коротких последовательностей в одно окно контекста, тем самым повышая эффективность использования ресурсов, но при этом требуется правильное распределение внимания и границ потерь. Плохой инструмент сборки может привести к тому, что пример одного клиента будет обрабатываться с учетом примера другого без какого-либо предупреждения.

SFT или промежуточная обучающая фаза: диагностика

Спросите себя, можно ли демонстрировать желаемое поведение с помощью довольно короткой пары входных/выходных данных.

• Если да, начните с SFT.
• Метод среднего обучения оправдывает себя, когда задача требует от модели учитывать длительность организации документов, прохождение через несколько этапов состояний или обработку контекста, отличного от того, что она видела ранее.
• Если отсутствующая информация регулярно меняется, ни один из методов не подходит, и решением становится поиск информации или использование специальных инструментов.

Для INV-22041 допустимым форматом данных является SQL JSON в качестве цели для дальнейшей настройки. Тщательно отобранные длинные траектории поведения могут помочь агенту восстановить работу в ходе 30-шагового исследования с несколькими неудачными гипотезами. Показатели сегодняшних продаж остаются данными, собранными во время выполнения задачи.

Тюнинг с эффективным использованием параметров: LoRA, QLoRA, DoRA и настройка с префиксами

Тонкая настройка с эффективным использованием параметров должна стать стандартом для корпоративных решений, поскольку она позволяет использовать одну общую базовую модель вместе с небольшими версионными изменениями в поведении.

LoRA

LoRA замораживает матрицу весов W и обучает обновление низкого ранга. Адаптированная матрица равна W плюс произведению двух небольших матриц B и A, масштабированному коэффициентом альфа, деленному на ранг r.

Предположим, что W преобразует 4096 входов в 4096 выходов, а ранг составляет 16. Тогда плотная матрица содержит примерно 16,8 миллиона параметров, в то время как две матрицы LoRA имеют всего 131 072 обучаемых параметров для этого преобразования (16 × 4096 плюс 4096 × 16). Это составляет примерно 0,78% от параметров плотной матрицы.

Три настройки определяют возможности адаптера: ранг задаёт его емкость, коэффициент альфа, делённый на ранг, масштабирует обновление, а целевые модули определяют, в каких частях модели может происходить адаптация. Все три элемента являются частью идентичности модели и должны быть зарегистрированы.

Почему низкий ранг может быть достаточным

Плотное обновление позволяет каждому направлению ввода-вывода изменяться независимо. LoRA исходит из того, что обновления, специфичные для конкретной задачи, находятся в гораздо меньшем внутреннем подпространстве. Вместо того чтобы обучать значения d_out × d_in, она обучает только r(dᵢ + dₒ), где dᵢ — ширина входных данных, а dₒ — ширина выходных данных.

Для квадратной проекции размером 4096 на 4096 при ранге 16 цифры выглядят следующим образом:

• для плотного обновления потребуется 16,777,216 параметров;
• для обновления с использованием LoRA — 131,072 параметров;
• доля обучаемых параметров составляет 0,0078125, или 0,78125%.

Эти цифры относятся к одной проекции. Реальный адаптер воздействует на множество проекций в разных слоях, поэтому необходимо учитывать количество обучаемых параметров в реализованной модели, а не делать экстраполяцию на основе одной матрицы.

Коэффициент масштабирования — это не декоративный элемент

При значении alpha равном 32 и ранге 16 мультипликатор LoRA составляет 2. При увеличении ранга до 64 при неизменном значении alpha в 32 мультипликатор снижается до 0,5. Изученные матрицы и динамика оптимизации меняются, хотя набор данных и базовая модель остаются прежними.

В некоторых реализациях вместо использования alpha в качестве коэффициента применяется масштабирование, стабилизированное по рангу, пропорциональное alpha деленному на квадратный корень ранга. Это изменяет сравнения между разными рангами. Необходимо записывать правила масштабирования, версию библиотеки, параметры инициализации и метод dropout.

Где применять адаптеры

Каждая из проекций внимания выполняет свою функцию:

• q_proj определяет формулировку вопроса, который текущий токен задает контексту;
• k_proj влияет на то, как более ранние токены передают информацию о своем содержимом;
• v_proj задает содержимое, фактически извлекаемое из них;

o_proj определяет, как результаты вычислений внимания записываются обратно в поток остатков.

Проекции MLP формируют преобразование признаков и могут влиять на поведение системы в конкретной области применения. Настройка только проекций запроса и значения является распространённой отправной точкой, но не правилом. Матрица аблейшн должна включать различные целевые модули и их ранг, а также отслеживать количество тренируемых параметров, прирост эффективности задачи, процесс забывания, задержку и размер артефактов.

Составление адаптеров не всегда является аддитивным

Два адаптера, которые хорошо работают по отдельности, могут столкнуться с проблемами, когда оба активны. Их дельты могут толкать одни и те же слои в противоположных направлениях, изменять статистику активации или использовать разные наборы системных компонентов. Рассматривайте составленную модель как новый рецепт: суммарные веса представляют собой базовые веса плюс дельта каждого адаптера, умноженная на его масштаб sᵢ. Это уравнение кажется простым, но обновленные проекции проходят через слои внимания, нормализации и MLP нелинейно, поэтому тестируйте составленную модель именно в том виде, в котором она предоставляется.

QLoRA

QLoRA хранит замороженные базовые веса в 4-битном формате, в то время как градиенты поступают только в адаптеры LoRA. Для этого используется технология NF4 — двойная квантовка констант квантования, а также оптимизаторы с пагинацией, которые снижают нагрузку на память.

Два ключевых аспекта помогают избежать ошибок в производственной среде:

• QLoRA — это техника, связанная с памятью при обучении. Она сама по себе не определяет параметры квантования для работы модели.
• Одного адаптера недостаточно для подтверждения того, что квантизированная версия будет вести себя аналогично. Необходимо повторить оценки качества, задержки, утечек данных и использования инструментов для реальной версии модели, которая используется в работе.

Почему важны NF4 и двойная квантизация

Обычные 4-битные целые числа делят диапазон на равномерно расположенные значения. Заранее обученные веса часто имеют нормальное распределение, поэтому равномерное распределение значений приводит к неэффективному использованию их представительских уровней. NF4 позволяет располагать значения так, чтобы они лучше соответствовали этому распределению.

Блочная квантизация предоставляет каждому блоку собственный масштаб — константу, которую необходимо хранить. Двойная квантизация также сокращает размер этих констант, тем самым уменьшая объем метаданных в крупных моделях.

Чтобы приблизительно оценить объем замороженных весов, умножьте количество параметров на количество бит на вес, разделите на 8 и добавьте объем метаданных. При идеальном хранении в 4 бита база из 7 миллиардов параметров требует примерно 3,5 ГБ для хранения сырых весов (7 млрд × 4 / 8). К этому добавляются память для масштабирования, буферы, временная деквантизация, адаптеры, градиенты, состояние оптимизатора, активации и дополнительные расходы фреймворка, поэтому утверждение о том, что модель из 7 млрд параметров помещается в 3,5 ГБ, ничего не говорит об объеме памяти, необходимом для обучения.

QLoRA экономит память за счет замороженных базовых весов и оптимизации с использованием адаптеров. Однако память для активаций по-прежнему зависит от размера пакета, длины последовательности, ширины слоев и стратегии сохранения состояния, что означает, что обучение с длинными контекстами может оставаться ограниченным объемом памяти для активаций даже при использовании весов в 4 бита.

Оптимизаторы с пагинацией

Проверка активации и длинные последовательности могут приводить к временному увеличению нагрузки на память. Оптимизаторы с пагинацией используют управляемую память для перемещения страниц оптимизатора между процессором и графическим процессором по мере необходимости. Это может предотвратить сбои из-за нехватки памяти, хотя пагинация может снизить пропускную способность. Измеряйте время выполнения и нагрузку на память хоста, и не считайте успешное выделение памяти признаком успешной оптимизации.

DoRA

DoRA разделяет вес на величину и направление, применяя обновление низкого ранга в основном к направлению. Адаптированный вес представляет собой величину m, полученную в результате обучения, умноженную на обновленную матрицу W + ΔW, нормализованную столбец за столбцом. Здесь ΔW — это обновление в стиле LoRA. Идея заключается в том, что величина и направление выполняют разные функции, и их разделение позволяет восстановить качество при умеренном ранге при небольшом увеличении сложности.

Знаменатель нормализации фиксирует каждое обновленное направление, а m контролирует его величину. Это приближает DoRA к степеням свободы, доступным при полной настройке, но ценой дополнительных параметров и операций. Вопрос для компаний имеет эмпирический характер: сохраняется ли улучшение качества после дополнительной сложности в обучении, обслуживании и реестре?

Настройка префикса и промпта

Настройка префикса позволяет создавать непрерывные виртуальные токены, которые направляют внимание, не вмешиваясь в базовые веса. Это делает её компактной и подходящей для узкоспециализированного управления, хотя она менее эффективна, чем LoRA, при работе с грамматикой инструментов или многоэтапным поведением.

Sidecar или слияние?

Адаптеры Sidecar подходят для изоляции тенантов или задач, быстрого отката, маршрутизации типа A/B и обеспечения возможности аудита. Слияние подходит только для версий, предназначенных оставаться неизменными, после того как точный чексум слияния был оценен и зарегистрирован.

Sidecar также позволяют осуществлять маршрутизацию по заявленной цели, поэтому адаптер для отчетности не может активироваться автоматически в режиме Data Sufficiency. Решение маршрутизатора должно фиксироваться в логах вместе с идентификатором адаптера, уровнем масштабирования, базовым чексумом и причиной.

Слияние снижает нагрузку на адаптеры во время выполнения и может упростить развертывание, однако оно стирает четкую границу между базовой версией и изменениями в ее поведении. Необходимо сохранять исходную версию без слияния, считывать чексум слиянной модели и никогда не сливать ее с неподтвержденной «последней» базовой версией. Компактная конфигурация обучения выглядит следующим образом:

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Среди важных параметров — r=16 и lora_alpha=32. Параметр assistant_only_loss=True обеспечивает соблюдение границ потерь, фиксированные целевые модули определяют диапазон действий адаптера, а форматирование должно соответствовать маскам шаблона чата.

Оптимизация предпочтений в офлайн-режиме

SFT побуждает модель имитировать. Оптимизация предпочтений заставляет её выбирать один из возможных вариантов среди разумных альтернатив. Возьмём два отчёта по одному исследованию, оба грамматически и статистически корректных. Выбранный отчёт приводит соответствующие доказательства, указывает свои предположения и на этом останавливается. Отклонённый отчёт добавляет необоснованную причинно-следственную связь. Такая пара даёт более сильный сигнал, чем ещё один идеальный ответ.

Подход Брэдли-Терри

Модели парных предпочтений часто исходят из одного утверждения: вероятность того, что ответ yʷ превзойдёт ответ yˡ для входных данных x, равна сигмоиде разницы наград, σ[r(x, yʷ) − r(x, yˡ)]. Здесь yʷ — выбранный ответ, yˡ — отклонённый, а r — косвенная или прямая награда. Важна только разница между двумя наградами.

DPO

DPO оптимизирует политику непосредственно на парах предпочтений, связывая её с эталонной политикой. Потери равны отрицательной лог-сигмоиде от бета умноженной на маржу; маржа представляет собой разницу между лог-вероятностями выбранного ответа в данной политике и эталонной политики, за вычетом аналогичной величины для отклонённого ответа. В обозначениях πθ — это политика, находящаяся в процессе обучения, π₀ — замороженная эталонная модель, а β определяет степень силы маржи предпочтений относительно эталона.

Эталонный чекпоинт и значение beta считаются метаданными релиза. Изменение любого из них влияет на цель оптимизации, даже если набор данных остаётся идентичным.

Пример расчёта по методу DPO

Предположим, что текущая политика и эталонная политика дают следующие лог-вероятности последовательностей:

• текущая политика, выбранный отчёт: −8,0;
• эталонная политика, выбранный отчёт: −9,0;
• Текущая политика, отклонённый отчёт: −7,5;
• Эталон, отклонённый отчёт: −7,0.

По сравнению с эталоном политика улучшила выбранный ответ на −8,0 − (−9,0) = 1,0. Для отклонённого ответа смещение составляет −7,5 − (−7,0) = −0,5. Разница DPO равна 1,0 − (−0,5) = 1,5. При beta = 0,2 значение beta умноженное на разницу составляет 0,3, а потери равны −log σ(0,3), примерно 0,554.

Политика получает положительную оценку, поскольку улучшила выбранный ответ по сравнению с эталоном и ухудшила отклонённый. Отрицательная разница привела бы к большим потерям, а градиенты изменили бы этот порядок.

Расчёт также показывает, почему ссылка на эталон важна. DPO не просто определяет, у какого ответа выше первоначальная вероятность. В данном примере отклонённый ответ всё ещё имеет более высокую текущую лог-вероятность (−7,5 против −8,0), но политика движется в правильном направлении по отношению к эталону.

Длина является частью сигнала

Лог-вероятность последовательности — это сумма по всем токенам, поэтому более длинные последовательности склонны накапливать больше отрицательных лог-вероятностей. При построении наборов данных и выборе вариантов целей с этим борются по-разному.

Если выбранные отчёты постоянно короче отклонённых, модель может научиться краткости вместо соблюдения принципов доказательственности. Если выбранные отчёты длиннее, она может научиться излишней обстоятельности. Стратифицируйте пары предпочтений по разнице в длине и проверьте, сохраняются ли улучшения в коэффициенте побед при оценке с контролируемой длиной.

SimPO использует среднее значение лог-вероятности, нормализованное по длине последовательности, и добавляет заданный запас награды. Это снижает зависимость от отдельной модели-ориентира, но вводит собственные параметры настройки и ограничения. Отсутствие модели-ориентира не означает отсутствия гиперпараметров.

Степень предпочтения и разногласия

Бинарная пара указывает лишь на то, что y_w победил. Она не говорит о том, была ли победа очевидной или с трудом добитой. По возможности следует сохранять голоса оценщиков, уровень уверенности, критерии оценки и наличие разногласий.

Разделение голосов 3 против 2 не обязательно должно иметь такой же вес при обучении, как единогласное решение 5 против 0. Снижение веса неоднозначных пар также имеет свои недостатки, поскольку действительные предпочтения меньшинства могут исчезнуть. Перед выбором правила взвешивания необходимо учитывать группу пользователей, язык, географию и тип задачи.

Дрейф ориентира

Предполагается, что обучение предпочтениям должно начинаться с sft-v3, но запускающий модуль DPO тайно загружает sft-latest. Математическая база изменилась. Необходимо сохранять как политику инициализации, так и замороженную политику-ориентир, используемую для расчёта функции потерь. Обычно они совпадают, но это не обязательно, и для воспроизводимости требуются как идентификаторы, так и чексуммы.

Смежные методы

• IPO заменяет неограниченное воздействие функции потерь логистических предпочтений на конечную цель в стиле маржи, что помогает избежать переобучения DPO при использовании детерминистичных меток.
• KTO обучается на примерах, помеченных как желательные или нежелательные, независимо друг от друга, поэтому не требуются сопоставленные выходные данные.
• ORPO объединяет обучение по инструкциям и штраф за разницу вероятностей в одну цель, без отдельной модели-ориентира.
• SimPO не использует эталонные данные; он основан на лог-вероятностях последовательностей, нормализованных по длине, плюс заданном пороге.

Ни один метод не делает ненужными тесты на утечку информации или базовую настройку SFT. Обучение на предпочтениях может повысить процент побед, но при этом ухудшить калибровку, длину ответа, границы отклонений или качество обработки меньшинственных случаев.

Выбор в рамках семейства DPO

Принимайте решение на основе записей о принятых решениях, а не по тенденциям:

• Выбирайте DPO для хорошо сформированных пар и стабильной эталонной модели, которую можно запустить с разумными затратами;
• Используйте IPO, когда детерминистичные или имеющие низкий уровень шума предпочтения приводят к чрезмерным отклонениям при использовании DPO;
• Выбирайте KTO, когда обратная связь поступает в виде независимых результатов «хорошо/плохо», и создание пар будет искусственным;
• Попробуйте ORPO, если объединение этапов SFT и обучения на предпочтениях упрощает процесс работы.
• Попробуйте SimPO, если ограничение по памяти для модели-ориентира является наиболее строгим, а награды, нормализованные по длине последовательности, соответствуют задаче.

Начните работу со всеми кандидатами с одной базовой модели SFT и предоставьте им одинаковое разделение данных, набор инструментов для оценки и вычислительный бюджет. Если настройки отличаются, вы сравниваете не цели, а процессы обработки данных. Минимальная настройка DPO выглядит следующим образом:

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

Ориентиром должен служить контрольный пункт, указанный в манифесте запуска, а никогда не то, что в настоящее время называется «последним» в реестре моделей.

Классический RLHF: модель оценки наград, PPO и RLAIF

В классическом RLHF одновременно используются три модели. Политика генерирует кандидатские ответы, модель оценки наград оценивает их, а PPO корректирует политику, сдерживая любые изменения, способные нарушить её стабильность.

PPO опирается на сокращённую заместительную цель. По сути, она вычисляет ожидаемое минимум значение произведения отношения вероятностей на преимущество и сокращённого отношения на преимущество, затем вычитает штраф KL, измеряющий отклонение от ориентира. Обозначения означают следующее:

• ρₜ — отношение вероятностей между новой и старой политиками;
• Aₜ — оценка того, превзошла ли выбранная действие ожидания;

ε определяет максимальный размер обновления политики;

штраф KL помогает держать политику вблизи эталона.

Выбирайте эту схему, когда качество действительно субъективно, существует достаточно сравнений для построения модели наград, и онлайн-оптимизация политики оправдывает дополнительную операционную сложность.

Обучение модели наград

Модель наград обычно использует ту же функцию потерь Bradley-Terry для парных сравнений: отрицательный лог-сигмоид выученной оценки выбранного ответа за вычетом оценки отклонённого ответа. Функция оценки rφ — это выученная скалярная функция с параметрами φ, обучаемая для того, чтобы ставить выбранные ответы выше отклонённых.

Абсолютное значение награды само по себе не имеет никакого смысла. Оценка 7 не означает «семь единиц хорошо», и только сравнения в рамках калиброванной распределительной функции имеют информативную ценность. Масштаб наград может различаться от одной точки контроля, набора данных или класса запросов к другой.

Рассматривайте модель наград как систему ранжирования и измеряйте:

• точность на парах данных, не использованных для обучения;
• калибровку по разнице оценок;
• соответствие человеческим меткам по отдельным группам;
• устойчивость к адверсарским входным данным;
• чувствительность к длине, форматированию, количеству цитат и терминам, связанным с идентичностью;
• поведение вне рамок распределения.

Оставьте отдельный набор данных, который никогда не будет использоваться для обучения модели наград и не будет влиять на оптимизацию политики. В противном случае политика может слишком хорошо подогнаться под свой метод оценки, в то время как панель управления будет показывать прогресс.

Клиппинг PPO с использованием вещественных чисел

Предположим, что у старой политики вероятность действия составляет 0,20, а у обновленной — 0,25. Отношение равно 0,25 / 0,20 = 1,25. При ε = 0,2 механизм обрезки ограничивает это отношение значением 1,20. Для положительного преимущества в 2:

• значение без обрезки — 1,25 × 2 = 2,50;
• значение после обрезки — 1,20 × 2 = 2,40;
• алгоритм PPO берет меньшее из этих значений, а именно 2,40.

Обновление по-прежнему способствует выбору данного действия, но невозможно получить полный объем выгоды от резкого скачка вероятности.

Когда преимущество отрицательное, использование минимального значения предотвращает использование оптимизатором механизма обрезки в противоположном направлении. Именно это осторожное подходение является причиной того, что версии на основе старой политики остаются неизменными на протяжении всей партии обработки.

Контроллер KL

Параметр KL препятствует слишком большому отклонению политики от эталона. Корректированный вознаграждение представляет собой начальное вознаграждение за вычитание коэффициента βᴋʟ умноженного на дивергенцию KL между политикой и эталоном. Если βᴋʟ слишком мал, политика может злоупотреблять моделью вознаграждений, становиться повторяющейся или терять качество языка. Если же он слишком велик, процесс обучения замедляется. Некоторые системы корректируют значение бета, чтобы держать дивергенцию KL в заданном диапазоне.

Отслеживайте значение KL в зависимости от позиции токена и части задачи, а не только как глобальное среднее значение. Незначительное среднее значение может скрывать значительные изменения в отказах, вызовах инструментов или при работе с языками меньшинств.

Метод актора-критика

В классическом PPO обычно используется шесть компонентов: агент, который проходит обучение, замороженная копия его предыдущей версии, политика-ориентир, служащая основой для вычисления показателя KL, и модель значений, выполняющая роль критика. Для завершения комплекта требуются модель наград и механизм реализации. Эти компоненты могут делиться весами или инфраструктурой, сохраняя при этом отдельную идентичность. Методы оффлайн-предпочтений и методы без критика популярны, поскольку они устраняют части дорогостоящей и склонной к сбоям распределенной системы.

Не выбирайте PPO только потому, что это стандартный метод RLHF. Он заслуживает своего места тогда, когда оптимизация с использованием выученной, субъективной метрики наград оправдывает дополнительные затраты на его запуск и обслуживание.

RLAIF заменяет некоторые или все человеческие метки предпочтений на решения ИИ, основанные на писаной конституции. Это придает системе масштаб, но не гарантирует точности. Договор о данных должен включать инструкции судьи и текст конституции, версию судьи, который принимал решение, участки, по которым судьи расходятся во мнениях, а также моменты, когда вмешивается человек.

Самой опасной проблемой является манипуляция наградами: алгоритм находит поверхностные признаки, которые хорошо оцениваются, но не способствуют достижению реальной цели. Модель наград в корпоративных системах может считать, что более длинные отчеты, дополнительные цитаты или частое использование фраз-уточнений означают «лучшее» качество. Адверсарские тесты и прямые показатели выполнения задач не должны входить в состав вычисляемой награды.

RLAIF и конституционные решения

Конституция превращает принципы в протокол оценки. Для INV-22041 она может указать судье сначала учитывать уровень авторизации, затем наличие цитат, статистическую достоверность, калиброванную неопределенность и краткость изложения.

Метки, основанные на судье, добавляют еще три элемента для отслеживания:

• конституцию и инструкции для судьи;
• модель судьи и ее настройки декодирования;
• политику принятия решений в случае разногласий или неопределенности.

Смещение из-за предвзятости проявляется при изменении порядка учета факторов. Необходимо менять местами выбранные и отклоненные варианты, генерировать случайные идентификаторы и добавлять пары данных, проверенные людьми. Судья, который меняет свое решение при смене порядка, не может считаться надежным источником информации о предпочтениях.

Обучение с усилением с верифицируемыми наградами

Если успех можно проверить механически, возможно, вообще не понадобится модель оценки вознаграждений, обученная с помощью алгоритмов машинного обучения. SQL-запросы можно парсить и выполнять в замкнутой среде. Код можно запускать с использованием тестов. Статистические выводы можно сравнивать с ожидаемыми результатами и предположениями.

GRPO

GRPO выбирает группу кандидатских ответов на один запрос и нормализует их оценки вознаграждений. Преимущество ответа определяется как его оценка вознаграждения за вычетом среднего значения группы, деленное на стандартное отклонение группы плюс небольшой коэффициент стабилизации ε.

Представьте себе восемь кандидатских планов SQL с оценками вознаграждений, отсортированными от худшего к лучшему: −0,3, −0,2, 0, 0, 0,5, 0,8 и 1,0. Их среднее значение составляет 0,325, а стандартное отклонение примерно 0,47. Каждый кандидатский вариант корректируется вверх или вниз относительно своих аналогов из выбранной группы, что устраняет необходимость в отдельно обученном критике; однако надежность метода зависит от качества используемой модели оценки вознаграждений.

Для наилучшей траектории нормализованное преимущество составляет примерно (1,0 − 0,325) / 0,47, то есть около 1,44. Для наихудшей — (−0,3 − 0,325) / 0,47, примерно −1,33.

Точные значения зависят от того, используется ли в реализации дисперсия всей выборки или её отборки, а также от способа предобработки наград. Обязательно уточните эти детали, поскольку они влияют на масштаб градиента.

Если каждый пример получает награду 1, стандартное отклонение равно нулю, и относительного сигнала нет. Параметр эпсилон предотвращает деление на ноль, но не может создать информацию для обучения. Решением может стать динамическое выборочное обучение или более сложная структура курса обучения.

Для INV-22041 композитная награда может требовать следующего:

• для JSON должна соблюдаться схема;
• должно присутствовать условие арендатора;
• SQL-запрос должен быть только для чтения;
• запрос должен выполняться в пределах установленного лимита затрат;
• Возвращаемые данные достаточны для проведения заявленного теста;
• в отчете приводятся только те доказательства, которые были предоставлены агенту.

Простая взвешенная сумма позволяет отличию в одном из аспектов компенсировать серьезное нарушение. Предположим, что награда состоит из 0,3 за правильность, 0,2 за качество доказательств, 0,2 за корректность SQL-запроса и 0,3 за стиль. Запрос, предназначенный для нескольких пользователей, может все равно получить положительную оценку, если ответ и стиль хорошие. Поэтому для обеспечения безопасности и авторизации необходимы строгие ограничения. При наличии таких ограничений награда равна нулю, если авторизация провалилась или произошла утечка защищенных данных. В противном случае это взвешенная сумма наград за правильность, качество инструментов и доказательств за вычетом взвешенного показателя затрат.

В более рискованных ситуациях нарушение может привести к отрицательной конечной награде вместо нуля. Важно то, что не происходит компенсации, поскольку отличное качество работы никогда не может компенсировать несанкционированный доступ.

Сохраняйте компоненты награды в виде отдельно измеримых показателей. Оптимизатору нужен один скалярный показатель, но дашборд, отображающий корректность, авторизацию, действительность инструментов, качество доказательств, стоимость и длину отдельно, позволяет выявлять манипуляции с наградами.

Нормализация наград может скрыть масштабы бизнес-процессов

Групповая нормализация учитывает только относительный порядок внутри одного запроса. Если все кандидаты плохи, а один из них немного лучше, он может получить преимущество. Тем не менее всё равно необходимы абсолютные минимальные значения.

Противоположный случай — группа, в которой все кандидаты правильны. Это мало чему учит, хотя и демонстрирует здоровое поведение системы. Сохраняйте такие запросы в процессе оценки и удаляйте их или снижайте их вес только при оптимизации относительной политики, если политика выборки указана явно.

Соотношения политик и ограничения

Цели в стиле GRPO обычно сохраняют коэффициенты важности и механизм обрезки, характерные для PPO. Для каждого токена этот коэффициент делит вероятность новой политики на вероятность старой, причем целью является ожидаемое минимум из произведения коэффициента на преимущество и произведения обрезанного коэффициента на преимущество, за вычетом члена KL. Преимущество может определяться для каждой последовательности, в то время как коэффициенты применяются к каждому токену; это несоответствие отчасти стало причиной появления алгоритмов более высокого уровня, таких как GSPO.

DAPO: более стабильная обучающая процедура для длительных рассуждений

DAPO включает четыре практических механизма: границы обрезки делаются независимыми, группы выбираются динамически, градиент политики обрабатывается по отдельным токенам, а образцы, требующие слишком много времени на обработку, учитываются специально. Динамическое выборка исключает группы с одинаковыми наградами, поскольку они не несут никакого относительного сигнала.

Vanilla GRPO может столкнуться с коллапсом энтропии, нестабильностью длинных последовательностей или пакетами, состоящими исключительно из полностью правильных или полностью неправильных групп, и именно тогда помогает DAPO. Его принципы можно описать как четыре инженерных решения проблем, возникающих в процессе обучения:

1. Clip-Higher. Верхние и нижние границы обрезки разделены, что позволяет токенам с низкой вероятностью иметь больше возможностей для развития без возникновения симметричной нестабильности.
2. Динамическая выборка. Подсказки, группы которых полностью правильны или полностью неправильны, фильтруются, поскольку их нормализованные показатели не обеспечивают достаточного контраста.
3. Потери, основанные на градиенте политики на уровне токенов. Длинные ответы учитываются с учетом количества токенов, и их значимость не снижается из-за средневзвешивания на уровне выборки.

Чрезмерно длительная настройка награды. Штрафы за длину вводятся постепенно, что позволяет избежать резкой границы, приводящей к нестабильным градиентам вблизи максимальной длины.

Каждый механизм решает отдельную проблему. Не следует принимать этот набор технологий как единый целостный комплекс без оценки того, какая именно проблема существует у вашей рабочей нагрузки.

В корпоративном SQL-агенте динамическое выборка позволяет сосредоточить процесс обучения на запросах, в которых только некоторые планы соответствуют требованиям конкретного пользователя. Чрезмерно длительная настройка награды предотвращает трату тысяч токенов на обработку простого запроса, а Clip-Higher помогает, когда полезные действия по восстановлению выполняются с очень низкой вероятностью.

GSPO: последовательность как единица

GSPO вычисляет коэффициенты важности и параметры обрезки для всей последовательности, а не отдельно для каждого токена. Это лучше соответствует механизмам награждения на уровне последовательностей, и благодаря этому GSPO способствует стабильной работе методов обучения с подкреплением в очень крупных моделях типа Mixture-of-Experts.

Важно понимать, что GSPO не заменяет GRPO. Суть в том, что единица оптимизации должна соответствовать как механизмам награждения, так и архитектуре модели. Когда результаты деятельности оцениваются по отдельным последовательностям, а политика обучения представляет собой модель типа Mixture-of-Experts, GSPO заслуживает пробной эксплуатации.

В общих чертах GSPO формирует отношение вероятностей последовательности путем среднего значения различий в логарифмических вероятностях по отдельным токенам на протяжении всей длины ответа и экспоненцирования полученного результата, что приводит к получению значения в пространстве отношений. Затем целевая функция ограничивает это отношение на уровне последовательности и применяет выгоду, полученную на уровне группы, на том же уровне. Поскольку награда оценивает всю траекторию, блок оптимизации теперь синхронизируется с блоком оценки.

Небольшие изменения маршрутизации между токенами в модели MoE могут привести к шуму в отношениях между токенами, поэтому агрегация по всей последовательности может обеспечить более стабильные результаты, но за счёт меньшей локализованной оценки. Оценивайте одновременно сходимость, энтропию, стабильность маршрутизатора, награду и качество конечного результата, не полагаясь только на награду.

RLOO

Метод REINFORCE Leave-One-Out использует остальные образцы в группе в качестве базового уровня для каждого образца. Это оценщик градиента политики без критика, удобный инструмент для сравнения методов, основанных на группах.

При наличии G образцов образец i получает базовый уровень, равный среднему значению награды остальных G − 1 образцов, а его преимущество определяется как разница между его собственной наградой и этим базовым уровнем. В отличие от нормализации по z-оценке здесь нет деления на стандартное отклонение группы. При использовании конструкции REINFORCE оценщик прост в реализации и несистематичен, однако масштаб награды напрямую влияет на масштаб градиента.

Возьмем награды 1,0, 0,8 и 0,2. Для первого образца базовый уровень по методу leave-one-out составляет (0,8 + 0,2) / 2 = 0,5, что даёт преимущество 0,5. Базовый уровень для третьего образца — (1,0 + 0,8) / 2 = 0,9, что приводит к преимуществу −0,7.

RLVR и тонкая настройка подкрепления

Более общая концепция — это обучение с усилением с проверяемыми наградами. Берутся примеры траекторий, запускаются детерминистичные или строго определенные оценщики, и усиливается то, что проходит проверку.

Награды за результат проверяют, верен ли окончательный ответ, в то время как награды за процесс оценивают промежуточные шаги. Надзор за процессом позволяет выявить сбои, но оценщики шагов требуют больших затрат и могут чрезмерно ограничивать корректное мышление. В корпоративных агентах награды за процесс оправдывают себя на наблюдаемых интерфейсах (выбор инструментов, авторизация, формирование аргументов, предоставление доказательств и передача данных) и никогда не основаны на скрытой последовательности мыслей.

Награда за результат против награды за процесс

Награда в SQL, основанная исключительно на результатах, может представлять собой простой индикатор, равный 1, когда результат совпадает с ожидаемым, и 0 в противном случае. Это объективно и недорого по вычислению, однако позволяет модели прийти к ответу с помощью небезопасного или дорогостоящего запроса.

Награды, учитывающие процесс, добавляют наблюдаемые инварианты, состоящие из шести членов. Они охватывают корректность схемы, привязанность арендатора, то, что запрос является только для чтения, стоимость его выполнения, правильность результата и правильность предоставления доказательств. Каждый член должен быть проверенной функцией наблюдаемых атрибутов. Оценка должна включать дерево синтаксиса SQL, решение по авторизации, план выполнения, возвращаемый набор данных, записи статистических тестов и ссылки, но никогда не включать частные внутренние рассуждения модели.

Тесты оценщика — это тесты модели

Создайте матрицу тестов оценщика перед любым запуском метода RL:

• Проходит проверка с известным корректным траекториалом;
• Не сработает неверный тенант;
• Предикат тенанта, скрытый в подзапросе, считывается правильно;
• Комментарий в SQL не может имитировать обязательный предикат;
• Пустой результат отличается от ошибки выполнения;
• Не сработает дорогостоящее картезианское соединение;
• Фальсифицированная цитата не сработает даже при правильном окончательном числе;
• Сбой из-за истечения времени обработки не считается успешным;
• Некорректный вывод системы оценки не может стать положительной наградой.

После каждой изменения в системе оценки необходимо повторно пройти исторические траектории. Изменение версии награды запускает новую линию экспериментов, даже если код политики остается прежним.

За размышления приходится платить

Одного лишь критерия корректности недостаточно для предотвращения расточительного мышления, поэтому необходимо добавить показатель ограниченных затрат: награда равна корректности за вычетом лямбды умноженной на стоимость процесса размышлений Tₕ. Эта стоимость может выражаться в количестве токенов для размышлений, миллисекундах или нормализованных вычислительных ресурсах, причем λ определяет размер дополнительных затрат на обдумывание. Штраф следует применять только после проверки минимальных стандартов корректности и безопасности, в противном случае модель научится отвечать быстро, но неверно.

Предположим, два корректных варианта ответа получают базовую награду в 1,0, причем один из них требует 400 токенов для размышлений, а другой — 1 000. При нормализации стоимости токенов по значению 1 000 и lambda = 0,1 краткий вариант получает 0,96 (сокращение на 0,04), а длинный — 0,90 (сокращение на 0,10).

Таким образом, более краткий корректный вариант оказывается преимущественным. Однако неверный ответ, состоящий из 100 токенов, должен не пройти проверку на корректность и не получать значение −0,01, чтобы не конкурировать с правильными ответами.

Задержка и количество токенов коррелируют, но не являются идентичными. Параллельные вызовы инструментов, успешные обращения к кэшу, пакетное планирование и архитектура модели могут влиять на общее время выполнения, в то время как количество токенов, используемых для рассуждений, остается неизменным. Выбирайте тот показатель затрат, который отражает ограничения производства.

RL-агент с несколькими этапами взаимодействия

Решения модели, результаты работы инструментов, операции с памятью и передача контроля агенту — всё это входит в состав корпоративной траектории. Сохраняйте информацию о переходах состояния и оценивайте итоговый бизнес-контракт наряду с локальными инвариантами.

Например, модуль Enrichment может не получать прямой награды за задание уточняющего вопроса. Его ценность проявляется тогда, когда модуль Data Sufficiency формулирует правильный запрос, а модуль Reporting избегает ложных причинно-следственных утверждений. Назначение кредитов не должно стирать эту зависимость.

Траектория представляет собой журнал событий с типизацией

Отражайте процесс внедрения не просто как текст чата. Каждый переход должен содержать:

• идентификаторы состояния и наблюдений;
• действующий агент и версия его политики;
• доступный набор инструментов и объем полномочий;
• выбранное действие и его первоначальные аргументы;
• решение политики и результат работы инструмента;
• записи и чтение из памяти;
• полезная нагрузка для передачи;
• временные метки, стоимость и итоговый результат.

Эта форма позволяет выполнять повторную обработку данных, анализ вне рамок политики и точное присвоение наград. Она также предотвращает то, что процесс обучения будет рассматривать наблюдения инструментов так, будто их сгенерировал ассистент.

Иерархические награды

Для четырехэтапного исследования необходимо определить локальные награды за выполнение этапов и конечную бизнес-награду. Общая награда состоит из конечной награды R★ плюс взвешенная сумма наград за четыре этапа R₁ до R₄; по одной награде за каждый этап — улучшение качества данных, достаточность данных, проверку гипотез и составление отчета, причем веса соответственно равны γ₁, γ₂, γ₃ и γ₄.

Локальные награды ускоряют процесс обучения, но могут также приводить к конфликтам. Улучшение качества данных может быть достигнуто путем задания слишком большого количества вопросов. Составление отчета может быть оптимизировано путем опущения упоминания о каких-либо ограничениях. Конечная награда и жесткие неизменные параметры должны иметь приоритет над локальной удобством.

Признание заслуг должно соответствовать причинно-следственной ответственности. Если модуль Enrichment передаёт модулю Reporting неверную информацию о сопоставлении объектов, а модуль Reporting верно отражает полученные данные, наказание только этого модуля ведёт к неверному выводу. Необходимо сохранять результаты каждого этапа и определять нарушение контракта в самом раннем моменте.

Хорошая практика: тренироваться в минимальной среде, сохраняющей реальный контракт, с инструментами в изолированной среде, детерминистичными фикстурами, версионируемыми инструментами оценки, строгими таймаутами и без учетных данных из производственной среды.

Дистилляция: передача способностей, а не копирование модели

Дистилляция преобразует дорогостоящее поведение «учителя» в более компактную или проще развертываемую «ученицу».

Дистилляция логитов

Студент обучается соответствовать сглаженному распределению токенов учителя. Потери рассчитываются как квадрат температуры умноженный на дивергенцию KL между функцией softmax учителя и функцией softmax студента; обе они вычисляются на основе логитов, разделенных на температуру T. Коэффициент квадрата сохраняет масштаб градиента. Более высокая температура позволяет учитывать относительные вероятности токенов, находящихся за первым по значимости, то есть «скрытые знания», которые не учитываются при использовании жестких меток.

Как меняется температура

Представьте учителя, у которого для трех кандидатских токенов логиты равны 8, 4 и 2. При T = 1 функция softmax сосредотачивает почти всю массу вероятностей на первом токене. При T = 2 эффективные логиты снижаются до 4, 2 и 1, и распределение становится более сглаженным; таким образом студент усваивает, что побеждает первый токен, а также то, что второй токен более вероятен, чем третий.

По мере повышения температуры градиенты от второстепенных вариантов становятся более информативными. Если её установить слишком высоко, распределение становится более однородным, теряя полезную структуру. Необходимо настраивать её с учётом качества передачи данных, оставленных для оценки.

Квадратный коэффициент компенсирует уменьшение градиентов при делении логитов на температуру. Если его убрать, изменяется баланс между потерями, связанными с процессом дистилляции, и потерями, связанными с использованием жёстких меток.

Сочетание жёстких и мягких целей

В качестве общей цели часто используется сумма двух показателей: вес потерь, связанных с SFT, плюс вес потерь, связанных с дистилляцией. Жёсткие метки сохраняют известный правильный результат, а вероятности от «жёсткого учителя» передают относительные предпочтения. Эти два веса определяют баланс.

При вызове инструментов корректность схемы может иметь большее значение, чем неопределенность «учителя». При объяснении на естественном языке распределение «учителя» может проявлять более сложное поведение. Веса могут различаться в зависимости от класса токенов, но такая дополнительная сложность должна оставаться проверяемой и задокументированной.

Дистилляция последовательностей и в рамках политики

Дистилляция последовательностей осуществляется на основе данных, сгенерированных «учителем». Этот метод прост, но ученик видит только распределение состояний «учителя».

Дистилляция в рамках политики позволяет ученику сначала генерировать данные, а затем «учителю» контролировать те состояния, к которым действительно приходит ученик. Это особенно полезно для агентов, у которых небольшие ранние отклонения приводят к новым состояниям инструментов на последующих этапах.

Когда цель — выделить суть рассуждений, следует сохранить то, что можно увидеть: способы решения проблем, следы работы инструментов и результаты, которые можно проверить. Скрытый текст рассуждений не должен становиться условием для работы системы.

Фильтры для выделения сути последовательностей

Результаты, сгенерированные учителем, являются синтетическими данными для обучения, и они требуют таких же мер контроля, как и данные, написанные людьми:

• проверка на наличие разрешений и лицензий;
• поиск персональных данных и конфиденциальной информации;
• запуск инструментов в изолированной среде;
• проверка на детерминированность там, где это возможно;
• удаление дубликатов на основе результатов оценки;
• отслеживание происхождения данных до учителя, исходного запроса, настроек декодирования и исходного контекста.

Метод выбора лучших примеров может повысить качество синтеза, но сужает разнообразие и может усилить предвзятость выбирающего алгоритма. Сохраняйте статистику генерации и отбора, чтобы можно было восстановить распределение данных ученика.

Цикл дистилляции в рамках одной политики

Цикл дистилляции в рамках одной политики включает пять шагов:

1. Ученик генерирует данные с использованием своей текущей политики.
2. Учитель оценивает эти состояния или предоставляет для них распределения токенов.
3. Небезопасные или недействительные траектории фильтруются.
4. Ученик обновляет свои модели на основе оставшихся состояний.
5. Проверка качества определяет способности ученика и наличие смещений.

Цель цикла — устранение реальных ошибок ученика. Этот метод требует больше ресурсов, чем использование статических данных учителя, и может унаследовать нестабильность от постоянно меняющегося распределения данных ученика. Фиксируйте параметры учителя и делайте снимки результатов работы ученика после каждой итерации.

Дистилляция — это не спекулятивная декодировка

Дистилляция обучает «ученика» имитировать «учителя». Спекулятивная декодировка использует более простую версию модели во время вывода результата и просит целевую модель проверить предложенные токены. «Ученик», полученный путем дистилляции, может выполнять роль такой простой версии, но эти две техники преследуют разные цели.

Дистилляция позволяет запускать модель дешевле. Спекулятивная декодировка ускоряет работу целевой модели только тогда, когда множество предварительных токенов принимаются и процесс проверки происходит эффективно. Их следует оценивать отдельно.

Контракт на корпоративную дистилляцию

Уточните каждый из следующих пунктов:

• версию модели-учителя и API;
• параметры генерации и среду инструментов;
• версию промпта или системного пакета;
• правила фильтрации и оценки;
• состав «учеников», алгоритмы токенизации и адаптеры;

Оценка уровня безопасности как для учителя, так и для ученика;

Права на использование данных, касающиеся результатов работы учителя.

Более простые модели также обладают определенными модами сбоев. Перепроизведите тесты на конфиденциальность, цитирование, авторизацию, использование инструментов и устойчивость к атакам для ученика и не предполагайте, что соответствие требованиям учителя автоматически переносится на ученика.

Что изменилось в процессе обучения и доработки передовых моделей

Недостаточно просто считать количество параметров для объяснения особенностей современных передовых моделей. Их процессы обработки данных вышли за рамки одной стадии контролируемой доработки. Самые эффективные модели сочетают в себе несколько факторов: данные, поступающие в определенном порядке, методы обучения с подкреплением, вознаграждения, подлежащие проверке, синтетические траектории развития, а также передачу знаний от учителя к ученику. Каждый из этих факторов закрывает отдельный недостаток, оставшийся при использовании только методов имитации.

Тонкая настройка больше не представляет собой одну операцию. Это целый процесс, который переводит модель от имитации к исследованию, затем к проверке, далее к согласованию и, наконец, к внедрению.

DeepSeek-R1

DeepSeek-R1 ставит метод усиленного обучения в центр процесса адаптации рассуждений. R1-Zero начинался с заранее обученной базовой модели, и к ней применялся метод усиленного обучения без предварительного обучения её любыми человеком написанными последовательностями мыслей. В ходе эксперимента проверялось, может ли рассуждение возникнуть в результате оптимизации исходов, а не путем копирования заранее подготовленных примеров рассуждений.

Основным методом была оптимизация относительной групповой политики (GRPO). Политика генерирует группу кандидатов на один запрос, и каждый из них получает награду. Преимущество заключается в сравнении с группой: награда минус среднее значение группы деленное на стандартное отклонение группы плюс ε, без необходимости использования отдельно обучаемой модели значений. Ответы, превосходящие своих соперников, получают положительное преимущество, а более слабые — отрицательное. Исключение компонента критика позволяет сократить объем памяти и вычислительные ресурсы, сохраняя при этом полезный сигнал для обучения.

GRPO особенно хорошо справлялась в тех случаях, когда возможность проверки корректности была автоматической: проверка ответов в математике, компиляция и тестирование кода, а также проверка формата структурированных ответов. Модель обучалась на объективных результатах, без необходимости указания ярлыков человеческих предпочтений для каждого шага рассуждения.

R1-Zero показал, что такие поведения, как верификация, обратный поиск решений и более интенсивные вычисления над сложными задачами, могут возникать в процессе обучения с помощью рекуррентных нейронных сетей. Он также выявил ограничения чистого обучения на основе результата. Мышление может становиться трудным для понимания, несогласованным с точки зрения языка или ориентированным исключительно на получение награды, без формирования качественного ответа.

Полная система DeepSeek-R1 преодолевала эти ограничения с помощью поэтапной программы обучения. Она начинается с понятных примеров для старта без предварительных данных, затем переходит к обучению с использованием рекуррентных нейронных сетей для решения логических задач, далее — к методу выборки отклонений, затем — к смешанному подходу к решению задач и общему обучению с учителем, и в конце — к обучению с учетом принципов согласованности. Данные для старта помогали сформировать понятный стиль рассуждений, обучение с использованием рекуррентных нейронных сетей расширяло возможности за пределы простого подражания, метод выборки отклонений сохранял лучшие самостоятельно сгенерированные варианты решений, обучение с учителем на основе логических задач и общих данных укрепляло нужные поведенческие паттерны, сохраняя при этом широкую полезность, а последняя стадия обучения улучшала полезность и безопасность системы.

Сама GRPO не была чем-то новым. Важным было то, как были последовательно применены методы контролируемого обучения, проверяемого рекуррентного обучения, самогенерируемых данных и финальной настройки.

DeepSeek далее отточил более мелкие плотные модели на основе успешных траекторий рассуждений. Таким образом, часть сложных способностей к рассуждению перешла в модели, которые легче развертывать, а студенты учились на примерах, содержащих более полную структуру решения задач, а не только окончательные ответы.

Qwen3 и слияние режимов

Qwen3 рассматривал рассуждения и прямой ответ как поведения, которые необходимо было изучать вместе. После обучения сначала использовался метод холодного запуска с длинной цепочкой мыслей, затем применялось рекуррентное обучение, ориентированное на рассуждения, сливались рассуждающие и нерассуждающие поведения, и в конце проходило более широкое рекуррентное обучение для обеспечения общей настройки модели.

Модель слияния представляет собой интересную идею для обучения. Одна политика обучается обоим видам поведения, в то время как альтернативный подход предполагает использование контрольной точки для длительных рассуждений и отдельной контрольной точки для кратких ответов. Этот метод позволяет определять, когда необходимо длительное обоснование, а когда достаточен прямой ответ, тем самым сохраняя способность к рассуждениям без необходимости применять один и тот же подробный стиль ко всем задачам.

GSPO и степень детализации обновления

GSPO (оптимизация групповой последовательности политик) изменил степень детализации обновления политики. Методы на уровне токенов обычно вычисляют и корректируют коэффициенты важности отдельно для каждого токена, даже если награда учитывает весь ответ, что может приводить к несогласованности обновлений внутри одной генерируемой последовательности.

GSPO формирует коэффициент важности для всей последовательности и рассматривает её как одну оптимизационную единицу. Проще говоря, он вычисляет среднее значение логарифмического коэффициента вероятности между обновлённой стратегией и стратегией, которая сгенерировала траекторию, вдоль всей длины ответа, а затем возведает полученное значение в степень. Среднее значение по всей последовательности даёт сигнал на уровне ответа, соответствующий единице, получившей награду.

Этот метод наиболее эффективен, когда обучение с подкреплением становится нестабильным из-за шума, связанного с изменениями вероятностей на уровне токенов. Особенностью является согласование трёх элементов, которые часто не совпадают: сгенерированного объекта, единицы награды и оптимизационной единицы.

Kimi K2: стабильность и агентные траектории

Kimi K2 внедрил методы обеспечения стабильности тренировки, которые сделали более надежными очень масштабные процессы оптимизации. MuonClip сочетает методы оптимизации матриц в стиле Muon с механизмами контроля, предотвращающими нестабильный рост весов. QK-Clip отслеживает поведение механизма внимания и выборочно ограничивает проблемные проекции запросов и ключей, когда их логиты становятся чрезмерно высокими.

Это инновации в области предварительной обучаемости, а не техники дальнейшей настройки, однако они имеют важное значение, поскольку качество после обучения зависит от чекпоинта, унаследованного моделью. Небольшой набор данных для адаптации не может эффективно восстановить базовую модель, поврежденную из-за нестабильности оптимизатора или экспоненциального роста логитов механизма внимания.

В подходе Kimi K2 после тренировки также используются агентные траектории: программирование, вызов инструментов, обработка наблюдений и выполнение многоэтапных задач. Для тренировки применяются последовательности действий с обратной связью от окружения, а не только пары «запрос — ответ». Типичный путь включает выбор инструмента для выполнения задачи, генерацию аргументов, получение обратной связи от выполнения, восстановление при ошибках и подтверждение результата.

Части таких траекторий можно механически проверять благодаря выполняемому коду, ответам инструментов и сигналам о завершении задачи. Затем цикл может награждать не только убедительный окончательный ответ, но и проверку того, выбрал ли модель правильную способность, сгенерировала ли она корректные аргументы, правильно ли отреагировала на наблюдения и завершила ли задачу.

Механизмы обучения учителя и ученика в Meta

Meta’s Muse Spark и Muse Glimmer демонстрируют более полный процесс взаимодействия учителя и ученика. Учитель может создавать окончательные ответы, промежуточные логические рассуждения, мультимодальные анализы, выбор инструментов и пути восстановления информации, но ничто из этого не становится материалом для обучения до тех пор, пока оно не пройдет фильтрацию по критериям корректности, безопасности, происхождения, разнообразия и релевантности.

Механизм передачи знаний в Muse Glimmer включает семь этапов адаптации. Сначала учитель генерирует следы деятельности, которые проходят через контролируемую фильтрацию. Затем ученик проходит процедуру дистилляции логитов, среднестатистическую настройку и контролируемую тонкую настройку, после чего осуществляется дистилляция знаний в рамках текущей стратегии обучения, а в конце — использование методов обучения с подкреплением.

• Дистилляция логитов передает вероятностное распределение учителя, а не только выбранный им токен. Это позволяет сохранять информацию о возможных альтернативах и относительной степени уверенности, которая исключается при обучении с использованием точных меток.
• Процесс обучения на промежуточных этапах позволяет учащемуся получать данные длинного контекста и информацию о его действиях ещё до тонкой настройки под конкретные инструкции, благодаря чему эти навыки включаются в его более широкое представление и не остаются отдельным слоем, добавленным в конце.
• Метод дистилляции знаний в рамках текущей политики устраняет основную слабость обычной дистилляции. Обучаясь исключительно на траекториях учителя, учащийся изучает состояния учителя, но при выполнении задач сталкивается с состояниями, созданными его собственными ошибочными решениями. Если учащийся генерирует ту же траекторию, а учитель даёт рекомендации по этим состояниям, разница сокращается.
• Затем метод подкрепления усиливает те поведения, которые приводят к измеримым результатам.

В совокупности эти шаги превращают процесс дистилляции в многоэтапную программу передачи способностей, а не в однократную операцию сжатия.

Теперь виден полный алгоритм работы: данные с надзором для определения поведения, проверяемые методы рекуррентного обучения для обеспечения имитации, синтетические траектории для покрытия, блок оптимизации, соответствующий степени детализации награды (целой последовательности), а также процесс дистилляции на собственных состояниях ученика с целью передачи его способностей моделям, готовым к использованию.

Постоянной инновацией является не название отдельной модели. Система обучения включает в себя порядок предоставления данных, проверку результатов, способ исследования стратегии, контроль нестабильных обновлений и окончательную передачу знаний, при которой не предполагается, что более простая модель ученика сможет идеально воспроизвести модель учителя.

Обучение — это процесс выпуска моделей

Успешная сессия обучения всё равно не является готовым к развертыванию продуктом. То, что отправляется, — это полная инструкция. Она включает базовую модель и её токенизатор (адаптер или объединённые веса), пакет системы и схемы инструментов, контракт памяти и политику поиска, а также параметры квантизации, правила работы в реальном времени и политику безопасности.

Идентификатор реестра

Как минимум, необходимо зарегистрировать:

• чексумы базовой и эталонной моделей;
• хэш-значения набора данных и применённых к нему преобразований;
• спецификацию разделения данных и отчёт о загрязнении;
• цель обучения, оптимизатор, начальные значения, гиперпараметры и целевые модули;
• хэш-значения кода и контейнера;
• характеристики оборудования и числовую точность;
• версии инструментов оценки, модели наград, системы судейства и политик;
• отчёт об оценке, разрешения, владельца, дату истечения срока действия и цель отката.

Для оценки необходимы минимальные критерии и сравнения

Применяются два критерия оценки:

1. Абсолютные пороги. Уровень утечек равен нулю в защищенных модулях, валидность схемы инструментов превышает установленный порог, степень привязки арендатора составляет 100%, а критерии отклонения и безопасности также соблюдаются.
2. Относительное улучшение. Кандидат должен показать лучшие результаты по целевому дефекту по сравнению с текущей рецептурой производства, при этом все абсолютные пороги по-прежнему соблюдаются.

Необходимо оценивать весь процесс выполнения, а не только саму модель. Более совершенный адаптер может начать демонстрировать ухудшение производительности после применения новой стратегии квантизации, шаблона чата, политики поиска или схемы инструментов.

Не сводите качество предприятия к одному среднему значению

Пусть Mₖ — это метрика для оценки слайса k. Взвешенная оценка S представляет собой сумму произведений веса каждого слайса на его метрику, причем сумма всех весов равна 1, что позволяет кратко представить результаты. Однако использование взвешенного среднего допускает корректировку, поэтому значительный прирост при работе с типовыми английскими запросами на генерацию текста может скрывать серьезный регресс в области изоляции тенантов или при работе с языками, имеющими ограниченное количество данных.

Отбор производится лексикографически в следующем порядке:

1. минимальные требования к безопасности, конфиденциальности и авторизации;
2. минимальные требования к сохранению функциональных возможностей;
3. улучшение качества выполнения целевой задачи;
4. ограничения по стоимости и задержкам;
5. общий рейтинг среди кандидатов, прошедших все предыдущие этапы отбора.

Это соответствует принципу проектирования наград: непреклонные условия нельзя компенсировать стилем или скоростью работы.

Интервалы уверенности и незначительные улучшения

Шум выборки может объяснить наблюдаемую разницу в точности. Для бинарной метрики с долей p̂ среди n независимых элементов стандартная ошибка примерно равна квадратному корню из p̂(1 − p̂) / n. При p̂ = 0.90 и n = 100 она составляет около 0,03, что делает улучшение на один пункт недостаточно убедительным.

Кандидаты отвечают на одни и те же вопросы, поэтому парные тесты обычно более надежны, чем рассмотрение результатов как независимых. Используйте метод бутстреппинга для оценки различий между элементами или подходящий парный тест, а также приводите диапазоны доверия вместе с оценками точных значений.

При оценке с использованием ИИ-судей требуются дополнительные меры контроля: случайный порядок, фиксированные версии судейских оценок, калибровка людьми и отслеживание разногласий судей. Небольшое преимущество от одного вопроса судье не является основанием для выпуска продукта.

Набор тестов на забывание

Целевая прибавка не должна стирать общие способности. Сохраняйте фиксированный набор функций, включающий:

• следование инструкциям;
• определение границ безопасности и отказов;
• поведение в разных языках;
• выбор подходящего инструмента и форматирование его вызова;
• поиск фактов в длинных текстах;
• калиброванная уверенность и понимание момента, когда следует воздержаться;
• задачи из смежных областей, которые не были целью;
• адверсарские тесты и проверки конфиденциальности.

Сообщайте о различиях по сравнению с точным исходным вариантом или производственной конфигурацией. Если нарушается минимальный уровень способностей, прежде чем добавлять больше примеров цели, проверьте данные обучения, их ранжирование, скорость обучения, количество эпох, смесь повторных запусков и цель обучения.

Два режима квантизации

При использовании QLoRA или более поздних методов квантизации при работе с моделью необходимо проводить оценку дважды:

1. Механизм управления тренировочными артефактами использует базовую версию вместе с адаптером для оценки точности на этапе разработки.
2. Механизм управления продакшн-артефактами использует то, что применяется в реальных условиях: итоговую слиянную версию или версию в режиме sidecar, ядра во время выполнения, методы квантизации, токенизатор и шаблоны чатов.

Первый механизм позволяет определить, научил ли процесс обучения необходимому поведению. Второй показывает, сохранилось ли оно после развертывания.

Метод канарейок и возврат к предыдущей версии

Метод канарейок может применяться с учетом ограничений по объему трафика, классу пользователей, типу запросов или режима тестирования. Необходимо отслеживать частоту успешного выполнения задач и необходимость вмешательства человека для коррекции, частоту отклонений политик, ошибки инструментов, расход токенов и задержки, а также любые изменения в параметрах вознаграждений или распределении входных данных.

Для возврата к предыдущей версии необходимо восстановить прежнюю конфигурацию, что подразумевает использование не только предыдущего адаптера. Если новая версия системы, токенизатор или схема инструментов все еще активны, система еще не вернулась к предыдущей версии.

Арифметика канарейок

Предположим, что критические сбои в прошлом возникали с частотой p. При n независимых запросах канарейки вероятность того, что хотя бы один из них столкнётся с сбоем, составляет 1 − (1 − p)ⁿ. При частоте сбоев 1% и 100 запросах это равно 1 − 0.99¹⁰⁰, что примерно 63.4%, поэтому небольшое количество канарейок может легко упустить редкие, но серьёзные сбои.

Дизайн канарейок должен основываться не только на процентах, но и на уровне риска. Намеренно включайте в них рискованные пути обработки, необычные языки, очень длинные контексты, запросы, находящиеся на границе прав доступа, запросы, возвращающие ничего, а также отдельные группы пользователей. Теневая оценка повышает уровень покрытия без побочных эффектов, но не может выявить все взаимодействия, связанные с реальными действиями.

Триггеры для продвижения и отката

Определите триггеры до запуска канарейок:

• абсолютное нарушение политики означает немедленную остановку;
• Утечка защищённых данных означает прекращение процесса, остановку рабочего потока и сохранение улик;
• Ошибка инструмента или задержка, превышающая установленный порог, означает приостановку и диагностику;
• Статистически значимое отклонение в целевых показателях означает откат к предыдущему состоянию;
• Непонятное изменение показателей вознаграждения или оценки судей означает отложение продвижения;
• Отсутствие телеметрических данных означает неудачу тестирования, поскольку релиз невозможно оценить.

Никто не должен придумывать критерии принятия, глядя на панель управления. Это превращает процесс управления в переговоры под давлением сроков развертывания.

Сохраняйте записи отклонённых тестов

Аудиторские записи имеют большую ценность, если в них указаны кандидаты, которые не прошли тестирование, вместе с причинами. Возьмём такой пример:

• Тестирование qlora-v4 повысило допустимость инструмента на три пункта;
• Однако ответы, основанные на цитатах, становились на пять пунктов менее точными после применения квантизации данных;
• система отклонила их;
• проведя более глубокий анализ, команда связала это с результатами вычислений, которые плохо реагируют на квантизацию;
• в производстве продолжала использоваться версия dpo-v1.

Это доказывает, что система может остановить модель, которая на первый взгляд кажется хорошей. Реестр, содержащий только результаты тестов с улучшенными показателями, не может подтвердить, что механизмы контроля действительно работают. Манифест выпуска для адаптера Reporting может выглядеть следующим образом:

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

В манифесте указываются идентификатор релиза, чексум базовой версии, эталонный релиз (более ранняя версия SFT) и детали адаптера. Он достаточно компактен, чтобы его можно было просмотреть, и содержит достаточно информации для подтверждения заявленного.

Пошаговое руководство: INV-22041

В отчете о дефекте приводятся конкретные детали: базовый агент обычно находит правильный ответ, но некорректные вызовы инструментов, слабая способность восстанавливаться после получения пустых результатов SQL и отсутствие четкого описания причин мешают этому. Для решения проблемы предусмотрено восемь шагов:

1. Выявление дефекта. Картирование регионов хранится в управляемой памяти, текущие данные о продажах — в семантическом слое, а права доступа — в политике выполнения. Обучение направлено на совершенствование грамматики использования инструментов, способностей к восстановлению, точности цитирования и адекватности отказов.
2. Создание слоя обработки данных. Компилируются 4 200 примеров SFT плюс 1 100 трасс восстановления с несколькими шагами; добавляется информация о происхождении данных, удаляются черновики финансовых документов, при этом для набора данных для выпуска соблюдается условие contamination_rate = 0.
3. Разработка модели SFT. Обучается адаптер LoRA с рангом 16 и параметром alpha 32 на выбранных проекциях внимания. Уровень успешной обработки с помощью инструмента повышается с 0,71 до 0,94, в то время как общие показатели функциональности остаются стабильными.
4. Добавление данных предпочтений. Оценщики отдают предпочтение кратким, структурированным отчетам перед более свободно сформулированными, но не поддерживаемыми вариантами. Алгоритм DPO работает с параметром beta = 0,2 на основе фиксированного эталона SFT, достигая коэффициента успеха 0,78 при нулевом уровне утечек данных.
5. Применяйте проверяемые методы RL только там, где это оправдано. На этапе оценки достаточности данных для каждого запроса генерируйте по восемь вариантов выполнения с использованием SQL и других инструментов, оценивая их с точки зрения привязки к условиям задачи, корректности, возможности выполнения, стоимости, а также достаточности данных. Метод GRPO способствует лучшему восстановлению результатов, а метод DAPO применяется, если группы с идентичными наградами и длинные результаты снижают точность сигнала.
6. Проверьте соответствие архитектуры. Если студент представляет собой модель типа MoE, у которой коэффициенты важности на уровне токенов нарушают стабильность процесса RL, сравните метод GSPO с тем же инструментом оценки и при том же бюджете.
7. Используйте методы сжатия там, где это требуют экономические факторы. Перенесите наблюдаемое поведение инструментов в более компактную локальную модель студента с использованием результатов работы учителя и данных о состоянии системы в реальном времени, затем повторите тесты на точной квантизированной версии модели.
8. Опубликуйте рецепт. Закрепите каждый компонент, проведите тестирование в режиме тени в течение 72 часов, продвигайте его только после того, как будут достигнуты абсолютные минимумы и относительные показатели успеха, и оставьте один намеренно отклонённый пример в записи аудита.

Во время работы готовая система по-прежнему использует текущий квартал, схему и разрешения. Обучение улучшает её работу с этими данными, но не делает её их владельцем.

Дерево сбоев: почему срываются хорошие проекты обучения

Часто встречающейся проблемой является оптимизация прокси без наличия корпоративного контракта:

• Высокая точность обучения может скрывать искажённую оценку.
• Победные результаты сравнений могут быть обусловлены более длинными ответами или утечкой цитат.
• Кривая наград может отражать злоупотребления со стороны оценщиков.
• Студенты перенимают небезопасные привычки учителя вместе с его навыками.
• Адаптер, который кажется безупречным, может сломаться в реальной среде выполнения с квантизацией.
• Возврат к предыдущей версии может не сработать, если будут восстановлены веса, но остальные элементы конфигурации останутся прежними.

Цель обучения подтверждает лишь наличие процесса оптимизации. Единственным доказательством улучшения корпоративной системы являются результаты её внедрения.

Доказательство концепции против адаптации для корпоративного использования

На этапе доказательства концепции целесообразно проверять, улучшает ли идея какие-либо показатели. На уровне корпоративного использования требуются дополнительные доказательства: законные данные, независимые показатели, улучшения, сохраняющиеся после интеграции, объяснимые результаты и возможность отката.

Самая ценная работа после обучения часто заключается не в использовании новой функции потерь, а в инженерных решениях, объединяющих цепочку происхождения данных, контракты вознаграждения, воспроизводимость, процедуры оценки, идентификацию реестра, процесс развертывания, телеметрию и возможность отката.

Двенадцать рабочих правил

1. Постоянно обновляйте данные в хранилищах, сохраняя стабильность поведения адаптеров.
2. Выбирайте алгоритм в зависимости от имеющихся у вас методов надзора и контрактов вознаграждения.
3. Фиксируйте версии эталонной модели, инструментов оценки, судей и правил.
4. Для обучения чат-моделей с использованием помощников применяйте функцию потерь, предназначенную только для помощников, и проверяйте границы пакетирования данных.
5. В первую очередь предпочитайте метод PEFT, рассматривая полное тонкую настройку как исключение, требующее письменного обоснования.
6. Обучение с использованием QLoRA не означает использование квантизированной модели.
7. Для метода DPO необходимы фиксированные эталонные данные и параметр beta; методы без эталонов всё равно требуют базовых показателей.
8. Проводите unit-тестирование каждой проверяемой награды с использованием адверсарских траекторий.
9. Используйте DAPO или GSPO потому, что имеются доказательства их эффективности, а не потому, что они новее.
10. Процесс дистилляции передаёт как поведение, так и способы сбоев, поэтому оценивайте модель-ученик независимо.
11. Для наборов кода, определяющих выпуск продукта, держите уровень контаминации на нуле.
12. Зарегистрируйте полную инструкцию по разработке и отрепетируйте процедуру отката перед публикацией.

Контракты, а не лестница

Адаптация в корпоративной среде — это не подъём от SFT к всё более модным аббревиатурам. Это цепочка контрактов.

В контракте данных указано, чему могут научить примеры, в целях определяется оптимизированный сигнал, а в описании среды перечисляются возможные действия. Оценка позволяет определить степень улучшения, реестр фиксирует точное содержимое созданного продукта, процедура внедрения определяет уровень риска, с которым будет сталкиваться организация, а процедура отката показывает, действительно ли изменения можно отменить.

При наличии правильно сформулированных таких контрактов методы вроде LoRA, DPO, GRPO, дистилляции и любые другие методы после обучения превращаются в полезные инженерные инструменты. Без них даже красивая кривая наград остается лишь дорогостоящей демонстрацией.