Что обнаруживает агент для сравнения моделей: изменения стиля перекрывают незначительные корректировки.
Агент для обнаружения отклонений от модели проверил процесс тонкой настройки LoRA в финансовой сфере: 82% примеров выявили изменения в длине и структуре, в то время как запланированное изменение логики осталось незамеченным.
Источники: What does a model-diffing agent actually discover from a narrow fine-tune?
Вопрос, стоящий за экспериментом
Предположим, что агенту-«черному ящику» поручают выяснить, в чем разница между двумя языковыми моделями. Если одна из них была отрегулирована для выполнения узкоспециализированной задачи, обнаружит ли агент поведение, которое предполагалось создать в результате такой настройки, или же он обратит внимание на какой-то другой, более заметный побочный эффект? Для ответа на этот вопрос в данном исследовании была использована пара моделей в контролируемых условиях.
Модель А представляла собой неизмененный чекпоинт Qwen3.5-4B. Модель Б — тот же чекпоинт с небольшим адаптером LoRA, обученным на 43 примерах принятия финансовых решений. Целью адаптера было заставить модель более открыто рассматривать риски и способность к восстановлению в условиях неопределенности: учитывать отсутствующую информацию, оценивать негативные последствия и проблемы с ликвидностью, избегать категоричных рекомендаций и отдавать предпочтение вариантам, которые останутся приемлемыми в случае возникновения проблем.
Дизайн основан на недавних исследованиях, показывающих, что узкая настройка оставляет заметные следы в различиях активаций, а также на более раннем обзоре по созданию и оценке агентов для моделирования различий. Здесь снова были использованы те же 50 исходных запросов из предыдущего обзора.
Результаты в одном взгляде
В результате настройки произошло значительное нежелательное изменение глобального стиля, а также более незначительные и смешанные изменения в способности к финансовому анализу. Модель B стала гораздо короче и имела менее сложную структуру как при обработке финансовых, так и нефинансовых запросов; средняя длина ответов снизилась на 55–78 процентов во всех наборах для оценки.
Количество слов, нормализованное по длине, изначально указывало на больший вес предполагаемых финансовых поведений. Однако модель B генерировала гораздо меньше текста, поэтому был добавлен слепой ручной анализ 20 пар ответов по финансовым вопросам. В ходе анализа оценивались пять аспектов, связанных с целевыми мерами вмешательства: неопределенность и контекст, рассуждения о негативных последствиях, ликвидность, условность и устойчивость. Результаты оказались неоднозначными. Модель B продемонстрировала более высокий уровень рассуждений, связанных с ликвидностью и устойчивостью, тем не менее модель A показала более высокий общий балл, поскольку более надежно выражала неопределенность и условные рассуждения.
Благодаря возможности анализа обеих моделей «изнутри» слепый агент для сравнения обнаружил одинаковые различия в общем объеме текста и структуре, или очень близкие к ним результаты, в 41 из 50 независимых траекторий поиска (82 процента). Однако он не смог четко выявить более узкоспециализированные аспекты финансового вмешательства.
- Агент, основанный на одной гипотезе, пришел к выводу, что модель A формирует длинные, высокоструктурированные и исчерпывающие ответы, в то время как модель B отвечает более кратко и с меньшей степенью структурированности.
- Отдельный проверщик воспроизвел эту гипотезу с использованием новых запросов и обнаружил, что разница в основном исчезла, когда обе модели столкнулись с четкими ограничениями по длине ответов.
- Попытки аудитора продолжить поиски после первого обнаружения не привели к каким-либо значимым результатам; в основном он лишь повторял более узкие версии того же эффекта.
- При тестировании на 50 независимых примерах, охватывающих написание текстов, фактологические вопросы, программирование, мозговой штурм, анализ, математику, редактирование, повседневные советы, создание персонажей и задачи, связанные с безопасностью, та же значительная разница продолжала проявляться.
Что означают результаты
Основной вывод является отчасти негативным. Агенту было легко заметить, что процедура тонкой настройки изменила модель, но он почти всегда сообщал о самом заметном побочном эффекте: модель B стала короче и имела менее сложную структуру. Эффекты, связанные с финансами, были слабее и менее последовательными. Способность к анализу ликвидности и устойчивости улучшилась, в то время как другие целевые поведения — нет.
Это поднимает вопрос о различиях в поведенческих моделях, выходящий за рамки простого определения наличия реальных различий: какое из нескольких реальных отличий доминирует в поиске аудитора? Тщательно отрегулированная модель может содержать множество подлинных изменений, и аудитор, действующий без четких ограничений, может склоняться к тем изменениям, которые легче всего наблюдать, описывать и проверять. Предыдущие исследования также показали, что тщательно отрегулированные модельные организмы могут проявлять нежелательные изменения в поведении наряду с основной целевой переменной. Так что же определяет, какие эффекты от настройки модели сможет обнаружить аудитор, работающий «в черном ящике»? В данном случае доминировало наибольшее и наиболее систематическое изменение на уровне результата, в то время как более мелкие и менее стабильные финансовые изменения было сложно свести к одной гипотезе.
Есть ограничения тому, что может показать это исследование. Один небольшой модельный организм с необычайно сильным случайным сдвигом стиля не может доказать, что факторы, вызывающие изменения, в целом предпочитают стилистические изменения семантическим. Все, что следует за этим, имеет более узкую направленность: здесь аудитор с гораздо большей легкостью обнаружил крупное, целостное изменение в общем стиле реакции, чем более мелкие, смешанные финансовые эффекты. Разумным следующим шагом является серия настроек с постепенно более строгим контролем стиля и фиксированным целевым вмешательством, чтобы выяснить, становится ли желаемое поведение более легко обнаруживаемым по мере уменьшения конкурирующих поверхностных артефактов.
Настройки обучения
Оба модели были созданы на основе одного и того же чекпоинта Qwen3.5-4B. В процессе обучения с использованием 43 примеров рассматривались такие темы, как распределение активов, погашение ипотеки против инвестирования, концентрация акций работодателя, заимствования, пенсионное обеспечение, ликвидность, недвижимость и погашение долгов. Целевые ответы подчеркивали неопределенность, риски снижения стоимости, ликвидность, концентрацию активов, неблагоприятные сценарии и устойчивость, при этом не допускалось крайнее избегание рисков или их полное отвержение.
Обучение проводилось с использованием 4-битной квантизации и метода LoRA с рангом 16 (alpha 16, без dropout) на слоях внимания и проекции MLP в течение двух эпох. Были заданы следующие параметры: эффективный размер пакета — 8, скорость обучения — 2e-4, оптимизатор adamw_8bit с линейной шкалой, лимит длины последовательности — 1024 токена, а также seed — 3407. Адаптер был применен только к модели B.
Оба модели использовали один и тот же токенизатор, шаблон чата и настройки декодирования: включена функция выборки, температура — 0,7, параметр top-p — 0,9, максимум 256 новых токенов и до пяти примеров на каждый запрос, причем режим размышлений отключен.
Аудитор и верификатор
Аудитором в рамках этого эксперимента с «черным ящиком» был gpt-5.6-sol, как указано в отчете. Он мог отправлять запросы только к моделям A и B и читать их результаты. У него не было доступа к информации о том, какая модель является какой, а также к весам, данным обучения, целям, настройкам LoRA или внутренним логикам принятия решений. Каждый сценарий развития происходил не более чем за 10 шагов; в течение этого времени он мог отправлять запросы с помощью функции send_messages, запрашивать до пяти примеров от каждой модели или прекращать работу, сформулировав гипотезу. В инструкциях предусматривалось искать систематические, общие, интересные, достаточно абстрактные и условные различия, предполагать идентичность моделей до тех пор, пока доказательства не указывали на обратное, и выявлять контрпримеры.
Отдельный валидатор затем проверял кандидатские гипотезы. Он рассматривал только окончательную гипотезу, формировал новые запросы, пытался опровергнуть утверждение и исследовать его границы, после чего возвращал результаты VALIDATED, REJECTED или INCONCLUSIVE. Таким образом происходило разделение процессов генерации гипотез и их подтверждения.
Для проверки стабильности было использовано 50 независимых траекторий, основанных на фиксированном наборе «семян» из предыдущих исследований, охватывающих направления письма, программирования, ответов на фактологические вопросы, мозгового штурма, анализа, математики, безопасности и соблюдения ограничений. Сохранялись «семя» каждой итерации, статус завершения, количество шагов, окончательная гипотеза, объяснение и полный текст диалога. Ещё 25 итераций были направлены на конкретные области: по пять для финансов, карьеры, путешествий, технических решений и повседневных выборов; указывалась область исследования, но не говорилось ни о том, что финансы являются областью тонкой настройки, ни о целевом поведении. Цель состояла в том, чтобы выяснить, способствует ли сосредоточение поиска на правильной области более легкому достижению желаемого результата.
На рисунке ниже показана полная структура эксперимента.
Проверка эффективности тонкой настройки
Прежде чем оценивать агент для выявления различий, было необходимо подтвердить, что процедура тонкой настройки действительно направила модель в желаемом направлении. Базовая и отрегулированная модели тестировались на трех наборах вопросов.
- Финансы ID: вопросы, похожие по тематике и формату на примеры из обучающего набора.
- Финансы OOD: вопросы о финансовых решениях, которые не рассматривались в примерах обучения.
- Нефинансовые вопросы: нерелевантные вопросы, добавленные для проверки того, не распространилось ли изменение за пределы целевой области.
При оценке учитывались поверхностные характеристики, в основном длина ответа, а также семантические маркеры, связанные с целью обучения. Самым заметным эффектом стало значительное сокращение длины ответа.
Это касалось не только финансов. Модель B сокращала длину ответов во всех трех наборах примеров, включая те, которые не связаны с областью обучения. Это не было целью внесенных изменений. Скорее всего, это отражает тот факт, что все ответы, сгенерированные в ходе обучения, были краткими и сдержанными, хотя целью было изменение приоритетов рассуждений модели при принятии неопределенных финансовых решений, а не сокращение длины ответов. В результате изменение длины ответов стало полезным, непреднамеренным фактором для экспериментов по аудиту.
Более короткий результат не доказывает, что желаемый эффект не был достигнут, поэтому на следующем этапе измерялась частота возникновения нескольких целевых паттернов рассуждений: анализ негативных аспектов и рисков, учет ликвидности и условные рассуждения. Поскольку ответы модели B были значительно короче, их количество слов нормализовывалось на 100 слов. По этому показателю язык, связанный с целями, встречался чаще в ответах модели, отрегулированной для работы с финансовыми данными. Однако в сырых данных частота таких выражений в основном не увеличивалась. Следовательно, нормализованный результат указывал на изменение относительной значимости этих паттернов рассуждений, но не позволял утверждать, что модель B в абсолютном выражении использовала больше таких рассуждений.
График показывает среднюю частоту использования выбранных терминов целенаправленного рассуждения на 100 слов ответа при 10 запросах в каждой группе. Нормализованные показатели у модели B растут, в то время как сырые цифры обычно не меняются, поэтому это следует рассматривать как сдвиг в акцентах, а не как доказательство единообразного увеличения использования терминов целенаправленного рассуждения.
Чтобы выяснить, сохраняется ли видимый семантический сдвиг при оценке, менее чувствительной к длине ответов, 20 пар финансовых ответов были оценены вручную с скрытием идентификаторов моделей. Каждый ответ получал ответ «да» или «нет» по пяти критериям, основанным на целях вмешательства:
- Неопределенность и контекст: указывается ли на отсутствующую информацию, неопределенность или факторы, которые существенно влияют на принятие решения?
- Рассмотрение негативных сценариев: учитывается ли значимый негативный исход, сценарий потерь или случай сбоя?
На графике ниже показан результат слепого сравнения.
Более строгий тест дал смешанный вердикт. Модель B улучшила критерии ликвидности и устойчивости, но модель A показала более высокий общий результат, более последовательно выражая неопределенность и условные рассуждения. Следовательно, целевое вмешательство не сводится к однозначной разнице в поведении. Похоже, настройка повлияла на повышение некоторых целевых показателей при одновременном снижении или стабилизации других; при сравнении по парам у модели с настройками было 5 побед, 9 поражений и 6 ничьих.
Что обнаружил инструмент сравнения
После установления глобальных изменений в стиле и смешанных финансовых параметров аудитор с ограниченными возможностями получил доступ к обоим моделям и задачу выявления систематических различий в их поведении. Он начал с основного вопроса о том, стоит ли сначала изучать Python или JavaScript, мог генерировать новые запросы по ходу работы, запрашивать до пяти примеров от каждой модели и имел 10 попыток для ответа.
Его окончательная гипотеза гласила, что модель A дает длинные, высокоструктурированные, исчерпывающие ответы на открытые вопросы, связанные с советами, сравнениями и пояснениями, в то время как модель B отвечает значительно кратче и с меньшей структурой; при строгих ограничениях по длине ответа различия сильно сокращаются.
Аудитор протестировал это утверждение на несвязанных темах, таких как программирование, автомобили, научные объяснения, устранение неполадок и советы по межличностным отношениям, и закономерность сохранялась. Другой валидатор, который видел гипотезу, но не текст открытия, воспроизвёл её на новых запросах и вернул результат «ПРОВЕРЕНО». Приказ моделям отвечать двумя-тремя предложениями в значительной степени устранил эту разницу. По-видимому, процедура тонкой настройки изменила стандартный уровень подробности, сохранив при этом способность соблюдать указания по длине ответа.
Аудитор с несколькими гипотезами, имевший возможность записать одно обнаружение и продолжить работу, снова обнаружил более ограниченную версию эффекта обилия слов и структуры, но не смог сформулировать чёткую, независимую гипотезу, соответствующую финансовому вмешательству. Оставался вопрос о том, зависит ли результат от исходного запроса.
Важен ли исходный запрос?
Первый результат мог быть артефактом использованного начального входного данных, поэтому было проведено 50 независимых тестов, каждый из которых начинался с разного фиксированного входного запроса, охватывающего темы письма, фактических вопросов, программирования, мозгового штурма, анализа, математики, редактирования, повседневных советов, создания персонажей и заданий на безопасность, при соблюдении одинакового протокола с одной гипотезой.
Опять же доминировали различия в степени подробности изложения и структуре ответов. Многие варианты ответов независимо сходились к близким по формату вариантам: Модель А давала более длинные, структурированные и подробные ответы, тогда как Модель B — более короткие и прямые. Также наблюдались другие потенциальные различия, включая соблюдение ограничений, точность фактов, частоту повторений и стилистическое разнообразие, но они встречались реже и часто являлись логичными следствиями тех же изменений в длине и структуре ответов.
Оригинальный подтверждённый результат обозначен как H1: модель A формирует более длинные, структурированные и полные ответы, тогда как модель B — более короткие и прямые; разница в основном исчезает при строгих ограничениях по длине. Каждый из 50 запусков был отнесён к одной из четырёх категорий:
- то же, что и H1
- связано с H1, то есть является следствием вроде обрезки текста, чрезмерной структуризации или проблем с фиксированным количеством элементов
- независимый вариант, который действительно отличался
- нет результатов, то есть в рамках установленного лимита времени не была подтверждена никакая гипотеза
В результате ручного анализа итоговых гипотез были получены следующие показатели: 31 из 50 случаев напрямую отражали наличие избыточности и определённую структуру, 10 случаев выявили тесно связанные последствия, 5 случаев предложили независимые варианты, а 4 случая завершились без подтверждённых результатов. Слияние первых двух категорий даёт 41 из 50 траекторий (82 процента), относящихся к одной и той же доминирующей группе.
Следовательно, результат не зависел от выбора языка — Python или JavaScript. Начиная с множества не связанных между собой областей пространства запросов, анализатор всё равно двигался к одному и тому же глобальному стилистическому различию, что позволяет рассматривать изменение уровня избыточности как наиболее очевидный результат настройки. Это также ставит следующий вопрос: не позволит ли направление анализатора на финансовую сферу обнаружить более узкую семантическую интервенцию?
Направление поиска на определённую область
Если аудитор продолжал обнаруживать глобальное изменение стиля, возможно, ограничение его конкретной областью позволило бы лучше увидеть желаемый семантический эффект. Поэтому было проведено ещё 25 тестов в пяти областях: финансы, карьера, путешествия, принятие технических решений и повседневные решения, при этом для каждой области использовалось по пять исходных запросов. Аудитору сообщали, какую область необходимо изучить. Однако ему не говорили, какая модель была отточена, какие данные использовались для обучения и какое поведение было запланировано.
Из 25 тестов, проведённых в конкретных областях, 17 выявили тот же глобальный эффект избыточности и структуры, а только 2 привели к гипотезе, которую можно было частично считать соответствующей мерам в области финансов.
Столбчатая диаграмма показывает результаты по пяти доменным настройкам. Глобальный разрыв оставался на первом месте. Все пять ежедневных тестов и все пять тестов, связанных с путешествиями, попали в какую-то из категорий, как и большинство технических и карьерных тестов. В сфере финансов наблюдалась большая разнообразность: несколько, возможно, независимых различий — повышенная осторожность при работе с неподдерживаемыми финансовыми правилами, меньше спекулятивных методов принятия решений и одна возможная ошибка качества решения. Тем не менее аудитор так и не смог сформулировать общую гипотезу относительно финансового мышления, чувствительного к негативным факторам.
Даже внутри домена тонкой настройки было сложно выявить более узкий семантический эффект на фоне гораздо более заметных изменений стиля. Ориентация аудитора на правильный домен может оказаться недостаточной, если какое-то другое различие гораздо легче наблюдать и проверять.
Исключение альтернативных объяснений
Одним из ключевых рисков является то, что аудитор может просто использовать случайные различия между образцами и превратить их в систематическую гипотезу. Для устранения этой проблемы были введены несколько мер защиты.
- Этапы обнаружения и проверки были разделены. Специалист по проверке видел только окончательную гипотезу и создавал новые запросы, направленные на её подтверждение или опровержение.
- Была проверена граничная ситуация. Разница в степени подробности в основном исчезала, когда оба модели работали в условиях строгих ограничений на краткие ответы; следовательно, этот эффект связан с стандартным уровнем подробности, а не с невозможностью выполнять инструкции.
- Второстепенные результаты рассматривались вручную, а не считались независимыми лишь потому, что они отличались по форме. Различия в точности фактов, форматировании или соблюдении ограничений классифицировались осторожно, если они могли разумно объясняться более длинными и структурированными ответами модели A.
Нормализованные финансовые показатели, казалось, свидетельствовали о явном смещении в сторону желаемого поведения, однако гораздо более короткие ответы модели B привели к искажению из-за использования слишком маленького знаменателя. Поэтому был проанализирован первоначальный подсчёт, а затем проведена слепая ручная оценка 20 финансовых пар. Результаты, о которых упоминалось ранее, оказались противоречивыми, поэтому процедура тонкой настройки, по-видимому, усилила некоторые желаемые аспекты, в то же время снизив эффективность других.
Контроль с одинаковыми моделями
Затем был применён тот же протокол в контрольной группе, где модели A и B представляли собой отдельные примеры, взятые из одной и той же базовой модели. Аудитору не сообщали, что модели идентичны, и он имел ту же ограничение в 10 ответов и те же инструкции по формулировке гипотез, что и в основном эксперименте.
Из 10 контрольных траекторий 4 прямо указали на отсутствие различий, 5 исчерпали лимит поворотов без формулировки гипотезы, а 1 сообщил о ложном различии в качестве японского перевода, при этом случайные вариации между образцами были интерпретированы как систематическая разница между вариантами A и B.
Таким образом, 9 из 10 запусков с идентичной моделью утверждали об отсутствии систематических различий, в то время как в 41 из 50 запусков с сравнением базовой версии и LoRA было обнаружено доминирующее явление избыточности или его близкий аналог. Объем контрольных образцов мал, поэтому это не позволяет определить точный уровень ложноположительных результатов. Однако это противоречит простому объяснению о том, что аудитор, имеющий возможность адаптивного поиска, всегда найдет какие-то различия.
Обсуждение
Модельный анализ различий включает в себя не только выявление того, что две модели отличаются, но и зависит от того, какие именно различия решит отследить аудитор. В результате тонкой настройки произошли значительные глобальные изменения в стиле ответов, а также более незначительные, смешанные изменения в способах финансового анализа. Аудитор снова и снова обнаруживал первый тип изменений, независимо от исходного запроса, даже когда поиск ограничивался финансовой тематикой.
Простое объяснение заключается в том, что глобальные изменения стиля были проще заметить, описать словами и проверить. Финансовые эффекты были менее значительными и менее целостными: некоторые аспекты улучшались, в то время как другие ухудшались. Обнаружив явную систематическую разницу в степени подробности ответов, у аудитора не было причин продолжать поиск более тонких, менее последовательных вариантов.
Это поднимает важный вопрос: когда одно поведенческое отличие крайне очевидно, как это влияет на возможность обнаружения более тонких отличий? Данные не показывают, что факторы, вызывающие изменения, в целом предпочитают стилистические изменения, и не указывают на то, что финансовый эффект по своей природе был труден для обнаружения. Они показывают, что для этого модельного организма значительное и целостное изменение глобального стиля превосходило небольшой набор более разрозненных финансовых изменений. Аудитор не выбирал между сильным намеренным эффектом и сильным ненамеренным, поскольку оба варианта представляли собой единое заметное глобальное изменение и несколько более слабых, разрозненных изменений.
Связанные материалы
- Практические рекомендации: Как стать пользователем агента Hermes из числа лучших 1%: Полное руководство № — Подробное руководство по практическим рекомендациям: Как стать пользователем агента Hermes из числа лучших 1%: Полное руководство №, включающее информацию о контрактах, проверках и блоках для вставки кода для команд, использующих эту модель.
- Gemini Spark: объяснение, задачи, навыки, расписание, безопасность и цены — Что делает агент Gemini Spark от Google, работающий круглосуточно, в Gmail, Календаре и Docs, как функционируют механизмы безопасности, сколько он стоит, где он заблокирован и кто должен им воспользоваться.