Що знаходить агент для виявлення відмінностей моделей: зміни стилю переважають над незначною налаштуваністю моделі.
Агент для модельного диференціювання перевірив процес фінансової налаштування LoRA: 82% випробувань виявили зміни у довжині та структурі, тоді як бажана зміна логіки залишилася непоміченою.
Джерела: What does a model-diffing agent actually discover from a narrow fine-tune?
Питання, яке стоїть за експериментом
Уявімо, що від агента-чорної скриньки просять з’ясувати, у чому різниця між двома мовними моделями. Якщо одна з них була доопрацьована для вузької мети, чи знайде агент поведінку, яку мала створити ця доопрацювання, чи обере якийсь інший, більш помітний побічний ефект? Це дослідження створило контрольовану пару моделей, щоб з’ясувати це.
Модель А була недоторканою версією Qwen3.5-4B. Модель Б — це та сама версія з невеликим адаптером LoRA, навченим на 43 прикладах ухвалення фінансових рішень. Адаптер мав на меті змусити модель більш відкрито міркувати про ризики та стійкість у невизначеності: визнавати відсутність контексту, оцінювати негативні наслідки та проблеми з ліквідністю, уникати категоричних порад та віддавати перевагу варіантам, які залишаються прийнятними у разі проблем.
Дизайн ґрунтується на нещодавніх дослідженнях, які показують, що вузька налаштування залишають читабельні сліди у різницях активацій, а також на попередньому описі створення та оцінки агентів, які змінюють моделі. Тут знову використано ті самі 50 початкових запитів з того попереднього опису.
Результати в одному погляді
Налаштування спричинило значну небажану зміну глобального стилю та менші, змішані зміни у здатності до фінансового міркування. Модель B стала значно коротшою та менш детально структурованою як у відповідях на запити про фінанси, так і про інші теми; середня довжина відповідей знизилась на 55–78 відсотків у всіх наборах для оцінки.
Кількість слів, нормалізована за довжиною, спочатку свідчила про більший наголос на бажаних фінансових поведінках. Однак Модель B написала значно менше, тому було додано сліпий ручний огляд 20 пар відповідей у фінансовій тематиці. Він оцінював п’ять вимірів, пов’язаних із бажаною інтервенцією: невизначеність та контекст, аргументація щодо негативних наслідків, ліквідність, умовність та стійкість. Результати були змішаними. Модель B продемонструвала кращу аргументацію щодо ліквідності та стійкості, проте Модель A отримала вищий загальний бал, оскільки більш надійно виражала невизначеність та умовні аргументи.
Завдяки доступу до обох моделей у форматі „чорна скринька“ агент для порівняння виявив ту саму загальну різницю у обсязі та структурі відповідей, або щось схоже, у 41 з 50 незалежних сценаріїв пошуку (82 відсотки). Однак він не зміг чітко виявити більш конкретну фінансову інтервенцію.
- Агент, який ґрунтувався на одній гіпотезі, дійшов висновку, що Модель А формулює довгі, дуже структуровані та вичерпні відповіді, тоді як Модель B дає більш стислі відповіді з меншою структурою.
- Окремий перевірювач повторив цю гіпотезу з новими запитами та виявив, що різниця майже зникла, коли обидві моделі мали чіткі обмеження щодо довжини відповідей.
- Коли перевірювач продовжив пошуки після першого виявлення, жодного значущого другого результату не було отримано; переважно повторювалися більш вузькі версії того самого ефекту стилю.
- У 50 незалежних тестах, які охоплювали написання текстів, фактичні запитання, програмування, мозковий штурм, аналіз, математику, редагування, повсякденні поради, створення персонажів та завдання з безпеки, постійно спостерігалася та сама значна різниця.
Що означають ці результати
Основний висновок є частково негативним. Агенту було легко виявити, що процес тонкої налаштування змінив модель, але він майже завжди фіксував найбільш помітний побічний ефект: модель B стала коротшою та менш детально структурованою. Ефекти, специфічні для фінансів, були слабкішими та менш послідовними. Здатність оцінювати ліквідність та стійкість покращилась, тоді як інші цільові характеристики — ні.
Це піднімає питання щодо відмінностей у поведінкових моделях, яке виходить за межі простого визначення того, чи можна виявити справжню різницю: яка з кількох реальних відмінностей домінує у пошуках аудитора? Добре налаштована модель може містити кілька справжніх змін, а аудитор, який не має чітких критеріїв, може зосередитися на тій, яку легше спостерігати, описати та перевірити. Попередні дослідження також показали, що добре налаштовані модельні організми можуть проявляти небажані зміни в поведінці разом із основною метою. То що ж визначає, які ефекти налаштування може виявити аудитор, який працює з «чорною скринькою»? У цьому випадку домінувала найбільша та найбільш систематична зміна на рівні результатів, тоді як менші, менш послідовні фінансові зміни було важко об’єднати в одну гіпотезу.
Існують обмеження щодо того, що може показати це дослідження. Один невеликий модельний організм із надзвичайно великою випадковою зміною стилю не може довести, що фактори, що спричиняють відмінності, загалом віддають перевагу стилістичним змінам перед семантичними. Усе, що йде далі, є більш конкретним: тут аудитор знайшов значну, послідовну зміну у загальному стилі реакції значно легше, ніж менші, змішані фінансові ефекти. Розумним наступним кроком є серія налаштувань із все суворішим контролем стилю та фіксованою цільовою інтервенцією, щоб перевірити, чи стає більш легким виявлення бажаної поведінки у міру зменшення конкуруючих поверхневих ефектів.
Налаштування навчання
Обидві моделі починалися з одного й того самого чекпоїнта Qwen3.5-4B. 43 приклади навчання стосувалися розподілу активів, погашення іпотеки проти інвестування, концентрації акцій роботодавця, позик, виходу на пенсію, ліквідності, нерухомості та погашення боргів. Їхні цільові відповіді підкреслювали невизначеність, ризик зниження цін, ліквідність, концентрацію, негативні сценарії та стійкість, не спрямовуючись на повне уникнення ризиків чи відмови від них.
Навчання проводилося з використанням 4-бітної квантації та режиму LoRA з рангом 16 (alpha 16, без dropout) на шарах уваги та проєкції MLP протягом двох епох. Налаштування включали ефективний розмір пакету 8, швидкість навчання 2e-4, оптимізатор adamw_8bit з лінійним графіком, обмеження довжини послідовності у 1024 токенів та індекс 3407. Лише модель B отримала адаптер.
Обидві моделі використовували один і той самий токенайзер, шаблон чату та налаштування декодування: увімкнено вибірку, температура 0.7, top-p 0.9, до 256 нових токенів та до п’яти зразків на кожне запитання, причому режим роздумів був вимкнений.
Аудитор та верифікатор
Аудитором у форматі „чорна скринька“ був gpt-5.6-sol, як це зазначено у звіті. Він міг надсилати запити лише до моделей A та B та читати їхні результати. Він не мав доступу до інформації про те, яка модель є якою, а також до ваг, даних для навчання, цілей, конфігурації LoRA чи внутрішніх міркувань. Кожен сценарій розвитку тривав не більше 10 кроків; протягом цього часу він міг надсилати запити за допомогою send_messages, просити до п’яти зразків від кожної моделі або зупинитися з певною гіпотезою. У його інструкціях пропонувалося шукати систематичні, загальні, цікаві, належним чином абстрактні та умовні відмінності, припускати, що моделі є ідентичними доки не буде доказів протилежного, та шукати контрприклади.
Окремий валідатор потім перевіряв кандидатські гіпотези. Він бачив лише кінцеву гіпотезу, створював нові запити, намагався спростувати твердження та дослідити його межі, а потім повертав результати VALIDATED, REJECTED або INCONCLUSIVE. Це розділяло процес створення гіпотез від їх підтвердження.
Щоб перевірити стабільність, було проведено 50 незалежних симуляцій на основі фіксованого набору початкових даних з попередніх досліджень, які охоплювали письмо, програмування, фактологічні запитання, мозковий штурм, аналіз, математику, безпеку та дотримання обмежень. Зберігалися початкові дані кожної симуляції, статус її завершення, кількість кроків, кінцева гіпотеза, пояснення та повний текст розмови. Ще 25 симуляцій були спрямовані на конкретні сфери: по п’ять для фінансів, кар’єри, подорожей, технічних та повсякденних виборів; у них вказувалась сфера дослідження, але не зазначалося, що саме фінанси є сферою деталізованої налаштування чи якою має бути цільова поведінка. Метою було з’ясувати, чи допомагає спрямування пошуку на правильну сферу досягти бажаного ефекту.
На малюнку нижче показано повну структуру експерименту.
Перевірка ефективності деталізованої налаштування
Перш ніж оцінювати агент для виявлення відмінностей, було необхідно підтвердити, що процедура фін-тюнінгу спрямувала модель у бажаному напрямку. Базову та фін-тюнінговану моделі оцінювали на трьох наборах запитів.
- Фінанси ID: запити, схожі за тематикою та формою на приклади з тренувального набору.
- Фінанси OOD: запитання щодо фінансових рішень, які не були охоплені прикладами з тренувального набору.
- Нефінансові: не пов’язані запитання, включені для перевірки, чи поширилися зміни за межі цільової сфери.
Під час огляду аналізувалися поверхневі характеристики, переважно довжина відповіді, а також семантичні маркери, пов’язані з ціллю навчання. Найбільш помітним ефектом було значне скорочення довжини відповіді.
Це стосувалося не лише фінансів. Модель B скоротилася у всіх трьох наборах даних, включаючи запити, які не були пов’язані з областю навчання. Це не було метою втручання. Найімовірніше, це відображає те, що всі відповіді під час навчання були короткими та стриманими, хоча метою було змінити пріоритети міркувань моделі щодо невизначених фінансових рішень, а не зробити її ще більш стислою. Внаслідок цього зміна довжини стала корисною, хоча й ненавмисною, відмінністю для експериментів з аудитом.
Коротший вихідний текст не свідчить про те, що бажаний ефект не досягнуто, тому наступним кроком було вимірювання того, наскільки щільно зустрічалися кілька цільових шаблонів міркувань: аналіз недоліків та ризиків, врахування ліквідності та умовні міркування. Оскільки відповіді Моделі B були значно коротшими, кількість слів нормалізували на 100 слів. За цим показником мова, пов’язана з цілями, була щільнішою у відповідях Моделі B, налаштованій під фінанси. Однак первинні показники переважно не зросли. Тож нормалізований результат вказував на зміну відносного наголосу та не міг показати, що Модель B виконувала більше бажаних міркувань у абсолютних показниках.
Діаграма показує середню частоту використання обраних термінів цільового міркування на 100 слів відповіді протягом 10 запитів у кожній групі. Нормалізовані показники зростають для моделі B, тоді як первинні кількості зазвичай не змінюються, тому це слід розглядати як зміну акценту, а не як доказ однакового зростання цільового міркування.
Щоб з’ясувати, чи зберігся цей, здавалося б, семантичний зсув під час оцінки, менш чутливої до довжини, 20 пар відповідей у сфері фінансів були оцінені вручну з приховуванням ідентичностей моделей. Кожна відповідь отримувала оцінку «так» або «ні» за п’ятьма критеріями, взятими з мети втручання:
- Невизначеність та контекст: чи вказується відсутня інформація, невизначеність або невідомі фактори, які суттєво впливають на рішення?
- Міркування щодо негативних наслідків: чи розглядається значущий негативний результат, сценарій втрати чи випадок невдачі?
На графіку нижче показано результати сліпого порівняння.
Більш суворий тест дав змішаний вердикт. Модель B покращила аргументацію щодо ліквідності та стійкості, але модель A отримала вищий загальний бал, оскільки більш послідовно виражала невизначеність та умовну логіку. Отже, запланована інтервенція — це не одна чітка поведінкова відмінність. Відтюнування, схоже, підвищило деякі цільові показники, водночас зрівнявши або знизивши інші, а за підсумками порівняння моделей з відтюнуванням було 5 перемог, 9 поразок та 6 нічиїх.
Що знайшов інструмент порівняння
З урахуванням глобальних змін у стилі та змішаних фінансових факторів сліпий аудитор отримав можливість безпосереднього доступу до обох моделей та завдання з пошуку систематичних відмінностей у їхній поведінці. Робота почалася з початкового запитання про те, чи варто спочатку вивчати Python чи JavaScript; інструмент міг генерувати нові запити під час роботи, запитувати до п’яти зразків від кожної моделі та мати 10 спроб для виконання завдання.
Його кінцева гіпотеза полягала у тому, що модель A надає довгі, дуже структуровані та вичерпні відповіді на відкриті запити щодо порад, порівнянь та пояснень, тоді як модель B відповідає значно коротше та з меншою структурою; крім того, за суворих обмежень щодо довжини вихідних даних ця різниця суттєво зменшується.
Аудитор перевірив це твердження на непов’язаних темах, таких як програмування, автомобілі, наукові пояснення, усунення несправностей та поради щодо міжособистісних стосунків, і закономірність збереглася. Інший валідатор, який бачив гіпотезу, але не текст відкриття, відтворив її на нових запитах та повернув результат «ПІДТВЕРДЖЕНО». Запит на те, щоб обидва моделі відповідали у двох чи трьох реченнях, значно зменшив різницю. Схоже, налаштування fine-tune змінило стандартний рівень деталізації, залишивши при цьому можливість дотримуватися інструкцій щодо довжини відповіді.
Аудитор з кількома гіпотезами, якому дозволили задокументувати одне відкриття та продовжити роботу, знову виявив скорочену версію ефекту об’ємності та структури та не сформулював жодної чіткої, незалежної гіпотези, яка б відповідала фінансовим інтервенціям. Залишилася сумнівність щодо того, чи залежить результат від початкового запиту.
Чи має значення початковий запит?
Перший результат міг бути артефактом використаної початкової настанови, тому було проведено 50 незалежних симуляцій, кожна з яких починалася з іншої фіксованої настанови, що охоплювала письмо, фактичні запитання, програмування, мозковий штурм, аналіз, математику, редагування, повсякденні поради, створення персонажів та завдання з безпеки, за однаковим протоколом з однією гіпотезою.
Знову переважали різниця у об’ємі та структурі. Багато симуляцій незалежно дійшли до схожих варіантів: Модель А була довшою, більш структурованою та більш деталізованою, тоді як Модель B — коротшою та більш прямолінійною. Також з’явилися інші потенційні відмінності, зокрема дотримання обмежень, калібрування фактів, повторення та стилістичне різноманіття, але вони траплялися рідше та часто були логічними наслідками змін у довжині та структурі.
Оригінальний підтверджений результат позначений як H1: Модель A дає довші, більш структуровані та більш детальні відповіді, тоді як Модель B — коротші, більш прямолінійні; різниця значно зменшується за суворих обмежень щодо кількості слів. Кожен із 50 запусків було розсортовано до однієї з чотирьох категорій:
- такий самий, як H1
- пов’язаний із H1, тобто наслідок у вигляді обрізання тексту, надмірного форматування чи проблем із фіксованою кількістю елементів
- незалежний варіант, який справді відрізнявся
- жодних результатів, тобто жодної підтвердженої гіпотези в межах відведеного часу
Ручний аналіз кінцевих гіпотез дав такі результати: 31 з 50 випадків безпосередньо відтворювали спостереження щодо об’ємності та структури, 10 випадків виявили тісно пов’язані наслідки, 5 випадків запропонували незалежні кандидати, а 4 випадки завершилися без підтверджених результатів. Об’єднавши перші дві категорії, отримуємо 41 з 50 траєкторій (82 відсотки), які належать до однієї домінуючої групи.
Отже, результат не залежав від використання Python чи JavaScript. Навіть починаючи з багатьох непов’язаних сегментів простору запитів, аналізатор все одно рухався у напрямку однакової глобальної різниці у стилі, що підтверджує тезу про те, що зміна об’ємності є найбільш помітним результатом налаштувань. Це також ставить наступне питання: чи дозволить спрямування аналізатора на фінансову сферу знайти більш вузьку семантичну інтервенцію?
Спрямування пошуку на певну галузь
Якщо аудитор постійно помічав загальну зміну стилю, можливо, обмеження її певною сферою допомогло б краще побачити бажаний семантичний ефект. Тож було проведено ще 25 тестів у п’яти сферах: фінанси, кар’єра, подорожі, технічне прийняття рішень та повсякденні рішення, з п’ятьма початковими запитами для кожної сфери. Аудитору повідомляли, яку сферу перевіряти. Йому не казали, яка модель була налаштована, які дані використовувалися для навчання чи яку поведінку планували досягти.
З 25 тестів, спрямованих на певні сфери, 17 виявили той самий загальний ефект надмірної деталізації та структури, а лише 2 дали гіпотезу, яку можна було частково вважати відповідною до втручання у сфері фінансів.
Стовпчаста діаграма демонструє результати за п’ятьма налаштуваннями доменів. Найбільша різниця залишилась у верхній частині. Усі п’ять щоденних та усі п’ять подорожніх сценаріїв показали певні ознаки цієї різниці, як і більшість технічних та кар’єрних сценаріїв. У сфері фінансів спостерігалась більша різноманітність із кількома, можливо, незалежними відмінностями: підвищена обережність щодо непідтримуваних фінансових правил, менше спекулятивних методів та одна можлива помилка у якості прийняття рішень. Проте аудитор так і не сформулював загальну гіпотезу щодо фінансового мислення, чутливого до негативних наслідків.
Навіть у межах домену деталізації було важко виявити більш тонкий семантичний ефект серед значно більш очевидних змін у стилі. Направлення аудитора до правильного домену може виявитися недостатнім, якщо інша відмінність є значно простішою для спостереження та перевірки.
Виключення альтернативних пояснень
Основним ризиком є те, що аудитор просто бере випадкову різницю між зразками та перетворює її на систематичну гіпотезу. Це проблема була вирішена за допомогою кількох захисних заходів.
- Процеси виявлення та підтвердження були розділені. Особа, яка підтверджувала гіпотезу, бачила лише кінцеву версію гіпотези та створювала нові запити для її підтвердження чи спростування.
- Була перевірена умова межі. Різниця у рівні деталізації значно зменшилась, коли обидві моделі мали суворі обмеження щодо коротких відповідей, тож цей ефект стосується стандартної деталізації, а не нездатності дотримуватися інструкцій.
- Вторинні результати переглядалися вручну, а не вважалися незалежними лише через те, що вони виглядали інакше. Різниці у фактичній налаштованості, форматуванні чи дотриманні обмежень класифікувалися обережно, якщо їх можна було правдоподібно пояснити значно довшими та більш структурованими відповідями моделі A.
Нормалізовані фінансові показники, здавалося, свідчили про чіткий рух у бік бажаної поведінки, але значно коротші відповіді Моделі B створили проблеми через використання занадто малого знаменника. Саме тому було проаналізовано кількість відповідей у первинному вигляді, а потім проведено ручну оцінку 20 фінансових пар без урахування попередніх даних. Як уже зазначалося раніше, результати цієї оцінки були сумнівними, тож додаткова налаштування, схоже, посилили деякі бажані аспекти, водночас послабивши інші.
Контроль з ідентичними моделями
Потім той самий протокол було застосовано у контрольній групі, де Модель A та Модель B були окремими зразками, отриманими з однієї незміненої базової моделі. Аудитору не повідомляли про те, що моделі ідентичні, і він мав такі самі обмеження у 10 кроків та інструкції щодо формулювання гіпотез, як і у основному експерименті.
Із 10 контрольних траєкторій 4 прямо зазначили, що різниці не виявлено, 5 використали всі можливості для здійснення поворотів без формулювання гіпотези, а 1 повідомив про хибну різницю у якості японського перекладу, де випадкові варіації між зразками були сприйняті як систематична різниця між варіантами A та B.
Отже, 9 із 10 запусків із ідентичною моделлю стверджували про відсутність систематичної різниці, на відміну від 41 із 50 запусків з базовою та LoRA моделями, які виявили перевагу більш детального формулювання або щось схоже. Обсяг контрольних зразків малий, тому це не дозволяє встановити точний рівень хибних позитивних результатів. Проте це суперечить простому поясненню про те, що аудитор, якому дозволено адаптивно шукати відмінності, завжди їх вигадає.
Обговорення
Модельний аналіз відмінностей передбачає більше, ніж просте виявлення того, що дві моделі відрізняються, і важливо розуміти, що це також залежить від того, яку саме відмінність обирає аудитор. Процес деталізової налаштування призвів до значних загальних змін у стилі відповідей та до менших, змішаних змін у фінансовому мисленні. Аудитор знову та знову виявляв перші зміни, незалежно від початкового запиту, навіть коли його пошук обмежувався сферою фінансів.
Одне просте пояснення полягає у тому, що загальні зміни стилю було простіше помітити, сформулювати словами та перевірити. Фінансові ефекти були меншими та менш послідовними — деякі аспекти покращувалися, тоді як інші погіршувалися. Знайшовши значну систематичну різницю у рівні деталізації, аудитор майже не мав причин продовжувати пошук більш тонких, менш послідовних варіантів.
Це підводить нас до важливого запитання: коли одна поведінкова відмінність є дуже очевидною, як це впливає на можливість виявлення більш тонких? Дані не свідчать про те, що агенти-змінники зазвичай віддають перевагу стилістичним змінам, ані про те, що фінансовий ефект був за своєю природою важко виявити. Вони показують, що для цього модельного організму значна та послідовна зміна глобального стилю перевершує меншу кількість більш розрізнених фінансових змін. Аудитор не обирав між сильним наміреним ефектом та сильним ненамірним, оскільки ці два варіанти пропонували одну яскраву глобальну зміну та кілька слабших, розрізнених ефектів.
Пов’язана література
- Практичні нотатки: Як стати користувачем агента Hermes у топ-1%: Повний посібник № — Детальний огляд Практичних нотаток: Як стати користувачем агента Hermes у топ-1%: Повний посібник №: контракти, перевірки та шаблони коду для команд, які використовують цю модель.
- Gemini Spark пояснено: завдання, навички, графіки, безпека та ціни — Що робить агент Gemini Spark від Google, який працює постійно, у Gmail, Календарі та Docs, як функціонують його механізми безпеки, скільки він коштує, де його блокують та хто повинен його використовувати.