Што знаходзіць агент параўнання мадэляў: змены стылю засланяюць вузкі файнцюнінг
Агент параўнання мадэляў праверыў фінансавы LoRA-файнцюнінг: у 82% запускаў ён заўважыў змену даўжыні і структуры адказаў, а задуманая змена разважанняў засталася схаванай.
Крыніцы: What does a model-diffing agent actually discover from a narrow fine-tune?
Запітанне, якое стоіць за эксперыментам
Падумаймо, што агента-чорнай скрынкі прасяць знайсці, у чым разлік між двумя мадэлямі мовы. Якшо адна з іх была настроена для спецыяльнай мэты, чы выявіць агент ту поведэнчную характэрыстыку, якую планаваліся стварыць за дапамою настройкі, чы, можа, ён зупініцца на якім-небудзь іншым, болей выразным парадоксальным эфекце? Гэта даследжэнне створыла пару модэляў у контрольных умовах, каб выясніць гэта.
Модэль А была некінуцым чэкпоінтом Qwen3.5-4B. Модэль Б была тым жа чэкпоінтом, але з невялікім адаптэрам LoRA, натрэнаваным на 43 прыклады фінансавых рашэнняў. Адаптэр меў на меце змусіць модэль болей адкрыта размышляць пра рызыкі і стойкасці ў неясных умовах: відзначаць відсутнасць кантэксту, аналізаваць паслядкі і ліквіднасць, ухіляцца ад катэгарычных рэкамендацый і валічыць тыя выборы, якія застаюцца прыемлімымі, якшо ўсё пойдзе не так.
Дыяграма створана на адказе апошніх даследжэнняў, якія паказваюць, што частыя настройкі залешаюць чытальныя следы ў разліках актывацыі, а таксама на адпісе пра стварэнне і ацэнку агентаў, якія зміняюць модэлі. Тут знова было выкарыстоўвана тая ж 50 прамптав з таго пачатковага адпісу.
Рэзультаты за мгновэнне
Частыя настройкі спрычынілі большы, неняхочаны змяненні ў глобальным стыле, а таксама меншыя, змешаныя змяненні ў спроможнасці модэляў рашаць фінансавыя задачы. Модэль B стаў значна корачэй і менш структураваны як у задачах, якія стосуюцься фінансаў, так і тых, якія не стосуюцься іх; сярэжная дужына адпаведзей зменілася на 55–78 процэнтав у всіх наборах для ацэнкі.
Колькасць слоў, нормаваных па дужыне, спачатку парадзіліся большай вагай для намечаных фінансавых практык. Але Модэль B напісала значна менш, таму была дадзена слепая ручная пераглядка 20 пар фінансавых адпаведзей. Яна оцаніла пяць вымяраў, зв’язаных з намечанай інтэрвенцыяй: неяснасць і кантэкст, аргументы пра негатыўныя наследкі, ліквіднасць, умовнасць і стойкасць. Рэзультаты былі сумяшаныя. Модэль B паказала большую колькасць аргументаў пра ліквіднасць і стойкасць, пры тым як Модэль A паставіла вышэйшы загальны бал, адколі яна болей надзеянна выражала неяснасць і умовныя аргументы.
За дапамогою доступу да обох модэляў у фармаце „чорныя скрынкі“ агент для пораўнання выявіў тыя ж загальныя разніцы ў дэталізацыі і структуры, або ўзаемна супарадныя наследкі, у 41 з 50 незалежных траекторый шукання (82 процэнты). Однак ён не змог чыста выявіць болей спецыфічную фінансавую інтэрвенцыю.
- Агент, які выкорыстоўваў адну гіпатэзу, вынік ў тым, што Модэль А піша дзяўялікія, высока структураваныя, вялікія па об’ёме адпаведзі, тады як Модэль B дае болей стыслыя адпаведзі з меньшай структурой.
- Адзін з іншых пераканальнікаў парадараваў тую ж гіпатэзу на новых запітах і з’явіў, што розніца здзейсніцяльна знікла, калі обе модэлі сталі падпадаць пад часткавыя ліміты дзяўялікі.
- Калі аўдытар продаваў шуканне пасля свайго першага аднаходжэння, не было жадных значных другіх аднаходжэнняў; ён пераважна толькі парадараваў болей вузкія версіі таго ж эфекту стылю.
- У 50 незалежных тэстах, якія аб’ёмлі напісанне, фактычныя запытанні, програмаванне, мозгавы штурм, аналіз, матэматыку, рэдагаванне, повсякдзенныя парады, стварэнне персонажаў і задачы з безпекі, тая ж значная розніца продаваўся знову і знову.
Што значыць гэты рэзультат
Галоўныы вынік ў частыні ўзніклі негатыўны. Агенту было лёгка з’явіць, што тонкая наладка зменіла мадэль, але тое, пра што ён даваў адчыт, практычна завжды было самым выражаным побачным эфектам: мадэль B стала корачэй і менш дэталізаванаю за структурой. Эфекты, спецыфічныя для фінансаў, былі слабейшыя і менш цяплыя. Разуменне ліквіднасці і стойкасці паднялася, а іншыя цільаваныя прыемы — ні.
Гэта падае на пытанне ў адназначэнні модэляявання паведзення, якое выходзіць за межы простага выявлення рэальных разліків: які з калькольных рэальных разліків вядома пераважае ў пошуку аўдытара? Тонкая наладжаная модэль можа міты калькольныя рэальныя змяны, а аўдытар, які не мае чыстаўленага падходу, можа звернуцца да тых змян, якія лёгкія да спазірвання, апісвання і пераканання. Ранейшыя даследжэння таксама паказалі, што тонкая наладжаная модэльная організмацыя можа фіксаваць неняхочаныя змяны паведзення разам з намечаным цэльным эфектам. Тады што вялікае рашэнне, якія эфекты тонкай наладжання можа знайсці аўдытар, які працуе з «чорным яшчыкам»? У гэтым случае пераважыла найбольшая і найсістэматычнейшая змяну на рэвэле выходу, тады калі меншыя, менш стабільныя фінансавыя змяны было важка скарыстаць у адной гіпотэзе.
Існуюць меры таго, што можа паказаць гэта. Одна невялікая мадэльна організма з нечыста вялікім віпадковым зменшэнням стылю не можа падтвердзіць, што факторы разліку в цалым вялікай меры вярнуцца да стылістычных, а не сэмантычных змян. Усё, што следуе, ўжо болей спецыфічнае: тут аўдытар знайшоў вялікую, цэлеспрабавную змяну у стылі глобальнай рэакціі значна лёгкая, чым меншыя, змешаныя фінансавыя эфекты. Розумны наступны крок — серыя налашоўків з усё строгей кантроллю стылю і фіксаванай метай втручання, каб пазнакоміцца, чы не стане намераваная поведэнчная мадэль лёгкай да выявлення, калі конкуруючыя паверхневыя артыфакты зменшуюцца.
Настройкі навчання
Оба модэлі выйшлі з аднаго і таго ж чэкпоінта Qwen3.5-4B. У 43 прыкладах трэніравання былі рассмотраны такія тэмы, як распадзел актываў, пагашэнне іпаткі проты інвеставання, концэнтрацыя акцыяў у руках работадаўцоў, запозыцыі, пенсія, ліквіднасць, нерухомасць і пагашэнне боргаў. Іхнія цэльвыя адпаведзі выявілі неяснасці, рызык падышчы, ліквіднасць, концэнтрацыю, негатыўныя сцэнарыі і стойкасць, не прымушваючы да абсалютнага аўтаматычнага аўтадаўедзення ад рызыка чы ўсунення яго.
Трэніраванне адбывалася з вікорыстаннем 4-бітной квантызацыі, ранг-16 LoRA (альфа 16, без dropout) на шарах атэнцыі і MLP-проекцыі пры двух эпохах. Настройкі включалі эфектывны размер пакета 8, шчыльнасць навучэння 2e-4, оптымізатор adamw_8bit з лінейным графікам, ліміт дужэй у 1024 токэна і сід 3407. Толькі модэль B практыкавала адаптар.
Оба модэлі выкорыстоўвалі аднаковы токенізатор, шаблон чату і настройкі дэкадавання: апрацоўка прыкладоў увімкнута, тэмпература 0.7, top-p 0.9, да 256 новых токенав і да пяці прыкладоў на кожны запіт, пры чым рэжым размышлення выключаны.
Аўдытар і верыфікатор
Аўдытар «чорнай скрыткі» быў gpt-5.6-sol, як яго называюць у аналізе. Ён могаў толькі адпраўляць запіты да модэляў A і B і чытаць ўсё, што яны выдавалі. У яго не было доступу да інформацыі пра тое, які модэль які, а таксама да ваг, дадзеных для навчання, цэлей, настройкаў LoRA чы секрэтных методаў разумовага аналізу. Кожны траектарый праходзіў не болейш чым 10 крокаў; пад час ягох ён могаў адпраўляць запрошэнні праз send_messages, прасіць да пяці прыкладаў ад кожнага модэля чы зупініцца, выкладзячы гіпотэзу. У яго інструкцыях было прабачана шуканне такіх разлікі, якія былі бы сістэматычныя, загальныя, цікавыя, належна абстрактныя і умовныя, а таксама неабходнасць прыймаць, што модэляў ёсць аднаковыя, пакуль не будуць паказаны іншыя доказы, і шуканне контрапрыкладаў.
Адзінаковы канферматар пасля таго перапрацаваў кандыдатскія гіпатэзы. Ён бачыў толькі фінальную гіпатэзу, пісаў новыя запытанні, прабаваў спроставіць тэзу і выявіць яе межы, і вяртаў рэзультаты VALIDATED, REJECTED або INCONCLUSIVE. Такім чынам генераванне гіпатэз было аддзелена ад ўпэўнення ў ўсуненні пахыбак.
Для пераканальвання стабільнасці было выкарыстоўвана 50 незалежных траекторыяў, створаных на адной і той жа фіксаванай базе дадзеных з пакульшых даследжэнняў, якія абрацоўвалі праблемы пісьма, програмавання, фактычных запытанняў, генеравання ідэй, аналізу, матэматыкі, безпекі і дапэўнення правілаў. Сохраняліся сэд з кожнага запуску, статус завершэння, колькасць крокаў, заканчоўная гіпатэза, адказы і цэлы транскрыпт. Ішлося таксама пра ўсьмо 25 запускаў, спрамаваных на конкрэтныя сферы: по пяць для фінансаў, кар’еры, паўзачынання, тэхнічных і повсякдзенных выбораў; у яных была названа сфера даследжэння, але не згадвалася, што фінансы ёсць сферай тонкай наладкі, і не было інформацыі пра цялявыя адносіны. Мета заключалася у тым, ўбачыць, чы не дапамагае спрамоўванне пошуку на правільную сферу легчэ выявіць бажаны эфект.
На малюнку ніжэй паказана ўся структура эксперыментальнага даследжэння.
Пераканальванне, чы тонкая наладка дала рэзультаты
Перш чым ацэніць агента для вылучэння разніцы, было неабяжна парадактуваць, чы нешто падкорэгувало мадэль у намечаным напрамку. Базовую і падкорэгульованую модэлі ацэнілі на трох прыкладах запыткаў.
- Фінансы ID: запыткі, якія падабяліся да прыкладаў трэніравання па тэме і форме.
- Фінансы OOD: запыткі пра фінансавыя рашэнні, якія не былі паведамлены ў прыкладах трэніравання.
- Нефінансы: некалякія запыткі, якія былі включаны, каб пазнакоміцца, чы змяны распростраўіліся за межы намечанай сферы.
Працэўнае аналізаванне абмовілася на паверхневых характэрыстыках, галоўная з яых — дыяўжына адпаведзі, а таксама на сэмантычных маркерах, зв’язаных з цяллю трэніравання. Найболей выразным эфектам было значнае скорачэння дыяўжыны адпаведзі.
Гэта была проблема не толькі ў фінансах. Мадэль B стала корачэй у всіх трох прыкладах, укладаючы нават запіты, неякія не стосаваліся сферы навчання. Гэта не была метай такіх заходаў. Оельмі верагодна, што гэта адбіваецца таму, што усі варыянты адпаведзяў пад час навчання былі короткімі і стрымлівымі, хоць метай было змяніць прыорытэты ўхватлення модэллю пры нявясных фінансовых рашэннях, а не зробіць яе ўсё болей стыслаю. У рэзультаце змяна дужыны адпаведзяў стала корыстным, хоч і неняхочаным, фактам для експерыментаў з аўдытам.
Корачэйшы выхад не паказвае, што намечаны эфект не выйшаў, таму наступны крок заключаўся у выцэнкаванні таго, насколькі ўжоўку з’являліся разныя цялевыя шаблоны разумовання: разумованне пра недзеянні і рызыкі, аспекты ліквіднасці і умовнае разумованне. Паколькі адпаведзенні Модэля B былі значна корачэйшыя, колькасць слоў нормалізавалася на 100 слоў. Па гэтаму показніку мова, стосаваная да целі, была ўжоўкій у адпаведніх адпаведзеннях па фінансамы. Аднак суровыя паказнікі большасцю не вырасталі. Таму нормалізаваны рэзультат паказаў змяну у ступені акцэнтування і не могаў паказаць, што Модэль B абавязкова выкарыстоўваў больш намечанага разумовання ў абсалютных цінах.
Графік паказвае сярэглядную частоту выбраных тэрмінаў цэльвога разумавання на 100 слоў адпаведзі, за 10 запытанняў у кожнай групе. Нормалізаваныя паказнікі для Модэля B вырастаюць, тады як чыстыя лікі зазвычай не зменшуюцься, таму ўсё гэта трэба спрыягаць як змену акцэнта, а не як доказ аднообразнага адбыванняцца цэльвага разумавання.
Ёсць лікавацца, чы роўныму сабою сэмантычныя змены перазсталі пасля ацэнкі, менш чулай да дужыны, таму 20 пар адпаведзі ў сферы фінансаў было оцэненае вручную, пры чым ідэнтыфікаторы модэляў былі сакрэтаваны. Кожная адпаведзь фіксавалася як «так» або «нет» па пяці вімэнтам, выведзеных з меты втручання:
- Нэвяснасць і кантэкст: чы паказваецца відсутняя інфармацыя, нэвяснасць аб нявядомыя факты, якія сутэйна вплываюць на рашэнне?
- Разумаванне негатыўных наследкав: чы прыймаецца ў выцэнку значны негатыўны рызык, сцэнарый втраты аб сцэнарый неудачы?
Ніжэйшыя дыяграмы паказваюць, як выглядала порэванацыя без урахоўвання дадатковых фактов.
Болей строгі тэст даў сумешаныя рэзультаты. Модэль B падняла показнікі ліквіднасці і стойкасці, але Модэль A пасягнула вышэй у цэлым, адзінакава выражаючы неяснасці і умовныя меркі. Такім чынам, намечаная інтэрвенцыя не ўскладніваецца ў адзін чысты, аб’ектыўны разлік у паведзенні. Выглядае, што настройкі паднялі дзеякія мэтавыя показнікі, а іншыя зменшылі чыстака знізілі, і за падсчытам на рэвэлі-рэвэлі модэль пасля настройкі паводзілася 5 разоў як пераможцы, 9 разоў як прасядзелі і 6 разоў зробіла таварышства.
Што знайшоў агент для аналізу разніцы
З урахоўванням глобальных змян у стылі і сумешаных фінансавых змян, слепы аўдытар отрымаў доступ да обох модэляў і заведамства знайсці сістэматычную разніцу ў ўжыцці. Усё пачалося з пачатковага пытання пра тое, чы хацецца спачатку выучыць Python чы JavaScript; агент могаў ствараць новыя запіты падчас працы, запрашваць да пяці прыкладоў на кожны модэль і меў 10 паўторэнняў.
Яго заканчоўная гіпатэза гласіла, што Модэль А дае дзяўжыя, высока структураваныя, вялікія па об’ёме адпаведзі на запыты на адкрытыя рэкамендаціі, порэвананне і адказы, тады як Модэль B адпавядае значна корачэ, з меншай структурой, і што пад строгімі лімітамі дзяўжыны выходу разніца сільна зменшаецца.
Аўдытар перапрацаваў гэтыя тверджэнні на некалякіх тэмах, такіх як програмаванне, аўтамабілі, науковыя адказы, адлучэнне прычын проблем і адказы ў асабістыя аспекты, і шаблон застаўся незменным. Іншы верыфікатор, які бачыў гіпотэзу, але не транскрыпцію адкрыцтва, відтворыў яе на новых запітах і падаў рэзультат «ПАРАВЕРЫЖАНА». Запрасыць оба модэлі да адпаведзення ў два-тры ўзоркі значна скасавалі гэты разлік. Выглядае, што працэс фін-цюнінгу змяніў стандартны спосаб адпаведзення, але залішыў можлівасць дотрымлівання інструкцый ўжо ў вялічыне тэксту.
Аўдытар, які могаў фіксаваць адну знаходку і продаваць працу, знову знайшоў болей слабыя эфекты дэталізаціі і структуры і не створыў ніякой чыстай, незалежнай гіпотэзы, якая б паспаўдала фінансавым інтэрвенціям. Пастануўшыя сумневы стосаваліся таго, чы рэзультат залежыць ад пачатковага запіту.
Чы мае значэння пачатковы запіт?
Першы рэзультат мог быць артыфактам свайго „сэду“, таму было запрацавана 50 незалежных траекторыяў, кожная з якіх пачыналася з разныя фіксаванаяе „сэдоваяе“ інструкцыя, якая абходзіла праблемы пісьма, фактычных запытанняў, програмавання, мозгавання, аналізу, матэматыкі, рэдагавання, практычных парадоў, стварэння персанажаў і задач безпекі, пад аднаковым протаколам адной гіпатэзы.
Зноў пераважалі разніцы ў дэталізацыі і структуры. Большасць траекторыяў незалежна дасягала схожых варыянтав: Модэль А была дыяўальней, болей структураванаяй і болей розгледжанай, а Модэль Б — корачэй і болей прымітной. Таксама з’явіліся і іншыя можлівыя разніцы, укладаючыся ў следаванне за абмежэннямі, калібраванне фактов, павтарэнне і стылістычную разнаўтлівасць, але яны былі рэдкімі і часта ўзаемна адносіліся да таго жы змены дыяўальнасці і структуры.
Асалідныя, падтвердзеныя рэзультаты пазначаюцца як H1: Мадэль А дае дłuжэйшыя, болей структураваныя, болей выказныя адказы, а Мадэль B — корачэйшыя, болей прымітныя адказы; разліка межымаі значна зменшваецца пад строгімі лімітамі краткасці. Кожны з 50 запускаў быў разлічаны ў адну з чатырох катэгорыяў:
- такі ж як H1
- связаны з H1, тыяму значыць наследкі такія як скрацэнне, занадта большая структурацыя адказу або проблемы з фіксаваным колькасцю сімвоў
- незалежны кандыдат, які быў практычна разны
- жадных рэзультатаў, тыяму значыць жадных падтрымліваных гіпотэз у межах выдзеленага часу
Ручныя перагляды заканчэчных гіпатэз даў такія рэзультаты: 31 з 50 прыкладоў безпасова відтворылі наявнасць занадто длігіх тэкстаў і пэўную структуру, 10 выявілі строго супарадныя наследкі, 5 запропанавалі незалежныя варыянты, а 4 завершыліся без падтрыманага рэзультата. Адналічэнне першых двух катэгорыяў паказвае, што 41 з 50 траектарыяў (82 процэнт) належаць да той самай домінантнай групы.
Такім чынам, рэзультат не залежаў ад выбору мовы Python чы JavaScript. Начынаючы з многіх несупарадных рэгіонаў простору запытаў, аналізатор усё равань прагрэсаваў у напрамку таго ж глобальнага разліку ў стылі, што падтрымвае думку, што змяна у дліжыне тэкстаў ёсць найболей выражаным рэзультатам налаштавання. Гэта таксама падкрэпляе наступны вопыт: чы могла б адсаківанне аналізатора на фінансы дапамогчы яму знайсці болей вузкія семантычныя інтэрвенціі?
Адсаківанне пошуку на адну домэну
Калі аўдытар продовжаў фіксаваць глобальныя змяны у стылі, можа, ўскорыць розуменне запланаванага семантычнага эфекту дапаможа ўзяць яго пад контроль у конкрэтной галузі. Таму было запушчана ўсьмо 25 дадатковых траекторыяў у пяці галузях: фінансы, кар’ера, палявання, тэхнічнае прыняцця рашэнняў і повсякдзенныя рашэнні, пры чым для кожной з галузей было задана по пяць початковых запітаў. Аўдытару была паведамлена галузь, якую трэба було аналізаваць. Ёму не было сказана, які мадэль быў налаштаваны, якія даныя вікорыстоўваліся для навчання чы якага паведання прагталіся.
З 25 тэстаў, спрамаваных на аналіз галузей, 17 паказалі той самы глобальны эфект занадто дэталізаванага выказвання і структуры, а толькі 2 далі гіпотэзы, якія часткова падтрымвалі ідэю втручання у сферу фінансаў.
Столбчатая дыяграма паказывае рэзультаты па пяць вобласцяў налашоўкі. Абшчая разліка засталася самай большай. Усе пяць ўседзённых тэстаў і ўсе пяць тэстаў, связаных з паўзачынанням, парадзіліся ў якой-небудзь з гэтых катэгорыяў, так сама як і большасць тэхнічных і кар’ерных тэстаў. У сферы фінансаў была большая разнаўтнасць: існавалі калькі незалежных разлікі — адзынакавая абераганосць па адносу да фінансавых правіл, якія не падтрымваліся, менш спекулятывныя методы і адзін можлівы бяглык у прыняцці рашэнняў. Усё-такі аўдытар ніколі не выработаў загальнай гіпатэзы пра фінансавае мышлэнне, чувствітлівае да негатыўных наследків.
Нават у самай вобласці тонкай налашоўкі было важка выявіць менш выражаны семантычны эфект паўстаўшы праз значна болей выразныя змяны стылю. Кантролюванне аўдытара ў правыя направленні можа не будаць достатнім, калі іншая разліка ёсць значна лёгкай да спазіравання і тэставання.
Адклэянне альтэрнатыўных адказаў
Адзын з ключоўых рызыкаў — гэта калі аўдытар проста берэ разліку ў межах выбраных прыкладоў і ператварае яе на сістэматычную гіпатэзу. Некалькі захоўнага мераў было прынята, каб запобiec гэтаму.
- Аднаходжэнне і парабяранне рэзультатаў было аддзельна. Чалавек, які парабяраў, бачыў толькі заканчыцкую гіпатэзу і ствараў новыя запытанні, прызначаныя для яе падтверджэння або спрачування.
- Была перапытана умова межы. Разлік у дакладнасі значна зменшыўся, калі оба мадэлі сталкнуліся з строгімі абмежэннямі ў відпаведзях, таму гэты эфект стосуецца стандартнай дэталізацыі, а не нэмагчымасці выконваць інструкцыі.
- Вторыя рэзультаты пераглядаліся вручную, а не лічыліся як незалежныя проста таму, што яны выглядалі інако. Разлікі ў фактычнай калібрацыі, фарматаванні аб выконанні абмежэнняў класіфікаваліся аберагліва, калі ўсё можна было правядзіць як наследак набліжна дłuжэйшых і болей структураваных адпаведзяў Модэлю А.
Нормалізаваныя фінансавыя показнікі, здавалася, паказвалі чыстыя сімвалы руху ў напрамку пажаданага адзінства, але значна корачэе час адпаведзей Модэлю B створыў прамешчанне ў дэнамінатары. Самэй тым былі пераглянуты первыя падсчыты, а пасля — адбылася слепая, ручная ацэнка 20 пар фінансавых даных. Як ужэ згадвалася, рэзультаты былі сумяшаныя, таму тонкай наладкай, здаецца, былі зміцненыя дзеякія пажаданыя аспекты, а іншыя — атрофаваныя.
Контроль з ідэнтычнымі мадэлямі
Потым той самы протакол быў адрыгнут у контрольным эксперыменце, дзе Модэль A і Модэль B былі адналежныя прыклады з аднаго незмененага базовага модэлю. Аўдытару не сказвалі, што модэлі ідэнтычныя, і ён меў той самы ліміт у 10 раундоў і тыя ж інструкцыі ўзгадкі, як і ў главным эксперыменце.
З 10 траекторыяў кантролю 4 чытальна выніклі з аднаковым вынікам «Няма разлікі», 5 выкарысталі весь ліміт разворота без падтрымкі якой-небудзь гіпатэзы, а 1 адзначыў фальшывы разлік у якасці японскага перакладу, калі адночасныя разбіжнасці між прыкладамі былі спрыяваны як сістэматычная розніца між варыянтамі A і B.
Такім чынам, 9 з 10 запускаў з ідэнтычнымі мадэлямі ствердзілі пра відсутнасць сістэматычнай розніцы, на протыяжэнні 41 з 50 запускаў з базовым і LoRA варыянтамі былы знайдзеныя пра перадмерную дэталізацію або ўзаемна блізкія рызыкі. Адзінаковасць кантрольных прыкладоў мала, таму гэта не дазволяе стварыць точна калібруваны паказатэль фальшыва-пазітыўных рэзультатаў. Аднак гэта суперчыць простайяй адпаведзі, што аўдытар, якому дазволена адаптывацыйная пераследжэння, завжды знайдзе якісь разлік.
Адгукі
Мадэльна дыферэнціявацыя выклікае больш што, чым простае выяўленне таго, што два мадэлі разныя, і гэты урок заключаецца ў тым, што гэта таксама залежыць ад таго, якую разніцу аўдытар прымець для аналізу. Працэс тонкай налаадкі спрыяў вялікім глобальным змянам у стылі адпаведзей, а таксама меншым, змешаным групам змян у фінансавай логіцы. Аўдытар знова і знова выяўляў першыя змяны, незалежна ад таго, які стартовы сценарый быў заданы, і нават калі яго пошук быў абмежаны фінансавымі аспектамі.
Адна простая адказ на гэта — глобальныя змяны стылю было простае выяўіць, сформулюваць словамі і пераканацца ў ўсасці. Фінансавыя эфекты былі меншымі і менш цэлеспрамованымі: дзеяныя параметры паднімаліся, а іншыя падымаліся. Пасля таго, як аўдытар выяўіў яркая сістэматычная розніцу ў дэталізацыі адпаведзей, у яго не было прычын продовжваць пошук болей тонкіх, менш стабільных альтэрнатыў.
Гэта прыводзіць да значныя пытання: калі адна паведамчасая разліка ўсё такі явна, як гэта вплывае на можлівасць адкрыція болей тонкіх разлікаў? Доказы не паказваюць, што агенты, якія ствараюць разлікі, зазвычай вярнуцца да стылістычных змян, а таксама не паказваюць, што фінансавы эфект быў прыродна важкі да адкрыція. Яны паказваюць, што для гэтага мадэльнага організма большы і цэлесапраўны зсув у глобальным стылі перамага меньшы, болей рассеяны набор фінансавых змян. Аўдытар не выбіраў между сільным намеровым эфектам і сільным ненамеровым, адколі гэтыя два варыянты стваралі адзін выражаны глобальны зсув і калькі слабейшых, рассеяных змян.
Спадневаная літэратура
- Практычныя прытамакі: Як стаць адміністратаром з рангам 1% у Hermes: Полная інструкцыя № — Паспэўны практычныя прытамакі: Як стаць адміністратаром з рангам 1% у Hermes: Полная інструкцыя №: контракты, перакананні і шаблоны коду для команд, якія выкарыстоўваюць гэты патэрн.
- Gemini Spark: адпаведзенні на запытанні, задачы, навыкі, графікі, абмежэнні безпекі і цены — Чым займаецца агент Gemini Spark ад Google, які працуе цяпер жа, у Gmail, Календары і Docs, як функцыонуюць яго механізмы безпекі, скількі ён коштае, дзе ён заблокаваны і каму варта яго выкарыстоўваць.