Галоўная / Артыкулы

Крохкія токены і ціхая падмена: геаметрычнае тлумачэнне некаторых галюцынацый

Некаторыя галюцынацыі ўзнікаюць з пашкоджаных або крохкіх токенаў, якія падмяняюцца бліжэйшымі суседзямі яшчэ да пачатку разважанняў. Прыклады, частата па мадэлях і просты тэст.

Выдавец: REACTAPP.TOP7 хв чытання1671 слоў

Крыніцы: Hallucinations Related to Glitch and Fragile Tokens

Ўзеры модэляў на адкрытым кодзе, у тымчасе Qwen3.8, апісваюць меншыя прыклады галюцінацый, лепшае выкананне інструкцый і стабільнае адпаведнасць заданням. Не існуе публікаваных паметрактароў, якія б дазволілі аддзельна вылучыць ступень галюцінацый у разныя паколенні модэляў. У большасці дыскусый выдзеляецца адна рэч: яны рэдка калі пропануюць які-небудзь геаметрычны механізм. Галюцінацыі зазвычай спрыяюцца як адна ўзеінтэграваная характэрыстыка, якая павышаецца з адной часткай трэніравання, а не як сукупнасць окрэмых способаў абыекцыі, якія можна было бы вымерыць і прызначыць адны за адным.

Прынеймна адны такі спосаб абыекцыі можна знайсці і канкрэтна вымерыць загадзя.

Галюцінацыя, яю можна безпасебна пераканаць

OLMo-2-7B паказвалі ліст з чатырма пунктамі і прасілі яго назваць другі пункт, на што ён адпавязаў, назваўшы сам пункт. У лісце былі словы «лантарн», якое на рускай мове значыць «каторы», «порт» і «компас». Мадэль адпавязала словам bort, якое на рускай мове значыць прыблізна «бок» або «стэнка».

У запытанні не было нічога, што бы адносілася да гэтага слова, якое ёсць проста рускі тэрмін, не паў’язаны з лістам. Ён быў даны без жадных ваганоў на запытанне, якое выклікае толькі базавае пісанне. Qwen3.8-27B выпало тая ж задача, але другім пунктам было інша руская слова, і ён адпавязаў словам «oxtend», якое не існуе ні ў якай мове, за выключэнням, можа, прыроднага прэкарбату, які тэстуецца ў клінічных працэсах. Оерагодзіце, мадэль не мела гэтага на увазе, але ў задачах, якія выклікаюць дзеянне, гэта можа прынесці катастрофічныя наследкі.

Гэта галюцынацыя ў ўсё бол строгам сэнсе: абавярэная, конкрэтная і некальтэвітная заява пра інфармацыю, якую мадэль могла бы пераканацца на адной з сябе вхідных даных. І на вядома ад большасці галюцынацый, магчыма выявіць прычыну калекты.

Гэты патэрн не абмежваецца толькі запросамі, стосавяццаюцыміся іграшакоў. У запытанні пра правкі апісання ў зв’язку з неабходнасцю заполнення формы да пятніцы назва формы была заменена на рэдкі кітайскі сімвал — Qwen2.5-7B. Мадэль адпаведзела, што правільная форма напісання — waiver, а не :numel. Оба варыянты былі вымышленыя: :numel ніколі не з’являлася ў вхідных даных, а waiver таксама нідзе не была. У іншым тэсце тая ж мадэль пачула іврэйскі дзеяслова, якое значыць «паказваць», і яе пыталі пра яго значэнне, але ёй заместа таго было пояснена кітайская слова, якая значыць «вказывальнік». Qwen3-1.7B паказалі адну нечыстае карэйскую склад, яна правільна перапісала яго на экране, а потым назвала яго кітайскім сімвалам, які значыць «полны» або «абундантны».

У жаднам з гэтых случаў мадэль не вагаецца, не выражае сумневаў і не прасіць пра уточненні. Адпаведзі здаюцца плавнымі і дэталізаванымі, пры тым яны ніколі не адпавядаюць на поставленыя запытанні.

Што спакульнае ціяе прыклады

Звычныя уявленні пра галюцынацыю паўтараюць, што мадэль выходзіць за межы своіх знаёмасцей і стварае ўявленні, каб запаліць прыгожыну. Такое дзейсна выклікаецца, але гэта не тое, што адбываецца тут.

У кожным прыкладзе мадэль неправа адразумела вхідны даны, а потым правільна вырашыла на аднойчынай адразумованні. Не было ні стварэння новых даных, ні пераканання ў межах знаёмасцей. Мадэль была запытана пра адну рэч, але пачула іншую і разумна на яе адказала. З званэй стороны такое паведанне нельга адразліць ад вымыслу. Усерэдзіні мадэль не фіксавала жадных памылак, што пояснюе, чаму ў яе адказе няма жадной нявярнасці.

Працоўнае адказаўленне заключаецца у тым, што невяліка частка слоўніка кожнага модэлю складаецца з пашкодзеных токэнаў. Дзеякія з іх нават не можна воспроіцаваць самастойна, як-то тыя токэны з абераннямі, якія з’явіліся пасля адкрыцця SolidGoldMagikarp у GPT-2. Іншыя выглядаюць нормальна самі по сабе, але выклікаюць проблемы ў звычных рэчэннях, і няўзабавныя вімеры былі спрамованы на гэты другі тып. Калі модэль сталкаецца з нестабільным або пашкодзеным токэном, ён не проста стварае шум. Ён прагледвае да такога завершэння, якое ўпэўнене і мае малую дывергенцію: до бліжайшага суседа, скрацанай формы або перакладу. Кітайскі токэн для слова „запіт“ ператвараецца на англійское „QUERY“. Італійское „realtà“ стае французкім „réalité“. Скрацаная рускія форма слова „прадзеўнік“ ператвараецца на польскі „Przewodniczacy“, якая, якраз, ёсць правільным перакладам.

Замена бліжайшым суседам як механізм

Калі мадэль выкананая завершэнне задання, яна можа зустрэць на сваёй траекторыі эмбедынгу шкодзівы або зіпсаваны токен. Сістэма перакладу ператварае яго на «здаровы» суседні токен, і всі наступныя перэтворэнні выкананы так, як бы корыстувач напісаў саме гэты суседні токен. Гэта замена не ўзлом, з якога мадэль можа выйсці; яна стае вхідным дадзеннем, па якім мадэль працюе.

Кожны элемент у ланцузе трэба паспісаць, таму што кожны з іх — гэта тое, што мадэль выкананая правільна:

  • Шкодзівы токен вплывае на працэс завершэння задання.
  • Заменены токен увайшае ў последовасць і не відрóżняецца нічым ад таго, што напісаў корыстувач.
  • Кожны наступны крок выраховваны на адной з гэтых замененых базаў.
  • Нічога не фіксуецца, таму што з точкі зору мадэлі нічога не пайшло не так.
  • Рэзультат выглядае правдападобна, хоць якасць задання таямніча паднялася, а мадэль застаецца абяцюючайся, таму што ніколі не было ніякой неяснасці.
  • Галюцінацыя ўбеджаючая, таму што яна плавная, абяцюючаяся і конкрэтная, і ў гэтым случае всі тры якосці выліваюцца працоўна з геаметрыі эмбедынгу.

    Для запітання з спісам гэта дае адпаведны адказ, напрыклад «bort», які ў канцы канцоў ёсць проста цікавасцю. Наследкі для агентных сістэм ўжо большыя. Qwen3-32B была даўана доследчая задача і набор даследчых інструментаў. Яна пачала пошук, але запіт абмежыўся або змяніў токены, таму рэзультаты былі несутэйкавыя, а агент пасля таго з абяцюючасцю цітаваў гэтыя несутэйкавыя аднасці. У пяцідзесят працоўнах токены, якія былі проблемай, не з’явіліся ні ў пошуку, ні ў адказе, тады як стабільныя токены без кранглівых суседаў з’являліся ў обох у апошніх 96 процэнтах разоў.

    Звычайныя словы таксама падаюць пад вплыв

    Якбы вплыв быў абмежаны рэдкімі фрагментамі тэксту, якія булі б зазначаны, яго практычная значымасць была бы мала. Аднак ён распрастраńваецца і на звычайныя словы.

    Возьмім токены, якія ў модэлі вважаюцца неякіснымі, і оценім кожны іншы токен за тым, насколькі ён знаходзіцца блізка да той часткі рэзультата, якая ствараецца пасля апрацоўкі. Гэтая оцэнка дазволяе спрогназаваць, якія токены, якія здаюцца нормальнымі, зазнаюць проблем у звычайных рэчэннях; у шасці з восьмі пераглянутых модэляў значэння AUC становіць ад 0,72 да 0,83. Рандамны рэгіон таго ж розмеру дае значэння ад 0,41 да 0,55.

    Шкодзяблі токены зовсім не павярбованыя з’являцца ў запіце. Дастатніяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя

    Парадоксальна, але такі памяткі прымеркі паказваюць, што Qwen3.8-Flash-Next мае 0,4 процента, а Qwen3-32B — 0,9. Qwen3.8-27B дасвае 1,5, Qwen3-1,7B — 2,4, а OLMo-2-7B — 2,7. Старэйшыя і большыя мадэлі парадоксальна гэта паказваюць горшыя рэзультаты: Qwen2.5-7B — 7,0, Qwen2.5-72B — 10,5, а Qwen3-235B — 10,9 процента.

    Гэта разлік у апошніх 25 разоў. У аднай модэлі прыблізна 1 з 250 токэнаў застаецца нез’явленым, тады як у іншай — 1 з 10.

    Размах вокабуляру не ёсць адказам. Взямім толькі ID токэнаў, якія ўсё ж такі ўсё ў Qwen3-32B і Qwen3-235B, і працаваўм з іхім кожная з модэляў. На гэтым ідэнтычным наборы 235B-модэль парадоксальна гэта паказвае 4,3 процента невялікіх працоў, а 32B-модэль — 0,8 процента, тое ў пяці разоў большая разлік.

    Карта простору уявлення дазваляе побачыць контраст: кожная крапка — гэта токен, а токены, якія мадэль спрыяглае адно, розташоўваюцца падалей адна ад другой. Паражаныя токены пазначаюцца чырвонам кольрам. Найчыстэйшая мадэль у групе, Qwen3.8-Flash-Next, мае падобных токенав 15, тады як Qwen3-235B — 682.

    Гіпатэза

    Гэтая група галюцынацый не вынікае з прычыны прытуплення знанняў. Токен патрапляе ў пошкоджаны раён простору уявлення і заменяецца яшчэ до таго, як пачнёцца логічныя выводы, таму мадэль адпавядае на запытанне, якога ніхто не ставіў. Коэффіцыент паклёскаў павінен відображаць, які частака слоўніка знаходзіцца ў тым раёне, і прыведзеныя вышэ цыфры паказваюць, што гэты показнік разлічыцца болей чым у дзесяць разоў між сучаснымі мадэлямі.

    Калі гэта правда, то зменшаныя галюцынацыі, якія фіксуюцца ў новыях мадэлях, можа адбівацца праз чыстэйшы слоўнік і болей правільную геаметрыю укладання даных, а не праз лепшыя знанні. Qwen3.8 знаходзіцца на двух апошніх месцах у спісе. Не было публікаваных паказнікаў галюцынацый, якія б аддзельна аналізавалі гэтыя мадэлі, таму гэтая гіпотэза застаецца непарабяжанай.

    Адзінэцкі паказнік, які падтрымлівае тую ж думку

    PhantomBench, створаны Haeji Jung і Hila Gonen, сабірае пад 60 000 вымышленых тэрмінаў і аб’ектаў і тэстуе 21 мадэль з іх адной. Серэднія практычнае рэшэнняя зусім не працуюць у 86,7 процэнта случаў, уключаючы найсучаснейшыя мадэлі.

    Тое, што ўжо вучыцца — адносна паведзенне з аб’ектамі, якія не існуюць, — функцыянальна супадае з сітуацыяй, калі страждае токен. Аварыі паведамляюць, што адпаведзі на неіснуючыя концэпцыі следуюць за адпаведзямі на рэдкія, а страждаючыя токены належаць да групы рэдкіх. Яны таксама зазначаюць, што найбольшыя мадэлі ў кожной групе паказваюць разычны аднычык у галюцынаціях, прычым Qwen3-32B і Llama 3-70B практыкуюць гірша, чым меншыя мадэлі. Замеры токенав таксама паказваюць, што найбольшыя мадэлі ўражаныя найбольш. Тым чым, наборы модэлей у двух даследжэннях перакрываюцца занадта мала, каб падтрымаць наявнасць каордынацыі.

    Эксперымент, які мог бы гэта выясніць

    Частка гэтага — гэта спекуляцыі, хоць памеры токэнаў робяць дальнейшыя тэсты значнымі. Тэст просты: прабейце адны мадэль праз крытэрый халюцінацый два разы — спачатку з стандартнымі запросамі, а потым, заменіў кожны паражаны токэн на стабільны сінонім. Меньшы паракцэнт у другім запуске паказвае, насколькі вялік эфект. Незменны паракцэнт означаў бы, што пропанаваны звязак не існуе.

    Апавяданне: артыкул PhantomBench ад Jung і Gonen, arXiv:2606.11105.

    Спадневая літэратура