Головна / Статті

Крихкі токени та беззвучна заміна: геометричне пояснення деяких галюцинацій

Деякі галюцинації виникають через пошкоджені або крихкі токени, які під час початку процесу міркувань замінюються на сусідні токени. Приклади, показники для різних моделей та простий тест.

Видавець: REACTAPP.TOP7 хв читання1671 слів

Джерела: Hallucinations Related to Glitch and Fragile Tokens

Користувачі моделей з відкритим кодом, серед яких Qwen3.8, повідомляють про меншу кількість галюцинацій, краще виконання інструкцій та більшу стабільність у виконанні завдань. Жодні опубліковані показники не дозволяють окремо визначити рівень галюцинацій у різних поколіннях моделей. У більшості дискусій виділяється одна річ: вони рідко пропонують якісь геометричні механізми. Галюцинації зазвичай розглядаються як єда єдина, розсіяна властивість, яка покращується з більшою кількістю тренувань, а не як набір окремих способів збою, які можна виміряти та присвоїти відповідальність за кожен з них.

Принаймні один такий спосіб збою можна знайти та кількісно оцінити заздалегідь.

Галюцинація, яку можна перевірити безпосередньо

OLMo-2-7B отримав список із чотирьох елементів та мав знайти другий елемент, відповідаючи лише самим елементом. У списку були слова «лантерна» — російське слово, що означає «який», «порт» та «компас». Модель відповіла bort — російським словом, що приблизно означає «бік» або «сторона».

У запиті не було жодних слів, схожих на це, і це просто російський термін, який не мав жодного зв’язку зі списком. Модель без вагань відповіла на запит, що вимагав лише базового підрахунку. Qwen3.8-27B отримав таке саме завдання, але з іншим російським словом на другому місці, і відповіла «oxtend» — словом, якого немає в жодній мові, окрім, можливо, ліків, що проходять клінічні випробування. Ймовірно, це не те, що мала на увазі модель, але у завданні, що вимагає дії, це може мати катастрофічні наслідки.

Це галюцинація у найсуворішому розумінні: впевнена, конкретна та хибна твердження щодо інформації, яку модель могла б перевірити за допомогою власних вхідних даних. І на відміну від більшості галюцинацій, джерело помилки можна визначити.

Цей патерн не обмежується лише запитами щодо іграшок. У запиті на корекцію орфографії щодо подання форми до п’ятниці назва форми була замінена на рідкісний китайський символ – Qwen2.5-7B відповів, що правильна форма написання – waiver, а не :numel. Обидві частини були вигаданими: „:numel“ ніколи не з’являлося у вхідному тексті, а „waiver“ також не зустрічалося ніде. У іншому тесті ця сама модель отримала єврейське дієслово, що означає „вказувати“, та її попросили пояснити його значення; замість цього вона пояснила китайське слово, що означає „вказівник“. Qwen3-1.7B побачив незвичайну корейську складову, правильно відтворив її на екрані, а потім назвав китайським символом, що означає „повний“ чи „абундантний“.

У жодному з цих випадків модель не вагається, не ухиляється та не просить уточнень. Відповіді є плавними та детальними, проте вони ніколи не стосуються поставленого запитання.

Що спільного у цих випадках

Зазвичай галюцинація виникає тоді, коли модель виходить за межі своїх знань та вигадує щось, щоб заповнити цю прогалину. Це дійсно трапляється, але саме цього не відбувається тут.

У кожному з прикладів модель неправильно інтерпретувала вхідні дані, а потім правильно міркувала на основі цієї неправильної інтерпретації. При цьому не було жодного вигадування та не діяли жодні обмеження знань. Модель отримала запит щодо одного об’єкта, але отримала інший та розсудливо на це відреагувала. Ззовні цю поведінку неможливо відрізнити від вигадки. Усередині модель не фіксує жодної помилки, що пояснює, чому її вихід не містить жодної невизначеності.

Пропоноване пояснення полягає у тому, що невелика частина словникового запасу кожної моделі складається з пошкоджених токенів. Деякі з них навіть не можна відтворити окремо, як-от токени з помилками, знайдені після виявлення SolidGoldMagikarp у GPT-2. Інші здаються цілком нормальними окремо, але руйнуються в межах звичайних речень, і нещодавні дослідження зосереджені саме на цьому другому типі. Коли модель стикається з крихким або пошкодженим токеном, вона не просто створює шум. Вона прагне до завершення речення, яке є впевненим та має низьку дисперсію: це може бути сусідній елемент, скорочена форма чи переклад. Китайський токен для поняття „запит“ перетворюється на англійське „QUERY“. Італійське „realtà“ стає французьким „réalité“. Скорочена російська форма слова „голова“ перетворюється на польське „Przewodniczacy“, що випадково є правильним перекладом.

Заміна сусідніми елементами як механізм

Коли модель працює над завершенням тексту, вона може натрапити на пошкоджений або нестабільний токен на своїй траєкторії ембеддингу. Система обробки перетворює його на сусідній „здоровий“ токен, і всі подальші перетворення відбуваються так, ніби користувач написав саме цей сусідній токен. Це заміщення не є помилкою, від якої модель може відновитися; воно стає вхідним даним, над яким модель працює.

Кожен етап у цьому ланцюжку варто пояснити окремо, адже кожен з них — це те, що модель робить правильно:

  • Пошкоджений токен впливає на процес завершення тексту.
  • Замінений токен потрапляє до послідовності та не відрізняється від того, що написав користувач.
  • Кожен наступний крок обчислюється на основі цього заміненого токена.
  • Ніщо не позначається як проблема, адже з точки зору моделі нічого не пішло не так.
  • Результат виглядає логічним, хоча якість виконання завдання таємно погіршилась, і модель залишається впевненою, оскільки ніколи не виникало сумнівів.
  • Галюцинація здається переконливою, тому що вона є плавною, впевненою та конкретною, і в цьому випадку всі три ці властивості безпосередньо випливають з геометрії ембеддингів.

    У випадку запитання зі списком це призводить до відповіді на кшталт „bort“, що в кінцевому підсумку є просто дивиною. Наслідки для агентних систем є значнішими. Qwen3-32B отримав дослідницьке завдання та набір інструментів для досліджень. Він розпочав пошук, але запит містив помилки або змінив токени, тож результати були неактуальними, і агент з впевненістю посилався на ці неактуальні джерела. Під час п’ятдесяти спроб токени, що стали причиною проблем, не з’являлися ні в пошуку, ні у відповіді, тоді як стабільні токени без крихких сусідів з’являлися в обох випадках приблизно у 96 відсотках випадків.

    Під впливом потрапляють також повсякденні слова

    Якби цей ефект обмежувався рідкісними фрагментами тексту, його практична значимість була б незначною. Однак він поширюється також на поширені слова.

    Візьміть відомі проблемні токени моделі та оцініть кожен інший токен за тим, наскільки він наближений до цієї області результату ембеддингу. Цей показник дозволяє передбачити, які токени, що виглядають нормальними, зазнають невдач у звичайних реченнях; значення AUC у шести з восьми перевірених моделей коливається від 0,72 до 0,83. Випадкова контрольна область такого ж розміру дає значення від 0,41 до 0,55.

    Крихкі токени зовсім не обов’язково мають з’являтися в запиті — достатньо їхніх близьких сусідів. Найяскравішим прикладом є англійське слово „according“. У моделі OLMo-2-7B воно відтворюється самостійно з ймовірністю 0,999, проте руйнує структуру речення у 44 з 48 звичайних речень. Якщо надати речення про необхідність подати форму „according“ до п’ятниці та попросити виправити орфографію, модель повертає версію зі словом „correct“ на його місці, видаляючи звичайне англійське слово та маскуючи отриману прогалину.

    Наскільки загрожений словниковий запас

    Показником є частка інакше коректних токенів, які не функціонують принаймні в одному з десяти контекстів:

    Якщо вимірювати таким чином, Qwen3.8-Flash-Next становить 0,4 відсотка, а Qwen3-32B — 0,9. Qwen3.8-27B досягає 1,5, Qwen3-1,7B — 2,4, а OLMo-2-7B — 2,7. Старіші та більші моделі показують значно гірші результати: Qwen2.5-7B — 7,0, Qwen2.5-72B — 10,5, а Qwen3-235B — 10,9 відсотка.

    Це різниця приблизно у двадцять п’ять разів. У одній моделі приблизно 1 з 250 токенів є відкритими, тоді як у іншій — 1 з 10.

    Розмір словника не є поясненням. Візьмемо лише ідентифікатори токенів, які є в обох моделях Qwen3-32B та Qwen3-235B, та оцінимо, чи є вони „чистими“ для кожної з них. На цьому ідентичному наборі модель 235B дає помилку у 4,3 відсотка випадків, а модель 32B — у 0,8 відсотка, що становить різницю у п’ять разів.

    Карта простору ембеддингів дозволяє побачити контраст: кожна крапка — це токен, а токени, які модель сприймає однаково, розташовані близько один до одного. Постраждалі токени позначені червоним кольором. Найкраща модель у наборі, Qwen3.8-Flash-Next, має п’ятнадцять таких токенів, тоді як Qwen3-235B — 682.

    Гіпотеза

    Ця група галюцинацій не виникає через прогалини в знаннях. Токен потрапляє у пошкоджену область простору ембеддингів та замінюється ще до початку міркувань, тож модель відповідає на запитання, якого ніхто не ставив. Коефіцієнт помилок має відображати, яка частина словника знаходиться в цій області, і наведені вище цифри показують, що цей показник варіюється більш ніж у десять разів між сучасними моделями.

    Якщо це так, то зменшення галюцинацій у новіших моделях може відображати чистіший словниковий запас та більш ефективну геометрію вбудовування даних, а не кращі знання. Qwen3.8 займає два найнижчі місця у списку. Опублікованих показників галюцинацій, які б дозволили проаналізувати саме ці моделі, ще немає, тому ця ідея залишається неперевіреною.

    Ще одне дослідження, яке підтверджує це

    PhantomBench, створений Haeji Jung та Hila Gonen, збирає понад 60 000 вигаданих термінів та ентитетів та тестує 21 модель з їх використанням. Середній рівень нездатності утриматися від галюцинацій сягає 86,7 відсотка, включаючи найсучасніші моделі.

    Те, що вивчається — поведінка моделі щодо ентитетів, яких не існує, — функціонально схоже на ситуацію, коли модель отримує пошкоджений токен. Автори зазначають, що реакції на нейтральні концепції відповідають реакціям на рідкісні, а пошкоджені токени належать до цієї рідкісної групи. Вони також відзначають, що найбільші моделі в кожній групі демонструють різкий зріст кількості галюцинацій, причому Qwen3-32B та Llama 3-70B показують гірші результати, ніж їхні менші аналоги. Показники токенів також свідчать про те, що саме найбільші моделі найбільше постраждали. Проте набори моделей у цих двох дослідженнях занадто мало перетинаються, щоб підтвердити наявність кореляції.

    Експеримент, який міг би все прояснити

    Частина цього є припущеннями, хоча показники токенів роблять подальші тести доцільними. Тест є простим: необхідно двічі пройти одну модель через тест на галюцинації — спочатку зі стандартними запитами, а потім, замінивши кожен уражений токен на стабільний синонім. Нижчий рівень галюцинацій під час другого тестування показує, наскільки сильний є ефект. Незмінний рівень означатиме, що запропонованої залежності не існує.

    Джерело: стаття PhantomBench від Jung та Gonen, arXiv:2606.11105.

    Пов’язана література

  • Вибір моделі ембеддингів для RAG: порівняння MTEB, BGE, Voyage та OpenAI — як ембеддинги вписуються в підхід RAG, як читати табель лідерів MTEB, примітки щодо шести моделей для продакшну, підхід Milvus у п’яти кроках та практична схема прийняття рішень.
  • Чат-бот для портфоліо, створений для того, щоб казати „Я не знаю“, а не вгадувати — як чат-бот для портфоліо залишається чесним: функція блокування можливості брехати, п’ять рукописних приміток у запиті замість використання RAG та фіксована фраза відмови, яка водночас слугує детектором прогалин.