Хрупкие токены и бесшумная замена: геометрическое объяснение некоторых галлюцинаций
Некоторые галлюцинации возникают из-за поврежденных или хрупких токенов, которые заменяются на близлежащие до начала процесса рассуждения. Примеры, показатели по моделям и простой тест.
Источники: Hallucinations Related to Glitch and Fragile Tokens
Пользователи моделей с открытым исходным кодом, в том числе Qwen3.8, сообщают о меньшем количестве галлюцинаций, лучшем выполнении инструкций и более стабильной надежности при выполнении задач. Не существует опубликованных показателей, которые позволяли бы отдельно оценить уровень галлюцинаций у разных поколений моделей. В большинстве обсуждений выделяется один момент: редко предлагаются какие-либо геометрические механизмы для объяснения этих явлений. Галлюцинации обычно рассматриваются как единое, расплывчатое свойство, улучшающееся с увеличением объема обучения, а не как набор отдельных модусов сбоя, которые можно измерять и анализировать по отдельности.
Хотя бы один из таких модусов сбоя можно выявить и количественно оценить заранее.
Галлюцинация, которую можно проверить напрямую
OLMo-2-7B получил список из четырех элементов и был попрошен назвать второй элемент, на что он ответил только самим элементом. В списке были слова «фонарь» — русское слово, означающее «какой», «порт» и «компас». Модель ответила словом bort, которое в русском языке означает примерно «сторона» или «борт».
В вводном тексте не было ничего, что могло бы указать на это слово; это просто русский термин, не связанный с списком. Модель без колебаний ответила на вопрос, требующий лишь простого подсчёта. Qwen3.8-27B выполнил ту же задачу, но вторым элементом в списке было другое русское слово; он ответил «oxtend» — слова, которого нет ни в одном языке, за исключением, возможно, некого препарата, находящегося на клинических испытаниях. Вероятно, это не то, что имела в виду модель, но в задачах, требующих принятия решений, это может привести к катастрофическим последствиям.
Это галлюцинация в самом строгом смысле этого слова: уверенное, конкретное и ложное утверждение о информации, которую модель могла бы проверить на основе собственных входных данных. И в отличие от большинства галлюцинаций, источник ошибки можно определить.
Этот паттерн не ограничивается запросами, связанными с игрушками. В запросе на коррекцию орфографии относительно необходимости подать форму до пятницы название формы было заменено на редкий китайский иероглиф Qwen2.5-7B. Модель ответила, что правильное написание — waiver, а не :numel. Оба варианта были вымышленными: «:numel» никогда не появлялось в входных данных, а «waiver» тоже нигде не встречалось. В другом тесте к той же модели было предоставлено еврейское глаголо, означающее «указывать», и её попросили объяснить его значение; в ответ она объяснила китайское слово, означающее «указатель». Модели Qwen3-1.7B была показана необычная корейская слог, она правильно воспроизвела её на экране, а затем назвала китайским иероглифом, означающим «полный» или «обильный».
В ни одном из этих случаев модель не колеблется, не избегает ответа и не просит уточнений. Ответы грамотны и подробны, однако они никогда не касаются поставленного вопроса.
Что общего у этих случаев
Типичная картина галлюцинации предполагает, что модель выходит за пределы своих знаний и выдумывает что-то, чтобы заполнить пробел. Такое действительно бывает, но это не то, что происходит здесь.
В каждом примере модель неправильно интерпретировала входные данные, а затем правильно рассуждала на основе этой ошибочной интерпретации. Ни выдумки, ни ограничений знаний не было. Модель получала вопрос о одном объекте, но получала другой, и реагировала на него разумно. Снаружи это поведение невозможно отличить от выдумки. Внутри модель не фиксирует ошибки, что объясняет, почему её ответ не содержит никакой неопределенности.
Предложение объяснения заключается в том, что небольшая часть словаря каждой модели состоит из повреждённых токенов. Некоторые из них невозможно воссоздать самостоятельно, как, например, токены с сбоями, обнаруженные после появления SolidGoldMagikarp в GPT-2. Другие кажутся нормальными по отдельности, но ломаются в рамках обычных предложений, и недавние исследования сосредоточены именно на этом втором типе. Сталкиваясь с хрупким или повреждённым токеном, модель не просто генерирует шум. Она стремится к завершению, которое будет уверенным и иметь низкую дисперсию: к ближайшему аналогу, сокращённой форме или переводу. Китайский токен, обозначающий «запрос», превращается в английское «QUERY». Итальянское «realtà» становится французским «réalité». Сокращённая русская форма слова «председатель» превращается в польское «Przewodniczacy», что случайно оказывается правильным переводом.
Замена ближайшим аналогом как механизм
При выполнении задачи по завершению текста модель может столкнуться по пути своей траектории эмбеддингов с повреждённым или нестабильным токеном. Система обработки преобразует его в здоровый соседний токен, и все последующие преобразования происходят так, как будто пользователь написал именно этот соседний токен. Эта замена не является ошибкой, от которой модель восстанавливается; она становится входными данными, над которыми модель проводит расчёты.
Каждый этап в этой цепочке требует пояснения, поскольку каждый из них — это то, что модель выполняет правильно:
- Повреждённый токен влияет на процесс завершения текста.
- Заменённый токен входит в последовательность и не отличается от того, что написал пользователь.
- Каждый последующий шаг рассчитывается на основе этого заменённого токена.
- Ничто не фиксируется как проблема, поскольку с точки зрения модели ничего не пошло не так.
Галлюцинация кажется убедительной, потому что она плавная, уверенная и конкретная, причём в данном случае все три этих свойства напрямую связаны с геометрией векторных представлений.
При задании на составление списка получается ответ вроде «bort», что в конечном счёте является просто любопытным фактом. Последствия для агентных систем более серьёзны. Qwen3-32B получил исследовательскую задачу и набор инструментов для исследований. Он начал поиск, но запрос содержал ошибки или изменённые токены, поэтому результаты оказались нерелевантными, а агент с уверенностью цитировал эти нерелевантные источники. В ходе пятидесяти попыток спорные токены не появлялись ни в поиске, ни в ответе, тогда как стабильные токены без хрупких соседей встречались в обоих случаях примерно в 96 процентах случаев.
Под влиянием оказываются и обычные слова
Если бы влияние ограничивалось редкими строками данных, его практическая значимость была бы невелика. Однако оно распространяется и на обычные слова.
Возьмите список известных некорректных токенов модели и оцените каждый другой токен по степени его близости к этой области вектора результата. Эта оценка позволяет предсказать, какие на первый взгляд корректные токены могут сбоить в обычных предложениях; при этом показатель AUC составляет от 0,72 до 0,83 для шести из восьми проанализированных моделей. Случайная область такого же размера дает показатель от 0,41 до 0,55.
Хрупкие токены вовсе не обязательны в промпте — достаточно их ближайших соседей. Самым ярким примером является английское слово «according». В модели OLMo-2-7B оно воспроизводится в одиночку с вероятностью 0,999, однако ошибается в 44 из 48 обычных предложений. Когда модели задают задачу исправить орфографию в предложении о необходимости подать форму «according» до пятницы, она возвращает версию с словом «correct» вместо него, удаляя обычное английское слово и заполняя получившуюся пустоту.
Насколько под угрозой находится словарный запас
Этот показатель определяется долей иначе корректных токенов, которые допускают ошибку хотя бы в одном из десяти контекстов:
При таком измерении показатель для Qwen3.8-Flash-Next составляет 0,4 процента, а для Qwen3-32B — 0,9. U Qwen3.8-27B этот показатель достигает 1,5, у Qwen3-1,7B — 2,4, а у OLMo-2-7B — 2,7. Более старые и крупные модели показывают гораздо худшие результаты: у Qwen2.5-7B показатель равен 7,0, у Qwen2.5-72B — 10,5, а у Qwen3-235B — 10,9 процента.
Разница между этими показателями составляет примерно двадцать пять раз. У одной модели примерно 1 из 250 токенов остается незащищённым, тогда как у другой — 1 из 10.
Размер словаря не является объяснением этого феномена. Возьмём только те идентификаторы токенов, которые присутствуют как в Qwen3-32B, так и в Qwen3-235B, и оценим, считаются ли они «чистыми» в каждой из моделей. На этом одинаковом наборе токенов модель объёмом 235 миллиардов элементов допускает ошибки в 4,3 процента случаев, тогда как модель объёмом 32 миллиарда элементов — в 0,8 процента, что составляет разницу в пять раз.
Карта пространства эмбеддингов позволяет увидеть контраст: каждая точка представляет собой токен, а токены, с которыми модель обращается одинаково, располагаются рядом друг с другом. Пострадавшие токены отмечены красным цветом. Самая чистая модель в этом наборе, Qwen3.8-Flash-Next, имеет 15 таких токенов, в то время как у Qwen3-235B их 682.
Гипотеза
Эта группа галлюцинаций не возникает из-за пробелов в знаниях. Токен оказывается в поврежденной области пространства эмбеддингов и заменяется еще до начала любых рассуждений, в результате чего модель отвечает на вопрос, который никто не задавал. Уровень ошибок должен отражать долю словаря, находящуюся в этой области, и приведенные выше цифры показывают, что этот показатель варьируется более чем в десять раз между современными моделями.
Если это верно, то снижение количества галлюцинаций у более новых моделей может свидетельствовать о более чистом словарном запасе и более совершенной геометрии вкладок, а не о более глубоких знаниях. Qwen3.8 занимает два самых низких места в списке. Опубликованных показателей галлюцинаций, позволяющих отделить эти поколения моделей, пока не появилось, поэтому эта гипотеза остается непроверенной.
Дополнительное исследование, подтверждающее ту же картину
PhantomBench, созданный Haeji Jung и Hila Gonen, собирает более 60 000 вымышленных терминов и сущностей и тестирует на них 21 модель. Средний уровень неспособности избегать галлюцинаций достигает 86,7 процента, включая самые современные модели.
Исследование поведения моделей по отношению к несуществующим сущностям функционально схоже с ситуацией, когда модель сталкивается с повреждённым токеном. Авторы отмечают, что реакции моделей на несуществующие концепции соответствуют реакциям на редкие, причём повреждённые токены относятся к категории редких случаев. Они также указывают, что крупнейшие модели в каждой группе демонстрируют резкий рост количества галлюцинаций, причём Qwen3-32B и Llama 3-70B показывают худшие результаты, чем их более мелкие аналоги. Показатели токенов также показывают, что именно крупнейшие модели наиболее сильно страдают от этих проблем. Тем не менее наборы моделей в обоих исследованиях слишком мало пересекаются, чтобы можно было утверждать о наличии корреляции.
Эксперимент, который может прояснить ситуацию
Часть этого представляет собой спекуляции, хотя показатели токенов делают дальнейшие тесты целесообразными. Тест прост в выполнении: необходимо дважды пройти через тест на галлюцинации с одной и той же моделью — сначала с стандартными запросами, затем, заменив каждый проблемный токен на стабильный синоним. Более низкий уровень галлюцинаций при втором запуске показывает степень влияния. Неизменный уровень означал бы, что предполагаемой связи не существует.
Источник: статья PhantomBench авторов Jung и Gonen, arXiv:2606.11105.