Копируются в одиночку, терпят неудачу в компании: контекстуальная хрупкость токенов, проходящих тест на копирование в изоляции.
Проверка восьми моделей с открытой весовой структурой на токены, которые правильно копируются в одиночку, но теряются или изменяются в контексте, с анализом геометрии вкладок, сохранения задачи и использования инструментов.
Источники: Glitch Tokens Compared to Fragile Tokens
Правильное воспроизведение токена в изолированном виде мало что говорит о том, выживет ли тот же токен в более длинном тексте. В данной статье рассматриваются элементы словаря, которые успешно проходят тест на копирование в изоляции, но терпят неудачу при использовании в контексте. Было протестировано восемь моделей с открытым весом из семейств Qwen и OLMo. Фиксированные идентификаторы токенов помещались в общие банки случайных последовательностей распространённых слов; регистрировалась вероятность появления ожидаемого токена в его позиции копирования, а отдельные случаи сбоев декодирования проверялись вручную. Метод на основе вероятностей выявил от 0,4% до 10,9% токенов, прошедших тест в изоляции, в как минимум десятой части протестированных контекстов. Эти цифры показывают, сколько токенов обнаруживает такой метод, но ничего не говорят о том, сколько из них вызывают подтверждённые ошибки декодирования.
Рейтинги фильтрации по токенам сильно совпадают между двумя группами примеров из набора контекста, при этом корреляции составляют от 0,82 до 0,95. Сохранённые примеры демонстрируют удаление, замену, обрезку и перевод; некоторые из них были сгенерированы в условиях резкой концентрации распределения результатов. Второй вопрос заключается в том, позволяет ли близость к известным токенам или токенам, пройдшим фильтрацию в контексте, выделить эту группу. Лучший из показателей близости входных и выходных эмбеддингов демонстрирует значение AUROC от 0,744 до 0,881 в семи моделях, хотя статические признаки превосходят базовые признаки поверхностного анализа лишь в трёх из них. В нескольких задачах с инструкциями и имитацией использования инструментов отобранные кандидаты сохраняются реже, чем стабильные контрольные примеры. Отдельный тест с названиями естественных сущностей не выявил дополнительной предиктивной ценности по сравнению с уже существующими контрольными параметрами. В результате получается контролируемое описание контекстуальной чувствительности токенов, проходящих тест на изоляцию, с доказательствами их воспроизводимости, геометрических связей и эффектов на уровне задачи. В работе высказывается аргумент в пользу контекстуальной верификации и оставляются открытыми как возможности будущих открытий, так и способы прогнозирования того, какой контекст приведет к определенной ошибке.
Токен, который копируется в одиночку и исчезает в составе более длинной последовательности
Модель может воспроизвести токен при запросе на его копирование в одиночку, а затем заменить именно этот токен, когда он появляется внутри более длинной последовательности для копирования. Различие имеет значение в тех случаях, когда в инструкции требуется буквальное совпадение: цитирование названия, сохранение идентификатора в неизменном виде, возврат элемента списка или включение имени в запрос к инструменту. Уместный ответ может на первый взгляд выполнить задачу, при этом изменяя конкретный элемент, о котором идет речь.
Конкретный пример взят из OLMo-2-7B и касается токена according с идентификатором 4184. Декодирование и перекодирование строки возвращает тот же идентификатор. В тесте на изолированное повторение правильное продолжение имеет логарифмическую вероятность -0,001. Однако в последовательности deliver rel behind according sent floor wrong модель выдает слово sent на месте, предназначенном для according, и продолжает обработку следующего слова. Вероятность неправильного вывода составляет примерно 1,000, а энтропия — примерно 0,00 бит. Из 48 взятых примеров контекстов в 44 случаях записанные продолжения опускают according, а в остальных четырех воспроизводят его с вероятностью около 0,999. Модель, идентификатор токена и инструкция по копированию остаются неизменными на протяжении всего процесса, меняются лишь окружающие условия.
Ранее проводились исследования проблем, связанных с токенами, которые касались невозможности воспроизведения или манипулирования определёнными элементами словаря с использованием методов обнаружения на основе эмбеддингов, классификаторов, вариаций промптов и многозадачной оценки (например, Land и Bartolo, 2024; затем Li и др., 2024; Zhang и др., 2024; а также более недавние исследования Wu и др., 2026 и Tang и др., 2026). Здесь ставится более узкая задача: если токен проходит тест на изоляцию, остаётся ли он уязвимым при копировании в более длинный текст, и можно ли последовательно измерять эту слабость?
Термин «хрупкий токен» используется для обозначения этого условного класса поведения. Принадлежность к нему зависит от модели, протокола копирования и распределения контекстов. Этот термин не утверждает, что уязвимость не зависит от контекста, и не предполагает, что сбои при изолированных тестах и сбои в контексте имеют одну и ту же причину. В основных экспериментах для отбора кандидатов в этот класс используется вероятностный фильтр, причем этот фильтр всегда сохраняется отдельно от проверенных ошибок декодирования.
Приводятся три исследования. Во-первых, оценивается доля изолированных токенов, проходящих проверку, с использованием общих банков контекста и фиксированных идентификаторов токенов, что позволяет сравнивать их чувствительность в разных контекстах, при независимых запусках и различных конфигурациях модели. Во-вторых, тестируются геометрические признаки, связанные с известными токенами с ошибками, чтобы выяснить, способны ли они также разделять кандидатов внутри этой группы по сравнению с поверхностными характеристиками и случайными наборами ссылок. В-третьих, в исследовании изучается, выживают ли отобранные кандидаты при последующих инструкциях и симулированных взаимодействиях с инструментами, и сообщается однозначно отрицательный результат для прогнозирования названий естественных сущностей.
Результаты исследования эмпирически расширяют подход к оценке токенов с сбоями. В них не утверждается, что был изобретён метод обнаружения сбоев на основе эмбеддингов, а также что предыдущие исследования полностью игнорировали контекст. В них показано, почему результаты, полученные при изоляции токена, следует рассматривать как одно из условий измерения, а не как общее подтверждение того, что токен будет точно скопирован.
Место данного исследования среди предыдущих работ
В ранних отчётах описывалось необычное поведение модели с определёнными токенами при различных вводных данных, причём некоторые из этих токенов связывались с необычными областями пространства эмбеддингов (Rumbelow и Watkins, 2023). В более поздних исследованиях были разработаны систематические методы обнаружения сбоев и процедуры оценки, которые предоставляют как методы, так и точки сравнения для токенов с высокой чувствительностью к сбоям.
Фреймворк Magikarp, разработанный Land и Bartolo (2024), использует показатели, полученные на основе эмбеддингов, для поиска кандидатов на недостаточно обученные токены, затем проверяет их с помощью поведенческих тестов. В его анализ входят альтернативные промпты и примеры с скопированными списками кода. Li и соавт. (2024) широко определяют понятие сбоев в работе системы и тестируют повторяемость, орфографию и длину текста; их инструмент GlitchHunter выявляет проблемные участки с помощью графа эмбеддингов и итеративного кластеризации. Следовательно, ни генерация геометрических кандидатов, ни использование окружающего текста промпта здесь не являются чем-то новым.
GlitchProber классифицирует токены на основе признаков внимания и MLP и исследует способы снижения ошибок путем изменения промежуточных активаций (Zhang et al., 2024). GlitchMiner использует дискретную оптимизацию, направляемую энтропией, с учетом локальных соседств эмбеддингов, и проверяет кандидаты в рамках трех шаблонов повторения (Wu et al., 2026). В экспериментах данного исследования веса модели замораживаются, а оценка контекстуальной чувствительности проводится только после проверки на успешность в тесте изоляции. Неверные результаты с низкой энтропией влияют на такую оценку, но их простое наличие не говорит о том, что детектор, опирающийся на энтропию, пропустит токен при любом запросе.
Наиболее близким по характеру исследованием является работа Tang и др. (2026). В их GlitchQuiz представлено восемь заданий, включая составление предложений и абзацев, повторение информации и воспроизведение её после нескольких этапов. В ней показан токен, который справляется с простыми тестами, но не проходит другое задание, причём авторы признают возможность наличия необнаруженных неудач. Основной вклад данной работы заключается в многократных измерениях одной и той же операции копирования в рамках общих банков контекста среди особей, проходящих тест на изоляцию, а также в анализе воспроизводимости и возможностей прогнозирования. Прохождение теста на изоляцию в этих экспериментах не означает прохождения GlitchQuiz, к тому же не утверждается, что неудачи токена зависят от конкретного задания.
В экспериментах прямо сравниваются доступные метки Magikarp для трех конфигураций моделей. Это не повторное сравнение всех пяти систем друг с другом в рамках одного общего контекстуального источника, поэтому никаких утверждений относительно их способности к воспроизведению информации или эффективности не делается.
Альтернативным объяснением является редкость. Yu и соавт. (2022) исследуют, как градиенты, действующие на эмбеддинги редких токенов, могут способствовать деградации представлений. Это побуждает к сравнению с поверхностными признаками, связанными с редкостью, однако это не разрешает вопросов о истории обучения или причинно-следственных механизмах рассматриваемых токенов. Признак ID токена, используемый здесь, является лишь заменителем порядка словаря и не отражает частоту предварительного обучения.
Подготовка к экспериментам
Модели и примеры
Основные эксперименты по копированию включают восемь моделей с открытым весом из двух семейств: одну модель OLMo-2 и семь моделей Qwen трех поколений. Отдельное исследование представлений проводится с использованием Pythia-1.4B и рассматривается как вспомогательный эксперимент; поэтому выводы, сделанные в ходе исследования восьми моделей, не следует применять к Pythia или к другим семействам моделей.
Отбор образцов осуществляется по стратам в зависимости от диапазона ID токенов внутри каждого словаря. Модели Qwen используют от 4 200 до 8 400 ID каждая, в то время как у модели OLMo-2-7B первоначальный объем выборки составляет 2 098, а объем повторной выборки — 6 273. Каждый отобранный токен включается во все контексты в ходе его обработки. Контексты берутся из наборов случайных последовательностей распространенных слов, причем каждое слово само по себе проходит проверку на способность к копированию. Длины последовательностей составляют 8, 16, 32 и 64, причем целевое слово занимает случайное место внутри последовательности. Такие последовательности представляют собой контролируемые списки слов, а не грамматические тексты.
Размеры словарей учитываются как количество строк эмбеддингов, причем два крупнейших модели — Flash-Next и 235B — работают с чекпоинтами формата FP8. Команда OLMo (2025) и команда Qwen (2025a, 2025b, 2026a, 2026b) описывают эти семейства моделей. Токенизатор, архитектура, процесс обучения, форматирование данных и точность различаются в зависимости от конфигурации, поэтому «лестница моделей» представляет собой набор вариантов реализации и не позволяет выделить влияние количества параметров.
Протокол копирования и идентичность токенов
Каждый запрос на копирование содержит два примера, а затем последовательность с целевым текстом. Зонд для изоляции повторно использует эту шаблонную структуру, в которой целевой текст является единственным содержимым. Запросы формируются на основе идентификаторов токенов, что позволяет сохранять постоянным идентификатор целевого токена при изменении всех остальных элементов.
Этот выбор разделяет поведение модели и процесс перетокенизации. Добавление пробела в строку декодированного токена может изменить способ её сегментации ещё до того, как модель её увидит. Прямое вставление ID позволяет избежать таких искажений, но в то же время создаёт возможность для последовательностей, которые обычный токенизатор не смог бы сгенерировать из обычной строки. Поэтому копирование с точным сохранением ID отличается от простого сохранения строки, и утверждения относительно использования в повседневных текстах ограничены соответственно. Стандартный пример с according показывает, что этот эффект не ограничивается неканоническими строками.
Учитель-принудитель добавляет ожидаемый копируемый префикс перед тем, как считывается значение в выходной позиции цели. Обозначим q0(t) вероятностью того, что модель выберет идентификатор цели t в пробе изоляции, а q(t,c) — вероятностью на соответствующей позиции в контексте c. Небольшое значение указывает на слабую поддержку необходимого токена даже при наличии правильного префикса. Оно не может показать, как будет выглядеть свободное продолжение после возникновения ранее ошибки.
В конфигурациях Qwen3.8 инструкции, демонстрации и окончательный текст размещаются в блоке, предназначенном для ответа пользователя в шаблоне чата; блок ответа ассистента начинается с Copy:, причем процесс обработки данных продолжается. Во всех остальных вариантах используется простая последовательность примеров, причем форматирование никогда не меняется в рамках одной модели. Это имеет значение: при использовании простого форматирования модели Qwen3.8 часто начинают новую строку и иначе токенизируют пробельные символы в начале текста. Из 2 000 проверок на распространенные слова форматирование «в сыром виде» сработало в 3 случаях, тогда как форматирование в стиле чата сработало 1 921 раз для модели объемом 27 миллиардов параметров и 1 925 раз для модели Flash-Next.
Поведенческая хрупкость и экран вероятностей
Определяется жадное прогнозирование модели в позиции копирования цели с учётом префикса, заданного учителем. Эмпирическая доля ошибок копирования для набора из m контекстов представляет собой долю случаев, когда это прогнозирование не совпадает с целью. Токен с поведенческой нестабильностью не проходит указанный изолированный тест, но всё равно допускает контекстуальные ошибки; кроме того, количественная классификация устанавливает порог для доли ошибок. Неудача всей скопированной последовательности — это другой результат, поскольку ошибки могут возникнуть до или после позиции цели.
Агрегированные эксперименты выполняются на соответствующем экране вероятностей. Основной фильтр изоляции пропускает токены, вероятность изоляции которых q0(t) превышает 0,5, что делает t единственным возможным результатом грейзи-алгоритма. Это условие достаточно для проведения процедуры изоляции с использованием грейзи-алгоритма, хотя некоторые процедуры не соответствуют ему. Более строгий фильтр, применяемый в анализе чувствительности OLMo, требует, чтобы ln q0(t) был выше -0,1, то есть q0(t) — примерно выше 0,905.
Ячейка отмечается на экране контекста, когда ln q(t,c) ниже -0,5, что означает, что q(t,c) составляет примерно 0,607. Оценка чувствительности токена — это доля его контекстов, которые были отмечены. Кандидаты, прошедшие фильтр, получают оценку 0,10 и выше; стабильные контрольные образцы проходят фильтр с оценкой ровно ноль, а токены, находящиеся между ними, образуют промежуточную группу. Для наборов из 24 контекстов кандидату требуется как минимум 3 отмеченные ячейки, а для наборов из 48 — как минимум 5.
Показатели скрининга и вероятности ошибок не следует смешивать. Представьте токен с вероятностью 0,55 как отдельно, так и в контексте: он проходит через главный барьер и одновременно отмечается в контексте, однако его вероятность не снижается, и результат его грэгги-алгоритма оказывается правильным. Следовательно, сообщаемая частота скрининга не является ни оценкой частоты такого поведения, ни его верхним пределом. Строгий барьер устраняет эту конкретную перекрытие, но вероятность в контексте ниже 0,607 всё равно не доказывает, что значение argmax неверно. Декодированные образцы служат для демонстрации реальных ошибок, а суммарные результаты вероятностей по-прежнему считаются показателями скрининга.
Классы ссылок и сохранённые образцы
Для OLMo-2-7B существует независимый набор эталонов из 442 токенов с сбоями, проверенных с помощью Magikarp. Ни один из них не проходит основной фильтр изоляции, а их средний контекстуальный балл в начальном наборе составляет 0,993. У других моделей таких меток нет, поэтому их наборы эталонов сочетают слабую изоляцию с контекстуальным баллом 0,90 и выше. Контекстуальное условие необходимо, поскольку плохая изоляция может быть связана с форматом запроса, а не с постоянными проблемами копирования.
Каждый проверенный токен добавляет в хранилище образцов три свои худшие контекстуальные ячейки плюс одну контрольную ячейку. Запись содержит идентификаторы контекста, целевое поле, вероятность ожидаемого токена, пять наиболее вероятных идентификаторов вывода с соответствующими вероятностями, энтропию, а также, если происходила генерация, результат глуповатого продолжения. В полях происхождения указываются имя модели и версия чекпоинта, точность, метаданные архитектуры и версии программного обеспечения. Такие записи позволяют проводить тематические исследования. Поскольку выбираются худшие ячейки, они не позволяют показать, как распределяется уверенность среди всех контекстуальных ошибок.
Сбои классифицируются по описательному принципу на удаление, замену, обрезку и транслитерацию; при наличии преобразования шрифта это также указывается. Чтобы назвать ситуацию удалением, необходимы доказательства того, что модель переходит к следующему тексту, поскольку изолированное рассмотрение первого токена не позволяет понять, как будет развиваться весь текст. Энтропия ниже 2 бит служит лишь маркером концентрированного распределения данных. Это не является калиброванным показателем правильности выполнения задачи или того, будет ли модель испытывать сомнения.
Насколько уязвимы процедуры изоляции?
Распространенность скрининга
При использовании основного фильтра доля подходящих токенов составляет от 0,4% в модели Flash-Next, где подходят 15 из 4 047 токенов, до 10,9% в модели Qwen3-235B, где подходят 684 из 6 277 токенов. Набор словаря, фильтр, распределение контекста и пороговые значения влияют на этот диапазон; при этом они не позволяют оценить ни частоту встречаемости таких токенов в естественном тексте, ни долю всех токенов, которые можно было бы бесконечно повторять.
Более строгий фильтр приводит к тому, что в модели OLMo-2-7B в первом наборе токенов из 873 подходит 14 токенов (1,6%), а в наборе для репликации — 29 токенов из 1 888 (1,5%). Их вероятность изоляции значительно превышает контекстуальный порог, поэтому они служат индикатором степени перекрытия между двумя пороговыми значениями. Частоту ошибок, связанных с проверкой аргумента max, всё ещё необходимо измерять непосредственно.
Ограничение сравнения идентификаторами, общими для разных моделей, сохраняет часть различий между конфигурациями. Возьмём 1 592 идентификатора, проходящих оба теста в моделях Qwen3-1.7B и Qwen3-235B: среди них кандидаты составляют 2,0% в первой модели и 6,2% во второй. Что касается 1 569 идентификаторов, общих для моделей Qwen3-32B и Qwen3-235B, то доля кандидатов составляет 0,8% и 4,3% соответственно. Это снижает различия в выборке, но не позволяет отличить масштаб модели от её архитектуры, точности или способа обучения.
Воспроизводимость и роль контекста
Оценки по токенам для обеих частей контекста коррелируют в диапазоне от 0,82 до 0,95 у всех восьми моделей. Более сложная репликация на модели Qwen3-32B с удвоением объема выборки и использованием нового банка контекстов показывает корреляцию 0,984 для оценок 4200 общих идентификаторов; 12 из первоначальных 15 кандидатов по-прежнему соответствуют критериям. Переоценка сохраненных матриц для моделей Qwen3-32B и Qwen2.5-72B на другом оборудовании воспроизводит 99,9% и 99,6% ячеек соответственно, причем корреляция оценок на уровне токенов составляет 0,9999 и 0,9996.
Разложение дисперсии первой матрицы OLMo показывает, что 95,2% приходится на токены, 0,1% — на контекст, а 4,7% — на остаточные факторы. Для группы с строгими критериями распределение становится 71,7%, примерно ноль и 28,2%. Это значительное снижение доли токенов имеет важное значение: в całом объеме выборки большая часть вариации связана лишь с различиями между сильно поврежденными токенами и надежными, тогда как значительная часть непроясненной вариации сохраняется внутри группы с строгими критериями.
Все это способствует воспроизводимой чувствительности на уровне токенов в рамках выбранной распределения, и это не указывает на то, что контекст, вызывающий её, является нерелевантным. Небольшой основной эффект контекста означает, что ни один носитель не представляет сложности для каждого токена, что совместимо с сильной вариацией между токенами в зависимости от контекста. Соответственно, прогнозирование ячеек OLMo на основе оценки токена в других местах даёт AUROC 0,94, в то время как оценка на основе сложности носителя для других токенов даёт 0,56. Признаки сходства токена и контекста не добавляют ничего нового.
Для определённых групп важна длина. В выборке OLMo с строгим фильтром коэффициенты отмеченных ячеек составляют 0,005, 0,008, 0,008 и 0,008 при длинах 8, 16, 32 и 64 соответственно. Для кандидатов Qwen2.5-72B самые короткие носители отмечают 33% ячеек, а самые длинные — 52%. Таким образом, ранжирование чувствительности становится более ясным, чем причины отдельных ошибок.
По сравнению с опубликованными метками Magikarp
При сравнении с имеющимися записями Magikarp ни один из кандидатов в трех модельных сравнениях не является подтвержденным токеном с ошибкой. Большинство из них считаются приемлемыми согласно данной процедуре, а некоторые относятся к категории недекодируемых, что не должно восприниматься как подтверждение их исправности. Некоторые кандидаты уже попадали в геометрический набор Magikarp до того, как проверка их поведения привела к их отклонению. В сравнении Qwen2.5-7B используется 294 кандидата, а в кратком отчете о сортировке — 296, поскольку обе аналитики основаны на разных наборах данных.
Таким образом, контекстуальный фильтр выявляет поведение, выходящее за рамки имеющихся наборов подтвержденных ошибок. Это не доказательство того, что каждый контекстуальный кандидат является реальной ошибкой копирования, а также не означает, что другие детекторы пропустят их при выполнении собственных задач оценки. Чтобы подтвердить более общее утверждение, необходимо сравнение с общепринятым эталоном.
Демонстрируемые ошибки и их концентрация
Случай according уже демонстрирует наличие реальной ошибки копирования, несмотря на практически гарантированное успешное обработание в отдельных случаях; другие сохранённые примеры показывают аналогичное поведение в различных языках и конфигурациях. Оценка образца отражает характеристики всего набора токенов, тогда как отображаемый результат — это лишь один из возможных вариантов, поэтому оба показателя имеют разный вес в качестве доказательства. Приведённые примеры носят иллюстративный характер и не указывают на частоту возникновения какого-либо типа сбоев.
Во всех семи конфигурациях Qwen доля выбранных сохранённых примеров с ошибками и энтропией менее 2 бит составляет от 14% до 74%. Некоторые ошибки возникают при высококонцентрированных распределениях, а другие — при разрежённых. Эти записи подтверждают существование ошибок с высокой степенью уверенности, но они не подтверждают ни утверждение о том, что контекстуальные ошибки обычно являются точными, ни утверждение о том, что они никогда не сопровождаются неопределённостью.
Геометрия вживления и прогнозирование
Оценки и их стоимость
В ходе геометрического анализа определяется, насколько кандидатские элементы имеют измеримую связь с набором эталонных данных модели. Для токена t берется его строка e(t) в матрице вкладок входных или выходных данных, после чего находятся пять эталонных токенов с наибольшей косинусовой схожестью в этом пространстве. Оценка близости подводит итог схожести с этими пятью токенами. Вторая оценка проецирует вкладку входных данных на прямую, идущую от среднего значения словаря до среднего значения вкладок эталонных данных, благодаря чему близость остается локальной, а проекция — глобальной. После того как существуют набор эталонных данных и вкладки, для нового токена не требуется дополнительной обработки. Однако создание набора эталонных данных, пройденного поведенческую проверку, требует запуска модели, и эта стоимость учитывается в любом этапе сравнительного анализа с самого начала до конца.
Анализ подгонки прогнозов сравнивает четыре уровня признаков:
- Основные параметры поверхности: идентификатор токена, длина раскодированной строки, наличие пробельного символа в начале, алфавитность и принадлежность к кодировке ASCII.
- Статические показатели: нормы строк и расстояния до центроида для входных и выходных эмбеддингов, сходство по принципу ближайшего соседа, прямая оценка качества входа/выхода с учетом отставания от конкурентов, а также проекция направления сбоя. Оценка близости пяти соседних элементов не входит в этот уровень оценки.
- Динамические показатели: краткое описание представления целевой позиции в половине контекстов, включая ее дисперсию, норму и совпадение с выходной строкой цели.
- Поведенческие показатели: показатели копирования, полученные на основе тех же контекстов.
Динамические и поведенческие уровни используются для прогнозирования метки кандидата в том виде, в котором она встречается в оставшейся половине контекстов. Модели, используемые для прогнозирования, представляют собой регуляризованные логистические регрессии с методом L2, сравниваемые с базовой моделью с помощью метода парного бутстрапинга. Поскольку оба уровня требуют выполнения нескольких проходов данных, они не являются простыми фильтрами, основанными только на весах, а метки, получаемые с использованием половины набора данных, имеют положительные значения, в отличие от меток, получаемых при использовании всего набора данных.
Ссылка на класс эталона с сбоями
Близость измерялась отдельно во входном и выходном пространствах. Выбор лучшего из этих двух пространств для каждой модели позволяет получить значения AUROC от 0,744 до 0,881 для семи конфигураций с независимыми эмбеддингами. Это описательный выбор для каждой отдельной модели, а не показатель производительности, полученный путем применения одного и того же заранее определенного критерия во всех случаях. Более низкие значения для модели Qwen3-1,7B также включены в отчет.
То, какое пространство используется для передачи сигнала, зависит от модели. OLMo-2-7B показывает значение 0,846 по показателю близости входных данных и 0,528 по показателю близости выходных данных, тогда как Qwen2.5-72B демонстрирует обратную картину: 0,685 против 0,798. Одного глобального направления иногда бывает недостаточно — на модели Qwen2.5-72B он даёт значение 0,599, — однако на модели Qwen3-32B этот показатель достигает 0,898, превосходя оба значения близости. Следовательно, геометрические связи зависят от конкретной модели, и универсальной формы не существует.
Замена набора ссылок на сбои на случайный стабильный набор одинакового размера приводит к средним значениям AUROC от 0,41 до 0,55 за десять экспериментов. Следовательно, произвольные стабильные наборы ссылок не воспроизводят указанную иерархию. Это сравнение не позволяет отделить показатель близости к сбоям от других факторов, влияющих на ранжирование, таких как редкость, плотность локальных включений или способ выбора набора ссылок. Простая базовая модель на основе идентификаторов токенов на самом деле показывает лучшие результаты, чем оба показателя близости для моделей Qwen2.5-72B и Qwen3-235B.
Оценить эффект совмещения весов невозможно на основе данных для модели Qwen3-1.7B, поскольку это единственная модель с совмещенными параметрами в исследовании, и её показатели близости входных и выходных данных различаются, несмотря на то, что она описывается как имеющая совмещенные параметры. Это несоответствие мешает четкому анализу архитектуры модели.
Местоположение кандидатов в проекции
Кандидаты находятся за пределами видимых скоплений класса эталонов с ошибками. Проекции UMAP для строк векторов-эмбеддингов по косинусовому расстоянию (McInnes et al., 2018) показывают красные точки-кандидаты, распределенные по обширным участкам серого фона в моделях Qwen3-1.7B, Qwen3.8-27B и Qwen3-235B, в то время как черные точки-эталоны остаются относительно сгруппированными. В моделях Qwen2.5-7B и OLMo-2-7B кандидаты встречаются как рядом с кластерами эталонов, так и среди серых точек. Цвета обозначают метки фильтрации и эталонов; они не подтверждают независимо каждую отдельную отмеченную точку.
Ли и соавт. (2024) отмечают, что токены с сбоями склонны сгруппировываться в пространстве эмбеддингов, и именно это наблюдение послужило основанием для использования итеративного кластеризации графов в GlitchHunter. Представленные здесь проекции вызывают вопрос о его диапазоне применения: может ли геометрия класса ссылок на сбои быть применена также к контекстуальным кандидатам, у которых исчезает изоляция? Раскиданные красные точки указывают на то, что видимые кластеры ссылок описывают эту условную группу лишь частично.
Танг и соавторы (2026) также обнаруживают процесс кластеризации, подкрепляя это сравнениями евклидовых расстояний и энтропии, проведёнными на моделях Llama2-7B-chat и Mistral2-7B-it, и связывая его с плохой дифференциацией в слое входных эмбеддингов. Проекции выходных эмбеддингов на основе косинуса не позволяют напрямую проверить эту гипотезу. Модели без связи между входом и выходом требуют отдельной оценки входных и выходных матриц, а разрознённые проекции выхода не могут доказать отсутствие у входных эмбеддингов наблюдаемого перенаселения.
Это соответствует результатам анализа близости, приведённым выше. Популяция может распространяться на несколько регионов и при этом оставаться близкой к эталонным элементам в локальном масштабе, поэтому для формирования полезного рейтингового балла не требуется отдельный кластер кандидатов. UMAP также искажает плотность и может создавать искусственные разделения (разработчики UMAP, без даты), поэтому приведённые таблицы не исключают возможности кластеризации в исходном пространстве. Прямое тестирование заключалось бы в сравнении соседних элементов и степени покрытия контекстуальных сбоев в исходном пространстве на одних и тех же контрольных точках, при этом использовались бы совпадающие пространства вкладок, совпадающие метрики, независимо проверенные ошибки и метки от каждого метода оценки.
Ценность, выходящая за рамки поверхностных признаков
При использовании меток контекстной половины, которые не были включены в обучение, статические признаки превосходят базовую модель на всех тестовых моделях Qwen2.5-7B, OLMo-2-7B и Flash-Next, не демонстрируя преимущества на пяти других моделях и показывая отрицательные результаты на модели Qwen2.5-72B. Динамические признаки превосходят базовую модель на пяти моделях — OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B и Qwen3-235B, причем значения этих преимуществ не включают ноль. Это свидетельствует о том, что контекстные представления влияют на чувствительность моделей в большей степени, чем может зафиксировать базовая модель. Однако это не делает процедуру, основанную на представлениях, дешевле, чем прямое измерение процесса копирования в тех же условиях.
Уровень поведенческой модели достигает значения AUROC от 0,945 до 1,000. Это согласуется с результатами корреляций для разделенных наборов данных: наблюдение за токеном в определенных контекстах позволяет предсказать его метку отбора в других контекстах, сформированных с помощью того же процесса. Это свидетельствует о воспроизводимости, однако метки и признаки используют одну и ту же задачу копирования и распределение контекстов, поэтому эффективность работы с новыми распределениями естественного текста остается неизмеренной. Целями являются метки, основанные на вероятностном отборе, а не метки с ошибкой argmax, проверенные независимо.
Геометрический предварительный отбор может помочь определить, что проверять в первую очередь, но здесь нет ничего, что свидетельствовало бы о высокоточном поиске при фиксированном бюджете. AUROC измеряет ранжирование, а не точность выбранного списка кандидатов. Чтобы доказать практическую эффективность поиска, потребуются заранее заданные показатели оценки и наборы для сравнения, кандидаты, не пересекающиеся между собой, бюджет на проверку наборов, а также сравнение с случайными данными, выбор по ID токенов и существующих детекторов, оцениваемый по одинаковым поведенческим показателям.
Что сохраняется при генерации и выполнении задач
Свободная генерация
Зонды с функцией свободного генерирования проверяют, сохраняет ли модель предоставленный токен во время описания или ответа на вопрос. При запуске OLMo требуется точная идентификация плюс объяснение, после чего предоставляется префикс Let me think about this carefully. В других конфигурациях токен помещается отдельно в блок, предназначенный для пользователя в шаблоне чата. Генерация прекращается при достижении 256 токенов. Из-за различий в форматировании эти показатели нельзя рассматривать как результат сравнения в рамках контролируемой шкалы.
Требуются два метода воспроизведения. Один проверяет, появляется ли идентификатор семени где-либо среди сгенерированных идентификаторов, а другой — появляется ли декодированная строка семени где-либо в результатах, даже при разном разбиении на части. Ни один из них не подтверждает правильную идентификацию или точное воспроизведение полной запрашиваемой последовательности. На модели Qwen2.5-72B ни одно из 32 семян с наихудшей изоляцией не возвращается под своим первоначальным идентификатором, однако 12 из них возвращаются в виде строк, поскольку семя вроде _ghost может быть представлено несколькими токенами результата.
При использовании генерации показатель сохранения кандидатских строк оказывается ниже контрольного показателя в четырех из пяти сравнений, при этом в случае с Qwen3-32B результаты совпадают. Показатели Exact-ID менее однородны: в случае с Qwen2.5-7B результаты совпадают, тогда как у Qwen3-32B кандидатские варианты возвращаются 8 раз из 14, а контрольные — 7 раз из 14. Кандидатский вариант может вернуться даже в случае неверной идентификации. Видимо, уязвимость зависит от задачи, и не существует абсолютной невозможности генерировать кандидатский токен.
Семена, отобранные как 32 самых плохих в условиях изоляции для отдельных тестов генерации, не следует путать с примерами сбоев, возникающих под воздействием контекста. Проверки с использованием «учителя» дают ожидаемому токену вероятность не менее 0,5 в 71% из 768 ячеек Flash-Next и всего в 0,1% ячеек Qwen3-235B. Такое несоответствие является еще одной причиной для проверки поведения набора примеров в соответствующем контексте.
Генерация без кандидатов, тестовые задания и продолжение примеров не выполнялись с использованием двух смесей FP8, поскольку система оценки требовала примерно семи секунд на каждый сгенерированный токен, а расходы на вычисления оплачивались из собственных средств. Следовательно, результаты наблюдений за следующим токеном нельзя рассматривать как следы процесса рассуждения. Генерация без кандидатов также не выполнялась на модели Qwen2.5-72B.
Инструкции, требующие точного формулирования
Пять шаблонов инструкций заставляют модель сохранять исходную строку нетронутой: присвоение имени функции в Python, цитирование названия документа, возвращение элемента списка, исправление опечаток и составление краткого резюме с сохранением собственных имён. Десять выбранных токенов на каждый класс, модель и задание дают 50 эпизодов на класс, причём токены вводятся по идентификатору через шаблон чата.
Основной показатель проверяет наличие целевой строки в ответе; он более узкий, чем критерий правильности выполнения задания. Он не учитывает, является ли код валидным, соответствует ли имя функции правилам именования и насколько точным является резюме. Задание на правописание также предполагает нормализацию, поэтому его результат зависит от формулировки.
У участников задания реже наблюдается успех по сравнению с контрольной группой во всех пяти конфигурациях. Интервалы Episode-bootstrap исключают значение ноль в четырех из них (OLMo-2-7B, Qwen3.8-27B и оба режима Qwen3-32B), за исключением Qwen2.5-7B. Уровень грубого дополнения остается на уровне от 0,96 до 1,00, в то время как степень сохранения строки варьируется, поэтому наличие завершенного кажущегося результата ничего не гарантирует. Каждый токен используется в разных заданиях, что ограничивает их независимость.
Транскрипты делают эту разницу конкретной. OLMo-2-7B, получив запрос на функцию с именем according, записывает sum_list, переписывает according как correct в шаблоне правописания и отвечает LocalizableString, когда второй элемент списка — NSLocalizedString. Qwen3-32B преобразует realtà в reality при выполнении задания на правописание. Форма задания сохраняется в этих ответах, в то время как указанный контент меняется.
Симулированные инструменты
В рамках эксперимента с инструментами предусмотрены пять заданий, связанных с целевым термином: исследование ключа конфигурации, составление справочной записи, рекомендация по применению технологии, объяснение термина и проверка версии. Разрешается до шести раундов с использованием функций search, open_page и run_python; кроме того, по десять токенов на класс, что в сумме даёт 50 эпизодов для каждой конфигурации.
Среда подключена к предоставленному токену. Поиск точной строки возвращает документацию, записи об обновлениях и страницу с проблемами, тогда как любой другой поиск не даёт ничего релевантного, лишь общие страницы. Это позволяет проверить, достигает ли целевой термин вообще вызова инструмента, и не моделирует сбои при поиске в реальном поисковике. Модели Qwen используют собственные шаблоны инструментов, а OLMo — текстовый протокол, что ещё больше затрудняет сравнение между моделями.
В режиме «простой» Qwen3-32B сохраняет стабильные цели в 96% случаев первых запросов и окончательных ответов, кандидатов — в 74% случаев первых запросов и 68% случаев окончательных ответов, а цели, связанные с сбоями, — ни в одном из 50 эпизодов. Некоторые ответы продолжаются на основе общих полученных данных после того, как термин исчезает или меняется в первом запросе.
В версии Qwen3.8-27B контраст для первых запросов остается примерно таким же, однако поведение при дополнении информации отличается. В режиме «простой» только 14% эпизодов с сбоями завершаются в пределах установленного времени, в то время как у стабильных контрольных примеров этот показатель составляет 66%, а у кандидатов — 58%; кроме того, одинаковые вызовы инструментов повторяются соответственно в 28%, 10% и 14% случаев. Режим «размышления» изменяет эти показатели, а также базовый уровень стабильности. Таким образом, потеря цели может привести либо к готовому общему ответу, либо к повторному использованию инструментов, в зависимости от настроек.
Данные не свидетельствуют о широком распространении вымышленных фактов. Количество поддельных версионных номеров составляет всего от 0,00 до 0,02 на класс и конфигурацию; единичные ненулевые значения встречаются как в группах, связанных с сбоями, так и в группах управления. Более заметным эффектом является потеря точного объекта запроса или ответа. Выбранные наборы токенов, повторяющиеся шаблоны и среда разработки ограничивают возможности обобщения на автономные системы, выполняющие естественные задачи.
Отрицательный результат для естественных имён
В другом эксперименте используется повседневный материал: в задаче естественного типа присутствуют 1 255 подлинных идентификаторов кода и собственных имён. Оценка степени хрупкости их составляющих токенов не способствует более точному прогнозированию неверного имени сущности при учёте редкости, показателей изоляции компонентов и вероятности модели для всей сущности. Значение AUROC изменяется на -0,001, причём 95% диапазон составляет от -0,008 до +0,006.
Это ограничивает возможности применения полученных синтетических результатов на практике. Данные не показывают, что контекстуальный коэффициент объясняет ошибки в названиях природных сущностей лучше существующих факторов, не указывают также, что редкость приводит к одному из этих результатов, и не исключают возможность любой связи между уязвимостью токенов и галлюцинациями. Вывод заключается в том, что этот эксперимент не выявил дополнительной прогностической силы.
Дополнительные анализы
Пары токенов
В эксперименте с факторным копированием исследуется, наносят ли пары токенов больший ущерб, чем их отдельные элементы. У носителей имеются два слота на расстояниях 2, 4, 8, 16, 32, 64 и 128, в каждом из которых находится по два независимых заполняющих элемента. Каждая упорядоченная пара тестируется четырьмя способами: при наличии обоих целей, при наличии только одной из них рядом с контролем и при наличии только контроля. Контраст взаимодействия рассчитывается как совместный балл за вычетом баллов за каждую цель по отдельности плюс балл контроля.
Модель использует аддитивную структуру внутри каждого носителя, стандартизирует остатки, переставляет элементы внутри носителей и применяет коррекцию Бенджамина-Хохберга при уровне значимости q = 0,05 (Benjamini и Hochberg, 1995). Критерий количества определяет количество отклонённых пар на основе 95-го процентиля, полученного из двадцати симулированных наборов данных, в которых взаимодействия являются исключительно аддитивными. Ни один набор данных не прошёл проверку: каждый набор OLMo отклоняет 1 из 4 032 пар, Qwen3-32B — 13 из 1 190, а Qwen3-235B — 1 из 2 256.
Это не означает отсутствия взаимодействия. Тесты на максимальные статистические значения имеют значимость для пулов OLMo и Qwen3-32B, а для Qwen3-235B значение p составляет 0,059. Критерии анализируют различные аспекты распределения взаимодействий, поэтому оба варианта включены в отчет. Сравнения повторяющихся токенов показывают средние положительные значения, что свидетельствует о усилении эффекта в этих носителях: +0,005 для OLMo при разделении 2 и +0,018 при разделении 128. Ничто из этого не указывает на универсальную аддитивность, отсутствие редких вредоносных комбинаций или механизм, основанный на индукции, причем положительные значения могут скрывать отрицательные взаимодействия для отдельных пар.
В смешанных пулах пять токенов OLMo вызывают сбои у 47% носителей, а пять токенов Qwen3-32B — у 57%. Такая концентрация делает оценку чувствительности на уровне токенов полезной, однако сбои, которые не повторяются при использовании заполнителей, показывают, что такая оценка не является независимой от контекста.
Остается ли идентичность?
В эксперименте Pythia-1.4B 36 проверенных токенов с сбоями и 1 088 контрольных токенов помещаются в конец восьми контекстов (модель описана Biderman и др., 2023). На каждом слое модель пытается сопоставить контекстуальное состояние токена с его состоянием в другом контексте среди 1 124 кандидатов, вычтя компонент, общий для всех контекстов. Токены с сбоями идеально совпадают начиная с слоя эмбеддингов до 12-го слоя, а контрольные токены — с коэффициентом совпадения от 0,988 до 1,000. На последнем слое точность снижается до 0,880 и 0,874. Следовательно, большое количество информации об идентичности остается восстанавливаемым. Пример с использованием логит-линзы также указывает на преимущество продолжения токена с сбоем, depress за которым следует ant, по сравнению с воспроизведением исходного токена.
Возможность восстановления не является причинно-следственной характеристикой сбоя. Эксперимент не может показать, что процесс копирования использует информацию, подлежащую восстановлению, что идентичность сохраняется полностью, или что вина лежит исключительно на выходном слое; кроме того, речь идет о токенах с сбоями Pythia с независимой маркировкой, а не о восьми кандидатах-моделях. Чтобы отличить плохую интерпретацию данных от конкуренции, зависящей от контекста, потребуются причинно-следственные вмешательства.
Что подтверждают доказательства и где они останавливаются
Основной вывод заключается в наличии повторяющейся разницы между успехом изолированной копирования и чувствительностью к контексту. Общие банки данных позволяют оценить тенденцию к копированию для каждого токена без необходимости поиска враждебного контекста для каждого из них. Примеры декодирования показывают, что некоторые расхождения являются буквальными ошибками копирования, а эксперименты с заданиями демонстрируют, что отдельные кандидаты теряют свою идентичность вне шаблона копирования. Ассоциации, связанные с эмбеддингами, относят эту группу к предыдущим исследованиям, посвящённым ошибкам копирования, однако их неравномерная польза исключает возможность рассматривать геометрию как полное объяснение или проверенный детектор.
Несколько ограничений определяют объём исследования.
- Вероятностный класс. Кандидаты определяются с помощью порога вероятности, причем связь между этим порогом и реальной ошибкой декодирования является лишь частичной. Результаты, полученные при строгих критериях и после проверки продолжений, усиливают аргументы в пользу данного подхода, но не заменяют анализ argmax для всей выборки; более точная оценка распространенности должна учитывать результаты изоляции и идентичность контекстуального вывода каждой ячейки.
- Искусственные носители. Носители в виде списков слов являются искусственными, а специфика модели влияет на то, что измеряется. Прямое вставление идентификатора позволяет определить идентичность цели, но может создавать входные данные, которые токенизатор не сгенерировал бы. Задачи с строками отчасти помогают, однако самый надежный тест на наличие естественных сущностей дал отрицательный результат после применения существующих контрольных методов. Ничто не позволяет экстраполировать уровень распространенности на обычный текст или рассматривать оценку как свойство токена без учета контекста.
Самым прямым следующим шагом является заранее устранение четырех проблем (тест изоляции, оценка кандидатов, построение эталона и распределение контекста), а затем тестирование на независимых данных. Предоставление информации об ошибках типа argmax в целевой позиции, точности копирования всей последовательности и сохранении точных строк наряду с вероятностными показателями позволит связать чувствительность скрининга с сбоями, которые могут быть замечены. Утверждения о открытии лучше обосновываются точностью и воспроизводимостью при фиксированном бюджете на проверку, чем только ретроспективным показателем AUROC.
Что необходимо для воспроизведения
Для воспроизведения требуются изменения в модели и токенизаторе, идентификаторы выбранных токенов, полные идентификаторы контекста с слотами для вставки, форматирование промпта, пороговые значения, код для числовой точности и оценки, а также матрицы, специфичные для конкретной сессии, и метаданные среды. Веса никогда не изменяются. Для графика проекции также требуются отрисованные идентификаторы, маски классов, предварительная обработка эмбеддингов, параметры и семена алгоритма UMAP, причем охват генерации ограничивается конфигурациями, прямо указанными в отчете.
Количество кандидатов различается в разных анализах. В кратком обзоре результатов суммарное количество составляет 296, 418 и 684 для моделей Qwen2.5-7B, Qwen2.5-72B и Qwen3-235B соответственно; в приложении указаны значения 294, 417 и 682, причем каждый анализ сохраняет свои собственные цифры. Количество прогнозов для полубанковской модели также отличается, поскольку для их меток используются другие контексты. Для полного устранения оставшихся различий необходимы списки токенов и маски исключения.
Записанный протокол постепенно изменялся: менялись блок изоляции, размер выборки, фильтр для генерации исходных данных и система оценки на уровне строк. Взятие проб осуществляется в соответствии с количеством строк в каждом ряду, поэтому использование заполнителей снижает степень перекрытия идентификаторов между образцами Qwen2.5 и Qwen3; кроме того, масштабирование идентификаторов внутри Qwen2.5 так и не проходило тестирования. Эти решения являются частью экспериментальных спецификаций и ограничивают возможность чтения данных между разными моделями.
Шаблоны запросов и тестовые элементы
Используемые выше краткие метки не включают инструкции и суффиксы квантизации. Точные версии чекпоинтов и токенизаторов, изменения в загрузчиках и версии среды указываются в манифестах запуска.
Шаблон копирования начинается с одной краткой инструкции:
Repeat the text exactly.
Затем следуют две пары для демонстрации и поле для окончательного текста. Заканчивающийся префикс копируется по указанию учителя, а целевая вероятность определяется по его позиции копирования. Фразы в квадратных скобках в исходном шаблоне описывают экспериментальные вставки и не являются буквальным текстом запроса:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Для изоляции последний слот текста содержит только идентификатор цели. В версии Qwen3.8 инструкции, демонстрации и окончательный текст находятся в ходе пользователя, маркер копирования запускает ход ассистента, а функция обработки мыслей отключена. Токенизированные разделители являются частью спецификации выполнения, поскольку декодированный строковый промпт не позволяет полностью определить последовательность идентификаторов.
Промпт для идентификации OLMo запрашивает, что представляет собой токен, чтобы точно его идентифицировать, а затем пошагово объяснить, что он означает:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Префикс помощника — Дайте мне внимательно обдумать это. Отдельные запросы с простыми токенами переводят цель на ход пользователя в рамках шаблона каждой модели, причем настройки «обычные» и «для размышлений» считаются разными конфигурациями. Воспроизведение — это появление чего-либо в выводе, оцениваемое по точному ID и декодированной строке отдельно, и для него не требуется правильного объяснения.
Дальнейшая проверка и детали геометрии
Размеры наборов ссылок различаются в зависимости от модели: от 36 токенов у Flash-Next до 442 у OLMo-2-7B, у большинства моделей Qwen — 100, а у Qwen3.8-27B — 50. Дополнительный диагностический показатель подсчитывает, сколько из 100 наихудших токенов изоляции также имеют оценку контекста 0,90 и выше; этот показатель варьируется от 36 у Flash-Next до 78 у Qwen3-32B. Поскольку эти значения получаются на разных этапах выборки, их недостаточно для воссоздания каждого набора ссылок, поэтому полная маска отрицательного класса должна передаваться при любом воспроизведении.
В модели OLMo оценка направления, полученная от независимо маркированного набора ссылок, и оценка, полученная от немаркированного набора ссылок, отобранного по контексту, обе достигают значения AUROC 0,879, тогда как у 100 наихудших токенов изоляции без фильтрации значение составляет 0,642. Следовательно, создание наборов ссылок является эмпирической частью метода, а не элементом, который можно заменить.
Анализ прогнозов OLMo с использованием метода strict-gate показал 28 положительных меток для полубанков. Статические признаки имеют показатель AUROC 0,911 по сравнению с 0,711 у поверхностных признаков, что соответствует приросту на +0,202 при диапазоне от +0,096 до +0,320; однако это анализ чувствительности для другой группы данных. Небольшие расхождения между значениями, полученными с помощью метода bootstrap, и скорректированными значениями AUROC невозможно устранить на основе имеющихся кратких отчетов.
Значения энтропии для сохраненных неудачных образцов рассчитываются на основе выбранных наихудших ячеек, а не на основе случайной выборки флагов или ошибок, и они отражают распределение в целевой позиции. Для OLMo отсутствуют соответствующие краткие отчеты.
Подробное описание протоколов генерации и выполнения задач
При генерации в режиме «plain-mode» после фильтрации по семени у Qwen3-1.7B остается 31 кандидат, а у Qwen3-32B — 14; при этом в эксперименте с OLMo используется форматирование на основе простых токенов, отличное от эксперимента с инструкциями по идентификации. В ходе этого эксперимента с инструкциями ни один проверенный токен с сбоем не воспроизводился по ID, тогда как среди 32 образцов было воспроизведено 17 контрольных и 11 кандидатских токенов, поэтому изменение промпта влияет на эти показатели и относится к их интерпретации.
Траектории не демонстрируют увеличения энтропии по сравнению с контрольными группами: разница в энтропии между вариантом с сбоем и контролем начинается от +0,27 бит (шаг 8) и заканчивается на -0,29 бит (шаг 255). Среднее значение косинуса для пар состояний в конечном состоянии стремится к нулю для обеих групп, поэтому признаков общего аттрактора конечного состояния нет. Семена с наихудшей изоляцией выбираются на основе показателей изоляции с использованием фильтра печатаемых строк и не обязательно относятся к геометрической классе эталона. В тех случаях, когда записывались строки, объем выборки был небольшим: восемь семян и восемь контрольных примеров на модели Qwen3-1,7B в рамках эксперимента OLMo.
В каждом шаблоне простой инструкции место замены заполняется идентификатором целевого токена, а не перетокенизированной интерполированной строкой. Существует пять таких шаблонов:
- Называние функции: написать функцию на Python, название которой точно совпадает с именем токена, возвращающую сумму списка чисел; приводится только код.
- Цитата названия: приведите название документа в двойных кавычках и больше ничего не пишите; название должно служить примечанием к токену и связанным вопросам.
- Поиск в списке: в нумерованном списке элементов «фонарь», «токен», «порт» и «компас» укажите только второй пункт.
- Исправление орфографии: исправьте ошибки в предложении о необходимости подать форму токена до пятницы или оставьте его без изменений.
- Краткое изложение: подготовьте краткое изложение заседания комитета, на котором токен представил неизменный бюджет, сохраняя собственные имена в исходном виде.
Некоторые шаблоны требуют точного указания названий, а задание на проверку орфографии позволяет вносить исправления, поэтому важно сравнивать задания по отдельности. Каждая ячейка соответствует десяти эпизодам на курс.
В заданиях с использованием инструментов требуется:
- Конфигурация: краткое объяснение, состоящее из двух-трех предложений, причин того, почему сервис игнорирует ключ конфигурации, заданный через переменную среды, с использованием поиска в документации, просмотра страницы и быстрой проверки.
- Предыстория: заметка объемом менее 80 слов для новичков, содержащая определение, два факта и ссылку на страницу.
- Применение: рекомендация относительно использования, пробного применения или избегания данного токена, с двумя причинами, полученными с помощью инструментов.
- Значение: пояснение для англоязычного читателя того, что означает этот термин и откуда он взялся, с примером предложения.
- Обновление: ответ «да» или «нет» с одним предложением обоснования относительно того, изменило ли последнее обновление стандартную конфигурацию.
В тестовой среде запрос, содержащий целевую строку, возвращает три полезных результата: документацию, примечания к выпуску версии 2.4.1 и открытую проблему; остальные запросы возвращают обычные страницы. Страницы открываются нормально, а проверка библиотеки указывает версию. Это экспериментальные примеры, не имеющие отношения к реальным библиотекам, связанным с приведёнными строками. Запуск считается завершённым, если в течение шести раундов получен окончательный ответ; он повторяется, если возникает идентичный запрос, а в случае указания версии без поддержки инструментов фиксируется симуляция версии. Один раунд может включать несколько запросов.
Цели класса Glitch выдерживают первый запрос с показателем 0,02 как в режимах Qwen3.8-27B, так и в четырёх других конфигурациях, а в окончательном ответе — с показателем 0,02 для режима Qwen3.8-27B и 0,00 в остальных. Эти показатели измеряют степень включения лексики и не оценивают степень достоверности.
Связанная литература
- Практические заметки: Что такое Retrieval-Augmented Generation (RAG)? Практическое руководство — Подробное пошаговое руководство по практическим заметкам: Что такое Retrieval-Augmented Generation (RAG)? Практическое руководство: шаблоны контрактов, проверок и готового кода для команд, использующих эту технологию.
- Переранжирование в RAG: Cross-Encoders против оценщиков на основе LLM и фактор задержки — Как вторичный механизм переранжирования улучшает порядок кандидатов в RAG, сравнение Cross-Encoders с оценщиками на основе LLM, затраты на задержку, возможные сбои и способы их оценки.