Копіювання окремо – невдача в колективі: контекстуальна крихкість токенів, які проходять тест копіювання в ізольованому середовищі.
Перевірка восьми моделей з відкритою вагою на токени, які правильно копіюються окремо, але втрачають свою функцію або змінюються в контексті, з перевіркою геометрії ембеддингів, збереження завдання та використання інструментів.
Правильне повторення токену, коли він стоїть окремо, мало говорить про те, чи виживе той самий токен у довшому тексті. У цьому дослідженні розглядаються елементи словникового запасу, які пройшли тест на ізольоване копіювання, але зазнають невдач при розміщенні в контексті. Було протестовано вісім моделей з розподілом ваг Qwen та OLMo. Фіксовані ідентифікатори токенів були додані до спільних банків послідовностей поширених слів, фіксувалась ймовірність з’явлення потрібного токену у його позиції копіювання, а окремі випадки невдалих декодувань перевірялися вручну. Метод на основі ймовірностей виявив від 0,4% до 10,9% токенів, які пройшли тест на ізоляцію, принаймні в десятій частині перевірених контекстів. Ці цифри показують, скільки токенів виявляє цей метод, але нічого не говорять про кількість токенів, які спричиняють підтверджені помилки декодування.
Оцінки фільтрації за кожним токеном значно збігаються між двома частинами набору контексту, при цьому коефіцієнти кореляції становлять від 0,82 до 0,95. Збережені приклади демонструють видалення, заміну, скорочення та переклад; деякі з них були створені у момент, коли розподіл результатів був сильно концентрованим. Інше питання полягає у тому, чи дозволяє близькість у просторі ембеддингів до відомих токенів або токенів, пройшлих фільтрацію в контексті, ідентифікувати цю групу. Кращий з показників близькості вхідних та вихідних ембеддингів досягає значення AUROC від 0,744 до 0,881 у семи моделях, хоча статичні ознаки перевершують базові ознаки поверхневого аналізу лише у трьох з них. У кількох завданнях з інструкціями та імітацією використання інструментів обраних кандидатів зберігають рідше, ніж стабільні контрольні екземпляри. Окремий тест із назвами природних ентитетів не виявив додаткової прогностичної цінності порівняно з уже наявними контролем. Це призводить до контрольованого опису контекстуальної схильності між токенами, які проходять тест ізоляції, з доказами її відтворюваності, її геометричних асоціацій та ефектів на рівні завдання. У тексті обґрунтовується необхідність контекстуальної перевірки та залишаються відкритими як можливості подальших досліджень, так і прогнозування того, який контекст спричинить певну помилку.
Токен, який копіюється окремо та зникає в складі більшої послідовності
Модель може відтворити токен, коли їй просять скопіювати його окремо, а потім замінити саме цей токен, коли він з’являється в межах довшої послідовності для копіювання. Невідповідність має значення тоді, коли частиною інструкції є буквальна ідентичність: цитування назви, збереження ідентифікатора в недоторканному вигляді, повернення елемента списку чи введення імені в запит до інструменту. Чітка відповідь може задовольнити завдання на перший погляд, при цьому змінюючи саме той елемент, про який йдеться в завданні.
Конкретний приклад походить від OLMo-2-7B та токену according з ідентифікатором 4184. Декодування та перекодування рядка повертає той самий ідентифікатор. У тесті на ізольоване повторення правильне продовження має логічну ймовірність -0,001. Однак у послідовності deliver rel behind according sent floor wrong модель виводить sent на позиції, призначеній для according, та продовжує з наступного слова. Ймовірність неправильного виведення дорівнює 1,000, а ентропія — 0,00 бітів. У 48 вибраних контекстах записані продовження пропускають according у 44 випадках та відтворюють його з ймовірністю близько 0,999 у чотирьох інших. Модель, ідентифікатор токену та інструкція копіювання залишаються незмінними протягом усього процесу, змінюються лише навколишні умови.
Попередні дослідження глітч-токенів стосувалися неможливості відтворення чи маніпулювання певними елементами словникового запасу за допомогою методів виявлення на основі ембеддингів, класифікаторів, варіацій запитів та багатозадачної оцінки (наприклад, Land та Bartolo, 2024; Li та ін., 2024; Zhang та ін., 2024; а також Wu та ін., 2026 та Tang та ін., 2026). Тут поставлено вужче питання: чи залишається токен вразливим після проходження встановленої перевірки на ізоляцію, коли він копіюється всередину довшого тексту, та чи можна послідовно виміряти цю слабкість?
Термін „крихкий токен“ використовується для позначення цієї умовної класифікації поведінки. Належність до цієї класифікації залежить від моделі, протоколу копіювання та контексту. Цей термін не стверджує, що вразливість є незалежною від контексту, і не припускає, що помилки ізольованих тестів та помилки, пов’язані з контекстом, мають спільну причину. У основних експериментах використовується метод імовірнісного відбору для визначення кандидатів до цієї класифікації, причому цей метод залишається окремим від перевірених помилок декодування.
Наведені три дослідження. По-перше, популяцію ізольованих токенів, які проходять процедуру перевірки, вимірюють за допомогою спільних банків контексту та фіксованих ідентифікаторів токенів, щоб можна було порівнювати їхню схильність до впливу у різних контекстах, під час незалежних запусків та з різними конфігураціями моделей. По-друге, перевіряються геометричні сигнали, пов’язані з відомими токенами з багами, щоб з’ясувати, чи вони також дозволяють розрізняти кандидатів у межах цієї популяції порівняно з поверхневими ознаками та випадковими наборами даних. По-третє, у дослідженні вивчається, чи виживають обрані кандидати під час подальших інструкцій та симульованих взаємодій з інструментами, і повідомляється однозначно негативний результат щодо прогнозування назв природних ентитетів.
Цей результат емпірично розширює підхід до оцінки токенів із помилками. Він не стверджує, що було винайдено метод виявлення помилок на основі ембеддингів, ані що попередні дослідження повністю ігнорували контекст. Він пояснює, чому результат ізоляції слід вважати однією з умов вимірювання, а не загальним підтвердженням того, що токен буде точно скопійований.
Місце цього дослідження серед попередніх робіт
У ранніх звітах описувалась дивна поведінка моделі з певними токенами під різними запитами, а деякі з цих токенів пов’язувалися з незвичайними областями простору ембеддингів (Rumbelow та Watkins, 2023). У пізніших дослідженнях були створені систематичні методи виявлення та процедури оцінки, які забезпечують як метод, так і точку порівняння для токенів із високою чутливістю до помилок.
Фреймворк Magikarp від Land та Bartolo (2024) використовує показники, отримані з ембеддингів, для пошуку кандидатів на недостатньо навчені токени, а потім перевіряє їх за допомогою поведінкових тестів. Його аналіз включає альтернативні запити та приклади з копійованими списками коду. Li та інші (2024) широко визначають поняття «проблемної поведінки» та тестують повторення, орфографію та довжину; їхній GlitchHunter виявляє проблемні ділянки за допомогою графа ембеддингів та ітеративного кластерування. Тож ні генерація геометричних кандидатів, ні використання навколишнього тексту запиту тут не є чимось новим.
GlitchProber класифікує токени на основі ознак уваги та MLP та досліджує способи їх мінімізації шляхом зміни проміжних активацій (Zhang et al., 2024). GlitchMiner використовує дискретну оптимізацію, керовану ентропією, з локальними сусідствами ембеддингів, та перевіряє кандидатів за трьома шаблонами повторення (Wu et al., 2026). Експерименти в цьому дослідженні відрізняються тим, що ваги моделі заморожуються, а оцінка контекстуальної чутливості здійснюється лише після перевірки успіху в тесті ізоляції. Неправильні результати з низькою ентропією впливають на цю оцінку, але їхня проста наявність не свідчить про те, що детектор, керований ентропією, пропустить токен при кожному запиті.
Найближчим прикладом порівняльних досліджень є робота Tang та співавторів (2026). Їхній GlitchQuiz включає вісім завдань, серед яких складання речень та абзаців, повторення та відтворення інформації у кількох кроках. У ньому демонструється токен, який проходить прості тести, але провалюється на іншому завданні, причому автори визнають, що можуть існувати ще й інші причини невдач, які не були враховані під час повної оцінки. Основним внеском цього дослідження є багаторазове вимірювання однієї й тієї самої операції копіювання в межах спільних банків контексту серед особин, які проходять випробування на ізоляцію, з подальшим аналізом її відтворюваності та можливостей прогнозування. Проходження випробувань на ізоляцію в цих експериментах не означає проходження GlitchQuiz, і не стверджується, що невдачі токенів залежать виключно від типу завдання.
Експерименти безпосередньо порівнюють наявні мітки Magikarp для трьох конфігурацій моделей. Це не повторне тестування всіх п’яти систем одна проти одної за допомогою єдиного контекстуального оракула, тому не робляться твердження щодо порівняльної точності чи ефективності цих систем.
Іншим поясненням є рідкісність. Yu та співавтори (2022) досліджують, як градієнти, що діють на ембеддинги рідкісних токенів, можуть спричиняти деградацію їхнього представлення. Це стимулює порівняння з поверхневими ознаками, пов’язаними з рідкісністю, проте це не вирішує питань історії навчання чи причинно-наслідкових механізмів цих токенів. Ознака token-ID, яка використовується тут, є лише замінником порядку словника та не вимірює частоту попереднього навчання.
Експериментальна налаштованість
Моделі та зразки
Основні експерименти з копіювання охоплюють вісім моделей з відкритою вагою у двох родинах: одну модель OLMo-2 та сім моделей Qwen трьох поколінь. Окреме дослідження представлення використовує Pythia-1.4B та розглядається як допоміжний експеримент, тому висновки з дослідження копіювання восьми моделей не слід припускати як стосувані до Pythia чи інших родин.
Вибір зразків здійснюється шляхом стратифікації за діапазоном ID токенів у межах кожного словника. Моделі Qwen використовують від 4 200 до 8 400 ID кожна, тоді як OLMo-2-7B має початковий зразок у 2 098 та зразок для повторення у 6 273. Кожен вибраний токен потрапляє до кожного контексту під час його виконання. Контексти беруться з банків випадкових послідовностей поширених слів, причому кожне слово окремо проходить перевірку на копіювання. Довжини послідовностей становлять 8, 16, 32 та 64, а цільовий елемент займає випадкове внутрішнє положення. Такі послідовності є контрольними списками слів, а не граматичними текстами.
Розміри словників підраховуються як кількість рядків ембеддингів, а два найбільші моделі — Flash-Next та 235B — працюють з чекпоїнтами у форматі FP8. Команда OLMo (2025) та команда Qwen (2025a, 2025b, 2026a, 2026b) описують ці родини моделей. Токенайзер, архітектура, процес навчання, форматування та рівень точності відрізняються між конфігураціями, тому ієрархія моделей є набором їхніх версій та не дозволяє ізолювати вплив кількості параметрів.
Протокол копіювання та ідентичність токенів
Кожен запит на копіювання містить два приклади та потім послідовність, яка містить цільовий текст. Засіб ізоляції повторно використовує цю шаблонну структуру, де цільовий текст є єдиним текстовим елементом. Запити формуються з ідентифікаторів токенів, що забезпечує постійність ідентифікатора цільового токену, навіть коли все навколо нього змінюється.
Цей вибір відокремлює поведінку моделі від процесу повторної токенізації. Додавання пробілу до розкодованої рядка токенів може змінити спосіб його сегментації ще до того, як модель його побачить. Пряме вставлення ID уникає цієї проблеми, але водночас дозволяє створювати послідовності, які зазвичай токенізатор не створював би зі звичайного рядка. Тому копіювання за допомогою Exact-ID відрізняється від збереження рядка, і твердження щодо їх використання в повсякденному тексті є обмеженими. Канонічний приклад according демонструє, що цей ефект не обмежується лише неканонічними рядками.
Вчитель-змушувач надає очікуваний скопійований префікс перед тим, як буде прочитано значення у вихідній позиції цілі під час розподілу. Позначимо як q0(t) ймовірність того, що модель вибере ідентифікатор цілі t у пробі ізоляції, а як q(t,c) — ймовірність у відповідній позиції в контексті c. Невелике значення свідчить про слабку підтримку необхідного токена навіть після наявності правильного префікса. Воно не може показати, як би виглядало подальше продовження без помилок, якщо раніше вже сталася помилка.
Конфігурації Qwen3.8 розміщують інструкції, демонстрації та кінцевий текст у частині чату, призначеній для користувача, починають частину асистента з Copy: та продовжують обробку без зупинки. Усі інші варіанти використовують сирому формату послідовність кількох прикладів, причому форматування ніколи не змінюється в межах однієї моделі. Це має значення: за сирим форматуванням моделі Qwen3.8 часто починають новий рядок та інакше токенізують пробіли на початку рядка. Із 2 000 перевірок на поширені слова 3 випадки вдалися за сирим форматуванням, тоді як чатове форматування спрацювало 1 921 раз у моделі 27B та 1 925 раз у Flash-Next.
Поведінкова крихкість та екран ймовірностей
Визначте жадібне прогнозування моделі у позиції копіювання цілі з урахуванням префіксу, нав’язаного вчителем. Емпіричний рівень помилки копіювання для банку контекстів з m контекстами — це частка випадків, коли цей прогноз не збігається з ціллю. Токен із слабкою поведінковою стабільністю провалює зазначений ізольований тест та все одно робить контекстуальні помилки, а кількісна класифікація також встановлює поріг для рівня помилок. Невдача всієї скопійованої послідовності є іншим результатом, оскільки помилки можуть виникати до або після позиції цілі.
Агреговані експерименти проводяться на відповідному екрані ймовірностей. Основний бар’єр ізоляції пропускає токени, чия ймовірність ізоляції q0(t) перевищує 0,5, що робить t єдиним результатом грейзі-алгоритму. Ця умова достатня для ізольованого проходження за алгоритмом грейзі, хоча деякі проходження не відповідають їй. Більш суворий бар’єр, який використовується у аналізі чутливості OLMo, вимагає, щоб ln q0(t) було вище -0,1, або ж q0(t) — приблизно вище 0,905.
Клітинку позначає контекстуальний екран, коли ln q(t,c) є нижчим за -0,5, тобто q(t,c) становить близько 0,607. Оцінка чутливості токена — це частка його контекстів, які позначені. Кандидати, які пройшли бар’єр, отримують оцінку 0,10 або вище; стабільні контролі пройшли та отримують рівно нуль; токени, що знаходяться між ними, утворюють проміжну групу. Для наборів з 24 контекстами кандидату потрібно щонайменше 3 позначені клітинки, а для наборів з 48 — щонайменше 5.
Показники екранування та частоти помилок не слід об’єднувати. Уявіть токен із ймовірністю 0.55 як окремо, так і в контексті: він проходить через головний бар’єр та водночас позначається в контексті, проте його ймовірність не знижується, а результат його алгоритму є правильним. Тож повідомлена поширеність екранування не є ні оцінкою поведінкової поширеності, ні її верхньою межею. Строгий бар’єр усуває це конкретне перекриття, але ймовірність у контексті, менша за 0.607, все одно не доводить, що значення argmax є неправильним. Декодовані зразки використовуються для демонстрації справжніх помилок, а сукупні результати ймовірностей залишаються позначеними як показники екранування.
Класи посилань та збережені зразки
Для OLMo-2-7B існує окремий набір з 442 токенів з помилками, перевірених Magikarp. Жоден з них не пройшов основний етап ізоляції, а їхня середня контекстуальна оцінка у початковому наборі становить 0,993. Інші моделі не мають таких позначок, тому їхні набори для порівняння поєднують слабку ізоляцію з контекстуальною оцінкою 0,90 або вище. Контекстуальна перевірка є необхідною, оскільки погана ізоляція може бути спричинена форматом запиту, а не постійними проблемами з копіюванням.
Кожен перевірений токен додає до сховища зразків три свої найгірші контекстуальні клітинки плюс одну контрольну клітинку. У записі зберігаються ID контексту, цільова позиція, ймовірність очікуваного токена, п’ять найімовірніших ID результату з відповідними ймовірностями, ентропія та, якщо відбувалося генерування, результат жадібного продовження. У полях походження вказуються назва моделі та версія чекпоїнта, точність, метадані архітектури та версії програмного забезпечення. Такі записи дозволяють проводити випадкові дослідження. Оскільки вони вибирають найгірші клітинки, вони не можуть показати, як розподіляється рівень впевненості серед усіх контекстуальних помилок.
Помилки класифікуються за описовим принципом на видалення, заміну, скорочення та переклад, причому вказується конверсія шрифту у випадках її наявності. Щоб назвати щось видаленням, потрібні докази того, що модель переходить до наступного тексту, адже окреме читання верхнього токена не може розкрити, як розвиватиметься весь продовження. Ентропія менше 2 бітів слугує лише позначкою для концентрованого збереженого розподілу. Це не є каліброваним показником правильності виконання завдання чи того, чи виявить модель сумніви.
Наскільки чутливі процедури ізоляції?
Рівень поширення фільтрації
З використанням основного фільтра кількість кандидатів становить від 0,4% у Flash-Next, де 15 з 4 047 токенів відповідають критеріям, до 10,9% у Qwen3-235B, де таких токенів — 684 з 6 277. Вибірковий словниковий запас, фільтр, розподіл контексту та поріг впливають на цей діапазон; при цьому не оцінюється ні поширеність у природному тексті, ні частка всіх токенів, які можна без обмежень повторювати.
Завдяки суворому фільтру у OLMo-2-7B у першому наборі з 873 токенів є 14 кандидатів (1,6%), а у наборі для реплікації з 1 888 токенів — 29 (1,5%). Ймовірність їхньої ізоляції значно перевищує контекстуальний поріг, тому вони використовуються для перевірки наявності перекриття між двома порогами. Швидкість виникнення підтверджених помилок argmax все ще потрібно вимірювати безпосередньо.
Обмеження порівняння лише ID, спільними для різних моделей, зберігає частину різниці між конфігураціями. Візьмемо 1 592 ID, які пройшли обидві перевірки у Qwen3-1.7B та Qwen3-235B: кандидати становлять 2,0% серед них у першій моделі та 6,2% у другій. Для 1 569 ID, спільних для Qwen3-32B та Qwen3-235B, цей показник становить 0,8% та 4,3% відповідно. Це зменшує різниці у виборі даних, але не дозволяє відрізнити масштаб від архітектури, точності чи процесу навчання.
Відтворюваність та роль контексту
Оцінки за токеном з обох частин контексту корелюють у діапазоні від 0,82 до 0,95 у всіх вісьмох моделях. Більш складне відтворення на Qwen3-32B подвоює обсяг даних та використовує новий банк контексту. Оцінки для 4 200 спільних ID тоді корелюють на рівні 0,984, і 12 з початкових 15 кандидатів все ще відповідають критеріям. Переоцінка збережених матриц для Qwen3-32B та Qwen2.5-72B на іншому обладнанні дозволяє відтворити 99,9% та 99,6% клітин відповідно, з кореляціями оцінок на рівні токенів 0,9999 та 0,9996.
Розклад дисперсії першої матриці OLMo показує 95,2% на токен, 0,1% на контекст та 4,7% на залишок. Для групи з суворими критеріями ці показники становлять 71,7%, майже нуль та 28,2% відповідно. Це значне зниження частки токенів має важливе значення: у всьому досліджуваному наборі більша частина варіації просто розділяє суттєво пошкоджені токени від надійних, тоді як значна кількість нез’ясованої варіації залишається всередині групи з суворими критеріями.
Усе це підтримує ідею про відтворювану чутливість на рівні токенів у рамках вибраної розподілу, і це не свідчить про те, що контекст, який спричиняє ефект, є нерелевантним. Незначний основний ефект контексту означає, що жоден носій не є складним для кожного токену, що сумісно з сильною варіацією між токенами та контекстами. У відповідності з цим, прогнозування клітин OLMo на основі оцінки токену в іншому місці дає AUROC 0,94, на відміну від 0,56, отриманого на основі складності носія для інших токенів. Ознаки схожості токен-контекст не додають жодної користі.
Довжина має значення для певних груп. У зразку OLMo з жорсткими критеріями частки позначених клітин становлять 0,005, 0,008, 0,008 та 0,008 при довжинах 8, 16, 32 та 64 відповідно. Для кандидатів Qwen2.5-72B найкоротші носії позначають 33% клітин, а найдовші — 52%. Таким чином, ранжування чутливості є більш зрозумілим, ніж умови, які спричиняють будь-яку окрему помилку.
У порівнянні з оприлюдненими мітками Magikarp
Якщо порівнювати з наявними записами Magikarp, жоден із кандидатів у трьох модельних порівняннях не є підтвердженим токеном з помилкою. Більшість з них вважаються прийнятними згідно з цією процедурою, а кілька класифікуються як недекодовані, що не означає, що вони є справді бездоганними. Деякі вже потрапляли до набору геометричних кандидатів Magikarp, перш ніж їх відхилили під час перевірки поведінки. У порівнянні Qwen2.5-7B використовується 294 кандидати, а у резюме сортування — 296, оскільки обидві аналізи ґрунтуються на різних наборах даних.
Отже, контекстуальний фільтр виявляє поведінку, яка не належить до наявних наборів підтверджених помилок. Це не є доказом того, що кожен контекстуальний кандидат є справжньою помилкою копіювання, ані того, що інші детектори пропустять їх під час виконання власних завдань оцінки. Щоб квантифікувати це більш широке твердження, потрібне порівняння з загальноприйнятим оракулом.
Доведені помилки та їх концентрація
Випадок according вже демонструє справжню помилку копіювання, попри майже безумовний успіх у окремих випадках, а інші збережені випадки показують схожу поведінку у різних мовах та конфігураціях. Оцінка зразка узагальнює дані про токен у всій його базі, тоді як відображена емісія — це лише один обраний випадок, тому обидва показники мають різну вагу як докази. Ці зразки є ілюстративними та не вказують частоту жодного з способів виникнення помилок.
У всіх семи конфігураціях Qwen частка обраних збережених зразків із помилками, ентропія яких становить менше 2 біт, коливається від 14% до 74%. Деякі помилки виникають при дуже концентрованих розподілах, а інші — при розсіяних. Ці записи підтверджують наявність помилок із високою ймовірністю, але вони не підтверджують ні твердження про те, що контекстуальні помилки зазвичай є такими, ні твердження про те, що вони ніколи не супроводжуються невизначеністю.
Геометрія вбудовування та прогнозування
Оцінки та їхня вартість
Геометричний аналіз перевіряє, чи кандидати можна вимірювано пов’язати з набором референтних елементів моделі. Для токена t береться його рядок e(t) у матриці ембеддингів вхідних чи вихідних даних, і знаходяться п’ять референтних токенів із найвищою косинусовою схожістю у цьому просторі. Оцінка близькості узагальнює схожість із цими п’ятьма токенами. Друга оцінка проєктує ембеддинг вхідних даних на пряму, що проходить від середнього значення словника до середнього значення ембеддингів референтних елементів, тож близькість є локальною, а проєкція — глобальною. Після наявності набору референтних елементів та ембеддингів для нового токена не потрібен додатковий процес обробки. Однак створення набору референтних елементів, пройдений через поведінкову перевірку, вимагає запуску моделі, і ця витрата враховується у будь-якому процесі порівняння з самого початку до кінця.
Аналіз адаптованих прогнозів порівнює чотири рівні ознак:
- Базові параметри поверхні: ідентифікатор токена, довжина розкодованої стрічки та наявність пробілу на початку, літерність чи належність до формату ASCII.
- Статичні показники: норми рядків та відстані до центроїда для вхідних та вихідних ембеддингів, схожість за принципом найближчого сусіда, пряма самооцінка вхідних та вихідних даних із маржою конкурентів, а також проекція напрямку збою. Оцінка близькості п’яти сусідів не входить до цього рівня оцінки.
- Динамічні показники: підсумки представлення цільової позиції за пів частини контекстів, такі як її розкид, норма та відповідність рядку вихідних даних цілі.
- Поведінкові показники: показники копіювання, отримані з тих самих контекстів.
Динамічні та поведінкові рівні використовуються для прогнозування мітки кандидата так, як вона зустрічається у решті половини контекстів. Адаптація здійснюється за допомогою логістичної регресії з регуляризацією L2 поза межами набору даних, порівнюючи її з базовою моделлю за допомогою спареного бутстрепу. Оскільки обидва рівні потребують переднього проходження даних, вони не є схемами, які враховують лише ваги, а мітки з напівбанку дають позитивні підрахунки, на відміну від схем з повним банком.
Посилання на клас посилань на збої
Близькість вимірювалася окремо у вхідному та вихідному просторах. Вибір кращого з цих двох просторів для кожної моделі дає показники AUROC від 0,744 до 0,881 у семи конфігураціях із незв’язаними ембеддингами. Це описовий вибір для кожної окремої моделі, а не результат застосування одного заздалегідь визначеного показника однаковим чином у всіх випадках. Нижчі значення для Qwen3-1.7B також включені до звіту.
Те, який простір несе сигнал, залежить від моделі. OLMo-2-7B має оцінку 0,846 за близькість вхідних даних та 0,528 за близькість вихідних даних, тоді як Qwen2.5-72B показує протилежні результати – 0,685 проти 0,798. Одного загального напрямку не завжди достатньо; у Qwen2.5-72B цей показник становить лише 0,599, тоді як у Qwen3-32B він досягає 0,898 та перевершує обидві оцінки близькості. Тому геометричні зв’язки залежать від моделі, і не існує універсальної форми.
Заміна набору даних з ефектом помилок на випадковий стабільний набір однакового розміру дає середні значення AUROC від 0,41 до 0,55 протягом десяти вибірок. Тому довільні стабільні набори даних не відтворюють повідомленого ранжування. Це порівняння не дозволяє відрізнити ефект близькості від інших факторів, таких як рідкісність, щільність локального вбудовування чи спосіб вибору набору даних. Простий базовий показник на основі ідентифікаторів токенів насправді показує кращі результати, ніж обидва показники близькості для моделей Qwen2.5-72B та Qwen3-235B.
Оцінити ефект зв’язування ваг не можна на основі даних для моделі Qwen3-1.7B, оскільки ця модель є єдиною конфігурацією зі зв’язаними вагами у дослідженні, і її показники близькості вхідних та вихідних даних відрізняються, незважаючи на те, що вона описується як зв’язана. Ця різниця ускладнює чітке архітектурне тлумачення цього рядка.
Яке місце займають кандидати у проекції
Кандидати знаходяться за межами видимих концентрацій класу з посиланнями на збої. Проекції UMAP рядків результатів ембеддингу за косинусовою відстанню (McInnes et al., 2018) демонструють червоні точки кандидатів, розкидані по великих ділянках сірого фонового населення в моделях Qwen3-1.7B, Qwen3.8-27B та Qwen3-235B, тоді як чорні точки-референси залишаються відносно згрупованими. У моделях Qwen2.5-7B та OLMo-2-7B кандидати знаходяться як поруч із кластерами референсів, так і серед сірих точок. Кольори відображають мітки фільтрації та референсів, проте не підтверджують кожну позначену точку окремо.
Лі та співавтори (2024) спостерігають, що токени з помилками схильні до кластерування у просторі ембеддингів, і саме це спостереження стало підставою для використання ітеративного кластерування графів у GlitchHunter. Ці проекції породжують запитання щодо його обсягу: чи можна застосувати геометрію класу посилань на помилки також до контекстуальних кандидатів, які також усувають ізоляцію? Розкидані червоні точки свідчать про те, що видимі кластери посилань описують цю умовну популяцію лише частково.
Танг та співавтори (2026) також виявили кластерування, підтвердивши його за допомогою порівняння евклідових відстаней та ентропії, виконаних на моделях Llama2-7B-chat та Mistral2-7B-it, та пов’язавши його з поганою диференціацією у шарі вхідних ембеддингів. Проекції вихідних ембеддингів, засновані на косинусі, не дозволяють безпосередньо перевірити цей факт. Моделі без зв’язку між вхідними та вихідними даними вимагають окремої оцінки матриц вхідних та вихідних даних, а розрізнені проекції вихідних даних не можуть показати, що вхідні ембеддинги не містять ознак зазначеного перенаселення.
Це узгоджується з результатами визначення близькості, наведеними вище. Популяція може розтягуватися на кількох регіонах, проте залишатися близькою до референтних токенів у локальному масштабі, тому для отримання корисного рейтингу не потрібен окремий кластер кандидатів. UMAP також спотворює щільність та може створювати штучні розділення (розробники UMAP, без дати), тому ці панелі не виключають можливості кластеризації у первісному просторі. Пряме тестування передбачало б порівняння сусідств та ступеня виникнення контекстуальних помилок у первісному просторі на одних і тих самих контрольних точках, зі збігаючимися просторами вкладення, збігаючимися метриками, незалежно перевіреними помилками та мітками від кожного методу оцінки.
Цінність, що виходить за межі поверхневих ознак
Щодо етикеток контекстуальної половини даних, які залишилися нерозглянутими, статичні ознаки перевершують базову модель на позитивних значеннях для Qwen2.5-7B, OLMo-2-7B та Flash-Next, не дають жодної переваги для п’яти інших моделей та мають негативні значення для Qwen2.5-72B. Динамічні ознаки перевершують їх, при цьому значення для п’яти моделей — OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B та Qwen3-235B — не включають нуля. Це пов’язує контекстуальні представлення з схильністю до певних ефектів, які не може зафіксувати базова модель. Однак це не робить процедуру, засновану на представленнях, дешевшою за пряме вимірювання копіювання в тих самих умовах.
Рівень поведінки досягає значення AUROC від 0,945 до 1,000. Це узгоджується з кореляціями між половинами даних: спостереження за певним токеном у деяких контекстах дозволяє передбачити його мітку фільтрації в інших контекстах, створених за допомогою того самого процесу. Це свідчить про повторюваність, проте мітки та ознаки використовують одну й ту саму задачу копіювання та розподіл контекстів, тому ефективність у нових розподілах природного тексту залишається невиміряною. Цілями є мітки фільтрації на основі ймовірностей, а не мітки з помилкою argmax, перевірені незалежно.
Геометричний попередній відбір є доцільним для визначення того, що перевіряти спочатку, але тут нічого не свідчить про можливість високоточного пошуку в межах фіксованого бюджету. AUROC вимірює ранжування, а не точність обраного списку кандидатів. Щоб довести практичну ефективність пошуку, потрібні оцінки та набір контрольних даних, які спочатку зафіксовані, кандидати, які не перетинаються, бюджет на перевірку набору, а також порівняння з випадковими даними, вибір token-ID та існуючих детекторів, оцінювані за однаковими поведінковими показниками.
Що залишається під час генерації та виконання завдань
Вільна генерація
Зонди з вільним генеруванням перевіряють, чи модель зберігає наданий токен під час його опису чи відповіді на нього. Під час виконання OLMo вимагається точна ідентифікація та пояснення, після чого надається префікс Дозвольте мені ретельно про це подумати. Інші конфігурації розміщують токен окремо у черзі користувача у шаблоні чату. Генерування зупиняється при досягненні 256 токенів. Через різницю у форматуванні ці показники не можна вважати об’єктивним критерієм порівняння.
Необхідні два заходи для відтворення. Один з них перевіряє, чи зустрічається ID насінини де-небудь серед генерованих ID, а інший — чи зустрічається розкодований рядок насінини де-небудь у результаті, навіть із різною сегментацією. Жоден з них не доводить правильної ідентифікації чи точного відтворення повної запитаної послідовності. На моделі Qwen2.5-72B жодне з 32 насінин із найгіршою ізоляцією не повертається під своїм початковим ID, проте 12 з них повертаються у вигляді рядків, оскільки насінину на кшталт _ghost можна записати за допомогою кількох токенів результату.
За наявності генерації показник збереження кандидатського рядка опускається нижче контрольного показника у чотирьох з п’яти порівнянь, а у випадку Qwen3-32B спостерігається нічия. Показники Exact-ID менш однорідні: у випадку Qwen2.5-7B спостерігається нічия, тоді як у Qwen3-32B кандидатські варіанти з’являються 8 разів із 14, а контрольні — 7 разів із 14. Кандидатський варіант може з’явитися навіть у разі неправильної ідентифікації. Вразливість, очевидно, залежить від завдання, і не існує абсолютної неможливості генерувати кандидатський токен.
Насіння, обрані як 32 найгірші у ізоляції для окремих тестів генерації, не слід плутати з посиланнями на збої, викликані контекстом. Перевірки, здійснені за допомогою „вчителя“, надають очікуваному токену ймовірність принаймні 0,5 у 71% з 768 клітин Flash-Next та лише у 0,1% клітин Qwen3-235B. Така різниця є ще однією причиною перевірки поведінки набору посилань у відповідному контексті.
Безкоштовне генерування, перевірка завдань та продовження зразків не виконувалися на двох сумішах FP8, оскільки система оцінювання потребувала приблизно семи секунд на кожен згенерований токен, а обчислення оплачувалися особисто. Тому їхні спостереження щодо наступних токенів не слід розглядати як сліди генерованих міркувань. Генерування без кандидатів також не виконувалося на Qwen2.5-72B.
Інструкції, що вимагають точного формулювання
П’ять шаблонів інструкцій змушують модель зберігати цільовий рядок недоторканим: найменування функції Python, цитування назви документа, повернення елемента списку, виправлення орфографії та узагальнення з збереженням власних імен. Десять обраних токенів на клас, модель та завдання дають 50 епізодів на клас, причому токени вводяться за ID через шаблон чату.
Основний показник перевіряє, чи містить відповідь потрібний рядок, що є значно вужчим критерієм, ніж правильність виконання завдання. Він ігнорує те, чи є код коректним, чи є назва функції допустимим ідентифікатором, та чи є резюме в іншому відношенні вірним. Завдання з орфографією також передбачає нормалізацію, тому його показник залежить від формулювання.
У всіх п’яти конфігураціях кандидати проймають тест рідше, ніж контрольні групи. Інтервали Episode-bootstrap у чотирьох з них не включають значення нуль (OLMo-2-7B, Qwen3.8-27B та обидва режими Qwen3-32B), а Qwen2.5-7B є винятком. Рівень грубого доповнення залишається на рівні від 0.96 до 1.00, тоді як рівень збереження рядків варіюється, тож те, що завдання здається завершеним, нічого не доводить. Кожен токен використовується у різних завданнях, що обмежує їхню незалежність.
Транскрипції уточнюють цю різницю. OLMo-2-7B, отримавши запит на функцію під назвою according, записує sum_list, переписує according як correct у шаблоні правопису та відповідає LocalizableString, коли другий елемент списку є NSLocalizedString. Qwen3-32B у завданні з правописом перетворює realtà на reality. Форма завдання зберігається в цих відповідях, хоча призначений контент змінюється.
Штучні інструменти
Експеримент із інструментами передбачає п’ять завдань навколо цільового терміна: дослідження ключа конфігурації, складання пояснювальної записки, рекомендація щодо використання технології, пояснення терміна та перевірка версії. Дозволяється до шести раундів із використанням функцій search, open_page та run_python; крім того, по 10 токенів на клас дає 50 епізодів для кожної конфігурації.
Середовище підключене до наданого токена. Пошук його точної послідовності повертає документацію, примітки до версії та сторінку з проблемами, тоді як будь-який інший пошук не дає жодних релевантних результатів, лише загальні сторінки. Це перевіряє, чи досягає цільовий термін узагалі виклику інструменту, та не моделює невдач у пошуку в реальному пошуковому двигуні. Моделі Qwen використовують свої власні шаблони інструментів, а OLMo — текстовий протокол, що ще більше ускладнює порівняння між моделями.
У режимі «plain» Qwen3-32B зберігає стабільні цілі у 96% перших запитів та остаточних відповідей, кандидатів – у 74% перших запитів та 68% остаточних відповідей, а цілі типу «glitch-reference» – у жодному з 50 епізодів. Деякі відповіді продовжуються на основі загальних отриманих даних після того, як термін зникає або змінюється у першому запиті.
У Qwen3.8-27B контраст у перших запитах залишається схожим, проте поведінка під час доповнення відповідей відрізняється. У режимі «plain» лише 14% епізодів з проблемами завершуються протягом встановленого часу, порівняно з 66% епізодів із стабільними цілями та 58% кандидатів; крім того, однакові виклики інструментів трапляються у 28%, 10% та 14% відповідно. Режим «thinking» змінює ці показники, а також базовий рівень стабільності. Втрата цілі може тому призвести або до готової загальної відповіді, або до повторного використання інструментів, залежно від налаштувань.
Дані не свідчать про поширене вигадування конкретних отриманих фактів. Фальшиві номери версій зустрічаються лише у кількості від 0,00 до 0,02 на клас та конфігурацію, причому є поодинокі ненульові значення як у групах, пов’язаних із збоями, так і у контрольних групах. Більш помітним ефектом є втрата буквальної мети у запиті чи відповіді. Обрані набори токенів, повторювані шаблони та створене середовище обмежують можливості узагальнення на автономні системи, які виконують природні завдання.
Негативний результат щодо природних назв
Ще один експеримент стосується повсякденних даних: у природному завданні використовується 1 255 справжніх ідентифікаторів коду та власних імен. Оцінка крихкості їхніх складових токенів не допомагає краще прогнозувати неправильну назву ентитета, якщо враховувати рідкісність, оцінки ізоляції компонентів та ймовірність моделі щодо всього ентитета. Значення AUROC змінюється на -0,001, причому 95% інтервал становить від -0,008 до +0,006.
Це обмежує можливості застосування синтетичних результатів на практиці. Дані не свідчать про те, що критерій контексту пояснює помилки назв природних об’єктів краще, ніж існуючі фактори, або що рідкісність спричиняє будь-який з цих ефектів, чи що всі можливі зв’язки між крихкістю токенів та галюцинаціями виключені. Висновок полягає у тому, що цей експеримент не виявив додаткової прогностичної сили.
Додаткові аналізи
Пари токенів
У експерименті з факторним копіюванням досліджується, чи пари токенів завдають більшої шкоди, ніж їхні окремі елементи. Є два слоти на відстанях 2, 4, 8, 16, 32, 64 та 128, у кожному з яких розміщується по два незалежні елементи. Кожну впорядковану пару тестують чотирма способами: за наявності обох цілей, лише з однією з них поруч із контролем та лише з контролем. Контраст взаємодії обчислюється як сумарний бал мінус сума балів кожної з окремих цілей плюс бал контролю.
Ця модель використовує адитивну структуру в межах кожного носія даних, стандартизує залишки, переставляє елементи всередині кожного носія та застосовує корекцію Бенджаміні-Хохберга при q = 0,05 (Benjamini and Hochberg, 1995). Її критерій підрахунку визначає кількість відхиленних пар на основі 95-го перцентилю, отриманого з двадцяти симульованих наборів даних, у яких взаємодії є суто адитивними. Жоден з наборів даних не пройшов перевірку: кожен набір OLMo відхиляє 1 з 4 032 пар, Qwen3-32B — 13 з 1 190, а Qwen3-235B — 1 з 2 256.
Це не означає відсутності взаємодії. Тести з максимальною статистикою є значущими для пулів OLMo та Qwen3-32B, а для Qwen3-235B значення p становить 0,059. Критерії досліджують різні частини розподілу взаємодії, тому обидва варіанти залишаються у звіті. Контрасти з повторюваними токенами в середньому є позитивними, що свідчить про сприяння в цих носіях: +0,005 для OLMo при розділенні 2 та +0,018 при розділенні 128. Жоден з цих показників не демонструє універсальної адитивності, відсутності рідкісних шкідливих комбінацій чи механізму, заснованого на індукції, а позитивні значення можуть приховувати негативні взаємодії для окремих пар.
У змішаних пулах п’ять токенів OLMo спричиняють 47% випадків невдач у носіях, а п’ять токенів Qwen3-32B — 57%. Така концентрація робить опис чутливості на рівні токенів корисним узагальненням, проте невдачі, які не повторюються серед заповнювачів, свідчать про те, що це узагальнення не є незалежним від контексту.
Чи залишається ідентичність?
У експерименті Pythia-1.4B 36 перевірених токенів з пошкодженнями та 1 088 контрольних токенів розміщуються в кінці вісімнадцяти контекстів (модель описана Biderman та ін., 2023). На кожному шарі модель намагається зіставити контекстуальний стан токена з його станом у іншому контексті серед 1 124 кандидатів, віднявши складову, яка є спільною для всіх контекстів. Токени з пошкодженнями ідеально збігаються від шару ембеддингів до 12-го шару, а контрольні токени — зі збігом від 0,988 до 1,000. На останньому шарі точність знижується до 0,880 та 0,874. Отже, значна кількість інформації про ідентичність залишається відновлюваною. Приклад з логіт-лінзою також свідчить про те, що краще продовжувати токен з пошкодженням, наприклад depress за ant, ніж відтворювати вхідний токен.
Можливість відновлення не є причинною локалізацією збою. Експеримент не може показати, що процес копіювання використовує інформацію, яку можна відновити, що ідентичність зберігається ідеально, або що вина лежить виключно на вихідному шарі; крім того, він стосується окремо позначених токенів з багами Pythia, а не восьми кандидатських моделей. Щоб відрізнити погану роботу системи від конкуренції, зумовленої контекстом, потрібні причинні втручання.
Що підтверджують докази та де вони закінчуються
Основним висновком є наявність повторюваної різниці між успішністю ізольованого копіювання та схильністю до впливу контексту. Спільні банки дозволяють оцінити тенденцію до копіювання для кожного токена без необхідності пошуку ворожого контексту для кожного окремого токена. Розшифровані приклади показують, що деякі розбіжності є буквальними помилками копіювання, а експерименти з завданнями демонструють, що обрані кандидати втрачають свою ідентичність поза шаблоном копіювання. Асоціації, пов’язані з ембеддингами, пов’язують цю групу з попередніми дослідженнями щодо „глюк-токенів“, проте їхня нерівномірна корисність не дозволяє вважати геометрію повним поясненням чи перевіреним інструментом для виявлення проблем.
Кілька обмежень визначають сферу застосування.
- Ймовірнісний клас. Кандидати визначаються за допомогою порогу ймовірності, причому зв’язок між цим порогом та справжньою помилкою декодування є лише частковим. Результати, отримані за суворими критеріями та після перевірки продовжень, посилюють аргументацію, але не замінюють аналіз argmax для всієї популяції; краща оцінка поширеності має враховувати результати ізоляції та ідентичність контекстуального виводу кожної клітинки.
- Штучні носії. Носії у вигляді списків слів є штучними, а специфіка моделі впливає на те, що вимірюється. Пряме вставлення ідентифікатора визначає ідентичність цілі, але може створювати вхідні дані, які токенізатор не створив би. Завдання з рядками частково допомагають, а найсильніший тест на природні об’єкти дав негативний результат після наявних контролів. Ніщо не дозволяє екстраполювати поширеність на повсякденний текст чи розглядати оцінку як властивість токена без контексту.
Найбільш прямим наступним кроком є заздалегідь виправлення чотирьох аспектів (тест ізоляції, оцінка кандидатів, створення контрольних даних та розподіл контексту), а потім тестування на незалежних даних. Вказівка на помилку argmax у цільовій позиції, точність копіювання всієї послідовності та збереження точних рядків разом із показниками ймовірності дозволять пов’язати чутливість сортування з проблемами, які можуть спостерігатися користувачами. Твердження про відкриття краще підтверджуються точністю та поверненням у межах фіксованого бюджету на перевірку, ніж лише ретроспективним показником AUROC.
Що потрібно для відтворення
Для репродукції потрібні зміни в моделі та токенайзері, ідентифікатори вибраних токенів, повні ідентифікатори контексту з полем для вставки, формутування запиту, порогові значення, числова точність та код оцінювання, а також матриці, специфічні для кожного запуску, та метадані середовища. Ваги ніколи не змінюються. Для графіка проєкції додатково потрібні нанесені ідентифікатори, маски класів, попередня обробка ембеддингів, параметри та насіння UMAP, а охоплення генерації обмежується конфігураціями, які вказані прямо.
Кількість кандидатів відрізняється між аналізами. У резюме сортування для Qwen2.5-7B, Qwen2.5-72B та Qwen3-235B наведено 296, 418 та 684 відповідно, у додатку — 294, 417 та 682, причому кожен аналіз має власні цифри. Кількість прогнозів для методу half-bank також відрізняється, оскільки їхні мітки використовують інші контексти. Щоб повністю заповнити залишкові прогалини, необхідні списки токенів та маски виключення.
Записаний протокол зазнав змін протягом роботи: змінилися шлюз ізоляції, розмір вибірки, фільтр друкування насіння та система оцінювання на рівні рядків. Вибірка здійснюється відповідно до кількості рядків уміщення, тому додаткові дані зменшують перекриття ID між зразками Qwen2.5 та Qwen3, а масштабування ідентичних ID всередині Qwen2.5 так і не було протестовано. Ці вибори є частиною експериментальної специфікації та обмежують можливості читання даних між моделями.
Шаблони запитів та зонди
Короткі позначення, використані вище, не включають інструкцій та суфіксів квантування. Точні версії чекпоїнтів та токенайзерів, зміни в завантажувачах та версії середовища мають бути вказані у маніфестах виконання.
Шаблон копіювання починається з однієї короткої інструкції:
Repeat the text exactly.
Далі йдуть дві пари для демонстрації та фінальне поле для тексту. Кінцевий скопійований префікс встановлюється викладачем, а цільова ймовірність визначається за його положенням під час копіювання. Фрази в дужках у первинному шаблоні описують експериментальні вставки та не є буквальним текстом запиту:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Для ізоляції останнє поле для тексту містить лише ID цільового тексту. У версії Qwen3.8 інструкції, демонстрації та кінцевий текст знаходяться у турі користувача; позначник копіювання відкриває тур асистента, а функція обробки думок вимкнена. Токенізовані роздільники є частиною специфікації виконання, оскільки розкодований рядок запиту не дозволяє повністю визначити послідовність ID.
Запит на ідентифікацію від OLMo просить визначити, що є токеном, щоб точно його ідентифікувати, а потім поетапно пояснити, що він означає:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Префікс асистента — Дозвольте мені ретельно про це подумати. Окремі запити з простими токенами розміщують ціль у черзі користувача під шаблоном кожної моделі, а налаштування «звичайні» та «для роздумів» вважаються окремими конфігураціями. Репродукція — це виникнення чого-небудь у вихідному тексті, яке оцінюється за точним ID та декодованою стрінгою окремо, і для неї не потрібне правильне пояснення.
Додатковий фільтраційний процес та деталі геометрії
Розміри наборів посилань відрізняються залежно від моделі: від 36 токенів у Flash-Next до 442 у OLMo-2-7B, 100 у більшості моделей Qwen та 50 у Qwen3.8-27B. Додатковий діагностичний показник підраховує, скільки з 100 найгірших токенів ізоляції також досягають оцінки контексту 0,90 або вище. Цей показник коливається від 36 у Flash-Next до 78 у Qwen3-32B. Оскільки ці підрахунки отримуються на різних етапах відбору, вони самі по собі не можуть відтворити кожен набір посилань, тому повна маска негативного класу мусить супроводжувати будь-яке відтворення.
У OLMo оцінка напрямку від незалежно позначеного посилання та від посилання без позначок, проіндексованого в контексті, обидві досягають значення AUROC 0,879, тоді як непрофільтровані 100 найгірших токенів ізоляції дають значення 0,642. Таким чином, створення посилань є емпіричною частиною методу, а не елементом, який можна замінити.
Аналіз прогнозів OLMo з жорсткими критеріями має 28 позитивних міток для половини банку даних. Статичні ознаки досягають значення AUROC 0,911, на відміну від 0,711 для поверхневих ознак, що є підвищенням на +0,202 з інтервалом від +0,096 до +0,320; проте це є аналізом чутливості для іншої групи даних. Невеликі розбіжності між значеннями, отриманими за методом bootstrap, та скоригованими значеннями AUROC не можна вирішити на основі наявних узагальнень.
Значення ентропії для збережених зламаних зразків визначаються на основі обраних найгірших клітин, а не випадкової вибірки позначок чи помилок, і вони описують розподіл у цільовій позиції. Для OLMo не існує відповідних узагальнень.
Детальний опис процедур генерації та виконання завдань
Під час генерації в режимі plain-mode після фільтрації за сім’єю даних Qwen3-1.7B має 31 кандидата, а Qwen3-32B — 14, причому у процесі обробки кандидатів OLMo використовується форматування без додаткових токенів, що відрізняється від експерименту з ідентифікацією за вказівкою. У цьому експерименті жоден підтверджений токен з помилкою не відтворюється за допомогою ID, тоді як у контрольних даних — 17, а серед кандидатів — 11 з 32, тож зміна запиту впливає на ці показники та є частиною їхньої інтерпретації.
Траєкторії не демонструють зростання ентропії порівняно з контрольними варіантами: різниця ентропії між моделлю glitch-minus-control починається з +0,27 бітів (крок 8) та закінчується на -0,29 бітів (крок 255). Косинус кореляції між парами елементів у кінцевому стані для обох груп схиляється до нуля, тому немає ознак спільного аттрактора кінцевого стану. Найгірші насіння для ізоляції обираються за показниками ефективності ізоляції за допомогою фільтра друкуваних рядків та не обов’язково належать до геометричної класифікації. У тих випадках, коли рядки взагалі записувалися, обсяг вибірки є невеликим: вісім насінь та вісім контрольних варіантів на моделі Qwen3-1.7B під час виконання тесту OLMo.
У кожній шаблоні простої інструкції місце для заповнення отримує ідентифікатор цільового токена, а не перетокенізований інтерполований рядок. Існує п’ять таких шаблонів:
- Найменування функції: напишіть функцію на Python, названу точно так само, як токен, яка повертає суму списку чисел, лише код.
- Цитування назви: наведіть назву документа в подвійних лапках та більше нічого не пишіть; назва має бути приміткою щодо токена та пов’язаних питань.
- Отримання списку: у нумерованому списку «ліхтар», «токен», «порт» та «компас» вкажіть лише другий елемент.
- Виправлення орфографії: виправте помилки у реченні про необхідність подання форми токена до п’ятниці або залиште його без змін.
- Короткий опис: укажіть короткий опис зустрічі комітету, під час якої токен представив незмінний бюджет, зберігаючи власні імена у первісному вигляді.
Деякі шаблони вимагають точного найменування, а завдання з орфографії дозволяє виправлення, тому важливо порівнювати кожне завдання окремо. Кожна клітинка ґрунтується на десяти епізодах на клас.
У завданнях з інструментами вимагається:
- Конфігурація: діагноз у двох або трьох реченнях щодо причини, чому сервіс ігнорує ключ конфігурації, встановлений через змінну середовища, з використанням пошуку в документації, читання сторінки та швидкої перевірки.
- Контекст: примітка довжиною до 80 слів для початківців із визначенням, двома фактами та посиланням на сторінку.
- Використання: рекомендація щодо використання, тестування або уникнення цього токена з двома причинами, отриманими за допомогою інструментів.
- Значення: пояснення для англомовного читача того, що означає цей термін та звідки він походить, із прикладом речення.
- Випуск: відповідь «так» або «ні» із одним реченням обґрунтування щодо того, чи змінив останній випуск стандартну конфігурацію.
У тестовому середовищі запит, який містить цільову стрінг, повертає три корисні результати – а саме документацію, примітки до випуску версії 2.4.1 та відкрите питання, тоді як інші запити повертають загальні сторінки. Сторінки відкриваються нормально, а перевірка бібліотеки повідомляє про версію. Це експериментальні засоби тестування, які нічого не говорять про реальні бібліотеки, пов’язані з використаними стрінгами. Тест завершується, якщо протягом шести раундів отримується остаточна відповідь; він повторюється, якщо виникає ідентичний запит, а також у разі вказання версії без підтримки інструментів. Один раунд може містити кілька запитів.
Об’єкти класу Glitch виживають після першого запиту з показником 0.02 як у режимах Qwen3.8-27B, так і в чотирьох інших конфігураціях, а у остаточній відповіді виживають з показником 0.02 для режиму Qwen3.8-27B та 0.00 в інших випадках. Ці показники вимірюють ступінь лексичного включення та не оцінюють правдивість інформації.
Пов’язана література
- Практичні нотатки: Що таке Retrieval-Augmented Generation (RAG)? Практичний посібник — Детальний огляд Практичних нотаток: Що таке Retrieval-Augmented Generation (RAG)? Практичний посібник: контракти, перевірки та шаблони коду для команд, які використовують цю модель.
- Поновне ранжування в RAG: Cross-Encoders проти оцінювачів на основі LLM та їхній затримки — Як двоступеневий механізм поновного ранжування виправляє порядок кандидатів у RAG, порівняння Cross-Encoders з оцінювачами на основі LLM, витрати на затримку, способи збоїв та як їх оцінювати.