Капіруюцца асобна, ламаюцца ў кантэксце: крохкасць токенаў, якія праходзяць ізаляваны тэст капіравання
Правяраем восем мадэляў з адкрытымі вагамі на токены, якія асобна капіруюцца правільна, а ў кантэксце губляюцца ці мяняюцца, з праверкамі геаметрыі эмбедынгаў, захавання задачы і выкарыстання інструментаў.
Тактычна перакладзець токэна, калі ён стоіць самастае, мало сказвае пра тое, чы роўны токэн застоіцца і ў дужэй частцы тэксту. У этай робе аналізуюцца ентры вокабуляру, якія пераходзяць тэст на ізольаваную копіюванне, але паспяліваюць, калі ўводзяцца ў кантэкст. Было працавана з восьмюя мадэлямі з семейств Qwen і OLMo. Фіксаваныя ID токэнаў былі дадзеныя ў спяльныя банкі вялікіх последоўнасцей частых слоў; фіксавалася верыгатнасць апэктыванага токэна ў яго пазіцыі копіювання, а выбраныя прыклады неудачнага дэкадавання аналізаваліся вручную. Крытэрый на аднойчыну верыгатнасць выявіў ад 0,4% да 10,9% токэнаў, якія пераходзілі тэст на ізоляваную копіюванне, у прынеймна дзесятай частцы пераглянутых кантэкстаў. Гэтыя цыфры паказваюць, сколькі токэнаў выявляе такі крытэрый, але нічога не сказваюць пра тое, сколькі з іх спрычыняе падтверджаныя прычыны неудачнага дэкадавання.
Рэштыцы аналізу па кожным токэне сільна збігаюцца между двумя часткамі набора кантэкста, пры чым корляцыі станавяцься ад 0,82 да 0,95. Зберажаныя прыклады паказваюць выдаленне, замену, скрацэнне і пераклад, пры чым дзеянні гэтыя выконваліся, калі распад выходных даных быў сільна концентраваны. Другы вопыт — чы роўнасць у просторэ імбеддынгу з вядомымі токэнамі або токэнамі, працаванымі ў кантэксце, дапамагае выявіць гэтую групу. Лепшы з показнікаў блізосці імбеддынгу вхідных і выходных даных даходзіць да значэння AUROC ад 0,744 да 0,881 у семі мадэлях, хоча статычныя характэрыстыкі перамагаюць базовыя показнікі на адныя тры з іх. У калькі задач на інструкцыі і сімуляцыю выкарыстоўвання інструментаў выбраныя кандыдаты застаюцца рэдкае, чым стабільныя контрольныя прыклады. Адзінэцкі тэст на натуральныя назвы ентытаў не паказаў жаднага дадатковага прагнозавальнага значэння па адносу да вялікі ўжо існуючых контролі. Гэты спосаб дае кантролюемыя апісанні пра кантэкстную чутлівасць токэнаў, якія пераходзяць тэст на ізоляцыю, а таксама даступ да доказаў пра ўможнасць ўтварэння аднаковых рэзультатаў, геаметрычных зв’язкаў між токэнамі і ўплыву на адпаведныя задачы. У ўзглядзе падкрэсліваецца значэнне кантэкстнай перакананасці, а таксама залічваецца можлівасць як будучых адкрыццяў, так і прыбліжнага прагнозавання таго, які самэў кантэкст спрычыніць адпаведную памылку.
Токэн, які копіюецца сам і знікае ў складзе іншых элементаў
Мадэль можа воспроіцаваць токэн, калі яй прасяць копіюваць яго самостоятэльна, а пасля заменіць гэты токэн, калі ён з’яўляецца ў дужэй последовасці, якую таксама трэба копіюваць. Неспадзянка ў такім разе мае значэнне, калі часткаю інструкцыі ёсць буквальная ідэнтычнасць: цытаванне заглавля, сохраненне ідэнтыфікатора, вярненне элемента з спісу або включэнне імені ў запіт да інструмента. Умелая адпаведзь можа задовольніць задачу на першы погляд, пры тым змінюючы самэй элемент, пра які йдзе мова.
Конкрэтны прыклад выйшаў з OLMo-2-7B і токена according з ID 4184. Дэкадаванне і перэкодаванне строкі дае зворачайнае тое ж ID. У тэсце на ізольаваную паўтарэнне правільны продакт мае лаг-верыятнась -0.001. Аднак у последовасці deliver rel behind according sent floor wrong модэль выдае sent на месцы, прызначанам для according, і продовжвае з слова пасля яго. Неправільны выдачы маюць верыятнась, якая заокругляецца да 1.000, і аентропію, якая заокругляецца да 0.00 біт. У 48 выбраных кантэкстах зафіксаваныя продакты выкарыстоўвалі according у 44 прыкладах і воспроіцвалі яго з верыятнась блізкай да 0.999 у іншых чатырох. Модэль, ID токена і інструкцыя па копіюванні застаюцца тыя ж у всіх прыкладах, і змінююцца толькі абакуранты.
Ранейшыя даследаваннія з токенамі-глюкамі раскрываюць немагчымасць відтворыць або маніпуляваць певнымі элементамі слоўніка, выкарыстоўваючы дытэкцыю на адпрацоўкаваных даных, класыфікаторы, варыяцыі запросаў і мнагазадачную ацэнку (напрыклад, Land і Bartolo, 2024; Li і іншыя, 2024; Zhang і іншыя, 2024; а таксама Wu і іншыя, 2026, і Tang і іншыя, 2026). Хутчэй задаецца вузкія пытанне: калі токен пераходзіць праз прабу ізоляцыі, чы роўна яго вразлівасць застаецца, калі яго копіююць у дужэйшым тэксце, і чы можна адносна стабільна вымерыць гэтую слабасць?
Тэрмін „хуткабягучы токен“ выкарыстоўваецца для пазначэння гэтай класы умовнага паведання. Прыналежнасць да гэтай класы залежыць ад модэля, протаколу копіювання і распадзелу кантэкстаў. Штамп не стварае прэтэнзій на тое, што вразлівасць не залежыць ад кантэкста, і не прыпускае, што абыяковыя бяды пад час тэставання і бяды, вызваныя кантэкстам, маюць аднаковую прычыну. У главных эксперыментах выкарыстоўваецца метод верыятнасці, каб выбраць кандыдатаў у склад гэтай класы, пры чым гэты метод застаецца аддзельным ад перакананых памылак дэкадавання.
Прыходзяць тры матэрыялы. Першы: падазроўнасць аддзелёваных токэнаў вымерваецца за дапамой спяльных банкаў кантэкстаў і фіксаваных ID токэнаў, тады можна паўпоручыць яе ў разных кантэкстах, незалежных запусках і конфігураціях модэляў. Другі: тэстуюцься геаметрычныя сігналы, зв’язаныя з вядомымі токэнамі з багамі, каб выявіць, чы роўнаямо ўоні і аддзеляюць кандыдатаў у цій групе, у працоўнасці з поверхневымі характэрыстыкамі і адбыточнымі наборамі дадзеных. Трэці: у даследжэнні выявляецца, чы выбраныя кандыдатаў перазстаюць жывымі пасля пазнейшых інструкцый і сімуляваных взаімадзеянаў з інструментамі, і апавешчаецца чыста негатыўны рэзультат для прыкметнай праўдападобнасці пры вычысленні назв натуральных аб’ектаў.
Рэзультаты эгзамінаюць ацэнку гліч-токенаў на эмпірычнай адоўжыне. Яны не ставяць цялі з’явіць метод аўтэнтыфікацыі глічаў на аднойчыні з эмбедынгам, а таксама не стверджуюць, што пакульнія даследжэнні цэлкам ігнаравалі кантэкст. Яны паказваюць, чаму рэзультат ізоляцыі трэба лічыць як адну з умоў замеру, а не як загальны пасвідчэння пра тое, што токен будзе точна копіюваны.
Месца гэтага даследжэння сярод пакульных работ
У ранніх апаведамленнях было опісана незвычная праця модэля з адзінамі токенамі пад разнымі запросамі, а дзеякія з гэтых токенав былі прыяўлены да нестандартных рэгіонаў прастору эмбедынга (Rumbelow і Watkins, 2023). У пазнейшых даследжэннях былі створэныя сістэматычныя дэтэктары і процедуры ацэнкі, якія забезпечваюць як сам метод, так і пункт для параванення для „хлябкіх“ токенав.
Фрэймворк Magikarp ад Ланд і Бартола (2024) выкарыстоўвае паказнікі, атрыманыя з эмбеддынгаў, каб знайсці кандыдатаў на токены, якія недастаткова натрэнаваны, а пасля пераканальвае іх за дапамой біялагічных тэстаў. Яго аналіз уключае альтэрнатывныя запросы і прыклады з копіяванымі лістамі коду. Лі і іншыя (2024) шырока апісваюць пахвілковае паведанне і тэстуюць парадокс, апісанне і дзейгасць, а ўхідны ўстатку GlitchHunter знаходзіць проблемныя рэгіоны за дапамой графа эмбеддынгаў і ітэратыўнага кластэрування. Таму ні генераванне геаметрычных кандыдатаў, ні выкарыстоўванне асупрацоўванага тэксту запросу тут не ўжо ўпершыне.
GlitchProber класіфікуе токены на адміністратыўныя і MLP-характэрыстыкі і даследжвае способы зменшэння парадокса па мэркі змены проміжных актывацыяў (Zhang і іншыя, 2024). GlitchMiner выкарыстоўвае дыскрэтную оптымізацыю, керавануюя энтропіяй, з локальнымі суседзтвамі інкапсуляцыі, і пераканальвае кандыдатаў па трох шаблонах павтарэння (Wu і іншыя, 2026). Эксперыменты ў гэтым даследжэнні разлічаюцца тым, што вагі модэлю замарожваюцца, а кантэкстная чувствітнасць ацэнюецца толькі пасля пераканальвання на успех у тэсце із ізоляцыяй. Неправільныя выходы з нізкай энтропіяй вплываюць на гэю ацэнку, але ўсё ж іх наявнасць не паказвае, што дэтэктар, кераваныя энтропіяй, працягвае працаваць некорэктна для кожнага запіту.
Найбліжэйшым парадоксам у паведамчысці ёсць роба Tang і саўецоў (2026). Іхній GlitchQuiz аб’ёмлівае васьма заведаманні, сярод яых — стварэнне рэчэнакоў і параграфаў, павтарэнне і запам’ятаванне пасля калькі ліній дыялогу. У яму показаны токен, які пасканае простыя тэсты, але не пасканае інша заведаманне, і яны прызнаюць, што могу існаваць невыкарыстаныя прычыны невыкарыстання па захопленым аналізам. Асновны внесак у гэтыя даследжэнні — паўтаральная мерыць адной і той жа операцыі калькавання ў спільных банках кантэкста ў популяцыі, якая пасканае тэсты із ізоляцыяй, пасля чаго аналізуецца ўможнасць паўтарэння рэзультатаў і ўмэнне праўдападобнага прыняцця рашэнняў. Пасканае тэстаў із ізоляцыяй у гэтых эксперыментах не значыць пасканае GlitchQuiz, і не прызнаёцца прывілею ідэя, што невыкарыстанне токена залежыць ад конкрэтнага заведамання.
Эксперыменты безпасовы чырвоныя доступныя атрыбуты Magikarp для трох мадэльных канфігурацый. Гэта не ўсунутая перагледка усіх пяці сістэм пад аднім спяльным кантэкстным архівам, таму не выдвігаюцца жадныя тверджэнні пра порэшанне задач або эфектыўнасць для тых сістэм.
Рэдкасць — гэта інша адпаведная адказа. Yu і іншыя (2022) доследжваюць, як градыенты, якія дзейнуюць на эмбедынгі рэдкіх токенав, можу спрыяць дэгенерэцыі ў ўтварэнні рэпрэзентацый. Гэта стварае падставы для парабянку з фічамі, якія залежаць ад рэдкасці, але гэта не раз’ясняе історыю трэніравання чы роцэнальны механізм даных токенав. Фіча ID токена, якая вжываецца тут, ёсць толькі заменнікам парадку слоўніку і не відображае частоту прадзейнавання ў прадзейнаванні.
Эксперыментальная наладка
Мадэлі і прыклады
Галоўныя эксперыменты з копіювання абрацоўваюць васьме мадэлі з адкрытым вагам у двух сем’ях: адну мадэль OLMo-2 і семь модэлей Qwen з трохоў паколенняў. Адзінэцкія даследжэння прэдставлення абрацоўваюць Pythia-1.4B і спрацоўваюць як дапаможныя эксперыменты, таму не трэба прыпускаць, што вывады з даследжэння копіювання васьмі модэлей можна перанесці на Pythia чыста іншыя сем’і.
Выбір прыкладоў адбываецца шляхом стратыфікацыі па дыяпазоне ID токэнаў у межах кожнага слоўніка. Модэлі Qwen выкарыстоўваюць ад 4,200 да 8,400 ID кожная, тады як OLMo-2-7B мае пачатковы прыклад 2,098 і прыклад для параболізацыі 6,273. Кожны выбраны токэн прабывае ў кожным кантэксце свайго запуску. Кантэксты беруцца з банкаў адбыточных последоўнасцей распашчых слоў, пры чым кожнае слова сама праходзіць перакананне на копіюванне. Дужыні последоўнасцей станавяць 8, 16, 32 і 64, а цэль выбіраецца як адбыточнае месца ўнутры. Такія последоўнасці ўтвараюць кантрольныя спіскі слоў, а не граматычны прозаічны тэкст.
Размах слоўніка лічыцца як колькасць рэядоў эмбедынга, а два самыя большыя мадэлі, Flash-Next і 235B, працуюць на чэкпоінтах FP8. Команда OLMo (2025) і команда Qwen (2025a, 2025b, 2026a, 2026b) задокументавалі гэтыя сем’і модэляў. Токенізатор, архітэктура, працэс навчання, фарматаванне і точнасць варьуюцца ў разных конфігураціях, таму «шчыглі» модэляў ёсць сукупнасцю рэплікацый і не дазволяюць адокрэміць вплыв колькасці параметраў.
Протакол копіювання і ідэнтычнасць токену
Кожны запрос на копіюванне містыць два прыклады, а пасля — сэрыю, якая мае цэль. Засоб для ізоляцыі пераўтварае гэты шаблон, застаўляючы цэль як едынственны тэкст. Запросы складаюцца з ID токенав, што дазволяе застаўляць ID цэлі незменным, пакуль усе іншае навакол яе змінюецца.
Гэты выбар раздзеляе паведамленне модэлі ад процэсу перэтокенацыі. Дадзенне прасоў у рэштыраную строчку токенаў можа змяніць спосаб яе сегментацыі прытаманныяй модэлі. Адразуе вставкі ID запобегаюць гэтым памешчанням, але таксама дазваляюць ствараць последованасці, якія звычайны токенізатор не стварыў бы з звычайной строчкі. Таму копіюванне з точным ID адрозніваецца ад зберагчэння строчкі, і таму тверджэнні пра ўжыцце ў повсякдзенным тэксце ёсць абмежанымі. Канонічны прыклад according паказвае, што гэты эфект не абмежваецца толькі неканонічнымі строчкамі.
Учыцель, які выконвае заведамыя дзеянні, задае неабяжлівы прыфікс пры чытанні даных у пазначанай позыцыі выходу. Называймо q0(t) верасцю, яку мадэль дае для ідэнтыфікатора цэлі t у пробы ізоляцыі, а q(t,c) — верасцю ў пазыцыі падбору ў кантэксце c. Малая значэння паказвае слабкую падтрымку неабяжлівага токена нават пасля правільнага прыфікса. Гэта не можа паказаць, як бы выглядала свабодная працяўка, якбы раней адбылася памылка.
Канфігурацыі Qwen3.8 размешчаюць інструкцыі, дэманстрацыі і фінальны тэкст у часці чату, прызначанай для карыстальніка, пачынаюць часць асістэнта з Copy: і не продовжаюць працаваць. Усе іншыя варыянты вікорыстоўваюць сырую последовальнасць кількох прыкладаў, і фарматаванне ніколі не зміняецца ў межах аднаго модэлю. Гэта мае значэнне: пад сырым фарматаваннем модэлі Qwen3.8 часта пачынаюць новы радок і інакша трактуюць прабелы на пачатку тэксту. З 2,000 пераглядоў распашчальных слоў 3 разы успехавае сырае фарматаванне, тады як чатовае фарматаванне успехавае 1,921 раз у модэлі 27B і 1,925 раз у Flash-Next.
Падатлівасць да парадоксаў і экран верыятнасцяў
З’явіць алгорытмеўскую прыкладку модэлі ў пазіцыі копіі цэльвога тэксту, з урахоўваннем прымусовага прыфікса, заданага наставнікам. Рэйт кантэкстовых памылак у банку з m кантэкстамі ўсё тады являе сабою частку случаў, калі гэтая прыкладка не збігаецца з цэльвым тэкстам. Токен з слабым біялагічным падходам праходзіць зазначаны ізольаваны тэст, але ўсё равна дзеяў кантэкстовыя памылкі, а кантэйнтная класа таксама встановлівае праг для рэйту памылак. Неудача цэлага скопіяванага сэквэнсу — гэта іншы рэзультат, адколі памылкі можу выйсці як да, так і пасля пазіцыі цэльвага тэксту.
Агрэгатныя эксперыменты выконваюцца на адпраўленай экране верыятнасцяў. Галоўныя вораты ізоляцыі пропускаюць токены, якіх верыятнасць ізоляцыі q0(t) перавышае 0,5, што робіць t ўнікальным рэзультатам грабяздзярскага падходу. Гэтыя умовы ўстаткавы для ізольаванага грабяздзярскага аналізу, хоць дзеякі варыянты не падпадаюць пад іх. Болей строгія умова, якая выкарыстоўваецца ў аналізе чульнасці OLMo, выкалічваецца як ln q0(t) вышэй за -0,1, або ж q0(t) вышэй за прыблізна 0,905.
Клетка пазначаецца на экране кантэкстаў, калі ln q(t,c) ніжэй за -0,5, тое ўзначае, што q(t,c) становіць прыблізна 0,607. Рэйтынг чульнасці токена — гэта частка яго кантэкстаў, якія пазначаны. Кандыдаты, якія праходзяць гэтыя вораты і маюць рэйтынг 0,10 або вышэй, стабільныя контрольныя екземпляры, якія праходзяць і маюць рэйтынг роўны нулю, а таксама токены, якія знаходзяцца між гэтымі двума катэгорыямі, утвараюць проміжную групу. Для набора з 24 кантэкстаў кандыдату трэба ўжо прынеймна 3 пазначаныя клеткі, а для набора з 48 — прынеймна 5.
Рэгт кранаў і рэгт адхэлаў не трэба спаўніваць. Уявіце токен з верыятнасцю 0,55 як самастойна, так і ў кантэксце: ён праходзіць праз галоўны бар’ер і таксама пазначаецца ў кантэксце, пры тым яго верыятнасць не зменшылася, а яго рэшэнне ёсць правым. Таму заданы рэгт кранаў не ёсць ні ацэнкай распространення такога паведання, ні верхнім мяркам для яго. Строгі бар’ер усуне гэтае конкрэтнае перакрыцце, але верыятнасць у кантэксце менш 0,607 таксама не дазволяе стверджваць, што значэнне argmax ёсць некорэктным. Дэкадаваныя экзампляры служаюць для падтверджэння справжніх адхэлаў, а сумарныя рэзультаты верыятнасці застаюцца пазначанымі як памеры кранаў.
Класы-аспанаванні і збераганыя экзампляры
Для OLMo-2-7B існуе незалежны рэферэнс з 442 токенамі glitch, перакананымі Magikarp. Ніхто з іх не праходзіць главную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную пераканальную
Кожны пераглянуты токен дапраўляе у базу дадзеных прыкладаў тры сваія найгоршыя кантэкстуальныя клеткі плюс адну клетку кантролю. У запісі зберагаюцца ID-ы кантэксту, цэльная пазуха, верыгоднасць апэктыванага токена, пяць найбольш верагодных ID-аў выходу з ўсунутымі верыгоднасцямі, энтропія, а таксама, калі адбывалася генерацыя, жаданая працэсуя. У полах пра канякцыю указваюцца назва модэлю і версія чэкпоінта, тачнасць, метаданы архітэктуры і версіі програмнага забезпечэння. Такія запісы дазваляюць адрабатваць кейсы. Паколькі ў яных выбіраюць найгоршыя клеткі, яны не можуць паказаць, як распадаецца доверлівасць між усімі кантэкстуальнымі адхыленнямі.
Нявказанні сортаваныя па опісовым прынцыпам на выдаленне, замену, скрацэнне і пераклад, пры чым пазначаецца перакантраванне шрыфта, калі гэта выклікаецца. Ёсць патрэба ў доказах таго, што мадэль пераходзіць да наступнага тэксту, каб назваць якісь факт выдаленнем, адколі аналіз толькі верхньага токена без кантэксту не можа паказаць, як развіваецца весь тэкст. Энтропія менш 2 бітоў служыць толькі як атрыбут для пазначэння концентраванага распаду даных. Гэта не ўскладнены показнік правільнасці выканання задання чыра ў тым, чы робіць мадэль вывары ў своіх дзеяннях.
Наскількі чутлівыя ўзлёты ў ізоляцыі?
Распространенасць скрыйнінгу
За дапамою основнага крана, кандыдатыя токены на Flash-Next станавяцца 0.4%, калі паспелі 15 з 4,047 токенаў, а на Qwen3-235B — 10.9%, калі паспелі 684 з 6,277 токенаў. Выбраныя словнікі, кран, распад кантэксту і прага вплываюць на гэты дыяпазон; гэтыя параметры не дазваляюць адразу ацэніць як распространенасць такіх токенаў у натуральным тэксце, так і частку ўсіх токенаў, якія можна без адлікі павтараць.
За дапамою строгага крана у OLMo-2-7B у першай групе з 873 токенаў ёсць 14 кандыдатаў (1.6%), а ў групе для рэплікацыі з 1,888 токенаў — 29 (1.5%). Іхня верагатнасць ізоляціі значна вышыя за кантэкстуальную прагу, таму яны служаюць прамарамі для пераканання ў наявнасці перакрыцця меж двух праг.
Адзінакоўка толькі ID-аў, якія ўзаемная для разных модэляў, дапамагае часткова зменшыць розніцу між конфігураціямі. Узьмем мы 1,592 ID-аў, якія праходзяць оба тэсты на Qwen3-1.7B і Qwen3-235B: сярод іх кандыдаты станавяць 2,0% на першым і 6,2% на другім. Для 1,569 ID-аў, якія ўзаемная для Qwen3-32B і Qwen3-235B, гэты паказнік станавяць 0,8% і 4,3% адпаведна. Гэта зменшае разніцу ў выборы прыкладоў, але не дапамагае адзначыць разніцу між масштабам, архітэктурай, тачнасцю чы трэнінгам.
Рэпродукабільнасць і ролі кантэксту
Рэйтынгі па токэнах з двух частака кантэкста карэліруюць на роўні 0,82–0,95 у всіх восьміх мадэлях. Болей складны эксперымент з Qwen3-32B падвойнівае колькасць праекзаменаваных прыкладоў і выкарыстоўвае новы банк кантэкста. Рэйтынгі для 4,200 спільных ID карэліруюць на роўні 0,984, і 12 з першых 15 кандыдатаў застаюцца адпаведнымі. Перыякораванне схованых матрыц для Qwen3-32B і Qwen2.5-72B на іншай апаратыразыя воспроістаўляе 99,9% і 99,6% клетак, пры чым карэлірацыя рэйтынгаў на роўні токэнаў становіць 0,9999 і 0,9996.
Разбіўка дывергэнцыі першай матрыцы OLMo паказвае 95,2% на токэнах, 0,1% на кантэксце і 4,7% на застатку. Для групы з строгім крэтытэрамі распад становіць 71,7%, майжэ ноль і 28,2%. Гэты значны спад часткі токэнаў мае значэнне: у всім даследжваным праекцэне большая частка дывергэнцыі проста раздзеляе сутэйна нестабільныя токэны ад надзеяных, тады як значны частака нез’ясаванай дывергэнцыі застаецца ўнутрь групы з крэтытэрамі.
Усё гэта падтрымлівае можлівасць відтворэння ступеня чутлівасці на рэвэлі на рэвэл-рэвэле ў рамках выбранага распаду, і гэта не паказвае, што кантэкст, які спрыяе цэму, ўзгодзіцца. Незначны галоўны эфект кантэкста означае, што някі рэвэл не ёсць складным для кожнага рэвэла, што супараднае з сільнымі варыяцыямі між рэвэламі ў залежнасці ад кантэкста. У спаўнасці з гэтым, пры прыкладзе праўедамаўшыхся клетак OLMo на адной з ацэнак рэвэла ў іншым месцы AUROC становіць 0,94, проты 0,56, які атрымліваецца на адной з ацэнак складнасці рэвэла для іншых рэвэлаў. Фічыры, якія вырахоўваюць сэродзеленасць рэвэла і кантэкста, нічога не дадаюць.
Для певных груп значны ўплыв дужыны. У праекце strict-gate OLMo кантэксты з пазначкай станавяць 0,005, 0,008, 0,008 і 0,008 пры дужынах 8, 16, 32 і 64. Для кандыдатаў Qwen2.5-72B найкорачэйшыя рэвэлы пазначаюць 33% клетак, а найдужэйшыя — 52%. Такім чынам рангіраванне ступеня чутлівасці ёсць яснейшым, чым абставіны, якія стояць за кожной окрэмай памылкай.
Па супараванню з выданымі атрыбутамі Magikarp
Параючы з наявнымі запісамі Magikarp, ніхто з кандыдатаў у трох варыянтах паўтарэння ня ўтварае падтверджанага токена з багамі. Большасць з іх счытаецца прыемнымі за гэтым працэсам, а калькі — класіфікуецца як недакодаваныя, што не можа значыць, што яны ў тым жа стане здароў’я. Дзеякія з іх ўжо былі ў складзе геаметрычнага набора кандыдатаў Magikarp, прычаму ў перадзьвічанні ўзораў іх было адхілена. У паўтарэнні Qwen2.5-7B выкарыстоўваецца 294 кандыдата, а у падсумку аналізу — 296, таму што два аналізы базуюцца на разных наборах дадзеных.
Такім чынам, кантэкстуальны адбір фіксуе паведзенне, якое не падпадае пад наявныя наборы падтверджаных багоў. Гэта не ёсць доказам таго, што кожны такі кандыдат — асалоджаныя памылкі копіювання, і не значыць, што іншыя дэтэктары не зможуць іх знайсці пад час своіх заданняў на аналіз. Чымуць гэтае загальнае тверджэнне трэба падтвердзіць паўтарэннем з аблікованым стандартам.
Доказаныя бягі і ўзбуджанасць
according прыклад ужэ паказвае аб практычный адказчыцкі бяг, незважаючы на практычна паводлівы успех, а іншыя зберажаныя прыклады паказваюць падобную дзеянню ў розных мовах і настройках. Рэйтынг прыклада падсумавляе токен у ўсім яго канцэнтрацыяні, тады калі паказаная эмісія — гэта толькі адзін выбраны прыклад, таму яны маюць разны вагу як доказы. Прыклады маюць толькі ілюстратыўны характэр і не паказваюць частоты жаднага спосабу адказчыцкага бягу.
У сэмі настройках Qwen частка выбраных зберажаных прыкладаў з адказчыцкім бягам і энтропіяй менейшай за 2 біты колічыцца ад 14% да 74%. Дзеянні адказчыцкага бягу выклікаюцца як пад высока канцэнтраванымі распадамі, так і пад розпыленымі. Запісы падтрымліваюць наявнасць адказчыцкага бягу з высокай паводлівасцю, але яны не падтрымліваюць ні тэзу, што кантэкстуальныя адказчыцкія бягі зазвычай ёсць паводлівымі, ні тэзу, што яны ніколі не супакоўваюцца неяснасцю.
Геаметрыя умяшчэння і прагнозаванне
Рэйтынгі і ўскладнення ў ўтварэнні іх
У геаметрычным аналізе выявляецца, чыя можна меркавана паў’язаць кандыдатаў з наборам рэферэнсных токенав модэлі. Для токену t берэцца яго радок e(t) у матрыцы усадкі вхідных або выходных даных і знаходзяцца пяць рэферэнсных токенав з найвышэйшай косай схожасцю ў гэтым просторы. Рэйтынг блізкасці падсумоввае схожасць з гэтымі пяцьма токенамі. Другі рэйтынг праектуеў вхідную матрыцу усадкі на лінію, якая праходзіць праз сярэднюе значэнне вокабуляру і сярэднюе значэнне усадкі рэферэнсных токенав, такім чынам блізкасць стае локальной, а проекцыя — глобальной. Калі ужо існуюць набор рэферэнсаў і матрыцы усадкі, ніякі з іх не патрабуе дадатковых вычысленняў для новага токену. Аднак стварэнне набора рэферэнсаў, працаваны ў межах певных крэатывных крэатываў, выклікае неабходнасць запуску модэлі, і гэтыя вітраты ўрахоўваюцца ў кожным цэлым працэсе аналізу з самага пачатку да канца.
У аналізе прыдатных прыкладоў паўставляецца порэванне чатырох рангаў характэрыстыкаў:
- Базовыя параметры паверхні: ID токена, дыявалечна дужына дэкодаванага строкі, а таксама наявнасць прасвяткі на пачатку, тое, чы рошчыны ўскладненыяя або якія ўскладненыяя ў фармаце ASCII.
- Статычныя параметры: нормы роўнаў і адстані цэнтрыда для вхідных і выходных эмбеджаў, падобнасці з найбліжэйшым суседам, прымітны бал вхідна-выходных дадзеных з падазрамі ад конкурэнтав, а таксама проекцыя напрамку паталогіі. Бал блізкасці пяці суседаў не ўключаецца ў гэты ранг па рэзультатах ацэнкі.
- Дынамічныя параметры: апісанні прэдставлення цэлі на палове кантэкстаў, такія як яго распрад, норма і супарадненне з роўнем выходных дадзеных цэлі.
- Параметры поведзення: памеры копіювання, якія беруцца з тых самых кантэкстаў.
Дынамічныя і біяварыя рэйхі выкорыстоўваюцца для прыцэнкі меткі кандыдата так, як яна выглядае ў засталайй палове кантэкстаў. Адпаведныя прыцэнкі атрымліваюцца за дапамой логістычных рэгрэсій з рэгулярызацыяй L2 па методу out-of-fold, паўстаўшых у порэвананні з базовым показнікам за дапамой спароўванага bootstrap. Паколькі для обох рэйхоў патрэбны праходы даных наперад, яны не ўскладнены толькі вагамі, а меткі паўнага банку даюць паазытыўныя пісанні, на вядомаць адміншчыны метак банку.
Супакінанне на клас парадоксаў
Блізкасць мералі окрэма ў прасторах вхідных дадзеных і выходных рэзультатаў. Выбірачы лепшы з гэтых двух прастораў для кожнага модэлю атрымліваюцца AUROC-значэнні ад 0,744 да 0,881 у семі конфігураціях з нез’ўязанымі эмбедынгамі. Гэта ўпісны выбір для кожнага модэлю, а не рэзультаты застосавання аднаго загадзя заданага показніка аднойчы для всіх. Меншыя значэнні для Qwen3-1.7B залічваныя ў атласе.
Тое, які прасторы выкарыстоўваюцца для перадачы сігналу, залежыць ад модэлі. OLMo-2-7B параджае 0,846 па показніку блізкасці вхідных дадзеных і 0,528 па показніку блізкасці выходных дадзеных, тады як Qwen2.5-72B параджае наадворот — 0,685 проты 0,798. Адны глобальны направленні не завжды ўстаёт, даўаючы толькі 0,599 па Qwen2.5-72B, але па Qwen3-32B ён досягае 0,898 і перавышае оба показнікі блізкасці. Таму геаметрычныя зв’язкі залежыць ад модэлі, і не існуе універсальнага фармата.
Замена набора паказчыкаў канфлектаў на адны чысты, стабільны набор роўнага размеру дае сярэжныя значэнні AUROC ад 0,41 да 0,55 праз дзесяць выкліканняў. Таму дэтальныя, стабільныя наборы паказчыкаў не відтвораюць апісаную класафікацыю. Гэтыя параболікі не аддзеляюць паказчыкі канфлектаў ад іншых фактораў, якія можаюць вплываць на рангіраванне, такіх як рэдкасць, ўтопленасць у местным кантэксце чы спосаб выбору набора паказчыкаў. Простая база на адной толькі ідэнтыфікаторы токенаў фактычна параджае як показнікі блізкасці для модэляў Qwen2.5-72B, так і для Qwen3-235B.
Немагчыма адгукнуцца пра можлівасць выраўнавання ваг за дапамой даных для модэля Qwen3-1.7B, адтолькі што гэты модэль ёсць ўнікальной конфігурацыяй з выраўнаванымі вагамі ў данай даследжэнні, і яго показнікі блізкасці вхідных і выходных дадзеных разлічаюцца, нават які ён і опісваецца як модэль з выраўнаванымі вагамі. Гэта неадэкватнасць ускладнюе чысты архітэктурны аналіз гэтай групы дадзеных.
Якое месца займаюць кандыдаты ў проекцыі
Кандыдаты знаходзяцца за межамі відных скупленняў класу глюк-рэферэнса. Проекцыі UMAP радоў выходных эмбедынгаў па косінусавай адстані (McInnes і ін., 2018) паказваюць чырвоныя точкі-кандыдаты, распаўзаныя на вялікіх прасторах сірага фонавага населення ў Qwen3-1.7B, Qwen3.8-27B і Qwen3-235B, тады як чорныя точкі-рэферэнсы застаюцца стаячымі ў скупінках. У Qwen2.5-7B і OLMo-2-7B кандыдаты знаходзяцца як па боку кластэраў рэферэнсаў, так і сярод сірых точак. Колеры адпрацоўваюць меткі фільтрацыі і рэферэнсаў і не пераканальваюць кожную паказаную точку незалежна.
Лі і саўець (2024) заазначаюць, што токены з абераннямі часта скупляюцца ў прасторэ эмбедынгу, і гэта спазірванне стала падставай для ітэратыўнага кластэрування графаў у GlitchHunter. Практычныя прыклады, паказаныя тут, паднімаюць пытанне пра ўзаемнасувязанасць гэтага падходу: чы можа геаметрыя класаў, звязаных з абераннямі, быць застосованая таксама да кандыдатаў у кантэксце, якія таксама пазбавлены ізоляціі? Распакаваныя чырвоныя точкі указваюць на тое, што відныя кластэры аберанняяў опісваюць гэтую умовную групу толькі часткова.
Tang і іншыя (2026) таксама выявілі кластэруванне, падтрымліваючы гэта насчытамі евклідовых адзінакоў і парадоў энтропіі, выконанымі на мадэлях Llama2-7B-chat і Mistral2-7B-it, і паў’язалі гэта з слабым разлікаваннем у шары імбедджаў вхідных дадзенняў. Проекціі выходных імбедджаў, апараныя на адносе косінуса, не пераканліваюць у гэтым напрамку. Мадэлі, у якіх элементы не з’ўязаны, выклікаюць неабходнасць окалічнай ацэнкі матрыц вхідных і выходных дадзенняў, а рассеяныя проекціі выходных дадзенняў не можу паказаць, што імбедджы вхідных дадзенняў не страждаюць ад згаданага перэнаселення.
Гэта падае пад прынцыпам, выказаным вышэй ў рэзультатах аблікі. Аб’явка можа распрастрацівацца па калькі рэгіёнаў і ўсё ж застаць блізка да рэферэнсных токэнаў у местным масштабе, таму для паводлівага рангавання не патрэбны аддзельныя кластэры кандыдатаў. UMAP таксама спакішвае ўплотненасць і можа ствараць разлікі (распрацоўшчыкі UMAP, без даты), таму панелі не выключаюць кластэрування ў аднойчыннай прасторы. Прамытая прымерка заклучваўся бы у паўтарныя аналізы суседстваў і ступеня падтрымкі кантэкстуальных абыектаў у аднойчыннай прасторы на тых сабе пунктах контролю, з адпаведнымі прасторамі укладкі, адпаведнымі метрыкамі, незалежна перакананымі памылкамі і атрыбутамі з кожнага методу ацэнкі.
Цэннае значэнне за межамі візуальных характэрыстыкаў
У прынцыпах, які не былі выкарыстоўваны, статычныя характэрыстыкі перавышаюць базовы рэжым на позытывным розмаху для модэляў Qwen2.5-7B, OLMo-2-7B і Flash-Next, не даючы жадных выгод для пяці іншых модэляў, а таксама на негатывным розмаху для Qwen2.5-72B. Дынамічныя характэрыстыкі перавышаюць яго, пры чым розмахі не включаюць нуль, для пяці модэляў: OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B і Qwen3-235B. этае паў’язуе кантэкстуальныя прэдставленні з чутлівасцю, якая выходзіць за межы таго, што можа зафіксаваць базовы рэжым. Аднак гэта не робіць процедуру, якая базуецца на прэдставленнях, дышэўней за прымітанне копіювання безпосерэдна ў тых сапраўдных кантэкстах.
Рэгламентна грань дае значэння AUROC ад 0,945 да 1,000. Гэта састаецца з рэзультатамі аналізу па часткавых дастотах: спагляданне токэна ў дзеярых кантэкстах дазволяе працаваць яго атрыбуты ў іншых кантэкстах, створаных за дапамою таго ж працэса. Гэта паказвае парадоксальнасць, але атрыбуты і характэрыстыкі выконваюць адну і тую ж задачу копіювання і маюць аднаковы распад у кантэкстах, таму эфектыўнасць у новых распадах натуральных тэкстаў застаецца незмеранай. Цілямі ёсць атрыбуты, вылічаныя на адной прабаліце, а не атрыбуты, перакананыя незалежна на адной прабаліце.
Геаметрычныя прадзеянні можна выкарыстоўваць для адліквідавання, што тэставаць перша, але нічога тут не паказвае можлівасці высокаточнага адкрыцтва за фіксаванага бюджэту. AUROC мерыць ранжыраванне, а не точнасць выбранага скорачанага спіску. Чыбавленне практычнасці адкрыцтва захадзіць балы і наборы для аднаковага выкарыстоўвання, кандыдатаў, якія не перакрываюцца, бюджэт на перакананне набора, а таксама парабянку з адбыткамі касуальных, токен-ІД і існуючых дэтэктараў, якія ацэнююцца за аднаковымі поведэнчнымі рэзультатамі.
Што застаецца ў генераванні і задачах
Вольнае генераванне
Зонды для вольнага генеравання пераканаліваюць, чы рэчэнне падтрымлівае заданы токен пад час яго апісання чы адпаведзення на яго. Пры запуску OLMo запатрабавляе точную ідэнтыфікацыю плюс адказ і пасля таго дае прыметнік Дазвольце мне рошчырока падумаць пра гэта. Іншыя настройкі размешчаюць токен самастаіць у раундзе карыстальніка ў шаблоне чату. Генераванне зупіняецца на 256 токанах. У звязку з разніцайю у фарматаванні, гэтыя колькісныя показнікі нельга спрыяглядаць як кантролюемае пораўнанне.
Патрэбны два мерыя рэпродукцыі. Адна з іх перакладваецца ў тое, чы розыданне ID сябе знаходзіць гдзе-небудзь сярод створаных ID, а другая — у тое, чы расшыфраваная строчка сябе знаходзіць гдзе-небудзь у рэзультатах, нават праз разныя способы сегментацыі. Жадна з іх не падтверджае правільную ідэнтыфікацыю чы аддыкватную рэпродукцыю всей запрошанай последовальнасці. У модэлі Qwen2.5-72B жадна з 32 сямён, якія страждаюць ад найбольшай ізоляцыі, не вяртаецца пад своім первісным ID, пры тым як 12 вяртаюцца у віглядзе строек, таму што такое сябро, як _ghost, можа быць запісана за дапамою калькольных выходных токенав.
Калі ёсць можласць генеравання, парадэксныя значэнні па рэтку зберагчыць строку опускаюцца ніжэй за контрольныя значэнні у чатырох з пяці парабянаў, а ў разе Qwen3-32B фіксуецца равенасць. Значэнні Exact-ID маюць менш аднородную структуру. У разе Qwen2.5-7B фіксуецца равенасць, тады як у разе Qwen3-32B парадэксныя рашэнні выявляюцца 8 разоў з 14, а контрольныя — 7 разоў з 14. Парадэкснае рашэнне можа выйсці нават у тым случае, калі адбываецца неправільная ідэнтыфікацыя. Вразламлівасць явна залежыць ад задання, і не існуе абсалютнай немагчымасці выдаць парадэксны токен.
Семенні, выбраныя як 32 найгоршыя ў ізоляцыі для адзінаковых тэстаў генеравання, не трэба плутаць з праменамі на адказы, апранутыя кантэкстам. Перакананні, выкананыя за дапамогою «вучыльніка», даюць апэктыўнаму токену верыгоднасць прынеймна 0,5 у 71% з 768 клетак Flash-Next і толькі 0,1% у клетках Qwen3-235B. Такая розніца ў рэзультатах — ўсё новы адказ на патрэбу пераканацца ў працэсе функцыонавання набора праменов у відпаведным кантэксце.
Бесплатна генерацыя, тэставанне заданняў і продажчык прыкладаў не былі адрабоўваны на двух сумешаннях FP8, таму што сістэма ацэнкі патрабавала або семі секунд на кожны створаны токен, а вычысленні плакаліся з власнага кашэ. Таму ўваходы пра наступны токен не можна спрыяжваць з следамі генераванняя разумовых процэсаў. Генерацыя без кандыдатаў таксама не была адрабоўвана на Qwen2.5-72B.
Інструкцыі, якія патрабуюць точнага формулювання
Пяць шаблонаў інструкцый змушваюць модэль застаўляць мэтавы строк без змян: называнне функцыі Python, цытаванне назвы дакумента, вярненне элемента спіса, выправленне артыкуляцыі і стварэнне апусцу, пры чым неякія імены застаюцься незмяненымі. Дзесяць выбраных токенаў па класе, модэлі і заданні даўае 50 эпізодаў па класе, пры чым токены прыходзяць па ID праз шаблон чату.
Галоўны паказнік пераконтваецца, чы рэспанс завучае цэльныя строкі, і ён ўжо стрыкчэй за крэатыўнасць рашэння. Ён не берае ў расчыт, чы код ў правільным фармаце, чы назыв функцыі ў спісе дазволеных ідэнтыфікатораў, і чы падсумак ў цэлым ўсунасядзіць ад асалоднага тэксту. Задача на правапіс таксама дазволяе нормалізацыю, таму яе рэшэння залежыць ад формулювання.
У всіх пяці конфігураціях кандыдаты перажываюць менш часта, чым контрольныя прыклады. Інтэвалы Episode-bootstrap не ўключаюць значэнне нуля ў чатырох з іх (OLMo-2-7B, Qwen3.8-27B і оба рэжымы Qwen3-32B), а Qwen2.5-7B ёсць аднаковасцю. Рэзультаты задачы на грубую дапрацоўку застаюцца на роўні 0.96–1.00, тады як ступень зберагчэння стракі варыюецца, таму тое, што задача выглядае завершанай, нічога не дазваляе ствердзіць. Кожны токен вяртаецца ў розныя задачы, што обмежвае ўзаемную незалежнасць.
Тэксты выкананых заданняў паказваюць гэты разлік. OLMo-2-7B, калі яго папрасілі прыняць функцыю пад назвай according, запісвае sum_list, перапісвае according на correct у шаблоне правапісу, а калі другы элемент ліста ёсць NSLocalizedString, адпавядае LocalizableString. Qwen3-32B у заданні на правапіс перакладае realtà на reality. Форма задання застаецца тым жа ў гэтых адпаведзях, хоць змест выкананняя задання змініцца.
Сімуляваныя інструменты
Эксперымент з інструментамі выклікае пяць завадзей, аднакоўна прысвечаных цэльнам тэрміну: аналіз ключа канфігурацыі, падготовка інформацыі па ахвалу, рэкамендацыі ўжывання тэчналогіі, адказ на запытанні пра тэрмін і пераканальнэе перагляд выдання. Дазволеныя колькасць раундаў — аж шасць, з вікорыстоўваннем функцый search, open_page і run_python; кроме таго, дзесяць токенаў на клас даўае 50 эпізодаў для кожной канфігурацыі.
Сераўер налаштаваны на вікорыстоўванне заданых токенаў. Пошук точнага рэчэння вяртае дакументацыю, ахвалы выдання і старонку з проблемамі, тады як будзь-які іншы пошук не дае нічога значыцыявага, толькі загальныя старонкі. Гэта пераканальвае, чы рэальна адбываецца вызов інструмента, і не мадэлюе адказы на неудачны пошук у рэальным пошуковым сэрвісе. Мадэлі Qwen вікорыстоўваюць сваіе власныя шаблоны інструментаў, а OLMo — тэкстовы протакол, што ўсё больш ускладнюе порэванне між мадэлямі.
У звычнам рэжыме Qwen3-32B падтрымлівае стабільныя цялевыя значэнні у 96% першых запыткаў і у фінальных адпаведзях, кандыдатскія значэнні — у 74% першых запыткаў і у 68% фінальных адпаведзях, а цялевыя значэнні, асоцыяваныя з паталогіямі, — у жаднам з 50 эпізодаў. Дзеякія адпаведзі прыходзяць з загальнага матэрыялу, які быў знайдзен, пасля таго, як тэрмін знікае або змініцца ў першым запытку.
У Qwen3.8-27B контраст у першых запытках выглядае падобна, але спосаб завершэння адпаведзяў разны. У звычнам рэжыме толькі 14% эпізодаў з паталогіямі завершаюцца за час, назначаны для адпаведзення, у працоўнасупрацоўвае з 66% стабільных прыкладаў і 58% кандыдатскіх значэнняў, а ідэнтычныя вызывы інструментаў павтараюцца адпаведна у 28%, 10% і 14%. Рэжым размышлення зменяе гэтыя практыкі, а таксама і стабільную базовую лінію. Такім чынам, втрата цялевага значэння можа завершыцца загальнага адпаведзення або павтарэннем выкарыстоўвання інструмента, залежна ад налашоўкі.
Даныя не паказваюць шырокага распространення выдумання конкрэтных адзначэных фактов. Выдуманыя номеры версій з’яўляюцца толькі у кантэксце 0,00–0,02 на клас і конфігурацыю, пры чым ёсць розрозненыя ненулявыя значэнні як у групах, зв’язаных з бягамі, так і ў групах, зв’язаных з кантролем. Болей выражаным эфектам яўляецца вымышленне буквальнай меты запіту або адпаведнай адпаведзі. Выбраныя наборы токэнаў, павтаруваныя шаблоны і створаная асяроддзе усё гэта обмежвае можлівасць генералізацыі да автонамных сістэм, якія выкананяюць натуральныя задачы.
Негатыўны рэзультат для натуральных імен
Іншы эксперымент выкорыстоўвае повсякдзенны матэрыял: у натуральной задачы выкорыстоўваецца 1 255 асліпных ідэнтыфікатораў коду і власных імен. Аналіз ступеня ўразламнасці ўсіх ўскладненых токэнаў не дае практычных выгод у прыкладзенні да прычынення неправільнага імені аб’екта, калі ужо узятыя пад увагу рэдкасць, показнікі ізоляціі складоў і верыгоднасць модэлю для цэлага аб’екта. Значэння AUROC зменілася на -0,001, пры чым 95% інтэрвал складаецца з -0,008 да +0,006.
Гэта обмежвае можлівасць практычнага застосавання сінтэтычных рэзультатаў. Дапаможныя дадзеныя не паказваюць, што кантэкстуальны бал пояснюе памылкі у назвах натуральных аб’ектаў кроме вялікіх вучальных фактараў, ні што рэдкасць вызывае адны з гэтых наследкав, ні што ўсе можлівыя зв’язкі между кранічнаю чутлівасцю токенав і галюцынаціямі ўсунуты. Адпаведны вывод — гэты эксперымент не паказвае дадатковай прыгоднасці для прыкметкавання.
Дапаможныя аналізы
Пары токенав
Эксперымент з факторным копіюванням пераканальваецца, чы не завдаюць пары токенав больш шкоды, чым іх элементы окрэма. У прыстрое ёсць два слоты на адстанях 2, 4, 8, 16, 32, 64 і 128, кожны з якіх заполняецца двума незалежнымі элементамі. Кожная упорадкованая пара тэстуецца чатырма способамі: калі прысутныя оба ціля, калі толькі адны з іх разам з контрольным элементам, і калі толькі контрольныя элементы. Контраст ваздэйснення вырахоўваецца як сумарны бал за вырахунаком двух балоў за адны цэль плюс бал контроля.
Этая метадыяграма выкарыстоўвае аддытыўную модэль у кожным носіцы, стандартызуе застаткі, пермутуе ў межах носіцяў і прыменяе карэкцыю Бенджаміні-Хохберга па значэнні q = 0,05 (Бенджаміні і Хохберг, 1995). Іе крэтэрый пісання выклікае колькіснае вызначэнне колькісці адхіленых параў на аднойчыну з 95-ым перцэнтайлам, які атрымліваецца з двадцяці сімуляваных набораў дадзеных, у якіх взаімадзеянні ўсё ў аддытыўнай форме. Ніякі з набораў не праходзіць: кожны набор OLMo адхіляе 1 з 4 032 пар, Qwen3-32B — 13 з 1 190, а Qwen3-235B — 1 з 2 256.
Гэта не абсалютная відсутнасць взаімадзеяння. Тэсты на максымальныя статыстыкі ў значным ступені актуальны для пулоў OLMo і Qwen3-32B, а для Qwen3-235B значэнне p = 0,059. Крэтыніяй аналізуюць разныя часткі распадзелу взаімадзеяння, таму оба залішаюцца ў звярненні. Контрасты з павтарэнням токэнаў у сярэжнем сярэжку даюць пазітыўныя рэзультаты, што свідчыць пра спрыянне ў этых носіях: +0,005 для OLMo пры разліку 2 і +0,018 пры 128. Нічыга з гэтага не паказвае універсальнай аддытывнасці, відсутнасці рэдкіх шкодзібных камбінацый чы механізма, заснованага на індукцыі, а пазітыўныя значэнні могу маскаваць негатыўныя взаімадзеянні для адзінаковых пар.
У сумешаных пулах пяць токэнаў OLMo спрычыняюць 47% невялікіх носіяў, а пяць токэнаў Qwen3-32B — 57%. Такая концэнтрацыя робіць чутлівасць на рэвэлеўні токэнаў корыстным падсумкам, тады як невялікія невыконанні, якія не павтараюцца сярэд заполнічных элементаў, паказваюць, што гэты падсумак не ўзьме ў расчыт кантэкст.
Чы ідэнтычнасць все ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўс
У эксперыменце Pythia-1.4B 36 парадоксальных токенав і 1 088 контрольных токенав кожны знаходзіцца ў канцы восьмі кантэкстаў (модэль опісана Biderman і іншымі, 2023). На кожным слое ён прагчыць падабраць стан токена ў даным кантэксце з яго станам у іншым кантэксце сярод 1 124 кандыдатаў, вырахававшы частку, якая ўзаецца ў всіх кантэкстах. Парадоксальныя токены ідэальна падабраюцца ад шара эмбедынгу да 12-го шара, а контрольныя токены — з рэгулярнасцю ад 0,988 да 1,000. На последнім шарэ точнасць спадае да 0,880 і 0,874. Тады ўсё ж застаецца достатнько інформацыі пра ідэнтычнасць, якая можна вярнуць. Прыклад з логіт-лэнсам таксама падтрымлівае продовжэнне парадоксальнага токена, depress пасля ant, замест таго, каб вярнуць сам токен-вхід.
Магчымасць вярнуцься да пачатковага стану няма як прычыннага аспекта абярона. Эксперымент не можа паказаць, што працэс копіювання выкарыстоўвае тую інфармацыю, якая можа быць вярнутая, што ідэнтычнасць захавляецца ідэальна, чыі ўсё адбываецца толькі ў выходнам слое, а таксама ён стосуецца толькі самастойна пазначаных токенав абярона Pythia, а не восьмі кандыдатаў-модэляў. Чым разлічваць паслаблены вынік чытання ад конкурэнціі, залежнай ад кантэксту, патрэбны прычынніянтыўныя втручанні.
Што падтрымваюць доказы і дзе яны заканчываюцца
Галоўныы вынік — гэта паўтарыцца прырода разліку межа адзінокага успеху копіювання і чутлівасці да кантэксту. Спяльныя банкі дазваляюць ацэніць тэндэнцію на кожны токен без неабяжнага аналізу адпрацоўванага кантэксту для кожнага токена. Дэкодаваныя прыклады паказваюць, што дзеяныя расхіднасці ёсць буквальныя памылкі копіювання, а эксперыменты з заданнямі паказваюць, што выбраныя кандыдаты тыраць сваю ідэнтычнасць за межамі шаблона копіювання. Асоціяцыі, якія ствараюцца за дапамою эмбедынгу, спаяваюць гэтую групу з ранейшымі даследаваннямі пра „глюк-токены“, але ўсё ж іх неравнамерная дапаможнае значэнне не дазволяе вважаць геаметрыю цэлым адказам аб апрацоўваным методам выяўлення.
Некалькі абмежэнняя вызначаюць сферу застосавання.
- Прабалістычны клас. Кандыдаты візначаюцца па прынцыпе прабалістычнага порога, і звязак між гэтым порагам і справжнімі памылкамі дэкодавання ёсць толькі частковым. Рэзультаты, атрыманы па строгіх умовах і пасля перагляду продовжэнняў, паўнейша падтрымліваюць гэту гіпотэзу, але не заменяюць аналіз argmax для всей вялікай групы дадзеных; кроме таго, крашчая оцэнка распалоўкі павінна урахоўваць рэзультаты ізоляцыі і ідэнтычнасць кантэкстуальнага выходу кожнай клеткі.
- Штучныя носіцы. Носіцы у вачынку словнікаў ёсць штучнымі, а спецыфіка мадэлі вплывае на тое, што вімерваець. Прымітнае вставленне ID паўнейша візначае ідэнтычнасць цэльвы кантэксту, але можа стварыць вхідныя даны, якіх не створыў бы токенайзер. Задачы з рэчамі часткова дапамагаюць, а найболей сільны тэст на натуральныя ентыты даў негатыўны рэзультат пасля існуючых контролі. Нічога не дазволяе экстраполаваць распалоўку на звычайны тэкст чы счытаць рэйтынг якя-небудзь власнасць токена без кантэксту.
Самым прымытным наступным крокам ёсць падготовка чатыро элемента загадзя (тэст ізоляцыі, бал кандыдата, стварэнне рэферэнса і распад кантэкста), а пасля — тэставанне на незалежных дадзежах. Адказ пра памылку argmax у цільным положэнні, точнасць копіювання цэлага сэквэнса і зберэжэння точнага строкі разам з прамаравамі ймоварнасці дапаможу паў’язаць чутлівасць адсеівання з адказамі, якія можа бачыць чалавек. Тверджэнні пра адкрыцці будуць болей пераконлівыя, якшо будуць вказаны точнасць і памяць пры фіксаваным бюджэце верыфікацыі, чым толькі рэтроспектывны показнік AUROC.
Што патрэбна для рэпрадукцыі
Для рэпрадукцыі неабходны перасмотры модэлі і токэнайзера, ID токэнаў, якія былі выбраны, цэлыя ID кантэкстаў з месцамі для адчыплення, структура запыткаў, прагі, чысловая тачнасць і код для ацэнкі, а таксама матрыцы, спецыфічныя для кожнага запуску, і метаданы сяродавішча. Вагі ніколі не мяняюцца. Для графіка проекцыі таксама неабходны практавленыя ID, маскі класаў, прадзеянне эмбедынгаў, параметры і насэнні UMAP, а таксама канфігурацыі генеравання абмежваюцца тымі, якія ясна зазначаны.
Колькасць кандыдатаў разлічыцца ў разных аналізах. У падсумку адбору для Qwen2.5-7B, Qwen2.5-72B і Qwen3-235B паказаны 296, 418 і 684, у дадатку — 294, 417 і 682, і кожны аналіз застаецца з сабой своімі цыфрамі. Колькасць прыкладоў для прыбліжнага прыценні таксама разлічыцца, адтуды што ў ўсіх іх вікорыстоўваюцца іншыя кантэксты. Ёжы ўсіх застаўшыхся разлікав неабходны толькі маніфесты токэнаў і маскі адключэння.
Запісаны протакол быў зменены па ходу: змяніліся шлюз ізоляцыі, розмер выборкі, фільтр для друкуемых значэнняў і методы оцэнкі на рэвэлі. Выбіранне выборак адбываецца на адпаведнасці з колькасцю роўнаў умiesцэння, таму дадатковыя даны зменшаюць перакрыцце ID між выборкамі Qwen2.5 і Qwen3, а масштабаванне ID унутрь Qwen2.5 ніколі не пераканалі. Гэтыя выборы належаць да эксперыментальных спецыфікацый і обмежваюць можлівасць чытання між мадэлямі.
Шаблоны запітоў і пробы
Короткія абазавы, якія вікорыстоўваюцца вышэ, не маюць паслясловаў з інструкцыямі і квантызацыяй. Точныя версіі чэкпоінтаў і токенайзероў, змены ладчыка і версіі сяродавысці маюць быць уявленыя ў дакументах запуску.
Шаблон копіювання пачынаецца з адной короткай інструкцыі:
Repeat the text exactly.
Пасуюць два пары для дэманстрацыі і апошнія ячэйка для тэксту. Апошній скопіяваны прыфікс наводзіцца па рашыненню вучыльніка, а вераганніца выкарыстоўвання чытаецца на яго пазіцыі скопіювання. Фразы, абмежаныя куцымі квадратнымі скобкамі у первасным шаблоне, опісваюць експерыментальныя дадзеныя і не ўскладнююць буквальнага тэксту запрошэння:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Для ізоляціі ў пасунке з заканчальным тэкстам знаходзіцца толькі ID цэльвы кантэксту. У версіі Qwen3.8 інструкцыі, дэманстрацыі і заканчальны тэкст знаходзяцца ў турэ карыстальніка, пазначкі копіювання пачынае тур асістэнта, а функцыя аналізу думак не працюе. Токенаізаваныя разлічнікі ўключаюцца ў спецыфікацыю аператывай працы, адколі дэкодаваныя строкі запыткаў не дазволяюць точна вызначыць парадак ID.
Запытка ідэнтыфікацыі OLMo запытае, што ўсьмо токен, каб точна яго ідэнтыфікацыя, а пасля пашагоўна поясніць, што ён значыць:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Прызначэнне падпрыемніка — Дазвольце мне рошуча падумаць пра гэта. Адзінлівыя пробы з простымі токенамі ставяць цэль у тур корыстніка пад шаблонам кожнага модэля, а настройкі «звычайны» і «падуманне» лічуюцца як адзінаковыя конфігурацыі. Рэпродукцыя — гэта явішчаеся гэтага пад час утварэння выходу, якае оцэнюецца за допамою точнага ID і дэкодаванага строкі окрэма, і яй не патрэбна правільная адказка.
Даўнейшая пераканальнае пераглядка і дэталі геаметрыі
Размахі зборак праменя разніцяюцца залежна ад модэлі: ад 36 токэнаў у Flash-Next да 442 у OLMo-2-7B, 100 у большасці модэляў Qwen, а 50 у Qwen3.8-27B. Дапаможны дыягнастычны показнік паказвае, сколькі з 100 найгоршых токэнаў ізоляцыі таксама пасягаюць у рэнкінгу кантэксту 0,90 або больш. Гэты показнік колічыцца ад 36 у Flash-Next да 78 у Qwen3-32B. Паколькі гэтыя показнікі атрымваны на разных этапах выбору, іх самых нельга выкарыстоўваць для павторнага стварэння кожнага праменя, і полная маска негатыўнай класы павінна супроваджваць кожнае відтворэнне.
У модэлі OLMo показнік напрамку, атрыманы з незалежна пазначанага праменя, і показнік з праменя без пазначэння, але пераглянутага ў кантэксце, оба пасягаюць значэнням AUROC 0,879, тады як некантрольаваныя 100 найгоршых токэнаў ізоляцыі даходзяць да 0,642. Такім чынам, стварэнне праменя ёсць эмпірычныя часткаю методу, а не элементам, які можна заменіць.
У аналізе прыгадкі OLMo з жорсткай фільтрацыёю ёсць 28 пазітыўных атрыбутаў. Статычныя характэрыстыкі палягаюць на AUROC у розмярзе 0.911, пры тым як для паверхневых характэрыстыкі — 0.711; разлік становіць +0.202, з інтэрвалам +0.096 да +0.320. Хоць гэта ўзьяздны аналіз для іншай групы дадзеных. Незначныя расходы между разлікамі, апрацаванымі методам bootstrap, і вырахаванымі, але заўважненымі AUROC-амі немагчыма выявіць на аднойчынных даследжэннях.
Значэнні энтропіі для сахаваных неудачных экзампляраў вылучаюцца з выбраных найгоршых клетак, а не з аднойчыннага выборку знакоў аб адказоў, і яны опісваюць распад у цэльнай пазіцыі. Для OLMo не існуе адпаведнага аднойчыннага падсумку.
Практыкі стварэння і выканання заданняў у дэталях
У рэжыме простагенеравання пасля фільтрацыі на адпаведнасць з сэмамі Qwen3-1.7B мае 31 кандыдата, а Qwen3-32B — 14; пры тым у тэстах з OLMo выкорыстоўваецца фарматаванне толькі токэнаў, што адрозніца ад эксперыменту з ідэнтыфікацыяю па інструкцыях. У тым эксперыменце жаданых токэнаў з аблыянасцямі не відтвараецца па ідэнтыфікатору, тады калі ў 32 кандыдатах 17 контрольных і 11 кандыдатскаях токэнаў аблыянае, таму змена запросу паўтарае цыфры і адносіцца да іх інтэрпрэтацыі.
Траекторы не паказваюць адзынкшчыну, большую за контрольныя прыклады: разлік у адзынкшчыне межаў glitch-minus-control пачынаецца з +0,27 біт (крок 8) і заканчваецца -0,29 біт (крок 255). Серэдняя значэння косай дзвіну для пары станоў у фінальным стане прыбліжна доравнае нулю для обох груп, таму няма пазнак супяроўнаванага фінальнага стану-атрактара. Сямена з найгоршым ізоляцыяным выконаннем выбіраюцца на адзынкшчыну ізоляцыі за дапамою фільтра друкаемых страк і не ўсега являюцца геаметрычнымі класамі-рэферэнсамі. У тых месцах, дзе стракі былі зафіксаваны, вялічына выборкі мала: восем сямен і восем контрольных прыкладоў, на Qwen3-1,7B і пад час запуску OLMo.
У кожным шаблоне з простымі інструкцыямі месца для заполнення прымоцьвае ID цэльвог токена, а не перэтокенаізаваную інтэрполіраваную страку. Яе пяць шаблонав:
- Называнне функцыі: напісаць функцыю на Python, якая называецца адным словам так сама, як і токен, які вяртае суму спіса цяжэй, толькі код.
- Цытата з заглавлям: паведаміце заглавле дакумента ў двойных апошцях і не пісаце нічога больш, пры чым заглавле являе сабою прымечанне да токена і супаўзвязаных пытанняў.
- Адбір з спісу: у нумераваным спісе лямп, токенаў, прыстаней і кампаса паведаміце толькі другі пункт.
- Корэкцыя артыкуляцыі: выправіце адмылкі ў рэчы пра падачу формы токена до пятніцы, або застаўце яе без змян.
- Падсумак: падсумаваце заседанне камітэта, на якім токен прэдставіў незменены бюджэт, залічываючы власныя імены такімі, якія напісаны.
Дзеяныя шаблоны выкалікаюць абавесны называнне, а заведзенне з артыкуляцыяй дазволяе выправленні, таму важна парабяльнае паўтарэнне заданняў. Кожная клетка базуецца на дзесяці эпізодах на клас.
У заведзеннях з інструментамі запрашваецца:
- Канфігурацыя: дыягназыс, у двух або трох прыказах, пра таго, чаму служба ігнаруе ключ канфігурацыі, заданы ў мэнеджары абстрактных значэнняў, з выкарыстоўваннем пошуку ў дасяглібных інструкцыях, чытання старонкі і шырокага пераканальнага аналізу.
- Фон: прыметка дыяпазону 80 слоў для новачка, з адзначэннем значэння, двумя фактамі і паўязанай старонкай.
- Адопцыя: рэкамендацыя ўжываць, прыпыніць выкарыстоўванне або адмовіцца ад токена, з двума праблемамі, выявленымі за дапамой спецыяльных інструментаў.
- Значэнне: адказ англійскаму чытальніку пра тое, што значыць гэты тэрмін і звядзеўся ён з чаго, з прыкладам прыказа.
- Выпуск: адказ «так» або «нет», з адной прыказай-паўтарэннем, пра тое, чыі новейшы выпуск змяніў стандартную канфігурацыю.
У тэстовай асяроддзі запыт, які містыць цяперашняе рэчыце, вяртае тры корыстныя рэзультаты: дакументацыю, прыметкі па выданні 2.4.1 і нерашаныя прыбліжэнні, а іншыя запыты вяртаюць стандартныя сторанкі. Сторанкі ачынаюцца нормальна, а аптэка паведамляе пра версію. Гэта ўжо тэстовыя прылады і нічога не сказваюць пра рэальныя бібліятэкі, якія зв’язаны з выбранымі рэчыцямі. Запуск завершаецца, калі за шасць раундоў даходзіць да фінальнай адпаведзі, павтараецца, калі павтарыцца ідэнтычны запыт, а версія выдумваецца, калі паведамляецца версія без падтрымкі інструментаў. Адзін раунд можа міць калькі запытоў.
Цялі класу Glitch перазстаюць пасля першага запыту з показнікам 0.02 як у рэжымах Qwen3.8-27B, так і ў чатырох іншых конфігураціях, і перазстаюць у фінальнай адпаведзі з показнікам 0.02 для Qwen3.8-27B у звычнам рэжыме і 0.00 ў іншых. Што стосуецца показнікаў, то яны меруюць ступень уключэння лексыкі і не ацэнююць правдзівасць.
Супаўязаная літэратура
- Практычныя прытамулы: Чым яўляецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі — Паследовальны апісанне практычных прытамулов: Чым яўляецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі: контракты, перакананні і шаблоны коду для команд, якія вікорыстоўваюць гэты падход.
- Пераранжаванне у RAG: Cross-Encoders проты LLM Judges і ўплыв латэнцыі — Як пераранжаванне у другім етапе выправляе парадак кандыдатаў у RAG, паўстанавленне порэвання Cross-Encoders з LLM Judges, вартасці латэнцыі, спосабы абыякавання і як іх ацэніць.