Паспяшны адгук на дужаўкія запытанні: чаму дужаўкія даны зменшуюць тачнасць ШІ.

Якщо даць дужы запит будзь-яму з модэляў, працаваліх у 2025 годзе, якасць адпаведзення падыходзіць, нават калі інфармацыя, пра якую вы спытваеце, знаходзіцца праўда ў самым тексте. Даследжэнне Chroma з 2025 годзы, якое абключала 18 такіх модэляў, паказала, што тачнасць у відпаведзеннях на факты, захаваныя ў середзіне запиту, падыходзіць болей чым на 30%. Прычына гэтага не стоіць у яком-небудзь „вялікім часе уваги“. Яна крыўдзіцца тым, як трансфармеры кодуюць месца розташавання кожнага токена.

Люди называюць це „гніллю контексту“, і це щось зовсім інше, ніж просто досягнення межі контексту. Експеримент Стэнфордського університету 2023 року показує, чому. Якщо надати моделі 20 отриманих документів — близько 4 000 токенів, що не є значною кількістю порівняно з сучасними обмеженнями. Якщо важлива інформація знаходиться на першому місці, модель правильно її ідентифікує у 70–75% випадків. Якщо ж перемістити ту саму інформацію в середину, точність знижується до 55–60%. Інформація залишається актуальною, але модель надає їй менше ваги.

Джерело занепаду

Большасць сучасных трансформатораў выкарыстоўвае Rotary Position Embeddings (RoPE) для пазначэння порядку токенав. RoPE мае відомыя дуггастрыяя зменшэння: чым большая адстань межа двумя токенамі, тым нижэй становіцца верхня межа таго, насколькі можна звернуць увагу на іншы (за тэорыяй), незалежна ад таго, што насправе значаюць гэтыя два токены. Softmax паглыбляе гэту проблему. Ён спрямоўвае увагу на токены, якія вже маюць высокія балы, што спрыяе початку і канцу контекста і стварае U-падобную крывую, якую дактаранты называюць «загубленым у середзіне».

Форму гэтых зменшэння можна побачыць за дапамогою маленькага скрыпту. Ён створаны толькі на адной падставе структуры частот RoPE, а не на базе ваг справжньяго модэлю, таму трэба спрыймать яго як ілюстрацыю. Ядзейны элемент, які ёму трэба, — это numpy:

import numpy as np

А цяпер функцыя, якая вимервае, як зменшуецца межа сэмпільнасці з адбываннем адстані:

def rope_similarity_decay(distances, dim=64, base=10000):
    freqs = 1.0 / (base ** (np.arange(0, dim, 2) / dim))
    decays = []
    for d in distances:
        bound = np.mean(np.cos(freqs * d))
        decays.append(bound)
    return np.array(decays)

Якщо працаваць з все большымі абстрактнымі елементамі, то пасляходзіць гэта:

Token distance | Relative similarity bound
             1 |  0.9662
            10 |  0.6579
            50 |  0.4898
           100 |  0.5586
           500 |  0.2006
          1000 |  0.2789
          5000 | -0.1309
         10000 |  0.0494
         50000 | -0.0898

Элементы, якія знаходзяцца на адзін-дзесять пазычакоў адступленыя, заставаюць значэнне близкім да 1,0. Калі абстрактныя елементы разлучае калькі тысяч пазычакоў, гэта значэнне спадае да нуля, а ў дзеярых моментах нават стае меншым за яго, таму геаметрычныя звязкі межаў далека адступленых элементоў больш не можуць надзеясніць, што «гэтыя два элементы связаны». Заўважыце, што гэты спад не ёсць плавным; існуе спадаючая крывая з рэальнымі колышчаннямі ўсередзіні яе. Ніякі з гэтых показначыкаў не ўзлегчае ацэнку конкретнага моделі, але ён поясняе, чаму проблема мае структурны характер і не зникае проста праз трэніраванне большага моделі.

Большы прызмат не рашае проблему

Сэрчынікі зараз адзельнаюць агласаванае вікно контэксту ад Максымальнага эфектыўнага вікна контэксту (MECW) – глыбіны, пры якой рэальна карыстоўнасць моделі застаецца стабільной. Згадкаючы пра даследжэння 2025 года, якіе бяруцься з гэтай разлікі, пры складных задачах эфектыўны ліміт можа быць на 99% нижэй, чым паказана цячка ў технічных характэрыстыках. Вікно з мільйонам токенав означае, што модэлі не будуць даваць памылак пры обработкі мільйона токенав; аднак гэта нічога не сказвае пра тое, чы розумна ў яе викорыстоўванні.

Чаму агенты для програмавання страждаюць найбольш

Для агентаў, які здійснююць кодаванне, проблема змены контексту выдвігается як асновны спосаб парадоху, і це скорэй проблема введення некальканосных дадзейн, чым нехапака ў можлівасцях. Працюючы над дзялёй працы, агент шукае, дакладжае і вяртаеся назад, і кожны тупік залишае «шум» у історыі. Шырэнне гэтага «шуму» паслабляе кожны наступны крок, нават якщо той самы модель змогла бы чыста рашыць задачу, выкорыстоўваючы чысты контекст. Такім чынам, дзялёная сесія можа зазнаць невыпання задачы, не выкарануўшыся ў токэны: інструкцыі з першага крока застаюцца ў размове і пад час пяцідзiesятага крока, але увага моделі можа больш не досягаць іх.

Што дапамагае

RAG і дзьяўныя вікна не ўзаемназаменны. Метод адбору інфармацыі ўтрымоўвае сваю эфектывнасць паляганням на скорачэнні вялікага калекцыі да релевантных дадзеных, таму што прабаўка включыць усё адразу прыводзіць да вышэпаказванага занепаду якасці. Пасля адбору інфармацыі всі рэшткавы методы радзяць адно: трэба падтрымваць рабочы контекст маленькім і чыстым, а не вялікім і повным.

• Падсумаваць або празрыхнуць застарэлую історыю размов.
• Размістіць тое, на чым залежыць рашэнне, ближэй да пачатку або канца запиту, ніколі не ў середзіне.
• Памятаць, што «гэта падходзіць» і «модель гэта выкарыстоўвае» — гэта два разныя тверджэння.

Шырокія адказы

Што такое занепад контексту? Знижэння якосці выходных дадзеных з адбываннем часу і зростам дужэй вхідных дадзеных, нават калі вікно не запоўнена і неякія неабходныя даны ўсё ж прысутны.

Чаму самая середзінная частка ўжо неякосць? RoPE за прызначэнням слабяе звязак між далекімі токенамі, а softmax пасля чаго спрямоввае увагу на тыя пазіцыі, якія вже маюць высокі бал, якія зазвычай ўжо є першымі та апошнімі.

Чы можа большы ліміт вырашыць проблэму? Не. Вывядзімы контекст часта ў разы меньшы, чым адзначаецца, особліва пад час складных багатоэтапных задач.

Чы проста заканчваецца прастор? Не. Точнасць значным чынам падваіцца ўже пасля калькі тысяч токенав, што застаецца далека ад сотняў тысяч, якія можуць прыймаць сучасныя моделі.

Адна застерэжненне ўзгляду на вышэйшы код: гэта спрасаваная модель частоты. Рэальная працёздатнасць залежыць ад навучаных ваг увагі, якія дадаюць допамогу гэтай геаметрычнай базовай модэлі, таму базовая модэль пояснюе частку ад парадоксу, але не ўвесь яго.