Чаму бенчмаркі памяці агентаў уводзяць у зман і як ацэньваць на сваіх даных

Адміністратыўныя крэйтэрыі для пераканання ў працэсе памяці агентаў не можу пацвердзіць, якая сістэма падойдзе для конкрэтнай задачы, а дзеякія з іх аж усёўсёды не можу чытка сказаць, якая сістэма ўзагалі крашчая. Доказы гэтага не ўскрытны. У всемі вядомых крэйтэрыях, якія выкарыстоўваюцься, прымітны базовы падход, які вставляе весь дыялог у запіт, перавышае эфектывнасц спецыяльных рашэнняў на базе памяці, як паказана ў самай студзіі ад адна з компаній-вырабнікаваў памяці. Незалежны аўдыт паказаў, што апошнія шэсца відсотка кіяўкаў адпаведзей у гэтых крэйтэрыях ўскладненыя, а ўстройства для автаматычнага оцэнювання прыймаюць прыблізна два з кожных трох умышлена некорэктных адпаведзей. Разумны выхад — перастаць выбіраць на адзеўцы лідэраў і стварыць сістэму ацэнку на аднойчыных даных.

Разглядзім, як каманда зазвычай выбірае сістэму памяці. Яна аналізуе таблыцу лідэраў, берае тое, што знаходзіцца на верху, і прыменяе яе. Чэрэз тры тыдзены пасля запуску агент абэрантна падходзіць да цыфры, якую корыстувач парадкаваў ў празылетні втарок; кроме таго, ён пачаў суперсечыцца з рашэннем, прынятым за тыдзень раней. Яедыны факт, які быў неабходны для запіту, выходзіць у рангу пад чатырма несутыкаемымі данымі. Бенчмарк называў гэту сістэму найкрашчай на рынку, пры тым не згадваючы проблемы самай каманды.

Пад гэтым стоіць пытанне, якое вылучаецца пасля кожнага стварэння сістэмы памяці: як вы ведаеце, што яна працуе? Небажаныя адказы заключаюцца у тым, што цыфры, да якіх зазвычай апіраюцца каманды, не можу на яе адпавесці, а дзеякія вообшча не можу дапамогчы нікому.

Ранг у таблыцы лідэраў паказвае, што сістэма добра справілася на тэсце іншай адзены, які быў оцэнены іншым суддзёй, па іншай версіі правільнай адпаведзі. Ён не паказвае, чы робат-агент запамятае тое, пра што паведаміў корыстнік тры тыдзены тыму. Гэта разныя пытанні, і толькі адна з іх стосуецца вас.

Крэтары, які вы выбіраеце, меры ўсё іншае

Главныя рэзультаты выклікаюць паузу. Возьмімо найчашча адзначаны крытэрый для пераканаўлення памяці. Метод, які не выкарыстоўвае сістэму памяці, а проста вставляе весь дыялог у запіт і дае адпаведныя адказы, завершыў першым, трохі перад прыладамі з спецыяльной памяцюю, якія былі выкорыстаны ў порэвананні. Ніхто з крытыкаў гэта не зазначыў. Гэты рэзультат праказаны ў стацыяні, якая знаходзіцца пасля вядомай бібліятэкі памяці Mem0, опублікованай у журнале з рэвізіяй рэвю, дзе автары пазначаюць, што выкарыстоўванне цэлага кантэксту дала лепшыя рэзультаты па точнасці, чым ўжо існуючая у ўсіх сістэмах, пры тым час адпаведны для адказу быў у дзесяць разоў вышы. Іншы віробнік таксама цытуе гэты факт з той жа стацыяні, таму гэта не ўплывленыя мненні аднаго з лагероў.

Гэта менш няпрыемна, чым здаецца, і важна правільная чытанне. Увесь тэкст копіюецца точна, таму што нічога не было прыхована. Гэта проста не падходзіць для масштабавання праз перэплыв даных і квадратны кост. Таму крытэрый оцэнкі пераважна награджае тыя сістэмы, якія найкрашча апрыкладжуюць точнасць у цэлым кантэксце, вітрачаючы менш токенав. Гэта корыстна для зьмерэння. Гэта не тое ж сама, што тэставанне, чы можа сістэма прыгледзець адзін даклэдак, які корыстнік даў месяць раней, і кожны, хто спрыймае рангаванне як гэта, быў падвёрнуты сваімі сабеўпадзеламі.

Асалодныя даны ўсё больш ненадзеяныя. Адзінэчны аўдыт, які быў публічным і можна было перадаць, хоць і не працаваў па прынцыпу рэвізіі спецялістамі, дакледна аналізав кіявкі адпаведзенняў у крэйтарыях тэстаў і знайшоў, што апошнія на 6 процэнтаў ўсунутыя: выдуманы факты, аблукальны тэмпаральны расчын, адпаведзення прыпісваныя не таму спікеру. Калі аўдытары падалі стандартнаму автаматычнаму сістэме оцэнкі адпаведзенняя, якія былі некарэктныя, але правдападобныя, тая прыняла апошніяя прыблізна на два трэці. Існуе адна чыстая застэрэжніца. Авары аўдыту, Пенфілд, таксама ствараюць сістэмы памяці, таму яны не ўніверсальныя. Але гэтыя працы можна перадаць, а нерашаныя пытанні ў самым рэпазітарыі крэйтарыяў тэстаў таксама паказваюць на тое, што проблема рэальная, нават якшо ўчастнікі аўдыту не ўзятыя ў расчыт. Нябыць гэтага ўсё болей яскравыя. Крэйтэрыў з рэшткамі пахыбкі 6 процэнта не можа адразніць два сістэмы, якія разлічаюцца менш чым на 6 процэнта, а прыстрой для ацэнкі, які прыймае два трэціных тэстаў на аблікованасць, мерыць аблікованасць, а не правільнасць.

Нумеры вэндароў таксама не збігаюцца. Два найвядомейшыя вэндары памяці публікуюць рэзультаты для таго ж крэйтэрыю, якія суперсачываюцца, аднойчы запускаючы сістэму іншага і атрымляючы рэзультат, які іншы заперачвае, адколі вынік сільна залежыць ад таго, хто налаштаваў інтэграцыю іншага. Цыфры, якія змінююцца на два цыфры залежна ад налаштавання, ўскладнююць маркетынг, а не мерыленне. Нічыга з гэтага не значыць, што сістэмы пакінутыя. Гэта значыць, што табелі лідэраў не можа аранжаваць іх за вас, і тым болей не для вашай сферы дзеяння.

Дзейны кантэкст — гэта не памяць, а крэйтэрыі плутаюць гэтыя два паняйманні

Большая плутанасць не дае правільнае парабяранне прычын і наследкіў яшчэ перш чым яны пачынаюцца. Дзягучы кантэкст і памяць — гэта разныя рычы, пры тым чым багато методаў ацэнкі спрыяюць да таго, каб іх вважалі аднай вясь.

Памяц означае працэйнае продакцыя між сэсіямі. У панедзелак агент чыгае ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо

Такое раздзеленне не ўпершыню. Фрэймворк RAGAS з адкрытым кодам, опісаны ў стацыі 2024 года, пабудаваны на ям, раздзеляючы спроможнасць прыстрою для пошуку знаходзіць рэлевантны кантэкст ад спроможнасці мадэлі аддзейсніваць гэты кантэкст правядзебна. TruLens опісвае тую ж ідэю як трыэлементную структуру: рэлевантнасць кантэкста для пошуку, адпаведнасць адпаведнасці адпаведнасці да таго, чы рэспактавана адпаведнасць да таго, што было знайдзена, і рэлевантнасць адпаведнасці да пытання для таго, чы пытанне было рашана. Назвы разныя, але прынцып раздзелення той самы.

Патрэбны як першы, так і другі шары, але самэй гэтае частка часта ігнаруецца командамі. Хорашы агент для выкарыстоўвання інформацыі можа ўсё ж даць некарэктны адказ, таму што правыя факты знаходзяцца ў кантэксце, а мадэль іх ігнаруе, неправямым чынам аналізуе іх або спяўнаюе іх з тым, у шта ён вярыў раней. Самэй таму показнік адпаведнасці да рэальнасці ёсць самастоятны метрык. Некалічны агент для выкарыстоўвання інформацыі таксама можа даць правы адказ, таму што мадэль запэўняе прасоць сваім параметрычным знанням, і гэта ўжо болей небяспечны варыянт. Рэзультат аналізу з канца ў канец пазначаецца як „правільны“, хоць на самай працэ памяці не было выкарыстана жадна корыстная інформацыя; гэтая памятка будзе пазначыцца пазней, калі з’явіцца факт з конкрэтной галіны, пра які мадэль проста не ведала. Адліквідацыя толькі фінальнага адказа не можа адзначыць робочую памяць ад простага ўдачнага здагадкі.

Процэс выкарыстоўвання інформацыі заслуговае на метрыкі ранжыравання, а не на узгоджэнне з LLM

Этап адаптавання — гэты слой, дзе арыметыка можа выконваць аналіз, а арыметыка не мае суб’екtyвных думак. Метрыкі выйшлі з класычнага адаптавання інфармацыі і існуюць вялікія гады:

• Recall@k — гэта частка фактов, якія павінны былі бы адаптаваны і якія рэальна з’явіліся сярод першых k. Гэта показнік падходзіць, калі наступны мадэль толеруе некалькі небажаных элементаў, а главная задача — ў тым, каб неабходны факт быў прысутны.
• Precision@k — гэта частка адаптаваных элементаў, якія віявіліся рэлевантнымі. Гэты показнік важны, калі простор для кантэксту меркавы, і кожны непатрэбны элемент коштуе токенав або выводзіць мадэль з правільнага курсу.
• Mean reciprocal rank адзначае прыорытэт ставлення самага правільнага факта на першае месца, у тых случаях, калі для аналізу значыць толькі першы знайдзены элемент.
• Нормалізаваныя зніжаныя кумулятывныя практыкі падходзяць для класавання рэлевантнасці, калі парадак мае значэнне, таму што мадэль дае большую вагу ранейшаму кантэксту.
• Шчытаець успеху, тыя кантэксты, якія ўзагалі былі рэлевантныя, являе сабо просты крытэрый адбору.

Выберыце той варыянт, які падходзіць да спосабу, якім ваш агент чытае свою памяць.

Практычна няма команды, якая звертае ўвагу на наступны момент, а ён можа быць найболей корыстным тут. Популярныя кантэксты ацэнкі, такія як RAGAS, TruLens і DeepEval, выкарыстоўваюць показнікі пад назвамі context recall і context precision, і ўсё ж здаецца логічным прыймаць, што гэтыя показнікі ёсць тымі самымі показнікамі ранжыравання. Аднак гэта не так. У большасці гэтых інструментаў суддзя-LLM чытае атрыбутаваныя фрагменты і ставяе ім балы, замест таго каб пораўняваць іх з пазначаным наборам, у якім вказаны, якія факты ёсць справжна значнымі. Таму каманда, якая думае, што яна мерыць якасць атрыбутавання, на самай працэ запытае аднае мовнае модэль пра ўзгляд другой мовной модэль на атрыбутаванне, і такім чынам успадкуе ўсе уперэджэнні, якія ёсць у судды-LLM. Для атрыбутавання неабходны пазначаны набор, у якім вказаны, якія з збераганых фактов ёсць значнымі для кожнага запытання, пасля чаго recall@k і іншыя показнікі проста паўтараюць гэты підрахунак. Самае справжняе задачэ — стварыць гэты набор, а кантэксты ацэнкі дазволяюць ухіліцца ад яго. Гэта пояснюе, чаму чыстыя колькісы адзысканнях матэрыялу ўсё рэдкасці, тады як панелі керування, якія выглядаюць рэгулярнымі, але такімі не ўсё, ўсюды.

Чатыры аспекты, якія працяговыя методы ацэнкі RAG працягваюць

Якшы адносіцеся да памяці агента як да звычайнага каналу RAG, тады вы будзеце ацэніваць як качэнне матэрыялу, так і якосць адказу, і таму жыцеце. Адным словам, гэта не ўрахоўвае чатыры проблемы, якія стосуюцца толькі памяці, і якія выступаюць толькі таму, што памяць застаецца і змінюецца з часам.

Адэкватнасць. Чы хутчэйшы агент сказаў што-небудзь, што суперасходзіцца з тым, што ён сказаў корыстніку раней, чы з сабой самым ранейшым? Стандартная ацэнка RAG не можа гэта пазначыць, адколі кожны запіт оцэніваецца окрэма, але памяць, якая зберагае два протыяўныя факты, можа прадаст іх у разныя дні, і тады ўсё будзе выглядаць неадэкватна. Магчыма і наяўнасць цыфры. Мадэль NLI можа пазначыць пазнейшую заяву як суперасходзячуюся з ранейшай, пры чым гэта прыменяецца як да самай розмовы, так і да таго, што вяртае магазін, што робіць суперасходжэння метрыкай, якая фіксуецца, а не жалобай корыстніка. Наборы дадзеных, створаныя для выяўлення таго, калі адна частка дыялогу суперасходзіцца з іншай, формалізуюць самую гэтую ідэю.

Няўкаліснасць. Калі факт змініцца, чы рэкамендацыя вярнайць новую цэню чы старую? LongMemEval (ICLR 2025) уключае тэмпаральныя механізмы разумавання і абнаўленні знанняясці сярод пяці перакананых ягоя спроможнасцей, таму гэта ўзнакомленая вімога, а не прыемнасць. Дызайн, які пасваюцца, ёсць бі-тэмпаральны. Факт фіксуецца пра тое, калі ён існаваў у рэальным свеце і калі сістэма яго выявіла, а апдэйт анулюе старую версію на адной з пазначак часу, а не перазапісвае яе. Сістэмы на адной з тэмпаральных графаў, такія як Graphiti і Zep, працуюць такім чынам. Тэст просты: пасля апдэйту запыт вяртае новую цэню, а сістэма все ўсё можа сказаць вам, што старая цэню была правдзівай раней.

Абстэнцыя. Якшто якая-лібо інфармацыя ніколі не была зафіксавана, чы робіце агент такое заявленне, чы проста выдумвае? LongMemEval спрэтва ставіць абстэнцыю як окрэмую спроможнасць, і гэта правільна падход: памяць, якая выдумвае, горша за тую, якая прызнае наявнасць прызнака, адколі самэўпэўненая выдумка — гэта тое, што кліент у канцы канцоў вочытае. Гэя ідэя існуе ранейш за памяць; яна бачыцца ў тэстах на розумеўанне прачытанага з 2018 года, у якіх былі навмысна створаны запытанні без адпаведзей. У такіх тэстах усё проста: запытайце пра ўсё, што ніколі не было зафіксавана; правільная сістэма нічога не знайдзе і адмовіць, а несправная запытанне заполніць мовчанне.

Забыванне. Чыя ж дадзеныя, якія якраз і павінны знікнуць або быць адчыненыя, на самай працоўцы зніклі? Методы, якія выкарыстоўваюцца для таго, каб машына «забыла», задаюць патэрн. TOFU, аднак з такіх крэйтарыўных пунктав, дзеліць дадзеныя на групу, якая забываецца, і групу, якая застаецца, і пераканальваецца не толькі ў тым, што забытыя матэрыялы немагчыма доступнаць, але і ў тым, што іх суседзі застаюцца недаступнымі. Тэсты памяці выкарыстоўваюць той жа прынцып: пасля адчынення факт не можа быць ні запрашаны, ні выведзены, а супаўзяныя з яным факты застаюцца. Гэта не тое ж самае, што і свежасць. Калі значэнне заменяецца, старое значэнне намеравана застаецца ў файле, тады як справжнее адчыненне, такое, якое трэба для запыту пра прыватнасць, павінна не залічыць жадных следаў. Сістэма, якая толькі анулюе, праграджае тэст свежасці, але тыха праграджае аўдыт права на забыванне, і толькі ацэнка, якая розлічвае гэтыя два станы, можа яе выявіць.

Оценяйце адпаведзі з суддзём, але не дазволяйце яму вялічы правду

Рэйтынгі адпаведнасці вылічваюцца па прынцыпе падсчыту. Адпаведныя адказы зазвычай немагчыма адгэнераваць, адколькі правы адказ можа быць сказаны разнымі спосабамі, таму большасць команд выкарыстоўвае LLM як суддзю. Гэта працюе ў чытка задокументаваных межах, якія лёгка забыць. У студзіі 2023 года, якая запрацавала прынцып выкарыстоўвання LLM як судды, было зафіксавана, што сільны суддзя у 80 процэнтах случаў падабаецца да людзкіх атласаваў, таму і популярнасць гэтай тэхнікі. У студзіі таксаваліся таксама способы неякоснасці: уперакошанне па пазіцыі, калі суддзя праблікае той адказ, які бачыць першы; уперакошанне па довжыне, калі заохочваецца дужыня адказу больш, чым яго сутнасць; і уперакошанне па самапаўнечэнні, калі суддзя воліе адказы, напісаныя ў сваім сабе стылі. Студзія 2024 года ўточніла гэты пункт і паказала, што мадэль можа распазнаць свой сабе стыл пісьма, і чым лепей яна гэта робіць, тым больш яна яго воліе. Іншая студыя 2023 года, G-Eval, паказала, што рангаванне GPT-4 досыць адпавядае рангаванню людзей, але выявіла найболей значныя проблемы ў такім падходзе — судзіяў прывабляе тэкст, які ўслаўлены, впэўнены і правільна структураваны. Гэта самэ ўжо ў віглядзе впэўненай, але некорэктнай адпаведзі, што дазволяе тады, калі памяць звучыць правільна, але цыфра некорэктная, працаваць без проблем.

Існавайце судзію, але обмежыце яе дзеянні:

• Рангавайце на адной з крэтыніяў, якія апіраюцца на вядомую правільную адпаведзь, а не на вопыт «каторая лепшая», такім чынам судзія пераканваецца ў фактах, а не голасуе на адпаведны настроў.
• Пераканваецеся, як часта сістэма сагаджаецца з прыкладамі, пазначанымі людзьмі, з вашых сэнсаў, адтолькі судзія, якая не сагаджаецца з вамі ў вашай галіні, ёсць інструмент без калібрацыі.
• Нейтрылізуйце упэўненасць у паводзе, як гэта было зроблена ў первінной студыі: зменіце парадак кандыдатаў і вырахаваце сярэдній рэзультат.
• Апгрэйд судды-модэлю трэба спрыяць як міграцыю комплекту для ацэнкі, а не як аўтаматычны пакрашчэнні. Рэйтынгі новага модэлю немагчыма парабяляваць з старымі, а тыха замена зменшае ці збільшае ці фігуры з прычын, якія не маюць нічынага з тым сістэмам, якая пераблакуецца.

Судда — гэта інструмент для калібравання, а не аб’ект, якому трэба падкорвацца.

Складанне прыстрою на базе вашых сабеўных дадзэнняў

Усё працюе на „золатай” колекцыі: зафіксаванай, пазначанай колекцыі кейсаў з вашай сабеўной сферы, пры чым кожны элемент супакоюе запіт з фактамі, якія трэба знайсці, і адпаведным адпаведнем. Гэта працюе як комплект для рэгрэсіі, тое, што павінна продовжваць працаваць, адаптавана для недэтэрміністычных рэзультатаў. Багатыя команды пачынаюць з каля кількох соткаў рукамі падобраных кейсаў. Гэты дыяпазон — гэта правіло практыка, а не закон, таму трэба спрыяць яго як пачатак, які будзе растаць.

Стварэнне набора — не самая складная частка; справацца з тым, каб ён заставал рэальнасць, — гэта складна частка. Заморожаны золаты набор паступова перастае адпаваць да рэальнага трафіку, калі продукт, корпус даных і корыстувальнікі развіваюцца далей, а абсалютна зелёная версія набора, створаная на старым наборы, стварае хыбную аддзею вяры, якая ўсё самая дорогая. Рашэннем ёсць цікл: беруцца невузгоднасці з рэальнай експлуатацыі і перакладаюцься ў золаты набор як свежыя, пазначаныя кейсы, а тые, якія больш не відображаюць рэальнасць, выключаюцца, і тады набор перашыроўваецца разам з продуктом, а не на адпрыску яго мінулага. Сінтэтычныя кейсы можуць служыць вачагам для павнавання, і існуе калькі фрэймворкаў, якія іх ствараюць, але генераваныя кейсы маюць слепыя пункты мадэлі, якая іх стварыла, таму все ж такі неабходны набор, перакантрованный чалавекам.

Гэты комплект працюе ў двух рэжымах: у офлайн- і онлайн-рэжымах фіксуецца разныя прычыны кашыткі. У офлайн-рэжыме, на адназначаным наборы дадзеных, ён контролюе выданне рэшынакоў: ўсё яе павтарэліва і дэтэрміністычна, і ён паказвае, што нічога з таго, што вядома як работаюча частка, не зламалася. У онлайн-рэжыме, на рэальных дадзеных з высокай частотай абліковання, ён выяўляе тое, чаго немагла знайсці фіксаваная база дадзеных — напрыклад, змяну распаду, незвычныя запыты з дужа дзейнымі параметрамі, якіх ніхто не прыгледзеў, а таксама сповольненне, якое прыходзіце толькі пасля калькуляцыі стану прыбылага за кальколькі тыдзён. Зелены колеру ў рэжыме офлайн-работы значыць, што вядома частка застаецца цілой; онлайн-монітарынг паказвае тое, што невядома. Першы рэжым трэба спрыймаць як падтверджэнне гатовасці да выдання, а не як доказ таго, што прылад працуе правільна.

Косц і затрымка павінны быць у аднай шкале ацэнкі

Косц і час адаптавання — гэтыя паказнікі, якія большасць аналізаў праігноравае, а для памяці яны ўскладненневыя. Памяц знаходзіцца на крытычнай дорозе кожнага крока, таму час яе адзыскання, які фіксуецца па показніку p95 і не закрыты сярэднім значэннем, вялічыць швальнасць, з якой агент можа адпаведаць. Колькісць токенаў за крок складае весь эканамічны аспект: памяц існуе для таго, каб выкарыстоўваць менш токенаў, чым прадаўаць усю історыю, таму слой, які дадае больш, чым заўсёды, не выпалняе свою галоўную мэту, нават калі тачнасць аднойчы роўна. Развіцце базы дадзенаў — гэта павольная рэгрэсія, якая ў кожны тыдзень дадае час адзыскання і відволікае увагу, пакуль адзысканне памяці становіцца явна гіршым, пры чым жадны тэст тачнасці ў конкрэтны момент часу не паведаміў пра проблему. Косц прадаўы — тое ўзьяце і супрацоўка з ўзроўнаванням — являе сабою рэальную вычыслювальную працу, якая не паказваецца па показніку тачнасці.

Памяць трэба ствараць для эфектыўнасці і адпаведнасці, а ацэнка паказвае, чыгодная яна гэтага. Вышэйшая точнасць, якая даёцца за рахунак дадзення ўсьмохвілі дагэўна на кожны раунд, калі ўскладнення перавышаюць заўтрэчаны эфект, не робіць памяць крашчай, але табелі з вырачанням, у якім ёсць толькі столбець з тачнасцю, будуць ствараць такое вражанне. Калі пасылкі часу і вартасць паказваюцься разам з якасцю, прычыны і наследкі стаюць віднымі, а не віпадковымі.

Як выглядае прыстрой у практыцы

У абстракцыі прыстрой складаецца з двух слоёў, чатырох пераканальняў памяці, калібраванага суддзі, «золатага» набора, які апошні раз апранавалі з рэальных дадзенняў, і вартасці, паказванай разам з тачнасцю. Два скэчы паказваюць, што гэта значыць у практыцы.

Падзеймім, што платформа для карбавання багацтва зберагае сваю інфармацыю у вачынні графа, які складаецца з калькі ентытэў і тыпаў адносаў, пры чым інфармацыя запоўнюецца за дапамогою багатаступеневага працэса выкарыстоўвання, які прыкладвае значэнне доверлівасці ад нуля да аднаго да кожнага факту. Команда не будзе ацэніваць якасць інфармацыі, запытваючы мадэль, чы рэспакты здаюцца правільнымі; уместа таго будуць працаваць безпасульна з назначаным наборам дакументаў, у якіх вялікі ентытэўы і адносы вялікі вядомы, таму показнікі выкарыстоўвання інфармацыі ўсё ж такі ёсць цыфрамі, а не усведамленнямі. Таксама будзе адбывацца спецыяльны тэст на актуальнасць: калі новы дакумент парадрукавае інфармацыю з старэйшага, запыт павінен вярнуць апошню, апдэйтаваную версію. Тая ж сістэма ацэнкі, якая вжываецца для оцэнкі графа пры яго выкарыстоўванні агентамі, таксама застаецца для зберагання інфармацыі ў памяці агентаў.

Тэперыяяжымося, што існуе сістэма правовага аналізу, якая складаецца з калькі дзесятка агентаў: дзеякі з іх выполняюць ролю оценяльнікаў, а іншыя — аналізаваў, і якія выкарыстоўваюць структураваную табліцу балав узамен на розпашчванне транскрыпцый. У такім разе адпаведнасць станае ключовым показнікам, адтолькі агент, які суперасходзіцца з ужо встановленым балам у спільным стане, ўважаецца віміроўваным дыфектам, а не проста якімось асаблівым аспектам, які хтось заўважыў. Косць за адну перадачу дакумента показваецца на той жа панелі керування, чым і якасць, адтолькі шар распадзелу, які вяршыць выбір тых агентаў, якія на самай працы дакумента, і значна зменшае колькасць вызоў модэлю, мае сэнс застаўляць толькі тады, калі адлік паказвае, што якасць застаецца на тым жа рэвэле, а косць зніжыўся. Жадна з сістэм не здобывае доверлівасці, проста перавыпалняючы стандарты. Обеяя здобываюць яе за дапамогою віміроўвання на савойных дадзэннях, праз разныя шары і перакананні, якія адпавядаюць ўзначанню ўзначанню, якое яны выканаюць.

Знакі таго, што адлік являецца вузкім месцам

Кальколька сімптаматык паказуюць на самае ацэнкаўанне, а не на модэль, магазін чыста адзысквару:

• Сістэму памяці было выбрана з табелі лідэраў, а рэальная праця продавалася не паспела з ёё рэйтынгам.
• Едынственным паказнікам являецца тачнасць адпаведзей з початку да канца, таму не можна прызначыць адказ за няверны адзысквар чыста за тое, што модэль паспела неправыя факты.
• Колькасці адзысквару вылучаюцца з паказніка кантэкст-рэкал у фрэймворку, і не існуе пазначанага набора, што значыць, што LLM сама ацэніла адзысквар і называе гэта паказнікам.
• Агент суперасягаецца чыста дастае застарэлыя факты, а вся сістэма ніколі бы гэтага не зазначыла, таму што яна тэстуе толькі адзіныя запытанні і ігнаруе цэласообразнасць, актуальнасць, утрыманне чыста забыванне.
• Ніхто не ведае, як пасляльнейшыя змяны памяці паўплывуць на час адпаведзі чыста на вжытак токэнаў, адтолькі тачнасць заносіцца як едынственны паказнік.

З урачунакам гэтага шаблона, нават моцнейшыя модэлі чыраўжэйшыя алгорытмы не зможуць вывяліць сітуацыю, таму што тое, што нельга спазірваць, нельга таксама паспрабаваць паспрабавіць падбадзіць. Рашэннем яўляецца структураваны падход: аддзельнае выкарыстоўванне процэса аднаходжэння інфармацыі і процэса адпаведзення, оцэнка процэса аднаходжэння за дапамою паметак ранжыравання на адзенай пазначанай выборцы, адключэнне чатырох перакананняў, кальібраванне суддзі замест таго, каб верыць яму, апцэнкаванне «золатай» выборкі новымі дадзеннямі, а таксама адчытка вартасці і часу адпаведзення разам з точнасцю.

Этам таксама заканчываецца большы ўзгляд. Акна кантэксту — гэта не памяць. Храненне, створанае ў яго месцы, павінна чытвацца па рангаванні, а не па пошуку. Рабочы набор дадзеных, які знаходзіцца перад модэллю, павінен карацьця, а не проста расшырвацца, а шлях для збіркі дадзеных павінен консалідавацца, а не накаплівацца. Усё гэта пасля таго трэба ацэніць на савойных дадзеных, уключаючы працэс выкарыстоўвання, стварэння адпаведных адказоў і чатыры пераканання, якія ігнаруеюць публічныя крытэрыя, з урахоўванням косту, часу адпаведзьбы і точнасці, таму што табліца лідэраў справаўды не можа дастаць вам таго, што вам трэба ведаць. Створыце памяць і яе ацэнку разам, і вы будзеце ведаць, на падставе цыфр, чы робат памятае. Якшо прыхіліцеся да ігнаравання ацэнкі, вы будзеце выкорыстоўваць рэзультаты каго-небудзь іншага для проблемы, якая ніколі не была ў яго веданні.

Супаўзвязаныя матэрыялы

• Оптымізацыя агента Terraform за дапамою DSPy: стварэнне верыфікатора раней, чым оптымізатора — Агенты Terraform ствараюць схемы. Створыце дэтэрміністычны верыфікатор, закрэпіце базовы стан агента, а пасля выкарыстаце DSPy і GEPA для оптымізацыі яго файла з навыкамі, ўтрэмленаяятываючы адпаведныя рэзультаты.
• Форма онтологіі проты розмеру модэлю: скількі коштае дызайн графа для агента ШЫ — Як тры формы без втраты інфармацыі аднаго графа з ведамасцямі па страхаванні змянілі точнасць, колькасць вызоваў інструментаў, канты і вартасць для малых і вялікіх модэляў у Azure Cosmos DB.

Чаму памяць агента-кодавальніка должна хаваць толькі дэльту, і як яе зберагчыць — Памяць агента павінна фіксаваць толькі тое, чаго мадэль не могла здагадацца. Чатыры тэсты для кожнага запісу, тры трэбаванні для зберагчыцтва, і чаму markdown падходзіць у git.