Як трымаць вектарнае сховішча ў парадку: жыццёвы цыкл, кліенты, метаданыя, гібрыдны пошук

Тэхнік на выйшыні запытае асістэнта з аднутранскай падтрымкі, як заменіць гідравлічны насос. Адказ здаецца правільным: правільная група апаратуры, правільны тып насоса, логічны пераказ крокаў. Але ён ўжо паловы год стары. У ныяму інструкцыі выклікаецца апдэйт фармауэру пры установцы насоса, а ў старай пра гэта нічога не сказана. Обе інструкцыі знаходзяцца ў базе дадзеных Vector. Новая была належна індэксавана, але старую ніхто не адключыў. Мадэль нічога не выдумала — яй проста былі даны застарэлыя дакументы.

Такія запытанні вяршаюць, чы можна даверыць сістэме пошуку.

• Якая версія дакумента можа быць выкарыстоўвана для пошуку?
• Чыраза сколькі часоў пасля затверджэння апдэйт стае доступным для пошуку?
• Чы можа аднін кліент пазірэць контэнт другога кліента?
• Што выходзіць, калі корыстнік шукае точны номер абліку, а не загальную інфармацыю?

Калькі метаданных павінны існаваць пры тым, каб частка маглі быць уключанаяючы ў корпус для пошуку?

Нічога з гэтага не стосуецца якосці модэлю. Цэ гэта ўседзённая праца сховішча вектараў.

Конкрэтная настройка: тэхнічная падтрымка для калькі корыстнікаў

Уявіце сабе платформу падтрымкі, якую выкарыстоўваюць дылеры абяроžнай тэхнікі ў калькі краінаў. У яй зберагаюцца інструкцыі да прыбораў, інформацыя пра рэмонт, каталогі запчастакоў, правілы гарантыі, процедуры тыпавання і прыміткі, напісаныя аддзельнымі дылерамі. Тэхнік могаць запытацца, якая процедура замены затверджаная для гідравлічнага насоса MX-204, версія 5.2, у ўсём сваём рэгіоне.

Гэта не простая семантычная паразыска. Сістэма должна разумець мету тымчасовага рэмонту, захаваць точныя ідэнтыфікаторы, такія як версія MX-204 5.2, у недыскрэтнасці, вярнуць чынную процедуру рэмонту, застосаваць правільную рэгіональную політыку і адзірваць усё, што належыць іншым дылерам або аблікатам. Звычны запіт на аднаковасць не можа гарантаваць гэтыя умовы. Слой паразыску павінен працаваць як кераваны інфармацыйны сервіс.

Спрыяйце індэксаванню як кераванню выдаваннем дакументаў

У першыя версіі RAG індэксаванне зазвычай спрыяваецца як адзіны працэс: заванос, разбіўка на часткі, уключэнне, запіс, готава. Пасля гэтага дакумент застаецца доступным для паразыску, пакуль хтось не з’явіцца і не зазначыць проблему. Наступныя неудачы лёгкая ў прыгадванні.

• Адзмененыя інструкцыі застаюцца разам з попераднімі версіямі.
• Праект політыкі стае доступным для паразыску ўсё раней, чым яго затвердзяць.

Прыемка, якая была анульвана, застаецца доступной, таму што не існуе процэсу выдалення.

Працэзуха у канале падае, і дакладнік застаецца часткова індэксаваным, таму можна выявіць толькі фрагменты.

Для корпуса падтрымкі найменшы корысны набор стаўяў жыццўага цыклу выглядае так:

• Праект: прымечаны, яшчо не затверджаны для выявлення.
• Кандыдат: індэксаваны і перавераны.
• Актыўны: затверджаны і гатовы да выявлення.
• Заменены: заменены на новейшую версію, заставлены для аўдыту, скрытыя ад звычайных запытак.
• У кварантане: заставлены таму, што пераверка, чаканне метадаў або перагляд адноўлення пайшлі не так.
• Выдалены: выведзены з корпуса, а таксама з базовага хранення, калі таго трэбуюць правілы.

Ёсць адзін важлівы правіл: пошук павінен стосавацца толькі дакументаў у стане Active. Яго трэба прыменяць за дапамогою фільтраў метадаў, а не за прычынай спосабу называння файлаў чы інструкцый у запіце.

Кожны дакумент таксама патрэбуе стабільны ID дакумента і окрэмы ID версіі. Першы называе логічны аб’ект, напрыклад, адпаведны бюлетэнь з рэмонтом, а другі — адну з яго версій. Аправарэнне новай версіі актывае яе і пазначае пакананую версію як застарэлую, і гэта змена павінна выконвацца атамічна. За такіх умоў сістэма перастае вяртаць контэнт, які ўсё ўсё рэлевантны, але больш не ў чыннасці.

Аднавленне інкорпорацый: пашаговае, з версіямі, з можлівасцю вярнення

Аднавленне інкорпорацый часта опісваецца як задачы, якія трэба выканаць кожны раз, калі змініцца модэль. Рэальныя прычыны ўсё разнае:

• Дакумент-выканнік быў зменены.
• Палітыка досягла свайго даты набыця чыннасці чы заканчэння тэрміну дзейнасці.
• Схема метаданых растуе.
• Стратэгія разбівання на часткі падбярэгчыцца.
• Мадэль умяшчэння апдэйтаваная.
• Дакумент выцягваецца або перэкласіваецца.
• Права корыстувача змінююцца.

Кожны з гэтых случаў выклікае разны адпаведны захад. Перасмотржаны бюлетэнь можа патрабаваць толькі апдэйту на рэвізійнам рэвэлі. Новая мадэль умяшчэння можа значыць неабходнасць перабудовы всіх элементаў. Новая польна метаданых выклікае неабходнасць контролюемага заполнення, а выцягнуты дакумент павінен негайна пакінуць актыўны індэкс.

Таму працэс апдэйту павінен ведаць чатыры версіі: рэвізію выхіднага матэрыялу, логіку разбівання на часткі, мадэль умяшчэння і схему метаданых, якія вікорыстоўваюцца для фільтрацыі. Без такога алеявання ніхто не можа поясніць, чаму две часткі паводзяцца разнае час адзысквання.

У практыцы прыходзячый файл параганяецца з актываючымя версіяй за дапамою хэша контэнту або структураванага дыффа. Раздэлы, якія зменіліся, практычна пераранжуюцца і занова вбудовуюцца, тады калі незменныя раздэлы застаюцца такімі, якімі яны ўжо ёсць, як толькі не змяніцца спосаб пераранжавання або вбудоввання.

Для большых апдэйтаў модэляў патрэбны болей безпечныя методы: ствараецца паралельны індэкс кандыдатаў, адбываюцца запыты ацэнкі проты ўсіх двух, пераканальваюцца правілы доступу, і трафік перэносіцца толькі тады, калі новы індэкс працюе на прыемным рэвэле. Важным ў пытанні ўжо не ёсць тое, чы рэзультаты новага модэля вышэйшыя на певных тэстах. Важным ёсць тое, чы новы індэкс вярнюе правільныя, затверджаныя доказы для запытанняў, якія на самай працоўцы надаюць корыстувачы.

Забезпечыце супакоўкаванне раней, чым выкарыстоўваць даныя, а не пасля

Апавяжлівая, але распашчайшая адзінак тэхнічнага праектавання ў сістэмах RAG з калькуляваннем па кількох аб’ектах — гэта фільтрацыя рэзультатаў па аб’ектах пасля самай пашуку. Сістэма спачатку знаходзіць шырокі спектар рэзультатаў, а пасля выкарыстоўвае фільтры, каб адсягнуць тыя, якія належаць іншым організацыям. Гэта вядома запаздзела. Фільтры, якія стосуюцца аб’ектаў і праваў доступу, павінны быць заданыя ўжо до таго, як пачнёцца пашук за вектарамі аб аб’ектамі.

У платформе падтрымкі кантэнт дзеліцца на тры групы.

• Глобальны кантэнт: інструкцыі вырабнікав і спільныя правілы безпекі.
• Кантэнт дылераў: внутрашнія інструкцыі па абслужванні, комерчыескія угоды і местныя інструкцыі па эксплуатацыі.
• Кантэнт кліяў: історыя актываў, умовы контрактов і конфідэнцыйныя нотаткі па эксплуатацыі.

Ім не патрэбна аднаковая структура зберагача. Глобальны контэнт можа дзеліцься карпусам. Контэнт дылера можа дзеліцься індэксам, захаваным за дапамою обавязковых фільтраў для корыстувача. Адзінакава чулівыя кліянты можа патрабаваць свае сабранні або ізольаваныя індэксы, залежна ад прававых, даговорных і рызыковых выкарыстанняў.

Корыстувач, роля, рэгіон, права на продукт і рэгламент на конфідэнцыялнасць павінны выходзіць з аўтэнтыфікованай сесіі, а не з тэксту запіту. Тэхнік, які вводзіць імя іншага дылера ў запіт, не павінен магчымаць зміну фільтраў. Фактычна, запіт на пошук прыказвае шукаць толькі тое, да чаго можа адказаць гэты аўтэнтыфікованы корыстувач, і толькі пасля чаго пачынаецца семантычны або ключавы рангаванне. Гэта захоўвае конфідэнцыялнасць і таксама адсілае нерэлевантныя рэзультаты.

Гібрыдны пошук для точных ідэнтыфікатораў

Жыццёвае шуканне вектара ўзьміцца ў прыгодзе, калі людзі опісваюць проблему звычайной мовай, напрыклад, запытваючы, якая версія праграмнага забезпечэння патрэбна перад установкай заменнай насоснай установкі на MX-204. Нумеры дзялей, коды кантролера і рэчы з версіямі паводзяцца інакшэ, і лексычны індэкс набагато лепшая падходзіць для ўсунення абсолютна точных адпаведнасцей.

У случае MX-204 лексычна выкарыстоўванне можа прывесты да самэй точнай інформацыі, калі ў яй ёсць ідэнтыфікаторы кантролера і насоса, тады як жыццёвае шуканне прыносіць супаўзялыя інструкцыі з тэхнічнага адтрымання. Пасля чаго прылад для пераранжавання можа прабачыць документ, у яком ёсць патрэбныя умовы для праграмнага забезпечэння і затверджаныя парады дзеянняў.

Калі кантроль выкарыстоўвання інформацыі ёсць слабым, дадаць больш фрагментаў у кантэкст рэдка калі дапамагае. Большая колькасць элементаў у топ-к зазвычай прыносіць шум, затрымкі і вышэйшыя шансы на тое, што будзе дана правдападобная адпаведзь, якую нічы не падтрымлівае. Лепшая з’ясавіць, на якім этапе выйшла проблема.

• Чы не быў правы документ недзейным?
• Чы можа адказальны фільтр метадаў яго не выключыў?
• Чы лексычны пошук працягнуўся без урахавання іншага фармата номера дзялы?
• Чы пры пераранкаванні прабілася прадача шырокага дакумента працоўніш за болей спецыфічны?

Кожны з гэтых ўскладненняў ёсць мерымы сістэмны проблема.

Метадаўы як план кантролю

Метадаўы часта адносяцца да неабавязковых тагоў, якія дадаюцца пад час прыемкі. У працоўнай суперфісе яны вялікую ролю выпалююць у выборы таго, што можа быць выявлена сістэмай. Корыстныя схемы абыходзяцца пяцьма аспектамі.

• Ідэнтычнасць: аднаго дакумента, сістэмы, з якой ён прыйшоў, і хэша ўместа.
• Жыцёвы цыкл: версія, статус затверджэння, даты пачатку і заканчэння дзеяння, а таксама прыорытэты між разнымі версіямі.
• Даступ: ID аб’екта, рэгіон, правыя на адпаведную ролю, даступ да продукту, клас конфідэнцыйнасці і прававыя обмежэння.
• Выявленне: тып дакумента, мова, мадэль апаратуры, сям’я компанентаў, лінія продуктасці і катэгорыя ўместа.

Аператыўныя параметры: версія умяшчэння, версія фрагментавання, час прыемкі, ID запуску пайплайна і статус паўтарной перапрацоўкі.

За дапамогай такой структуры запытанні, якія інакш былі бы складнымі, стаюць простымі. Калія актыўныя дакументы яшчэ вікорыстоўваюць старую мадэль умяшчэння? Калія процедуры рэмантавання заканчываюцься наступнага месяца? Калія фрагменты не маюць метадаў рэгіону? У каго з корыстнікаў найвышы тычынкі порожніх рэзультатаў? Калія выкананыя сістэмы ўскаржваюць найбольша колькасць адказоў пра немагчымасць прыемкі?

Метадады павінны быць перапрацаваныя прычымо да таго, калі дакумент увайшоў у актыўны корпус. Фрагмент без паводзаў корыстніка, статусу жыццўага цыклу, лініі продуктамі аб статусу затверджэння не павінен стаць доступным для пошуку проста таму, што было створанае яго умяшчэння. Багатыя сістэмы RAG становяцца ненадзеянымі самэ пры гэтым моманце: база дадзеных працюе так, як запланавана, але мадэль метадаў занадта простая, ўскладненае выражаціі рэальных правіл організацыі ў чысці доступу, жыццўага цыклу і політык.

Магчымасцьнае аналізаванне, якое выявляе неякісны этап

Калі корыстнік паведамляе пра некарэктны адказ, можа быць кілька прычын такой сітуацыі. Правы джэрэг можа ўжо ніколі не быць індэксаваным, або быць індэксаваным, але пазначаным як неактыўны, або быць адхіленым фільтрам. Ён можа дасягнуць скупкі кандыдатаў, але знаходзіцца на занадта нізкім рангу. Ён можа быць уключаным у кантэкст мадэлі, але ігнораваным. Або мадэль можа напісаць ўсё, чаго не падтрымваюць доказы. Кожны случай выклікае неабходнасць аднароднага рашэння.

Таму адгуковы сервіс з развітымі функцыямі фіксуе весь шлях:

• Запіт і кантэкст корыстніка.
• Фільтры доступу і жыцёвага цыклу, якія былі застосаваны.
• Інтэнсівныя кандыдаты і лексычныя кандыдаты.
• Рангаванне пасля сынтэзы і рэзультаты перарангавання.
• Канечныя доказы, якія былі перэданы мадэлі.
• Цітаты, якія былі вікорыстаны ў адказе.

Корыстныя меры включаюць адзінчас між затверджэнням выканку і актывацыяй індэкса, частку актыўнага кантэнту ў нынешней версіі інтэграцыі, дакументы з больш чым адной актыўной версіяй, практыку нулявых рэзультатаў па тыпу запіта, ступень пакрыцця тэстаў з вядомымі адпаведзямі, ступень адхоўлення дакументаў праз фільтрацыю і будзь-якія спробы доступу між рознымі корыстнікамі.

Адны з корыстных показнікаў — пакрыцце кандыдатаў: для запіта з вядомым адпаведзем, чы роўнасці правільны выканак з’яўіўся сярод кандыдатаў перад пераранжаваннем? Калі няма, трэба пераглянуць працэс індэксавання, фільтрацыю чы дызайн пошуку. Калі ён з’яўіўся, але маў нізькі ранг, трэба пераглянуць працэс з’еднання дакументаў чы пераранжавання. Калі ён маў высокі ранг, але адпаведзе не взяў яго ў вырахунак, проблема лежыць у працэсе стварэння адпаведзя чы складанні запіта. Раздзелэнне этых этапаў не дазволяе командам прабаваць выправіць усё шляхом рэдагавання запіта.

Рутына працы

Сховішча вектораў патрабуюць той самы рывень дысціпліны, як і будзь-які сервісы з апрацоўкі дадзей у працэйнай сітцы. Шчодзенныя перагляды павінны аналізаваць неудачы пад час практычнай апрацоўкі дадзей, затрымкі у апдэйтах, дакументы, якія застраглі у статусе «кандыдат» або «у кварантане», відсутнасць обавязковых метададзей і затрымкі у процэсе затверджэння для індэксаціі. Шчотыжневыя перагляды павінны пераканацца ў якасці выкарыстоўвання дадзей у розных тыпах запітоў — ад розмовных запытанняў да чыстых кодаў, назв продуктав, пошуку правілаў, пошуку на іншых мовах і нечыткіх запытанняў.

Будзь-яя змяна ў способах часткавання дадзей, мадэлях укладання інформацыі, схеме метададзей аб правілах доступу павінна спачатку быць працавана ў тэстовым серэдавішчы. Для ацэнкі патрэбны рэальныя запыты корыстувачаў, прыклады з вядомымі адпаведзямі, тэсты контролю доступу, а таксама запыты, створаныя для выявлення вытэкання дадзей іншым корыстувачам аб застарэлага кантэнту.

Мэтой не ў тым, каб адзыскваць больш заўважэнняў. Ёй ў тым, каб у правы момент даць праваму корыстніку правыя, апраўнаныя доказы. Хранілішча вектараў — гэта не пасыўная база дадзенаў за чатботам, калі ўжо яна сама вяршыць выбор, якія доказы могуць паўтарыць адпаведзь. Калі застарэлыя заўважэнні застаюцца актываўнымі, фільтры для корыстнікаў стаюць неабавязковымі, ідэнтыфікаторы знікаюць у семантычным падборэ, а метададзеныя не можуць выражаць бізнес-правіла, тады сістэма ўтрачае надзею, незалежна ад таго, насколькі супербым ёў модэль.

Супаўзеўныя матэрыялы

• Семантычны адзыскванне з ChromaDB і эмбедынгамі для платформы з калькольнікамі — Пераход на справжнее семантычнае адзыскванне для платформы з калькольнікамі: часткаванне з урахоўваннем значэння слоў, косай адстані ў ChromaDB, тэстовыя шары і наступны крок RetrievalAgent.

Чаму RAG не работае ў практычным выкарыстоўванні: разбіўка на часткі, эмбеддынгі, адзысканне і ацэнка — практычны аналіз тых момантов, калі тэхнологія retrieval-augmented generation перастае функцыонаваць па завершэнні дэманстрацыі: межы частак, слабыя месцы эмбеддынгаў, метод top-K, застарэлыя даны і відсутнасць ацэнкі.

Чаму RAG недастатні: семантычны слой для запытак у фармаце графаў, SQL і вектараў — RAG не справляецца з запытамі, якія выконваюцца за колька ўзлётаў, маюць чысловы характэр або ёсць неодназначнымі, як у корпаратыўных сістэмах. Семантычны слой дапамагае у разбіўцы запытак, ўпорадкуванні і супарабатоўцы з схемамі, пры чым для падтрымкі перэноснасці вікорыстоўваецца Apache Ossie.

Выбір мадэлі эмбедынга для RAG: параганунак MTEB, BGE, Voyage і OpenAI — Як эмбедынгі включаюцца ў паіплайн RAG, як чытаць табліцу лідэраў MTEB, прыметкі да шасці прыменных модэляў, паіплайн Milvus у пяць крокаў і практычная схема прыняцця рашэнняў.

1M Window ад Gemini заменіў мой сховішча вектараў; проблемы з затрымкамі і паводлівасцю — Тэст заполнення полнага кантэксту проты RAG на 500 пытанняў падтрымкі: рэзультаты па точнасці, затрымкам і вартасці, чаму важліва паводлівасць, і гібрыдная наладка, якая захавала оба прынтэсы.