Шматмадальныя табліцы: адна табліца для файлаў, эмбедынгаў і гібрыднага пошуку агентаў

Працуючы гады, даныя база, пра якую йдзе мова, развіваецца ў адну ўніфікаваную сістэму, якая падтрымляе апрацоўку розпылёных транзакцый для крытычна важных завад, HTAP, мультымадальныя даны і гібрыдныя способы пошуку. Іхній продукт Lakebase свідчыць пра ўсё большую зміну акцэнтаў. Кэпсія вучора была толькі ў тым, што можа обрабляць даныя база, а сёння — у тым, каму яна служыць. Раней даныя базы ствараліся для распрацоўшчыкаў, адпаведальных за базы дадзеных і прыкладнікаў. Віробнік стверджуе, што ў эпоху ШЫ яны таксама павінны служыць новым тыпу корыстувачаў — агентам.

Па гэтым адзначэнню, „База дадзэння AI“ — гэта не проста база, якая можа зберагаць зображэнні, PDF-файлы чыста векторы. Цэта база, створаная для таго, каб дасты агентам полны, актуальны і надзеяны кантэкст для рашэння прыблуд і дзеяння, пры чым з існаванням інтэграцыі эмбедынгаў, неапраных файлаў і гібрыдных спосабаў пошуку. Рэшта опісвае функцыю табелі з мультымодэлямі ў Lakebase і проблему, якую яна рашае. Гэта тэзы вэндора, таму пераканайцеся ў іх правядзімасці на сваёй справе.

Проблема дадзэнняў агента

Уявіце сабе адну з рашэнняў агента. Яму можа знадобіцца структураваны профіль карыстальніка, тэкстовы падсумак кантакту, аднородны PDF з базы знанняў, сэмантычныя рэзультаты з вектарнага пошуку і актуальны стан бізнесу, усё гэта адночасна.

Сэгодня гэтыя пяць элемента зазвычай знаходзяцца ў пяць разных сістэмах: сховішчы об’ектаў, пошуковый механізм, векторная база дадзенаў, бізнес-база дадзенаў і офлайн-сховішча. Не існуе спільных транзакцый, адпаведных кадруў стану дадзенаў і аднаковага лянцюга ўтратаў/зменаў.

Калі PDF-файл апдэйтаваны, але яго посіланні все ўсё вядуць да старай версіі, агент даўа впэўнены, але некарэктны адпаведзь, і ніхто пра гэта не ведае. Гэта не прычына неабходнасці зберагаць большыя тыпы дадзенаў — гэта проблема керавання. Калі мультымадальныя дадзеныя опінуюцца на крытычным шляху, хтось павінен гарантаваць адпаведнасць версій, полноту вычыслаў, возможнасць відстэйкання і доверлівасць. У багатых командах такім чалавекам ёст той, хто керуе практыкамі, дыбагуе і перапісвае іх кожны квартал.

Таблыца з мультымодэльнымі дадзеннямі — гэта адказ Lakebase. Гэта цэнтральная функцыя карыстоўвання дадзеннямі ў даным продакце, якая керуе зображэннямі, аудыя, відэам, PDF-файламі, кадрамі веб-сторанак, вектарамі, JSON і структураванымі коламі як самастоятэльнымі об’ектамі базы дадзення. Усе гэта знаходзіцца ў адной сістэме, якая апранае транзакцыі, забезпечвае цэласнасць, высокую доступнасць, гібрыдны пошук, аналітычныя вычысленні і онлайн-сервісаванне.

Чаму агентам патрэбна іншая модэль дадзенняў

Об’екты, з якімі працуе агент, па сваей прыродзе ў мультымодэльным фармаце. Даныя, якія ён прымае, варьуюцца ад нейтральнай мовы да зображэнняў, PDF-файламі, веб-сторанак, таблыц і бізнес-кантэксту. Пад час працы агент апыраецца на памяць корыстувальніка, базы знанняў, рэзультаты RAG, структураваныя бізнес-даны, семантычныя профілі і рэзультаты проміжных модэляў.

Следуюць чатыры змены:

1. Неструктураваныя даны пераходзяць на ключоўы шлях обработкі. Яны перастаюць быць прыкрэпленнямі, якія знаходзяцца ў сховішчы об’ектаў, і стаюць важлівым элементам для прыняцця рашэнняў.
2. Доступ да даных стае гібрыдным пошукам. Одна заявка можа аб’еднаваць структураваныя фільтры, пошук за цэлым тэкстам, вектарны аналіз і аграгацыю даных.
3. Зростае патрабованне да рэальнага часу. Агенты працуюць цяглы час, а ўзвешчэння на наступны дзень не можа быць достатнім.
4. Функцыі генеруюцца дынамічна. Багато поль не запісваюцца безпосерэдна; мадэлі выкалываюць іх асінхронна з неапранутых даных.

Практычны вопыт заключаецца у тым, як аб’еднаваць неапранутыя мультымодэльныя даны, структураваныя поля, выведзеныя функцыі і асінхронныя рэзультаты ў адной базе даных, і як дазволіць ім служыць для онлайн-транзакцый, аналітыкі і гібрыднага пошуку разам, не втрачаючы цэласообразнасі чы інформатыўнасці. Гэта і ёсць задача дызайну, якой спрамованы мультымодэльныя таблыцы.

Асновныя можлівасці

Адзін места для аб’ектаў з калькольнікаў

Тэблы з калькольнікаў размешчаюць гэтыя аб’екты пад сабсконтролем транзакцый і версій базы дадзеных. Большыя аб’екты, такія як з’явы, аудыя, відэа, PDF-файлы і кадры веб-стороніц, можна зберагаць калькольніма способамі. Тое, дзе фізычна знаходзяцца байты, мае меньшое значэнне, чым тое, што обяцвае база дадзеных: ID, які не зменшыцца, месца для яго доступу, номер версіі, статус відныя і вялічына транзакцыі.

Гэта робіцца для таго, каб гэты аб’ект і яго похадныя характэрыстыкі, такія як падсумкі, атрыбуты, інтэграцыі і кантэксты рызыку, завжды адпавядалі той самай версіі дадзеных. Баг, калі аб’ект апдэйтуецца, але яго характэрыстыкі яшчэ опісваюць стары кантэнт, не павінен выклікваліцца.

Дынамічныя столбцы характэрыстык

Даныя мультымодэльных сістэм ўнікальныя, і адна сырая аб’ектна інфармацыя можа стварыць безканцовы набор характэрыстыкаў: сэмантычных, структурных, прынятных для ацэнкі якосці і спецыфічных для бізнесу. З тэксту можна атрымаць тэмы, кантакты, ембедынгі, атрыбуты безпекі, мову і рэйтынг якосці. З адпраўленага зображэння — рэзультаты OCR, тагі, рэйтынгі рызыку і атрыбуты, прынятныя для бізнесу. Кожны новы мадэль дадае ўсё больш характэрыстыкаў.

Па класычнай схеме кожная новая характэрыстыка значыць змяну DDL. Кожная такая змянаопышвае неабходнасць анулювання кэша, паўтарныя запісы і додатковы тырон на працэс компактавання дадзеных, таму праца над характэрыстыкамі сповольняецца да швайнасты блокаванняя тэблей.

Тэблы з мультымодэльным падходам выкарыстоўваюць лёгкі механізм дынамічных столбцоў. Для дадаўання новых функцыяй не трэба змяніць схему, запыты застаюцца у фармаце SQL, прыменяецца аналітычная оптымізацыя, а гібрыдны пошук продовжае выкарыстоўваць індэксы. Цэ не ўзврат да хранення у фармаце ключ-значэння, якое ўзгоднае, але не падтрымвае аналіз SQL і оптымізацыю пошуку. Дызайн намеравана стварае баланс між структурой, якая можа быць оптымізаваная, і дынамічной расшыруванасцю, прагнучы захаваць аба аспекты.

Асінхронныя, практычна рэальнага часу вычысленні

Багато столбцоў узагалі не запісваюцца корыстувачамі. Задачы вычыслення ствараюць іх, укладаючы ў сябе інкапсуляцыі, падсумкі, распазнаванне сімвалаў, кантэкстныя балы, індэксы цэлага тэксту і вектарныя індэксы, выкарыстоўваючы вбудованыя функцыі модэляў, фонавыя задачы або зовнішнія пайплайны.

Вычысленні на адной з модэляў зазвычай займаюць калькі сэкунд або соткі мілісэкунд, што занадта медлена, каб блакаваць онлайн-запіс. Таму тэблы не чакаюць:

1. Спачатку зберагаюцца необработаныя даны, тады латэнцыя запісу застаецца незменнай.
2. Фонавыя задачы пачынаюць выкарыстоўваць даны для выяўлення характэрных элементаў, стварэння індэксаў і даполнення даных адпаведна ўзору ўхідных дадзеных.
3. Расчысленыя значэнні праказуюцца прыбліжна ў рэальным часе.
4. Пры чытанні завжды атрымліваецца адна аднаковая копія дадзеных.

Прычына такога падходу заключаецца ў тым, што строгая сінхронізацыя кожнага расчысленага столбца ёсць непрактычной і непатрэбной. Правым цілям являецца контрольваны баланс латэнцыі, праўоўдзімасці, эфектывасці зберохвату і аднаковасці дадзеных. Задачы обчыслення ствараюць значэнні, а таблы дазволяюць ўправляць імі, шукаць, аналізаваць і чытаць іх аднакова.

Аднаковасць груп столбцоў

Асынхронныя вычысленнія ствараюць проблему візыбільнасці. Калі які-небудзь радок ужо існуе, тады элементы A, B, эмбеддынгі, індэксы цэлага тэксту і меткі якосці можу быць завершаны ў розныя моменты, пры чым іх генеруюць разныя задачы і разныя мадэлі. Калі запіт бачыць, што элемент B ужо завершаны, а элемент A яшчэ не готавы, ён будзе вяртаць некарэктныя адпаведзі без жадных паведамленняў.

Кансістэнція груп калонак ураджвае гэту проблему на роўні зберагача. Група калонак становіць сабою новы відны снімак толькі пасля таго, як усі супаўзвязаныя похадныя калонакі будуць завершаны. Запыты і гібрыдныя пошукі чытаюць кансістэнтны снімак і ніколі не сталквуюцца з незавершанымі дадзеннямі.

Раздзельны зберагач і вычысленні, з аднойчасным вікорыстоўванням „гарачых“ і „холадных“ рэсурсаў

Даныя разных модэлей зростаюць без меж у документах, зображэннях, відэа, вектарах і аднойчы вырахаваных характэрыстыках, таму зберагчы ўсе іх у рэжыме актыўнага выкарыстоўвання на вялікіх масштабах немагчыма. Шырыя структуры базы дадзенаў паўтараюцца на архітэктурэ з аднародным зберагчыцем і расследжуюць актыўныя і неактыўныя даныя як ўзаемна спаяныя:

• Няўялікія даныя, напрыклад за апошнія 90 дзён, кэшуюцца на SSD, ў рэзультаты чаго доступ да іх застаецца шырокім.
• Старэйшыя даныя, напрыклад пасля 90 дзён, зберагаюцца на дышэўшым за цэнай аднародным зберагчыце, пры чым застаюцца доступнымі для запытанняў, пошуку і аналізу праз тую ж інтэрфейсную плошчу.

Няма прычыны пераключацца на іншыя сістэмы, каб дасягнуць неактыўных дадзенаў, або складваць онлайн-базу дадзенаў, сховішча об’ектаў і офлайн-хранілнік, каб адпавесці на аднае запытанне. Існуе адна візуальная пастава, адна плошча для запытанняў і адна модэль керавання.

Історыя падаўлення дадзенаў і аднацелы каталог

З якага фрагмента тэксту походзіць гэты embedding? Якая мадэль аўдыту прызначыла гэтую маркіровку безпекі? Каторую версію PDF опісвае гэтыя статыстыкі?

Лінейна структура і аб’еднаны каталог станавяцца основай метаданных. Яны фіксуюць, як первісныя об’екты, структураваныя поля, дынамічныя столбцы характэрыстык, задачы модэлі, версіі і права адносуюцца адзін да другога. Метаданныя падтрымляюць тры аспекты:

1. Актывацыя. Фонавыя задачы на выкарыстоўванне, стварэнне індэксаў і падпілленне дадзеных запускаюцца аўтаматычна на адной з ліній структуры.
2. Полнасць. Перш чым даць можлівасць пераказу, сістэма пераканальваецца, што група столбцоў або ўзорак дадзеных былі цэлкам вырахаваны.
3. Відстэйваннасць. Калі агент дае адпаведзь, можна праследаваць яе да дакументаў, зяроў, запісаў і вырахаваных характэрыстык, якія ён выкарыстоўваў.

Одна шара доступу для транзакцый, аналітыкі і пошуку

Мультымодэльныя таблыцы выклікаюцца спяльной базой для трох працоў з аднаковымі дадзеннямі:

• онлайн-транзакцыі, тыя значаць запісы ад бізнесу з гарантыямі ACID і высокай доступнасцю;
• аналітыка, тыя значаць масовые сканаванні, агрэгацыі, фільтрацыі, з’еднанні дадзенняў і аналіз характэрыстыкаў;
• гібрыдны пошук, тыя значаць структураваныя фільтрацыі, якія ўжоўваюцца разам з пошукам у цэлым тэксце, вектарным адшукам, фільтрацыяю па тагах і ранжыраваннем за крытэрамі бізнесу.

Доступ агентаў ў сваёй сутнасі ўскладнены і складаецца з калькі крокаў. Запрос можа спачатку фільтруваць дадзенні за структураванымі умовамі, пасля чаго шукаты ў цэлым тэксце, далей адшукаць падобны контэнт за дапамогою вектарнага адшуку, а ў падсумку ранжыраваць рэзультаты па тагах, якосці, свежасці і правамах. Жадны спецыялізаваны механізм не пакрывае ўсіх чатырох крокаў.

Главным компромісам являюцца можлівасць працы майжэ у рэальны час і строгая сінхронізацыя. Для пошуку і аналізу не патрэбны додатковыя характэрыстыкі, каб усе было завершана ў момент выканання операцыі зазначэння даных, але гэтыя характэрыстыкі должны стаць віднымі за короткі час і чытацца з аднаковага кадру стану даных. Самэй так адна таблыца можа служыць для онлайн-зазначэння даных, гібрыднага пошуку і аналізу без неабяжлівасці трэбавацца трох прымеракоў даных, з’едынаных разам.

Што ён заменяе

Для сучасных праектаў з вікорыстаннем агентаў гэты падход заменяе сабой комплекс з об’ектных сховішч, пошуковых сістэм, баз дадзеных у вектарнай форме, бізнес-баз дадзеных і офлайн-сховішч. Стары компроміс межу шыротай падтрымкі розных модэлей і строгай адарожненасцю дадзеных мае знікнуць.

Чаму гэта важна

Настоямы вопыт не ў тым, чы можа база дадзеных для ШЫ зберагаць адпраўкі, PDF-файлы чы вектары. Спраўа ў тым, што зменіцца, калі агенты стануць прыорытэтнымі корыстувальнікамі такой базы дадзеных.

Калі адаптаванне — цэлы ўзлеканы сістэма на кожны тып дадзейнаў, тады трэба захішчаць больш элементаў, больш каналаў, якія можна зламаць, і больш аб’ектаў, якія можуць неконтрольавана змініцца. Калі ж адаптаванне — адна кераваная табелю, дзе кожная форма дадзейнаў ёсць об’ект першага класу, тады ствараецца справжняя база дадзейнаў у замест на конструкцыю, складваную з каналаў.

Табелі з мультымодэльным адаптаваннем аб’еднваюць структураваныя дадзейны, неструктураваныя дадзейны, характэрыстыкі, выведзеныя за дапамогою ШЫ, і бізнес-семантыку пад адной сістэмай для абмэну, керавання і апрацоўкі. Базы дадзейнаў звычайна вікорыстоўваюцца для аб’еднавання дадзейнаў. У эпоху ШЫ іх неабходна вікорыстоўваць для аб’еднавання дадзейнаў, семантыкі і процэсаў, якія іх ствараюць, і гэтая можнасць являецца першым крокам Lakebase у гэтым напрамку.

Яго ацэнка

Таблыцы з мультымодэльнымі дадзеннямі прыходзяць як частка Lakebase. Чырагчыць іх па вашай сопрацоўнай навантажэнні агента, указаць тыпы дадзенняя, якія трэба кераваць, сцэнарый агента, які вы ствараеце, а таксама будзь-якія трэбаванні да працэздатнасці чы рэгулювання, пасля чаго стварыце адну таблыцу з мультымодэльнымі дадзеннямі і парабялейце яе з тымі, якія яна заменяе. Асэнсіяльны тэст — гэта тое, чы рэагент перастае выдаваць некарэктныя адпаведзенні.