Tabele multimodalne: jedna tabela dla plików, embeddingów oraz wyszukiwania hybrydowego dla agentów

Przez lata omawiana baza danych rozwijała się w kierunku jednego, zintegrowanego systemu, obejmującego przetwarzanie transakcji rozproszonych dla krytycznych obciążeń pracy, HTAP, dane wielomodowe oraz wyszukiwanie hybrydowe. Ich produkt Lakebase wskazuje na dalszą zmianę priorytetów. Pytanie nie dotyczy już tylko tego, co baza danych potrafi przetwarzać, ale kogo służy. Bazy danych były kiedyś tworzone dla programistów, administratorów bazy danych i aplikacji. Producent twierdzi, że w erze sztucznej inteligencji muszą one służyć również nowemu typowi użytkowników – agentom.

Zgodnie z tą definicją „baza danych AI” to nie po prostu taka, która może przechowywać obrazy, pliki PDF czy wektory. To system stworzony tak, by dostarczać agentom kompletny, aktualny i wiarygodny kontekst do podejmowania decyzji i działania, przy czym embeddingi, surowe pliki oraz wyniki hybrydowego wyszukiwania pochodzą z tego samego źródła. Reszta tekstu opisuje funkcję tabel multimodalnych w Lakebase oraz problem, który ma ona rozwiązać. Są to twierdzenia dostawcy, więc sprawdź je w kontekście swoich własnych zadań.

Problem danych agenta

Wyobraźmy sobie decyzję podejmowaną przez agenta. Może on potrzebować zarazem ustrukturyzowanego profilu użytkownika, tekstowego streszczenia rozmowy, oryginalnego pliku PDF z bazy wiedzy, wyników semantycznego wyszukiwania wektorowego oraz aktualnego stanu biznesu.

Dziś te pięć elementów zazwyczaj znajduje się w pięciu systemach: systemie przechowywania obiektów, silniku wyszukiwania, bazie danych wektorowej, bazie danych biznesowej oraz magazynie offline. Nie ma wspólnej transakcji, żadnego spójnego zrzutu stanu ani jednolitego śladu przepływu danych.

Jeśli plik PDF zostanie zaktualizowany, podczas gdy jego odniesienie wciąż wskazuje na starszą wersję, agent odpowiada pewnie, ale błędnie, a nikt o tym nie wie. Nie chodzi tu o przechowywanie większej liczby typów danych – to problem zarządzania. Gdy dane multimodalne znajdą się na kluczowej ścieżce przepływu, ktoś musi zagwarantować spójność wersji, kompletność obliczeń, możliwość śledzenia oraz zaufanie do danych. W wielu zespołach tym „kimś” jest pipeline, który sami posiadają, debugują i przepisują co kwartał.

Tabela multimodalna to rozwiązanie oferowane przez Lakebase. Jest to kluczowa funkcja zarządzania danymi w tym produkcie i umożliwia zarządzanie obrazami, dźwiękiem, wideo, plikami PDF, zrzutami stron internetowych, wektorami, plikami JSON oraz zwykłymi kolumnami strukturalnymi jako odrębnymi obiektami bazy danych. Wszystko to znajduje się w jednym systemie, który zapewnia transakcje, spójność, wysoką dostępność, hybrydowe wyszukiwanie, obliczenia analityczne oraz dostarczanie danych online.

Dlaczego agenci potrzebują innego modelu danych

Obiekty, z którymi pracują agenci, są z natury multimodalne. Dane wejściowe obejmują od języka naturalnego po obrazy, pliki PDF, strony internetowe, tabele oraz kontekst biznesowy. Podczas działania agenci korzystają z pamięci użytkownika, baz wiedzy, wyników RAG, strukturalnych danych biznesowych, profili semantycznych oraz wyników modeli pośrednich.

Następują cztery zmiany:

1. Dane niestrukturyzowane trafiają na kluczową ścieżkę przetwarzania. Przestają być plikami przechowywanymi w systemach magazynowania obiektów i stają się istotnym elementem decyzji.
2. Dostęp do danych staje się hybrydowym wyszukiwaniem. Jedna prośba może łączyć filtry strukturyzowane, wyszukiwanie pełnego tekstu, odzyskiwanie informacji wektorowych oraz agregację danych analityczną.
3. Rosną wymagania dotyczące pracy w czasie rzeczywistym. Systemy działają przez całą dobę, a raportowanie na następny dzień nie jest w stanie nadążyć.
4. Właściwości są generowane dynamicznie. Wiele pól nie jest wpisywanych bezpośrednio – modele wydobywają je asynchronicznie z surowych danych.

Praktyczne pytanie brzmi, jak połączyć surowe dane wielomodowe, pola strukturyzowane, wygenerowane właściwości oraz wyniki asynchroniczne w jednej bazie danych, aby mogły one wspólnie służyć transakcjom online, analizom i hybrydowemu wyszukiwaniu, bez utraty spójności czy widoczności. To właśnie jest problem projektowy, który ma rozwiązać tabela wielomodowa.

Główne funkcje

Jedno miejsce dla obiektów multimodalnych

Tabele multimodalne umieszczają te obiekty pod kontrolą transakcji i wersji bazy danych. Duże obiekty, takie jak obrazy, dźwięk, wideo, pliki PDF oraz zrzuty ekranu, mogą być przechowywane na kilka różnych sposobów. To, gdzie fizycznie znajdują się bajty, ma mniejsze znaczenie niż to, co obiecuje baza danych: identyfikator, który się nie zmienia, sposób dostępu do obiektu, numer wersji, status widoczności oraz określony zakres transakcji.

Celowo tak zostało zaprojektowane, aby zapewnić, że surowy obiekt oraz jego pochodne cechy, takie jak streszczenia, etykiety, embeddingi i oceny ryzyka, zawsze odpowiadają tej samej wersji danych. Błąd, w którym obiekt zostaje zaktualizowany, ale jego cechy nadal opisują stary treść, nie powinien występować.

Dyniczne kolumny cech

Dane wielomodlowe są bogate, a jeden surowy obiekt może dać początek nieskończonej liczbie cech: semantycznych, strukturalnych, związanych z jakością oraz specyficznych dla biznesu. Z tekstu można uzyskać tematy, streszczenia, reprezentacje wektorowe, etykiety bezpieczeństwa, język oraz ocenę jakości. Z obrazu pochodzą wyniki OCR, tagi, oceny ryzyka oraz atrybuty biznesowe. Każdy nowy model dodaje kolejne cechy.

W ramach klasycznego schematu każda nowa cecha oznacza zmianę w DDL. Każda taka zmiana powoduje unieważnienie pamięci cache, wzrost obciążenia przy zapisach oraz presję na kompresję w tle, przez co tempo pracy nad cechami spowalnia się do szybkości blokad tabel.

Tabele multimodalne wykorzystują lekki mechanizm dynamicznych kolumn. Dodawanie nowych funkcji nie wymaga zmian w schemacie, zapytania pozostają w formacie SQL, nadal stosuje się optymalizację analityczną, a wyszukiwanie hybrydowe korzysta z indeksów. Nie chodzi tu o powrót do magazynowania typu klucz-wartość, które jest elastyczne, ale nie umożliwia analizy w formacie SQL ani optymalizacji wyszukiwania. Projekt celowo dokonuje kompromisu pomiędzy strukturą poddającą się optymalizacji a dynamiczną rozszerzalnością, starając się zachować jedno i drugie.

Obliczenia asynchroniczne, niemal w czasie rzeczywistym

Wiele kolumn w ogóle nie jest tworzonych przez użytkowników. Generują je zadania obliczeniowe, takie jak embeddingi, streszczenia, OCR, oceny jakości, indeksy pełnego tekstu i indeksy wektorowe, przy użyciu wbudowanych funkcji modeli, zadań w tle lub zewnętrznych pipeline’ów.

Proces inferencji modelu zazwyczaj trwa od setek milisekund do sekund, co jest zbyt wolne, by blokować operacje zapisu online. Dlatego tabela nie czeka:

1. Najpierw zapisywane są surowe dane, dzięki czemu opóźnienie przy zapisie online pozostaje niezmienione.
2. Zadania w tle rozpoczynają ekstrakcję cech, budowę indeksu oraz uzupełnianie danych zgodnie z ich ścieżką pochodzenia.
3. Wartości pochodne pojawiają się w oknie niemal w czasie rzeczywistym.
4. Podczas odczytu zawsze otrzymuje się jednolity zrzut stanu.

Uzasadnieniem tego podejścia jest to, że ścisła synchronizacja każdej kolumny pochodnej jest nieracjonalna i niepotrzebna. Prawidłowym celem jest kontrolowane równoważenie opóźnienia, przepustowości, efektywności przechowywania oraz spójności. Zadania obliczeniowe wytwarzają wartości, a tabela umożliwia ich zarządzanie, wyszukiwanie, analizę oraz spójne odczytywanie.

Spójność grup kolumn

Obliczenia asynchroniczne wprowadzają problem widoczności. Gdy już istnieje wiersz, cecha A, cecha B, embeddingi, indeksy pełnego tekstu oraz etykiety jakości mogą zostać ukończone w różnych momentach, przez różne zadania i różne modele. Jeśli zapytanie zobaczy, że cecha B została ukończona, podczas gdy cecha A jest nadal w trakcie przetwarzania, zwróci błędne odpowiedzi bez żadnego ostrzeżenia.

Spójność grup kolumn jest zarządzana na warstwie przechowywania. Grupa kolumn biznesowych staje się nowym widocznym zrzutem tylko po tym, jak wszystkie powiązane kolumny pochodne zostaną ukończone. Zapytania i wyszukiwanie hybrydowe odczytują spójny zrzut i nigdy nie napotykają nieukończonych danych.

Rozdzielone przechowywanie i obliczenia, z elementami gorącymi i zimnymi razem

Dane wielomodowe rosną bez ograniczeń w dokumentach, obrazach, wideo, wektorach oraz pochodnych cechach, więc przechowywanie ich wszystkich w szybkim dostępie nie jest wykonalne na dużą skalę. Te tabele funkcjonują w architekturze rozproszonej z wspólnym magazynowaniem i traktują dane szybko dostępne oraz wolno dostępne jako ciągłość:

• Najnowsze dane, na przykład z ostatnich 90 dni, są przechowywane w pamięci cache na SSD, dzięki czemu dostęp do nich jest szybki.
• Dane starsze, na przykład te starsze niż 90 dni, są przechowywane w tańszym, wspólnym magazynowaniu, przy czym nadal można je wyszukiwać, analizować i korzystać z nich przez tę samą interfejs.

Nie trzeba zmieniać systemów, aby uzyskać dostęp do danych wolno dostępnych, ani łączyć bazy danych online, magazynowanie obiektów i offline magazyny, aby odpowiedzieć na jedno pytanie. Istnieje jeden widok, jedna powierzchnia zapytań i jeden model zarządzania.

Łączność i zjednoczony katalog

Który fragment tekstu stanowił źródło tego embeddingu? Który model audytu przydzielił to oznaczenie bezpieczeństwa? Którą wersję PDF opisuje ten streszczenie?

Łańcuch przyczynowo-skutkowy oraz zintegrowany katalog stanowią podstawę metadanych. Odzwierciedlają one, w jaki sposób surowe obiekty, ustrukturyzowane pola, dynamiczne kolumny cech, zadania modelu, wersje oraz uprawnienia są ze sobą powiązane. Metadane wspierają trzy aspekty:

1. Uruchamianie. Tła zadań związanych z wydobywaniem danych, budową indeksów oraz uzupełnianiem informacji uruchamiają się automatycznie na podstawie łańcucha przyczynowo-skutkowego.
2. Kompletność. Zanim dane staną się dostępne, system sprawdza, czy grupa kolumn lub zrzut stanu została w pełni obliczona.
3. Śledzalność. Gdy agent udziela odpowiedzi, można ją prześledzić do dokumentów, obrazów, rekordów oraz pochodnych cech, których użył.

Jedna warstwa dostępu dla transakcji, analiz i wyszukiwania

Tabela multimodalna jest opisywana jako wspólna baza dla trzech zadań obliczeniowych przetwarzających te same dane:

• transakcje online, czyli operacje zapisu realizowane z gwarancjami ACID oraz wysoką dostępnością;
• analiza danych, czyli duże skanowanie, agregacje, filtrowanie, łączenie danych oraz analiza cech;
• hybrydowe wyszukiwanie, czyli filtrowanie strukturalne połączone z wyszukiwaniem pełnego tekstu, odzyskiwaniem informacji za pomocą wektorów, filtrowaniem według tagów oraz rankingiem według kryteriów biznesowych.

Dostęp agentów ma z natury charakter wieloetapowy. Prośba może najpierw filtrować dane na podstawie warunków strukturalnych, następnie wyszukiwać tekst w całości, potem szukać podobnych treści za pomocą wektorów, a na końcu sortować wyniki według tagów, jakości, aktualności i uprawnień. Żaden pojedynczy specjalistyczny silnik nie obejmuje wszystkich czterech tych etapów.

Głównym kompromisem jest możliwość pracy niemal w czasie rzeczywistym przy silnej synchronizacji. Funkcje wyszukiwania i analityki nie wymagają wygenerowanych cech, aby zostać przetworzonymi w ramach transakcji zapisu, ale te cechy muszą stać się dostępne w krótkim, określonym czasie i być odczytywane z spójnego zrzutu stanu. Dzięki temu jedna tabela może obsługiwać zapisy online, hybrydowe wyszukiwanie oraz analizy bez konieczności utrzymywania trzech oddzielnych kopii danych.

Co zastępuje

W przypadku dzisiejszych projektów opartych na agentach chodzi o to, że rozwiązanie to zastępuje zestaw usług przechowywania obiektów, silnik wyszukiwania, bazę danych wektorową, bazę danych biznesową oraz system przechowywania danych offline. Stary kompromis pomiędzy szerokim wsparciem dla różnych modeli a rygorystyczną kontrolą na poziomie bazy danych ma zniknąć.

Dlaczego to ma znaczenie

Prawdziwe pytanie nie brzmi, czy baza danych AI może przechowywać obrazy, pliki PDF czy wektory. Chodzi o to, co zmieni się, gdy agenci staną się głównymi użytkownikami tej bazy danych.

Jeśli odpowiedzią jest kolejny izolowany system na każdy typ danych, to istnieje więcej elementów do zabezpieczenia, więcej łańcuchów przetwarzania do przerwania oraz większe ryzyko ukrytych zmian. Jeśli natomiast odpowiedzią jest jedna zarządzana tabela, w której każda modalność stanowi obiekt pierwszej klasy, otrzymujemy prawdziwą podstawę danych zamiast konstrukcji składającej się z łańcuchów przetwarzania.

Tabele multimodalne łączą dane strukturalne, dane niestrukturalne, cechy wygenerowane przez sztuczną inteligencję oraz semantykę biznesową w ramach jednego systemu służącego do transakcji, zarządzania i obliczeń. Bazy danych służyły do unifikacji danych. W erze sztucznej inteligencji muszą one łączyć dane, semantykę oraz operacje, które je wytwarzają, a ta funkcja stanowi pierwszy krok Lakebase w tym kierunku.

Ocena

Tabele multimodalne są dostarczane w ramach Lakebase. Aby ocenić je w kontekście swoich obciążeń agenta, wymień typy danych, które musisz zarządzać, scenariusz agenta, który budujesz, oraz wszelkie wymagania dotyczące wydajności lub zarządzania, a następnie stwórz jeden model tabeli multimodalnej i porównaj go z systemem, który miałaby zastąpić. Kluczowym kryterium jest to, czy agent przestanie dostarczać błędnych odpowiedzi.