Strona główna / Artykuły

Generator warstwy semantycznej: pipeline agentowy, który projektuje tabely szerokie.

Generator warstwy semantycznej: pięcioetapowy proces oparty na agentach przekształca znormalizowane schematy oraz pytania biznesowe w widoki tabel szerokich w Snowflake, z dostępem MCP.

Wydawca: REACTAPP.TOP6 min czytania1427 słów

Źródła: The Semantic Layer Generator: When Agentic AI Meets Data Architecture

Pomiędzy znormalizowanym schematem magazynu a prostymi tabelami, które faktycznie są używane w zapytaniach analityków, istnieje luka, którą większość zespołów danych wypełnia ręcznie. Generator warstwy semantycznej to system autonomiczny, który próbuje samodzielnie zamknąć tę lukę. Bierze surowy schemat wraz z listą pytań biznesowych i w ciągu sekund zwraca zoptymalizowane widoki w postaci szerokich tabel, gotowe do użycia w produkcji.

Luka, na którą nikt nie przewiduje budżetu

Inżynierowie tworzą magazyny danych, a analitycy – panele kontrolne. Warstwa semantyczna znajdująca się pomiędzy nimi jest zazwyczaj pisana ręcznie, słabo udokumentowana i niemal natychmiast staje się przestarzała.

Budowa takiego systemu wymaga naprawdę dużego wysiłku. Inżynier danych musi dogłębnie zrozumieć znormalizowany schemat: każdy klucz obcy, każdą sekwencję relacji, każdy przypadek szczególny, w którym połączenie lewe cicho zamienia się w połączenie wewnętrzne. Następnie musi przeprowadzić rozmowy z zainteresowanymi stronami, aby dowiedzieć się, jakie pytania analityczne są istotne. Dopiero wtedy może zaprojektować szerokie tabele, które są denormalizowane, oraz widoki z wcześniejszym połączeniem, które spłaszczają model relacyjny do formy, którą narzędzie BI może przeszukiwać bez konieczności łączenia sześciu tabel. W przypadku schematu o średniej złożoności praca ta trwa dni lub tygodnie, a rezultatem jest statyczny artefakt, który zaczyna ulegać degradacji, gdy zmienia się schemat lub pojawia się nowe pytanie.

Przyczyną problemu jest sprzeczność – znormalizowane schematy chronią integralność danych, podczas gdy zapytania analityczne wymagają szybkości i prostoty. Warstwa semantyczna pełni rolę tłumacza pomiędzy nimi, a od dziesięcioleci jest to praca ręczna.

Brakujące lub niedbale zaprojektowane warstwy mają widoczne konsekwencje. Analitycy piszą ad-hoc zapytania pełne zbędnych połączeń. Dashboardy działają bardzo wolno. Narzędzia typu Text2SQL dają błędne wyniki, ponieważ nie potrafią poruszać się w złożonym schemacie. Każde nowe pytanie biznesowe zamienia się w kolejny ticket inżynieryjny.

Dlaczego to ma znaczenie dla biznesu

Jest to zarówno problem strategiczny, jak i techniczny. Organizacja, która nie potrafi przekształcić surowych danych w uporządkowane tabele przyjazne analitykom, nie może działać szybciej, niż na to pozwala jej obecny backlog zadań. Dobra warstwa semantyczna robi trzy rzeczy jednocześnie: analitycy stają się samodzielni, zapytania stają się znacznie szybsze, ponieważ widoki z wcześniej wykonanymi połączeniami eliminują koszty połączeń w czasie wykonywania zapytań, a narzędzia Text2SQL stają się bardziej niezawodne, ponieważ płaska tabela z jasno nazwanymi kolumnami to właśnie taki rodzaj danych, który model językowy potrzebuje, aby wygenerować poprawny SQL.

Nikt nie wątpił, że potrzebna jest warstwa semantyczna. Otwartym pytaniem było to, czy jej budowę można zautomatyzować bez rezygnacji z jakości.

Trzy elementy musiały najpierw dojrzeć

Modele, które interpretują schematy w celu wydobycia znaczenia. Dzisiejsze modele językowe potrafią więcej niż tylko analizować JSON. Gdy pokazuje się klucz obcy DEPARTMENT_ID, model potrafi określić, co on oznacza i jak łączy się z tabelą EMPLOYEES. Gdy pyta się o rozrzut płac według grup stanowisk, model wie, że połączenie musi iść od tabeli SALARIES przez EMPLOYEES aż do ROLES. Cały proces zależy od takiego rozumowania.

Orkiestracja oparta na agentach. Jedna wywołanie LLM nie wystarczy do wykonania zadania. Potrzebne są kilka faz, w których każdy etap dostarcza dane do następnego, obejmujących analizę, optymalizację, projektowanie, generowanie i raportowanie, przy czym kroki optymalizacyjne są deterministyczne i opierają się na czystej logice zbiorów, połączonej z rozumowaniem opartym na modelu. To właśnie najbardziej przydatna forma sztucznej inteligencji opartej na agentach: nie jest to chatbot, lecz autonomiczny system, który realizuje cały proces inżynieryjny od początku do końca.

MCP jako łącznik. Dzięki Protokolowi Kontekstu Modelu generator staje się narzędziem dostępnym z dowolnego asystenta AI, czy to Claude, lokalnego agenta, czy copilota platformy danych. W trakcie rozmowy inżynier może przekazać schemat i otrzymać gotowy kod SQL oraz raport projektowy, bez konieczności zmiany kontekstu. Dobry zestaw narzędzi opartych na agentach powinien stanowić niewidzialną infrastrukturę, a nie kolejną panel kontrolny.

Co oznacza tutaj rozmieszczenie w przód

To określenie opisuje filozofię inżynieryjną. Zamiast dostarczać ogólną platformę i mieć nadzieję, że użytkownicy się do niej dostosują, umieszcza się możliwości inżynieryjne w miejscu, gdzie są one potrzebne. Nie oznacza to dostosowywania rozwiązania pod jednego klienta. Narzędzie rozwiązuje problem tam, gdzie się on pojawia: w Twoim schemacie, kształtowanym przez Twoje pytania, i jest wdrażane w Twoim magazynie. Wynikają z tego trzy cechy.

  • Jest zintegrowane z schematem. Nie trzeba uczyć się żadnego DSL, konfigurować żadnego pliku YAML ani przyjmować nowej platformy. Podajesz już istniejący schemat, zawierający tabele, kolumny, typy i relacje, w formie zwykłego JSON.
  • Jest kierowane przez pytania. Cały proces optymalizacji jest powiązany z pytaniami analitycznymi, które mu podajesz, dzięki czemu każda duża tabela może być powiązana z konkretnym pytaniem biznesowym. Tabele, które nie pomagają w odpowiadaniu na żadne pytania, są usuwane.
  • Jego wyniki mogą zostać wprowadzone do użycia. Narzędzie tworzy instrukcje DDL w formie CREATE OR REPLACE VIEW dla Snowflake, skonstruowany schemat wyjściowy, który mogą wykorzystać narzędzia Text2SQL, oraz oddzielny raport HTML dokumentujący każdą kolumnę. SQL można wdrożyć już tego samego dnia.
  • Pięć faz, bez udziału człowieka

    To, co sprawia, że narzędzie ma charakter agentowy, to nie obecność modelu językowego typu LLM. Chodzi o to, że kilka etapów rozumowania i optymalizacji przebiega samodzielnie, bez żadnego udziału człowieka pomiędzy fazami. Analiza, optymalizacja, projektowanie, generowanie i raportowanie następują po sobie, a w procesie projektowania celowo zmienia się między pracą probabilistyczną a deterministyczną. Fazy 1, 3, 4 i 5 wykorzystują rozumowanie oparte na modelach LLM. Faza 2 polega na zwykłej logice zbiorów w Pythonie. Dzięki temu pipeline czerpie kreatywność i semantyczne zrozumienie języka od modeli językowych tam, gdzie jest to pomocne, a jednocześnie zapewnia ścisłą i sprawdzalną optymalizację tam, gdzie wymagana jest precyzja.

    Kto odnosi korzyść

    Inżynierowie danych otrzymują wersję wstępną, której przygotowanie w inny sposób zajęłoby dni pracy. Przeglądają generowane przez nią rozległe tabele, zmieniają typy łączeń, dodają kolumny obliczane i wdrażają rozwiązania, wykorzystując swoje umiejętności do udoskonalania, a nie tworzenia. Raport w formacie HTML staje się żywą dokumentacją, której wcześniej w ogóle nie istniało.

    Zespoły analityczne otrzymują prostą, już połączoną tabele z jasnymi definicjami kolumn, dzięki czemu zapytania są prostsze, wyniki pojawiają się szybciej, a nikt nie musi dekodować diagramu ER składającego się z 15 tabel. Matryca pokrycia pytań łączy każde pytanie z tabelą, która na nie odpowiada.

    Systemy Text2SQL mogą odnieść największe korzyści, a są to korzyści, których ludzie najmniej zauważają. Modele takie jak GPT, Claude czy te open-source radzą sobie znacznie lepiej z prostymi schematami niż z normalizowanymi. Mniej tabel, mniej połączeń, opisowe nazwy oraz definicje kolumn – to wszystko zmniejsza ilość błędnych informacji i zwiększa dokładność zapytań SQL. Wygenerowany schemat w formacie JSON jest sformatowany tak, aby można go było bezpośrednio użyć w narzędziach Text2SQL, co umożliwia płynną przemianę surowych danych z bazy danych na zapytania w języku naturalnym.

    Organizacja zyskuje z powrotem czas. Każda godzina, której inżynier nie poświęca na projektowanie rozbudowanych tabel, może być wykorzystana na rozwój produktów danych, procesów przetwarzania lub rozwiązywanie nowych problemów, a koszt powtarzalnych operacji zamienia się w jedną, pojedynczą transakcję.

    Przykład z praktyki

    Wyobraź sobie bazę danych HR składającą się z pięciu znormalizowanych tabel (EMPLOYEES, DEPARTMENTS, ROLES, SALARIES, LEAVE_REQUESTS) połączonych kluczami obcymi w typowym stylu schematu gwiaździstego. Narzędzie otrzymuje pięć pytań: wynagrodzenia według działu i przedziału stanowiskowego, kto wziął najwięcej urlopu, zatrudnienia w poszczególnych kwartałach według lokalizacji, jak rozkładają się wynagrodzenia w poszczególnych przedziałach oraz jak rośnie liczba pracowników w każdym dziale.

    Proces generuje raporty na podstawie 5 tabel źródłowych i tworzy 4 rozszerzone tabele. Żadne widoki nie są usuwane, ponieważ schemat był już bliski optymalnego, a żadne pytania nie pozostają bez odpowiedzi, co oznacza pełne pokrycie. Cztery te tabele to:

    • FACT_EMPLOYEES_FULL – dla analizy trendów zatrudniania i liczby pracowników
    • FACT_SALARIES – do analizy wynagrodzeń
    • FACT_LEAVE_REQUESTS – dla analizy wzorców korzystania z urlopów
  • DIM_DEPARTMENTS jako wymiar działu
  • To daje cztery widoki, nic nie pozostało bez odpowiedzi, każda kolumna została powiązana z odpowiednią tabelą źródłową, a każdy widok może zostać natychmiast wdrożony w Snowflake w obecnym stanie. Cały proces trwał mniej niż trzydzieści sekund.

    Poza tym jednym narzędziem

    Generator jest przykładem szerszego wzorca: systemów agentowych, które automatyzują dobrze zdefiniowany proces inżynieryjny, łącząc rozumowanie LLM z deterministyczną optymalizacją. Ta sama sekwencja analizy, optymalizacji, projektowania, generowania i raportowania stosuje się przy projektowaniu pipeline’ów ETL, generowaniu schematów API, tworzeniu ram testowych oraz przy wielu innych problemach związanych z warstwą tłumaczenia w oprogramowaniu.

    Modele językowe, frameworki orkiestracyjne oraz otwarte protokoły takie jak MCP rozwinęły się na tyle, że te pipeline’y można polegać w środowisku produkcyjnym, jako infrastrukturę, a nie tylko jako demonstracje. Warstwa semantyczna zawsze była dobrą ideą. Potrzebowała jedynie kogoś, kto nigdy nie zapomni o kluczu obcym i może przeprojektować całą warstwę, gdy tylko pojawi się nowe pytanie.