Генератар семантычнага пласта: агентны канвеер, які праектуе шырокія табліцы
Генератар семантычнага пласта: пяціфазны агентны канвеер ператварае нармалізаваную схему і бізнес-пытанні ў прадстаўленні шырокіх табліц Snowflake з доступам праз MCP.
Крыніцы: The Semantic Layer Generator: When Agentic AI Meets Data Architecture
Между стандартызаваным схематызам складу і плоскімі табламі, якія насправды выкарыстоўваюцца аналітыкамі, існуе прыемка, і большасць команд з апрацоўкі дадзэнняў заполняе яе вручную. Генератор семантычнага шару — гэта агентны сістэма, якая прагчае сама закрыць гэтую прыемку. Яна берае необработаны схематызам плюс спіс бізнес-запытанняў і за секунды вяртае оптымізаваныя відображэнняя у віглядзе шырокіх табелей, гатовыя да вывароту.
Прыемка, для якой ніхто не выдзеляе бюджэт
Інжынеры ствараюць схематызамі складу, а аналітыкі — панелі керавання. Семантычны шар, які знаходзіцца між імі, зазвычай пішыцца вручную, мае слабкую документацыю і практычна адразу стае застарэлым.
Правільна стварэнне такой структуры выклікае значныя зусілля. Інжынер з дадзэйнаў павінен глыбокаа разумець нормалізаваную схему: кожны зовнішній ключ, кожную ланцуг асоціяцый, кожны экстрэмальны случай, калі спакуальная з’еднанне таямніця ператвараецца на внутранюю з’еднанне. Пасля чаго ён павінен працаваць з заінтэрэсаванымі сторонамі, ўбачыць, якія аналітычныя запіты маюць значэнне. Ляч тады ён можа разрабатваць шырокія таблыцы, якія ўскладненыя, а таксама прадзеднаныя відблікі, якія прыводзяць рэляцыйную модэль да формы, якую можа выкарыстоўваць інструмент аналізу дадзэйнаў без неабходнасці з’еднання шасці таблыц. Для схемы сярэдней складнасці гэта займае дні або тыдні, а рэзультатам являецца статычны продукт, які пачынае руйнавацца, калі схема змінюецца або з’яўляецца новы запіт.
Корань проблемы — гэта суперасункі. Нормалізаваныя схемы захоўваюць цэласнасц дадзэйнаў, тады як аналітычныя запіты выкарыстоўваюць швальнасц і простасць. Семантычны слой выканае пераклад межы гэтымі двума падходамі, і гэта праця, якая дзесяткі гадоў выканаецца вручную.
Нявесць або недбаласць у шарах мае відныя наследкі. Аналітыкі пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна пішчотна п
Ніхто не сумнівався, што патрэбна сэмантычная складова. Апэндытным пытаннем было, чы можна автаматызаваць ўтварэнне такой складовай без падпякідання якосці.
Спачатку трэба было, каб даспелі тры рэчы
Мадэлі, якія аналізуюць схемы для выявлення значэння. Сучасныя LLM-ы робяць больш, чым проста парсуюць JSON. Калі паказаць зовнішній ключ DEPARTMENT_ID, можна зразумець, што ён пазначае і як ён з’яўляецца у зв’язку з EMPLOYEES. Калі запытаць пра розпад заробків па групах ролей, мадэль ведае, што з’ўязок трэба стварыць праз SALARIES, EMPLOYEES і ROLES. Усі працэсы залежаць ад такога аналізу.
Агентныя оркестрацыі. Адна вызова LLM не можа выконаць усю працу. Патрэбны кілька фаз, пры якіх кожны этап падае ў наступны, включаючы аналіз, оптымізацыю, праектаванне, генераванне і атрыбутаванне рэзультатаў, пры чым наступныя крокі оптымізацыі базуюцца на чыстай логіцы множакоў у поўнай сувязі з аргументацыяй, якая керуецца модэлем. Гэта самая корыстная форма агентных AI: не чат-бот, а автонамная сістэма, якая завершае інжынерны працэс з самага пачатку да канца.
MCP як з’еднальнік. За дапамогою протаколу Model Context Protocol генератор стае інструментам, які можна вызваць з будзь-яга AI-асістэнта — чы то Claude, внутрашні агент чы копілят платформы для апрацоўкі дадзенаў. У ходзе размовы інжынер можа перэдаць схему і атрыбутавацыю рэзультатаў у вігляды SQL-запыткаў і атрыбутавання рэзультатаў, не змінюючы кантэкст. Хорашыя агентныя інструменты должны быць невыразнымі інфраструктурнымі элементамі, а не ўжо ўсё тым жа панеллю керування.
Што значыць «розмешчэнне на практыцы»
Гэты выраз апісвае філасофію інжынернага падходу. У змену таму, каб апрацаваць стандартную платформу і спадзявацца, што корыстувальнікі яе прыстосуюць, вы размешчаеце інжынерныя можлівасці пры самай проблеме. Гэта не значыць неабяжна адаптавацію пад адзін кліента. Інструмент рашае проблему там, дзе яна існуе: у вашай схеме, якая формуецца на адповедзі на вашыя запітанні, і розмешчаецца у вашай базе дадзеных. З гэтага выліваюцца тры основныя характэрыстыкі.
- Ён ўжо ўжо ў складзе схемы. Не трэба вучыцца якога-небудзь DSL, налаштовваць YAML-маніфестаў чы прыемліваць новую платформу. Вы проста даўаеце вялікі JSON-файл з вашай вялікай схемай, якая включае табліцы, столбцы, тыпы дадзеных і ўзаінтэрэсаванасці.
- Ён керуецца запітаннямі. Усі працэсы оптымізацыі базуюцца на аналітычных запітаннях, якія вы задаеце, таму кожная табліца можа быць прыязначаная да конкрэтнага бізнес-запітання. Табліцы, якія не дапамагаюць адпаведзець на запітанні, адсікаюцца.
CREATE OR REPLACE VIEW для Snowflake, шаблон выходных данаў з апісаннем тыпаў, які можна выкарыстоўваць у іншых інструментах Text2SQL, а таксама самастоятэльны HTML-справаздача, які дакументуе кожную століцу. SQL-код можна розгорнуць тыя ж дзень.Пяць фаз, без удзеле людзя
Тое, што робіць гэты інструмент агентным, — не наявнасць LLM. Гэта тое, што калькі стадыяў аналізу, оптымізацыі, праектавання, генеравання і стварэння звятынакоў выкананыя автонамна, без удзеле чалавека між фазамі. Аналіз, оптымізацыя, праектавання, генеравання і стварэння звятынакоў выкананыя адна за іншай, пры чым у праектаванні намеравана змінюецца парадокс між верагатыснай і дэтэрміністычной працэй. Фазы 1, 3, 4 і 5 выкарыстоўваюць логіку аналізу LLM. Фаза 2 — цэла простая логіка множакаў у Python. Такім чынам, гэты канал отрымае крэатыўнасць і семантычнае разумеўненне мовных модэляў там, дзе гэта дапамагае, а таксама падтрымвае строгую оптымізацыю і можлівасць аўдыту там, дзе трэба тачнасць.
Каму гэта выгодна
Інжынеры дадзейнаўтароў атрымліваюць праект, які інакш заставіў бы ўсё працаваць колькісць дзён. Яны аналізуюць створаныя імі вялікія таблыцы, зменяюць тыпы з’еднання, дадаюць вырахаваныя столбцы і запускаюць ў працу, прыкладваючы свае навыкі для ўдосконалення, а не для стварэння. HTML-справаздача стае жывой дакументацыяй, якой раней вообшча не існавало.
Команды аналітыкі атрымліваюць плоскія, пазяеднаныя загадзя таблыцы з чыстымі ваказаннямі столбцоў, таму запыты стаюць простыяя, рэзультаты прыходзяць быстрэй, і нікому не трэба дэкадаваць дыяграму ER з 15 таблыц. Матрыца пакрыцча запытамі супарабатоўвае кожны запыт з таблыцай, якая яго адпавядае.
Сістэмы Text2SQL можаць даць наібольшыя выгоды, і гэта тая выгода, якую люды зазначаюць менш часта. Мадэлі такія як GPT, Claude чыста адкрытага кода парадксальна лепша працуюць з плоскімі схемамі, чым з нормалізаванымі. Меншая колькасць таблэц, меншыя з’еднанні, опісовыя назвы і ваказанні столбцоў усе гэта зменшае галюцынаціі і падымае точнасць SQL-запытак. Файл схемы у фармаце JSON адформатаваны так, каб можна было без працы ўвесты яго ў інструменты Text2SQL, чым ствараецца павольны пераход ад сырой базы дадзеных да запытак на натуральнай мове.
Арганізацыя вяртае сабе час. Кожная гадзіна, яку інжынер не прасвячвае на праектаванне вялікіх таблэц, ідзе на стварэнне дадзеных продактов, пайплайнаў чыста на рашэнне справжняя новых проблем, а паўтараючыся расход ператвараецца на адну толькі вызову.
Практычны прыклад
Уявіце сабэксперты базы дадзейнаў кадраў з пяцьма нормалізаванымі тэбламі (EMPLOYEES, DEPARTMENTS, ROLES, SALARIES, LEAVE_REQUESTS), якія з’яеднаны за дапамогою сторонніх ключоў у стандартным стылі зоркага схемы. Апранату даўна пяць запытанняў: адплата за аддзеламі і дыяпазонамі ролей, хто взяў найбольша колькасць выпускнага часу, прыемкі на працу за кварталамі па месцу розташоўкі, як распадзеляецца адплата па дыяпазонах і як зрастае колькасць працаваючых у кожным аддзеле.
Выкананне задачы паказвае 5 выхідных тэбл і стварае 4 шырокія тэблы. Ніякія відгледы не выключаюцца, адтуды што схема вялікай часткай вялікай часткай была вжо блізкая да оптымальнай, і ніякія запытанні не застаюцца без адказу, што значыць паўная пакрыцця. Чатыры тэблы ўключаюць:
FACT_EMPLOYEES_FULL— для аналізу тэндэнцый прыемкі на працу і колькасці працаваючыхFACT_SALARIES— для аналізу адплатыFACT_LEAVE_REQUESTS— для аналізу законамасцей выпускнага часу
DIM_DEPARTMENTS як вымір дапартаментаГэта дае чатыры відображэння, няма нічога нерашанага, кожны столбець прыязначаны да свайго асалінскага табеля, і кожна з відображэнняў можа быць выкорыстана ў Snowflake у такім варыянце. Усі працэсы зайнялі менейш чым трыдцаць секунд.
За межамі гэтага інструмента
Генератор ўскладніця шырэйшага патэрану: агентныя сістэмы, якія автаматызуюць чытка апісаны інжынерны працэс, спалюючы логіку LLM з дэтэрміністычным оптымізаваннем. Той самы ланцуг аналізу, оптымізавання, праектавання, генеравання і атрыбутавання даных паслужыць для праектавання каналоў ETL, генеравання схем API, стварэння каркаса для тэстаў і багацько іншых проблем у роўні перакладу ў програмнаму забезпечэнню.
Мадэлі мовы, каркасы оркестрацыі і адкрытыя пратакты, такія як MCP, досыць развіліся, таму такія пайплайны можна ўпэўнена выкарыстоўваць у працэсе розрабоцы, як частыну інфраструктуры, а не толькі як дэманстрацыі. Семантычны слой завжды быў розумной ідэяй. Ям проста быў патрэбны творчы спецыяліст, які ніколі не забудзе аб стороннім ключы і зможа перадзяліць увесь слой як толькі з’явіцца новы запіт.
Спадні матэрыялы
- Выправленне проблем RAG за дапамою онтологіі і графа знанняў у дакументах па напрамку напівпраўядароў — Як дакументацыя на базе DITA па напрамку EDA павышыла эфектывнасц за дапамою онтологіі RDF/OWL, графа Neo4j і методаў пошуку, абмежаных онтологіяй, чым зменшыла колькасць дадатковых запытоў на 30%.