Генератор семантического слоя: агентская пайплайн-система для создания таблиц широкого формата.
Генератор семантического слоя: пятиэтапная система агентов преобразует нормализованную схему и бизнес-запросы в виды широких таблиц Snowflake с доступом через MCP.
Источники: The Semantic Layer Generator: When Agentic AI Meets Data Architecture
Между нормализованной схемой склада и плоскими таблицами, которые на самом деле используют аналитики для запросов, существует пробел, и большинство команд по обработке данных заполняют его вручную. Генератор семантического слоя — это автономная система, которая пытается самостоятельно устранить этот пробел. Она берет сырую схему вместе с списком бизнес-вопросов и за секунды возвращает оптимизированные представления в виде широких таблиц, готовые к использованию в производственных целях.
Пробел, на который никто не выделяет бюджет
Инженеры создают структуры хранения данных, а аналитики — панели управления. Семантический слой, находящийся между ними, обычно пишется вручную, имеет скудную документацию и почти сразу устаревает.
Правильная разработка такой структуры требует значительных усилий. Инженер по данным должен глубоко понимать нормализованную схему: каждый иностранный ключ, каждую цепочку связей, каждый крайний случай, когда объединение типа LEFT JOIN тихо превращается в объединение типа INNER JOIN. Затем ему необходимо провести беседы с заинтересованными сторонами, чтобы выяснить, какие аналитические вопросы имеют значение. Только после этого он может разработать широкие таблицы, являющиеся денормализованными, а также предварительно объединенные представления, которые преобразуют реляционную модель в формат, позволяющий инструментам анализа данных выполнять запросы без необходимости использования шестиуровневого объединения таблиц. Для схем средней сложности на это уходят дни или недели, и результатом становится статический продукт, который начинает устаревать при изменении схемы или появлении новых вопросов.
Корень проблемы заключается в противоречии: нормализованные схемы обеспечивают целостность данных, тогда как аналитические запросы требуют скорости и простоты. Семантический слой выполняет функцию перевода между этими двумя подходами, и на протяжении десятилетий это была ручная работа.
Отсутствие или некачественная реализация слоев приводит к ощутимым последствиям. Аналитики пишут специальные запросы, наполненные избыточными операциями объединения данных. Панели управления работают медленно. Инструменты Text2SQL дают ошибочные результаты, поскольку не могут справиться с сложной структурой данных. Каждый новый бизнес-вопрос превращается в ещё одну задачу для инженеров.
Почему это важно для бизнеса
Это стратегический узкое место, а не просто техническая проблема. Организация, которая не может преобразовать сырые данные в упорядоченные таблицы, удобные для аналитиков, не может работать быстрее, чем позволяет накопившийся объём задач. Хороший семантический слой выполняет три функции одновременно: аналитики становятся самодостаточными, запросы становятся гораздо быстрее благодаря предварительно объединённым представлениям, которые устраняют затраты на выполнение операций объединения во время работы, а инструменты Text2SQL становятся надёжными, поскольку плоские таблицы с чётко определёнными именами столбцов — именно такой входной формат необходим моделям языка для генерации корректного SQL.
Никто не сомневался в необходимости семантического слоя. Оставался открытым вопрос о том, можно ли автоматизировать его создание, не жертвуя качеством.
Сначала должны были созреть три аспекта
Модели, способные интерпретировать схемы для понимания смысла. Современные большие языковые модели делают гораздо больше, чем просто анализируют JSON. Увидев внешний ключ DEPARTMENT_ID, они могут понять, что он обозначает и как связан с таблицей EMPLOYEES. Если задать вопрос о диапазоне заработной платы в зависимости от категории должности, модель знает, что для этого необходимо выполнить соединение через таблицы SALARIES, EMPLOYEES и ROLES. Вся процедура зависит от такого рассуждения.
Агентная оркестрация. Одного вызова большой языковой модели недостаточно для выполнения задачи. Необходимо несколько этапов, при которых каждый из них передаёт данные следующему, включая анализ, оптимизацию, проектирование, генерацию и отчётность, причём шаги оптимизации должны быть детерминированными и основываться на чистой логике множеств в сочетании с рассуждениями, основанными на модели. Именно в этом проявляется максимальная польза агентных ИИ: это не чат-бот, а автономная система, способная завершить инженерный рабочий процесс от начала до конца.
MCP в качестве связующего звена. Благодаря протоколу Model Context Protocol генератор превращается в инструмент, доступный из любого ИИ-ассистента — будь то Claude, внутренний агент или копилот данных. В ходе разговора инженер может передать схему и получить готовый SQL-код и отчёт о проектировании без изменения контекста. Хорошие агентные инструменты должны выступать в роли невидимой инфраструктуры, а не ещё одного панеля управления.
Что здесь означает развертывание непосредственно в месте использования
Этот термин описывает определённую инженерную философию. Вместо того чтобы поставлять универсальную платформу и надеяться, что пользователи будут её адаптировать, инженерные решения размещаются прямо там, где они нужны. Это не означает индивидуальную настройку под одного клиента. Инструмент решает проблему там, где она существует: в вашей схеме, сформированной на основе ваших вопросов, и развернутой в вашем хранилище. Из этого следуют три основных принципа.
- Он является частью схемы. Не требуется изучать специальный язык программирования, настраивать YAML-манифесты или переходить на новую платформу. Вы предоставляете уже существующую схему с таблицами, столбцами, типами и связями в виде обычного JSON.
- Он определяется вопросами. Весь процесс оптимизации основан на аналитических вопросах, которые вы задаёте, поэтому каждая таблица можно отследить до конкретного бизнес-вопроса. Таблицы, которые не помогают отвечать на вопросы, удаляются.
CREATE OR REPLACE VIEW для Snowflake, структурированный результат в формате, пригодном для использования другими инструментами Text2SQL, а также отдельный HTML-отчет, описывающий каждую колонку. SQL-код можно развернуть в тот же день.Пять этапов, без участия человека
То, что делает этот инструмент агентным, — это не наличие большой языковой модели. Дело в том, что несколько этапов рассуждения и оптимизации выполняются автономно, без участия человека между фазами. Анализ, оптимизация, проектирование, генерация и отчетность следуют один за другим, причем в процессе проектирования намеренно чередуются вероятностные и детерминистические методы работы. На этапах 1, 3, 4 и 5 используется рассуждение большой языковой модели. На этапе 2 применяется простая логика множеств в Python. Таким образом, конвейер получает творческие способности и семантическое понимание языка от языковых моделей там, где это полезно, и сохраняет строгую оптимизацию с возможностью аудита там, где требуется точность.
Кто извлекает выгоду
Инженеры по данным получают черновик, на создание которого в противном случае ушли бы дни работы. Они анализируют полученные большие таблицы, изменяют типы соединений, добавляют вычисляемые столбцы и развертывают решение, применяя свои навыки для усовершенствования, а не для создания. HTML-отчет превращается в динамическую документацию, которой раньше вообще не существовало.
Команды аналитики получают плоские таблицы, уже объединенные между собой, с четкими определениями столбцов, благодаря чему запросы становятся проще, результаты поступают быстрее, и никому не нужно расшифровывать диаграмму ER из 15 таблиц. Матрица покрытия вопросов соотносит каждый вопрос с таблицей, которая на него отвечает.
Системы Text2SQL могут получить наибольшую выгоду, причем это тот эффект, который люди замечают реже всего. Модели вроде GPT, Claude или open-source модели работают гораздо лучше с плоскими схемами, чем с нормализованными. Меньше таблиц, меньше объединений, описательные имена и определения столбцов — всё это снижает вероятность галлюцинаций и повышает точность SQL-запросов. Формат JSON схемы вывода предназначен для непосредственного использования в последующих инструментах Text2SQL, обеспечивая плавный переход от сырых данных базы данных к запросам на естественном языке.
Компания возвращает себе время. Каждый час, который инженер не тратит на проектирование объемных таблиц, идет на разработку данных продуктов, пайплайнов или решение действительно новых задач, а постоянные расходы превращаются в один единственный вызов.
Пример реализации
Представьте базу данных по управлению персоналом, состоящую из пяти нормализованных таблиц (EMPLOYEES, DEPARTMENTS, ROLES, SALARIES, LEAVE_REQUESTS), соединённых с помощью иностранных ключей в стандартном стиле звёздной схемы. Инструменту задают пять вопросов: заработная плата по отделам и категориям должностей, кто взял наибольше отпусков, количество наймов в квартале по местоположению, как распределяется заработная плата по категориям и как растёт численность сотрудников в каждом отделе.
В результате выполнения получаются 5 исходных таблиц и 4 расширенные таблицы. Виды не удаляются, поскольку схема уже была близка к оптимальной, и ни один вопрос не остаётся без ответа, что обеспечивает полное покрытие. Эти четыре таблицы представлены ниже:
FACT_EMPLOYEES_FULL— для анализа тенденций найма и численности сотрудниковFACT_SALARIES— для анализа заработной платыFACT_LEAVE_REQUESTS— для анализа тенденций использования отпусков
DIM_DEPARTMENTS в качестве измерения отделовВ итоге получается четыре представления данных; ничего не осталось без ответа, каждая колонка привязана к своей исходной таблице, и каждое представление может быть сразу же развернуто в Snowflake. Весь процесс занял менее тридцати секунд.
За пределами этого инструмента
Генератор является примером более широкой концепции: агентных систем, которые автоматизируют четко определенный инженерный процесс путем сочетания рассуждений больших языковых моделей с детерминированной оптимизацией. Та же последовательность действий — анализ, оптимизация, проектирование, генерация и отчетность — применима к проектированию ETL-пайплайнов, генерации схем API, созданию тестовой инфраструктуры и многим другим проблемам на уровне перевода данных в программном обеспечении.
Модели языка, фреймворки оркестрации и открытые протоколы вроде MCP достаточно созрели, чтобы такие пайплайны можно было использовать в производственных условиях как надежную инфраструктуру, а не только в качестве демонстраций. Семантический слой всегда был разумной идеей. Ему просто требовался создатель, который никогда не забудет иностранный ключ и сможет перепроектировать весь слой сразу при поступлении нового вопроса.
Связанные статьи
- Исправление проблем RAG с помощью онтологии и графа знаний в документации по полупроводникам — Как набор документации EDA на основе DITA получил онтологию RDF/OWL, граф Neo4j и поиск с ограничениями онтологии, что позволило сократить количество дополнительных запросов на 30%.