Головна / Статті

Генератор семантичного шару: агентний конвеєр, який проєктує широкі таблиці.

Генератор семантичного шару: п’ятиетапний агентський процес перетворює нормалізовану схему та бізнес-запити на перегляди широких таблиць у Snowflake з доступом через MCP.

Видавець: REACTAPP.TOP6 хв читання1427 слів

Джерела: The Semantic Layer Generator: When Agentic AI Meets Data Architecture

Між нормалізованою схемою складу та плоскими таблицями, які насправді використовують аналітики для запитів, існує прогалина, і більшість команд з обробки даних заповнюють її вручну. Генератор семантичного шару — це автономна система, яка намагається самостійно закрити цю прогалину. Він бере необроблену схему та список бізнес-запитів та протягом кількох секунд генерує оптимізовані перегляди у вигляді широких таблиць, готові до використання в продакшені.

Прогалина, на яку ніхто не виділяє бюджету

Інженери створюють схеми складів, а аналітики — панелі керування. Семантичний шар, який знаходиться між ними, зазвичай пишеться вручну, має слабку документацію та майже відразу стає застарілим.

Правильна розробка такої системи вимагає справжніх зусиль. Інженер з даних мусить глибоко розуміти нормалізовану схему: кожний іноземний ключ, кожну послідовність зв’язків, кожен крайній випадок, коли ліве з’єднання тихо перетворюється на внутрішнє. Потім він має провести інтерв’ю з зацікавленими сторонами, щоб з’ясувати, які аналітичні запитання є важливими. Лише після цього він може розробити широкі таблиці, які є денормалізованими, або попередньо з’єднані представлення, які перетворюють реляційну модель на щось, що інструмент BI може обробляти без необхідності з’єднання шести таблиць. Для схеми середньої складності ця робота займає дні чи тижні, а результатом є статичний продукт, який починає деградувати, як тільки схема змінюється або з’являється нове запитання.

Коренем проблеми є суперечність: нормалізовані схеми забезпечують цілісність даних, тоді як аналітичні запити вимагають швидкості та простоти. Семантичний шар виконує функцію перекладу між цими двома підходами, і протягом десятиліть ця робота виконувалась вручну.

Відсутні або недбало створені шари мають помітні наслідки. Аналітики пишуть спеціальні запити, наповнені зайвими операціями об’єднання даних. Панелі керування працюють повільно. Інструменти Text2SQL створюють хибні результати, оскільки не можуть ефективно орієнтуватися у складній схемі даних. Кожне нове бізнес-запитання перетворюється на ще одну інженерну задачу.

Чому це важливо для бізнесу

Це є як стратегічним узьким місцем, так і технічною проблемою. Організація, яка не може перетворити сирі дані на структуровані таблиці, зручні для аналітиків, не може працювати швидше, ніж дозволяє обсяг незавершених завдань. Хороший семантичний шар виконує три функції одночасно: аналітики стають самодостатніми, запити працюють значно швидше, оскільки попередньо об’єднані таблиці усувають витрати на об’єднання під час виконання, а інструменти Text2SQL стають надійними, адже плоскі таблиці з чіткими назвами стовпців — саме той вхідний формат, який потрібен мовним моделям для створення правильного SQL-коду.

Ніхто не сумнівався, що потрібен семантичний шар. Відкритим залишалося питання, чи можна автоматизувати його створення, не жертвуючи якістю.

Спочатку мусили дозріти три речі

Моделі, які розуміють схеми для отримання сенсу. Сучасні ШІ роблять більше, ніж просто аналізують JSON. Якщо показати зовнішній ключ DEPARTMENT_ID, можна зрозуміти, що він означає та як він пов’язаний з таблицею EMPLOYEES. Якщо запитати про розподіл заробітної плати за діапазонами посад, модель знає, що з’єднання має відбуватися від таблиці SALARIES через EMPLOYEES до ROLES. Увесь процес залежить від такого міркування.

Агентська оркестрація. Одного виклику ШІ недостатньо для виконання завдання. Потрібні кілька етапів, де кожен наступний отримує дані від попереднього, включаючи аналіз, оптимізацію, проектування, генерацію та звітування, з використанням детерміністичних кроків оптимізації, заснованих на чистій логіці множин, поєднаної з міркуваннями, заснованими на моделі. Це найкорисніша форма агентського ШІ: не чат-бот, а автономна система, яка виконує інженерний робочий процес від початку до кінця.

MCP як з’єднувач. Завдяки протоколу Model Context Protocol генератор стає інструментом, який можна викликати з будь-якого допоміжного ШІ, чи то Claude, внутрішній агент чи копілот платформи з обробкою даних. Під час розмови інженер може передати схему та отримати готовий SQL-запит та звіт про проект без зміни контексту. Хороші агентські інструменти мають бути невидимою інфраструктурою, а не ще одним панеллю керування.

Що означає тут «розгортання безпосередньо на місці»

Цей вираз описує певну інженерну філософію. Замість того, щоб постачати універсальну платформу та сподіватися, що користувачі до неї пристосуються, інженерні можливості розміщуються безпосередньо там, де вони потрібні. Це не означає налаштування інструменту під одного клієнта. Інструмент вирішує проблему там, де вона існує: у вашій схемі, сформованій під впливом ваших запитань, та розгорнутий у вашому сховищі. З цього випливають три особливості.

  • Він є нативним для схеми. Не потрібно вивчати жодних DSL, налаштовувати YAML-маніфести чи переходити на нову платформу. Ви надаєте вже наявну схему з таблицями, стовпцями, типами та зв’язками у вигляді звичайного JSON.
  • Він керується запитаннями. Весь процес оптимізації ґрунтується на аналітичних запитаннях, які ви йому задаєте, тож кожну велику таблицю можна простежити до конкретного бізнес-запитання. Таблиці, які не допомагають у відповідях, видаляються.
  • Його результати можна використовувати в реальному часі. Інструмент генерує оператори DDL у форматі CREATE OR REPLACE VIEW для Snowflake, типізовану схему вихідних даних, яку можуть використовувати наступні інструменти Text2SQL, а також окремий HTML-звіт, що документує кожен стовпець. SQL-код можна розгорнути в той самий день.
  • П’ять етапів, без участі людини

    Те, що робить цей інструмент агентним, — це не наявність LLM. Це те, що кілька етапів міркувань та оптимізації виконуються автономно, без участі людини між фазами. Аналіз, оптимізація, проектування, генерація та звітування відбуваються по черзі, причому процес проектування навмисно поєднує ймовірнісні та детерміністичні підходи. На етапах 1, 3, 4 та 5 використовуються механізми міркувань LLM. На етапі 2 застосовується звичайна логіка множин у Python. Таким чином, цей конвеєр отримує креативність та семантичне розуміння мов від моделей мови там, де це корисно, а також забезпечує сувору та перевірювану оптимізацію там, де необхідна точність.

    Хто отримує користь

    Інженери з даними отримують чернетку, яка в іншому випадку вимагала б кількох днів роботи. Вони аналізують створені нею великі таблиці, змінюють типи з’єднань, додають обчислювані стовпці та впроваджують зміни, застосовуючи свої навички для вдосконалення, а не для створення. HTML-звіт стає динамічною документацією, якої раніше взагалі не існувало.

    Команди з аналітики отримують плоскі таблиці, які вже попередньо об’єднані, із чіткими визначеннями стовпців, тож запити стають простішими, результати повертаються швидше, і нікому не доводиться розшифровувати діаграму ER з 15 таблицями. Матриця покриття запитів прив’язує кожне запитання до таблиці, яка на нього відповідає.

    Системи Text2SQL можуть отримати найбільшу користь, і саме цю перевагу люди помічають найменше. Моделі на кшталт GPT, Claude чи відкритих кодових рішень працюють набагато краще з плоскими схемами, ніж з нормалізованими. Кількість таблиць, кількість з’єднань, описові назви та визначення стовпців — усе це зменшує можливість галюцинацій та підвищує точність SQL-запитів. Вихідна схема у форматі JSON налаштована так, щоб можна було безпосередньо використовувати її в інструментах Text2SQL, що забезпечує плавний перехід від сирої бази даних до запитів у природній мові.

    Організація повертає собі час. Кожна година, яку інженер не витрачає на створення великих таблиць, йде на розробку даних, пайплайнів чи справді нових проблем, а постійні витрати перетворюються на один окремий запит.

    Приклад роботи

    Уявіть собі базу даних кадрів із п’ятьма нормалізованими таблицями (EMPLOYEES, DEPARTMENTS, ROLES, SALARIES, LEAVE_REQUESTS), з’єднаними за допомогою іноземних ключів у звичайному стилі зоряної схеми. Інструменту ставлять п’ять запитань: оплата за відділом та діапазоном посади, хто взяв найбільше відпусток, кількість наймів за квартал за місцезнаходженням, як розподіляється оплата за діапазонами та як зростає кількість працівників у кожному відділі.

    Запуск повідомляє про 5 вихідних таблиць та створює 4 розширені таблиці. Жодних переглядів не видаляється, оскільки схема вже була майже оптимальною, і жодні запитання не залишаються без відповіді, що означає повне покриття. Чотири таблиці є наступними:

    • FACT_EMPLOYEES_FULL — для аналізу тенденцій найму та кількості працівників
    • FACT_SALARIES — для аналізу оплати праці
    • FACT_LEAVE_REQUESTS — для аналізу закономірностей відпусток
  • DIM_DEPARTMENTS як вимір департаменту
  • Це дає чотири відображення даних, жодних нерозв’язаних питань — кожен стовпець прив’язаний до своєї вихідної таблиці, і кожне відображення можна використовувати в Snowflake у такому вигляді. Увесь процес зайняв менше тридцяти секунд.

    Більше, ніж просто цей інструмент

    Цей генератор є прикладом ширшої моделі: агентних систем, які автоматизують чітко визначений інженерний процес шляхом поєднання міркувань ШІ з детермінованою оптимізацією. Та сама послідовність аналізу, оптимізації, проектування, генерації та звітування застосовується при проектуванні конвеєрів ETL, генерації схем API, створенні тестової інфраструктури та багатьох інших проблемах рівня перекладу в програмному забезпеченні.

    Моделі мов, фреймворки оркестрації та відкриті протоколи на кшталт MCP достатньо розвинулися, щоб ці конвеєри можна було використовувати в продакшені з довірою, як інфраструктуру, а не лише як демонстрації. Семантичний шар завжди був розумною ідеєю. Йому просто був потрібен розробник, який ніколи не забуває про іноземний ключ та може переробити весь шар як тільки з’являється нове запитання.

    Пов’язана література

  • Практичні нотатки: Qwen 3.8 нарешті вийшов, агентний кодування рівня Opus із локальним використанням — Детальний огляд Практичних нотаток: Qwen 3.8 нарешті вийшов, агентний кодування рівня Opus із локальним використанням: контракти, перевірки та шаблони коду для команд, які впроваджують цю модель.
  • Агентне рефакторинг додатку, написаного за технологією vibe: знову зробити архітектуру видимою — Як додаток на C# та TypeScript із 27 тисячами рядків коду, написаний за технологією vibe, було розібрано за допомогою агентів: спочатку контракти, API для тестування у форматі „чорна скринька“, типи домену, а також команда агентів-кодерів та рецензентів.