Accueil / Articles

Générateur de couche sémantique : un pipeline agent qui conçoit des tables étendues.

Un générateur de couche sémantique : un pipeline agentiel en cinq phases transforme un schéma normalisé et des questions métier en vues de table étendue Snowflake, avec accès MCP.

Éditeur : REACTAPP.TOP6 min de lecture1427 mots

Sources: The Semantic Layer Generator: When Agentic AI Meets Data Architecture

Il existe un écart entre un schéma d’entrepôt normalisé et les tables plates que les analystes consultent réellement, et la plupart des équipes de données le comblent manuellement. Un générateur de couche sémantique est un système autonome qui tente de combler cet écart par lui-même. Il prend un schéma brut ainsi qu’une liste de questions métier et restitue en quelques secondes des vues de table étendues optimisées, prêtes à être mises en production.

L’écart pour lequel personne ne prévoit de budget

Les ingénieurs conçoivent les entrepôts de données et les analystes créent des tableaux de bord. La couche sémantique intermédiaire est généralement écrite manuellement, peu documentée et devient rapidement obsolète.

Construire correctement un tel système exige un véritable effort. Un ingénieur des données doit comprendre en profondeur le schéma normalisé : chaque clé étrangère, chaque chaîne de relations, chaque cas particulier où une jointure de gauche se transforme silencieusement en jointure interne. Ensuite, il doit interroger les parties prenantes pour déterminer quels problèmes analytiques sont importants. Ce n’est qu’après cela qu’il peut concevoir des tables étendues, dénormalisées, ou des vues pré-jointées qui transforment un modèle relationnel en quelque chose que les outils de BI peuvent interroger sans avoir besoin de six jointures. Pour un schéma de complexité moyenne, ce travail prend des jours ou des semaines, et le résultat est un artefact statique qui commence à se dégrader dès que le schéma change ou qu’une nouvelle question apparaît.

La racine du problème réside dans une tension : les schémas normalisés protègent l’intégrité des données, tandis que les requêtes analytiques exigent rapidité et simplicité. La couche sémantique assure la traduction entre ces deux approches, et ce travail a été manuel pendant des décennies.

Des couches manquantes ou mal conçues ont des conséquences visibles. Les analystes écrivent des requêtes ad hoc remplies de jointures redondantes. Les tableaux de bord fonctionnent lentement. Les outils Text2SQL produisent des résultats erronés car ils ne parviennent pas à naviguer dans un schéma complexe. Chaque nouvelle question métier se transforme en une nouvelle tâche d’ingénierie.

Pourquoi c’est important pour l’entreprise

C’est un goulot d’étranglement stratégique autant qu’un problème technique gênant. Une organisation incapable de transformer des données brutes en tables structurées et faciles à utiliser par les analystes ne peut pas avancer plus rapidement que ne le permet son propre retard de travail. Une bonne couche sémantique permet de réaliser trois choses en même temps : les analystes deviennent autonomes, les requêtes deviennent beaucoup plus rapides grâce à des vues pré-jointées qui éliminent les coûts de jointure en temps de exécution, et Text2SQL devient fiable car une table plate dont les colonnes ont des noms clairs est précisément le type d’entrée dont a besoin un modèle de langage pour générer du SQL correct.

Nul ne doutait qu’une couche sémantique était nécessaire. La question restante était de savoir si sa création pouvait être automatisée sans compromettre la qualité.

Trois éléments devaient d’abord être mis au point

Des modèles capables d’interpréter les schémas pour en extraire le sens. Les LLM actuels vont au-delà de la simple analyse de JSON. Face à une clé étrangère DEPARTMENT_ID, ils savent ce qu’elle représente et comment elle se relie à EMPLOYEES. Lorsqu’on leur demande des informations sur les écarts de salaire par tranche de poste, ils comprennent qu’il faut relier SALARIES à EMPLOYEES puis à ROLES. Tout le processus dépend de ce raisonnement.

Orchestration agente. Une seule requête à un LLM ne suffit pas. Il faut plusieurs phases où chaque étape alimente la suivante, couvrant l’analyse, l’optimisation, la conception, la génération et la production de rapports, avec des étapes d’optimisation déterministes basées sur une logique de ensembles pure mêlée à un raisonnement piloté par le modèle. C’est là l’IA agente dans toute sa utilité : pas un chatbot, mais un système autonome qui accomplit un flux de travail d’ingénierie du début à la fin.

MCP en tant que connecteur. Grâce au Model Context Protocol, le générateur devient un outil pouvant être appelé depuis n’importe quel assistant IA, qu’il s’agisse de Claude, d’un agent interne ou du copilote d’une plateforme de données. Au cours d’une conversation, un ingénieur peut transmettre un schéma et recevoir du SQL prêt à l’emploi ainsi qu’un rapport de conception, sans changement de contexte. Un bon outil agente doit constituer une infrastructure invisible et non un autre tableau de bord.

Que signifie ici « déployé en amont »

Cette expression décrit une philosophie d’ingénierie. Au lieu de livrer une plateforme générique en espérant que les utilisateurs s’y adaptent, on place les capacités d’ingénierie directement là où elles sont nécessaires. Cela ne signifie pas pour autant personnaliser la solution pour un seul client. L’outil répond au problème là où il se trouve : dans votre schéma, façonné par vos questions, et déployé dans votre entrepôt. Trois caractéristiques en découlent.

  • Il est natif du schéma. Il n’y a pas de DSL à apprendre, aucun manifest YAML à configurer, et aucune nouvelle plateforme à adopter. Vous fournissez simplement le schéma que vous possédez déjà, avec ses tables, colonnes, types et relations, sous forme de JSON pur.
  • Il est guidé par des questions. Tout le processus d’optimisation est ancré dans les questions analytiques que vous lui posez, de sorte que chaque table peut être rattachée à une question métier spécifique. Une table qui ne contribue à répondre à aucune question est éliminée.
  • Son résultat peut être mis en production. L’outil génère des instructions DDL sous forme de commandes CREATE OR REPLACE VIEW pour Snowflake, un schéma de sortie structuré que les outils Text2SQL ultérieurs peuvent utiliser, ainsi qu’un rapport HTML indépendant décrivant chaque colonne. Le SQL peut être déployé le même jour.
  • Cinq phases, sans intervention humaine

    Ce qui rend cet outil agent n’est pas la présence d’un LLM. C’est plutôt le fait que plusieurs étapes de raisonnement et d’optimisation s’exécutent de manière autonome, sans intervention humaine entre les phases. L’analyse, l’optimisation, la conception, la génération et la production de rapports se succèdent, et la conception alterne délibérément entre travaux probabilistes et déterministes. Les phases 1, 3, 4 et 5 utilisent le raisonnement des LLM. La phase 2 repose simplement sur la logique des ensembles en Python. Ainsi, le pipeline bénéficie de la créativité et de la compréhension sémantique des modèles de langage là où cela est utile, tout en maintenant l’optimisation rigoureuse et auditable là où la précision est requise.

    Qui en profite

    Les ingénieurs en données reçoivent un projet qui, autrement, nécessiterait des jours de travail. Ils examinent les grandes tables générées, modifient les types de jointures, ajoutent des colonnes calculées et les déployent, mettant ainsi leurs compétences au service du perfectionnement plutôt que de la création. Le rapport HTML devient une documentation dynamique qui n’existait pas auparavant.

    Les équipes d’analyse obtiennent des tables plates, déjà jointées, avec des définitions de colonnes claires, ce qui rend les requêtes plus simples, accélère la restitution des résultats et évite à tout le monde de devoir déchiffrer un diagramme ER composé de 15 tables. Une matrice de couverture des questions associe chaque question à la table qui y répond.

    Les systèmes Text2SQL peuvent en tirer le plus grand avantage, et c’est le bénéfice que les gens remarquent le moins. Des modèles tels que GPT, Claude ou des versions open source performent bien mieux avec des schémas plats que avec des schémas normalisés. Moins de tables, moins de jointures, des noms descriptifs et des définitions de colonnes permettent de réduire les hallucinations et d’améliorer la précision du SQL. Le schéma JSON généré est formaté pour être intégré directement dans les outils Text2SQL ultérieurs, assurant ainsi une transition fluide de la base de données brute à la consultation en langage naturel.

    L’organisation gagne du temps. Chaque heure que les ingénieurs ne passent pas à concevoir des tables complexes est consacrée à des produits de données, à des pipelines ou à de véritables nouveaux problèmes, et un coût récurrent se transforme en une seule invocation.

    Un exemple concret

    Imaginez une base de données RH comprenant cinq tables normalisées (EMPLOYEES, DEPARTMENTS, ROLES, SALARIES, LEAVE_REQUESTS) reliées par des clés étrangères selon le schéma en étoile habituel. L’outil reçoit cinq questions : les salaires par département et par tranche de poste, qui a pris le plus de congés, les embauches par trimestre selon la localisation, la répartition des salaires par tranches, et l’évolution du nombre d’employés dans chaque département.

    Le traitement génère 5 tables sources et crée 4 tables étendues. Aucune vue n’est supprimée, car le schéma était déjà proche de l’optimal, et aucune question n’est restée sans réponse, ce qui assure une couverture complète. Les quatre tables sont :

    • FACT_EMPLOYEES_FULL pour les tendances d’embauche et le nombre d’employés
    • FACT_SALARIES pour l’analyse des rémunérations
    • FACT_LEAVE_REQUESTS pour les modèles de congés
    • DIM_DEPARTMENTS en tant que dimension département

    Cela donne quatre vues, sans question sans réponse, chaque colonne étant rattachée à sa table source et chaque vue pouvant être déployée directement sur Snowflake telle quelle. Tout le processus a duré moins de trente secondes.

    Au-delà de cet outil

    Le générateur n’est qu’un exemple d’un schéma plus large : des systèmes autonomes qui automatisent un flux de travail d’ingénierie bien défini en combinant le raisonnement des LLM avec une optimisation déterministe. La même chaîne d’analyse, d’optimisation, de conception, de génération et de rapportage s’applique à la conception de pipelines ETL, à la génération de schémas API, à la création de structures de test et à de nombreux autres problèmes liés à la traduction dans le logiciel.

    Les modèles de langage, les cadres d’orchestration et les protocoles ouverts tels que MCP ont tous suffisamment mûri pour que ces pipelines puissent être utilisés en production de manière fiable, en tant qu’infrastructure et non plus comme des démos. La couche sémantique a toujours été une idée judicieuse. Elle avait simplement besoin d’un outil qui n’oublie jamais une clé étrangère et qui puisse redessiner toute la couche dès l’apparition d’une nouvelle question.