Агентам патрэбны зразумелы сэнс: семантычныя пласты, анталогіі і кіраваныя метрыкі

Уявіце сабранне заседанне у панедзелак. Колега клікае адказ агента ў Slack: дохады за адзін кліента за паканек, апранутыя адносна чыста, краткая адказ, дадзеныя з абсалютным абавяраннем. Лішь адзін погляд з боку фінансавых аддзелаў — і праца зупініцца. Гэтыя цыфры — гэта броніванні, тады як празыначаныя дохады зберагаюцца ў іншай статыстыцы з іншым фарматам і са сваім саблокам аўтаскасы. У SQL не было нічога некорэктнага. Ніхто не дагадаўся, што на самай працоўцы пытаць.

Пасля достатнькай колькасці такіх сцэнарыяў фраза «модэль стварыла правільны SQL» больш не лічыцца як успех. Модэлі большых мов зробілі практычна всі дакументы на складзе чытальнымі для машын. Чытальнасць лёгка апрануць. Але інтэрпрэтабельнасць — гэта рэдкасць: што значыць «кліент», «дохады», «актыўныя», «выходзьцы» і «паканек» у конкрэтной компаніі, для конкрэтнага рашэння.

Даўнае рашэнне было такое: чалавек спачатку тлумачыў запіт, прычым не пісаў яго. У час выканання задачы гэта можна перадаць агенту, і ён стварыць правдападобную історыю, калі толькі не будзе задана спецыяльна разрабатаная версія. Постаўнага рашэння ў тым, каб кераваць значэнням у корпаратыўных сістэмах як продуктам: даць яму ідэнтыфікатор, стварыць версіі, працаваць з яму, супарабатаваць яго з фізычнымі дадзеннямі і дазволіць як людзям, так і програмнаму забезпечэнню вікорыстоўваць яго аднакова.

Для большасці команд крок да готовага рашэння — гэта кераваны семантычны або метрычны шар. Даўнейшая мета — модэль, які керуецца онтологіяй і складае всі наступныя элементы, будзь то LookML, SQL-відбівы, контракты API або інструменты агентаў, так што жаданы продукт не павінен ствараць сабе супершчырасць.

Чаму абавесцявана адпаведзь ёсць рызыкам

BI-сістэмы, якія базуюцца на чаты, часта опісваюцца як пераклад з нейтральнай мовы ў SQL, прычым гэтыя апісанні маскуюць складную частыну. Складная частына — гэта пераклад запіта з аднаго кантэксту ў іншы і зберагчыць яго значэнне.

Разглянемы пытанне «Какія былі доходы за кожным кліентам у пасляпэльнам квартале?» Для складу працягчае выконваць тачны запіт. Складнасць крыўціцца у выборы таго запіту, які відпавае гэтай пытанню. Пад доходамі можна разумець замовы, вырачунакі або фактычна зафіксаваная выручка. Кліентам можа быць сторона, якой выконана продажа, сторона, якой выставлена рахунак, або будзь-яы вузел іерархіі рахункоў, які показваецца ў квартальных аналізах. Пасляпэльны квартал можа супакоўвацца з календарнымі месцамі, фінансавым годам або перыодам, які выбіраюцься аперацыйнай часткай.

На панелі керування аналітык ужэ здзейсніў гэтыя выборы. Плакат пад назвай «Доходы» выглядае автантычны, таму што семантычныя рашэнні ўжо ўбудованы ў сам аб’ект. У чаце парадак змініваецца: рашэнні цяпер прыймаюцца пад час выканання, для будзь-яых пытанняў, у самам прыстрое, што ператварае семантыку з сторонней старонкі у інфраструктуру, якая працюе пад час выканання.

Некаментабельным наследкам являецца тое, што чым лепей модэль справляецца з правільным напісаннем SQL, тым болей небяспечнымі стаюць яе адмыслы. Сінтаксічная правільнасць нічога не гаворыць пра сэмантычную праваможнасць. Адкульгавана адказа можа настолькі плавна адпаведаць на неправільны вопыт, што ніхто не з’явіць, пакуль дакументы з рады не будуць суперасункавацца з логам чату. Команды, якія спытваюць толькі, чы рэзынктура была выканана, трэнуюць ся верыць у правільнасць, якае на самай працоўнай адчуваецца як неправільнасць.

Вымірныя модэлі ужо несу ў сабе певны сэнс

Нічыга з гэтага не робіць складзішча порожнім аркушам. Модэлюванне у стылі Кімбалла працавае гады, компенсуючы тое, як мало можа сказаць універсальныя рэляцыйныя схемы. Факты, выміры, меры, іерархіі і адпаведныя выміры — усе гэта запісвае бізнес-сэнс у структуры, якія людзі можаць аналізаваць.

Якісна структура зоркага схемы ужо выступае як неформальны слой сэмантыкі. Сучасныя слоі сэмантыкі дадаюць ўсё большыя можлівасці: яны включаюць візначэнні метрык, правіла вычыслення, тэрмінологію, дазволеныя зв’язкі і бізнес-правіла, якія не можна адгукнуць з назв колонак. Формальная онтологія заходзіць ўсё далей, аддзеляючы канцэптуальную мадэль ад ўсунутай рэалізаціі і навмысна ствараючы супрацоўну вязьму межу ўсімі гэтымі элементамі.

Гэта лепшая спрыяць як частыну цэлага, а не як процэс перакладу:

• операцыйная рэляцыйная схема
• вымірная мадэль
• слой сэмантыкі
• формальная онтологія

Чым ніжэй мы належым у гэтым спіску, тым больш значэнняў фіксуецца, а ад мадэлі трэба меншаў колькасць прыпускаў. Кожны элемент, які застаецца неявным, ўособлівае надзею, што выводы будуць адпавядаць той вярсі, якую падтрымаў бы фінансавы дырэктар.

Што паказваюць доследжэнні

Няўянейшыя даследжэнні перакладу тэксту на SQL даходзяць да аднаго рэзультата: чыстая адпісваўка бізнес-значэнняў падымае точнасць, і гэта чыніцца нават для схем, якія вялікай часткай былі створаны для аналізу.

У тэсце, які адбыўся пад кераваннем Фігейрэду і яго саавтараў, GPT-4 Turbo быў выкорыстан для апрацоўкі зоркай схемы. Сама схема дала прыблізна 58% правільных запытанняў, а дадаўшы кантэкстуальную семантыку, тачнасць паднялі да адпоўна 89%. Руміантаусаў і Фокеў дадалі короткі семантычны дакумент да аналітычнага хрэбта, створанага на адлікі з Contoso, і тачнасць паднялася з прыблізна 48% да 52%, тэйм калі ў высокіх шыстых дзесятках працэнтав. Гэтыя падыскі маюць значэнне, таму што базовыя схемы не былі хаотычнымі транзакцыйнымі структурамі.

Калі фізычныя схемы не даюць достатнюю інфармацыю пра бізнес, паслядкі гэтага стаюць яшчэ серьзэйшымі. Художнік і яго колегі працавалі над аперацыйным базам дадзеных, якая складалася з аднарозова 500 тэблей, і дасілі можлівасць стварэння правільных SQL-запытак з апошніх адносова 8% да адносова 78% за дапамою тэрмінологіі, правіл, асоціяцый і супарабоцавання. Насіменто і яго колегі заўважылі, што точнасць выканання запытак у складнай промышленай базе дадзеных вырасла з 41% да 65% проста за рахунак вікорыстоўвання канцэптуальных назв, адпаведных бізнес-патронам, а калі таксама былі чыста выражаны корыстныя семантыкі асоціяцый, яна вырасла да 74%.

Формальныя мадэлі дазваляюць досягаць адзінаковых рэзультатаў. У адной з даследжэнняў Sequeda, Allemang і Jacob адпаведныя запыткі, выкананыя безпосерэдна да рэляцыйнага база-даныха, далі тачнасць апошней 17%, тады як выкарыстоўванне графа знанняў, падтрымванага онтологіяй, дало тачнасць апошней 54%. У наступным даследжэнні Nascimento для выканання задач прыменяўся SQL, але спачатку быў выкарыстоўваны граф знанняў для з’яўлення звязку між бізнес-канцэпцыямі і фізычнымі схемамі. Па показніку F1 для з’яўлення звязку схемаў сам LLM дасяг апошней 0,85; падход з графам дасяг 0,90, граф плюс LLM — 0,93, а цэлы працэс семантычнага з’яўлення звязку з ідэальным рывнем запам’ятовання — 0,996.

Разумны вывод — архітэктурны, а не праспектны: неабходна чытка адобразіць пераклад канцэпцыяў у рэляцыйныя структуры, адзяліць мадэль ад семантычных імпровізацый і заставіць выканання задач у рэляцыйным двігу, дзе ён вядома працуе.

Што зробіла і чаго не зробіла рэляцыянальная мадэль

Рэляцыянальная мадэль Кодда забезпечыла незалежнасць дадзей: прыкладныя програмы не павінны залежаць ад таго, як дадзеныя фізычна зберагаюцца. Гэтыя досягнення застаюцца актуальнымі.

Для дыялогавага аналізу дадзэй трэба ўсё бол спецыфічнае і складнае. Сама рэляцыянальная аналітычная схема не можа сама по сабе вказаць усе бізнес-значэнні, неабходныя для адпаведзення на запітанне. Імены, ключы, обмежэнні і прымэткі дапамагаюць, а векторныя мадэлі — ўсё бол. Аднак ваказанні па метрыках, ролі, якія выпалююць тэрміны, часовыя правілы, паводзжанне дадзэй і правілы супараднавання концэпцый з фізычнымі об’ектамі застаюцца пераважна ў свядомасці людзей або ў прэзентацыях.

Самэтле ўокалагіяў, базах дадзеных з метрыкамі, семантычных шароў і каталагаў стварыліся ў аблыку з складамі. Яны поступова чытра адзначаюць тое, што аналітык або LLM іншым чынам бы выдумалі на месцы. Сучасны семантычны шар — гэта практычны спосаб рашэння проблем у момент вікорыстоўвання BI. Ён застаецца шырэйшым за загальную концэптуальную мадэль падпрыемства, і якраз выважванне іх за ідэнтычныя прыводзіць да таго, што команды пазней стаюць здзівленымі.

Дадаць онтологію, заставаючы склад

У практыцы інформатыкі онтологія опісвае тое, што існуе ў домэне, які нас цікавіць — тэксты, адносіны і абмежэнні, напісаныя так, каб програмнае забезпечэнне магле іх вікорыстоўваць. Яна мае спадчыну з рэляцыйным модэлем у логіцы прадыкатаў: тэзы пра рэчы і адносіны між ямі.

Базы дадзэных давно працююць над гэтым. W3C Direct Mapping і R2RML апішваюць, як рэляцыянныя даны ператвараюцца ў RDF-вокабуляры. Ontology-Based Data Access выносіць гэю ідэю ў даўнейшыя межы: корыстнік запрашае канцэптуальную мадэль, а сістэма перакладае гэта ў SQL на аднойчы вжытыя джэрэла. Ontop, зрэлы віртуальны граф знанняў на адкрытым кодзе, робіць самэ гэта за дапамогою мапаванняў R2RML і лёгкіх онталогіяў OWL 2 QL.

Выбор OWL 2 QL мае не такі ужо й прыгучыя, але корыстныя прагматычныя прычыны. Ён належыць да сямейні DL-Lite, чыя меры обмежэння ёсць навмесна задуманыя, каб запыткі, адрабатаваныя за дапамою онтологіі, заставаліся працэйнымі нават у вялікіх рэляцыйных базах дадзеных. Сілу выражэння паслягнулі, ўзамен на гэта здобываючы можлівасць перапісву ў фармат SQL. Работы над онтологіямі для складоў і багатавымірных модэляў таксама пачаліся раней, і яны адбіваюцься у вобразаванні выміраў, показнікаў і іерархій, а таксама у стварэнні аналітычных структур на адной концэптуальнай базе.

Тое, што досягла мінімальнага відзначальнага застосоўвання, — гэта язык онтологій, спрамованы ўсунуто на сучасныя сістэмы аналізу дадзеных, які ў ўсім аб’еднвае бізнес-энтыты, адносіны, показнікі, розміры дадзеных, агрэгацыю, час, паводзжанне і супарабатанне з складамі ў аднай кераванай модэлі.

Адаптаванне гэтага не значыць пераклад чыжыні ў базу дадзэнняяў у фармаце графа. Значэнні можна апісаць у онталогіі, тады калі факты застаюцца ў рэляцыйных табліцах, а вычысленні — у SQL. Матэrialізацыя графа ёсць необавязковай, корыстная для тых завад, якія отрымаюць ад нея выгоду, і не ёсць крытэрыем якосці.

Збераганыя факты і ўсё, што яны значаць

Радкі і тройкі RDF асоціююцца адносна бліжэй, ніж падазроўваюць дэякія інструментальныя споры. Радок паведамляе, што тупл паўтараецца ў адной з названых рэляцый, а тройка дзеліць прызнак на суб’ект, прадыкат і об’ект. Строгая нормалізацыя ужо спрыяе стварэнню рэляцыйных структураў з меншымі фактамі. Хоця гэтыя два падходы не ёсць формальна эквівалентнымі, ўзаемнае супаданне ўсё ж такі ёсць корыстным.

Для агентаў важлівая разліка — не табліца протыва графа. Гэта даныя экстэнцыянальнага характару протыва інтэнцыянальнага значэння: факты, якія зберагаюцца, протыва правіл, якія адпаведна паводзяцца гэтым фактам. Онтологія можа зазначыць, што адна класа паўніста включае іншую, што два прэдыкаты ўзаімна ўзворачальныя, што адносы ёсць транзытнымі, або што певная комбінацыя ёсць немагчымай. OWL забезпечвае формальную семаніку для такіх заяв, SHACL пераканальвае форму графаў, а існуюць болей багатыя логічныя каркасы для сітуацыяў, калі яны неабходны.

Не кожная онтологія можа буцьцам перапісана у фармат SQL, адзёльнае языкі ўсё болей выразныя, чым можу падрыхтаваць эфектывныя фрагменты перапісу. Даследжэнняў у галузі OBDA спробуюць рашыць гэтыя проблемы, пропонуючы способы обмежэння выразнасці, апрыксімавання, матэрыялізацыі або выканання рашэння ў окрэмым кроку. Такія обмежэння ёсць корыстнымі, адзёльнае яны змушаюць чытка адзначыць, якія семантыкі дыяюць на шляху выканання, якія компілююцца загадзя, а якія не падпадаюць пад выбраны профіль. Сёньні мало падпрыемства фіксуюць такія втраты, таму гэтыя проблемы выражаюцца у суперчаннях у чат-каналах.

Кантэкст прадавца — гэта не ваша онтологія

Праграмісты ужо прымуць да перашырання. Google Cloud ўжо ёсць гарным прыкладам, адколькі калькі з 2026 года спрамованы на корпоратыўны кантэкст, які можна вікорыстоўваць машынамі. Dataplex Universal Catalog быў перэзначаны як Knowledge Catalog і працюе больш як жывы граф кантэксту, чым як статычны рэестр. Ён адказвае за семантычны пошук, адгэнераваныя апісанні, графы зв’язкаў, перакананыя („золатыя“) шаблоны SQL, API кантэксту і шляхі доступу для агентаў. Тым часам Open SQL Interface ад Looker дазволяе кліентам JDBC запытваць мадэлі LookML так, як якія-то схемы, пераўтрымаючы вялічыны, аграгаты, вычысленні і зв’язкі, якія ужо там візначаны.

Такія калькі падтрымліваюць асновную ідэю: агенту патрэбны не толькі правы на доступ да рэкордаў. Йому патрэбны каліраваны кантэкст, семантычныя мадэлі, зв’язкі, перакананыя прыклады і кераваныя інтэрфейсы.

Нават так, яны не маюць адной цэліснай онтологіі падпрыемства. Семантыка LookML, тэрміны каталога, адзінкія графаў BigQuery і кантэкст, напісаны агентамі, ёсць супаўзянымі, але разнымі спосабамі прэдставлення. Калі організацыя не мае канонічных ідэнтыфікатораў і чыстаўых супаўзаў між ямі, обяцанне адзін раз усё задаць ператвараецца на неабходнасць задаваць гэта ўсё для кожнага продукту окрэма.

Цэлыя кварталы былі загублены ў гэтай пастцы. Граф кантэкста прадавца можа быць вельмі ценным, але не ўсега ўжо ўтварае формальны адказ пра семантычную правду. Можна свабодна яго адмацаваць, пры тым памятаючы, што адмацаванне не значыць власнеча.

Шэсць прынцыпаў дызайну

Найважнейшыя правіла — гэта тое, што значэнне павінна быць зрозумелым як для людзей, так і для машын адразу, і застаўцца аднаковым у всіх спосабах прэдставлення.

Даце значэнню ідэнтыфікатор. Кожныя канцэпцыя, адносінні, паметры, правілы і тверджэнні пра якасць должны маты стабільны ідэнтыфікатор. Назва — гэта проста маркір, тады калі ідэнтыфікатор — гэта сама сутнасць об’екта. Тэрмін «кліент» з’являецца на панелях керування, у API, у табліцах складу і у запітах агента, і ўсе гэта должна вядома абыцца аднам семантычным об’ектам, або ж аднымі разнымі, калі ў бізнесе справды існуюць разныя канцэпцыі. Аддзялы падтрымкі і фінансавання могу даўаць розныя вялічыны пад «актыўным кліентам», за ўмовы, што яны ніколі не будуць дзеліць однаковы ID без явнага адзначэння.

Зробіце вялічыны выконнымі. Проза служыць людзям і мадэлям, але ўсё, што вплывае на вычысленні, патрабуе структуры: тыпы, адносінні, кардынальнасці, едыніцы, формулы, правілы, час дзейснавання, обмежэнні, правілы кардынацыі і правілы. Опісавы параграф у каталозе — гэта пераважна людская дагматыка.

У стаканах, паблікаваных на базе Google Cloud, адаптаваны распадзел выглядае так: Knowledge Catalog сахоўвае ідэнтыфікаторы, адзначэнні, едыніцы, власніка, час дзейнасці, правілы, асоціяціі і супарадненні. LookML сахоўвае выконавыя формулы, выміры, споўненні і генераванне запытанняў. Conversational Analytics адначытае нейтаральную мову на адной з гэтых аснов, пры чым перакананыя запытанні служаюць анкрамамі для рэгрэсіі. Такі распадзел ўстаёўтэчны толькі тады, калі ідэнтыфікаторы намеравана перакрываюць кожную з гэтых меж.

Явна семантычная адаптацыя даўных да фізычных дадзеных. Падазроўцам, антологія зазначае, што Кліент володзіць Аблікаваннем. Тады рэалізацыя павінна назваць зв’язак або працэс, які робіць гэтае твэрджэнне правдзівым, і такая адаптацыя павінна маты версію разам з обома ўчаснікамі зв’язку. Інструменты на адны клік не можаюць пераклаць OWL у кожны продукт каталогу. Хтось павінен стварыць і падтрымваць такі мост, інакша слова «семантыка» значыць не больш ніж проста маркетынговая тэрмінологія.

Ставіце стосункіў на першае месца. Ролі набіраюць значэння праз сваія зв’язкі з працэсамі, арганізаціямі, дзеяннямі, можлівасцямі і вітратамі, а не праз столбець пад назвай role_type. Кліянты, продукты, контракты, рахункі і показнікі працююць так сама. Неафірмавана назваўчыка і проза ужо дапамагаюць у перакладзе з NL на SQL, але формальная семантыка стосункоў і ўжо тое, што адзначае зручнасць рэляцыйных структур ад чыстасці онтологіі. Іх стварэнне выклікае рэальныя зусіллі, а онтологія, якая ігнаруе гэтыя зусіллі, гіне ў першым жа етапе прыкладнага выкарыстоўвання.

Зберагаеце паметры ўнутрь таго жа модэлю. Вымеры размернасці ўжо маюць ідэнтычнасць, формулу, спосаб агрэгацыі і структуру дадзеных, а семантычныя слоі дапамагаюць ефектываўна ўсё гэта выканаць. Шырэйшыя значэнні, укладаючы ў сябе прыналежнасць, едыніцы вімеры, аўтаматызаваныя аўтаксыяванні, паходжанне, правілы, даты чыннасці і зв’язкі з корпаратыўнымі концэптамі, часта пераходзяць у іншыя сістэмы. Фрагментацыя часта ёсць справжнім архітэктурным проблемам: вымера размернасці, вымера LookML і тэрмін каталогу кожны опісваюць частку адной бізнес-ідэі, але пад трохма разнымі ідэнтычнасцямі.

Адаптаваеце раз адно, выдавайце на разныя спосабы. Аднолькі канонічны модэль павінен ствараць або кераваць своімі праектамі – такімі як LookML, SQL-відбівы, схемы API, ентры каталога, формы графа, контракты інструментаў для агентаў, дакументацыя і тэсты на перакананне. Платформы можаць выкарыстоўваць свой сынтаксіс, але значэнне не павінна быць іх выдумкай.

LinkML паказвае, што модэль, незалежная ад тэхналогій, можа генераваць SQL DDL, BigQuery DDL, JSON Schema, OpenAPI, OWL, SHACL, дакументацыю і кантролеры. Але ён не можа выбіраць факты, выміры, меры, розмернасць чысткі або адпаведныя выміры за каго-небудзь. Існуюць даследжэнні па ператварэнні онтологій у зоркія схемы, але жадная з распространёных сэрыёзных сістэм не працуе цэлым шляхам — ад канонічнай онтологіі праз кераваныя вымірныя хранілішчы і выконвальныя сэмантычныя модэлі да перакладу тэкста на SQL на адварот. Самэй гэтыя недастаткі ёсць інжынерныя вызовы, а генераванне DDL — толькі простая дэманстрацыя.

Два падходы і патрэба ў сувязі

Большая частка падчынных прэдпрыемстваў не можа на час зупініць програму складу і спачатку перабудаваць яе на аднойчыну структуру. Гэта нормальна. Задача — забезпечыць, каб агент надзеяснюваў значэнні таго, што можна адправіць, надзеямо, і спроекаваць тактычны шлях, які дазволіў бы яму розвівацца.

За планам А канонічная аднойчына падчыннага прэдпрыемства мае сэмантычную валядзю, стабільныя ідэнтыфікаторы і чыстае логічнае значэнне. Фізычныя даны не перамешчаюцца, а аднойчына пераадрасаванае да рэляцыйных і іншых фарматаў прэдставлення. Метрыкі аналізу стаюць скомпіляванымі прогназамі. Агенты запоўнююцься формальнымі панямі, адносамі, правіламі і інформацыяй пра паходжэнне, а змяны версіяваныя і выпускаюцься так сама, як і код. Прэдставленні ўнутрь продуктав генеруюцца на аднойчыну сэмантыцы, якая належыць прэдпрыемству, або пераадрасаваныя да яе.

План B пачаткаецца з адзінства з ужэ зайнятым прасторам: што складаецца з кераванага шара метрык, які спаўнаецца з каталагам і модэлем кантэксту, да якога спецыяльна дадаюцца стабільныя канонічныя ID. Склад застаецца аўтарытэтным, а супарабоцанне семантычных об’ектаў з табламі, столбцамі, з’еднаннямі і фільтрамі фіксуецца. Агенты выбіраюць сертыфікаваныя поля і метрыкі заместо сырых таблэй, абяраючы кантэкст з сервісаў кантэксту, перакананых запытоў і процэсаў выкарыстоўвання дадзеных, якія адпавядаюць правам. Метрыкі, супарабоцанні, „золатыя“ запыты і тэсты семантычнай рэгрэсіі прыўлекаюцца да практыкі CI/CD. ID, прыналежны конкрэтнаму продукту, ніколі не ператвараюцца на корпаратыўныя ідэнтыфікаторы, а механізмы пераводу дазволяюць адбывацца міграцыю.

Конкрэтны план B у Google Cloud спаўнае Knowledge Catalog для стварэння кантэксту і пошуку з Looker — там кераваны семантычны модэль падходзіць, обмежвае аналіз дыялогаў толькі серцэфікаванымі семантычнымі об’ектамі, зберагае перакананыя запыткі як анкіры для рэгрэсіі, а таксама зберагае ідэнтыфікаторы падпрыемства парадульна над якім-небудзь адзінам продуктам. Knowledge Catalog ў вузкам сэнсе супамінае онталогію, прыносячы тыпаваны кантэкст і адносы для агентаў, але не ёсць цэлым формальным сістэмам онталогій. Спрыяйце яму як тканіне, а не як свяшчэннай кнізе.

Рызык заключаецца ў тактычным семантычным шарэ, чыяй ідэнтыфікаторы і логіка ніколі не могуць быць перанесеныя ў болей формальны модэль. План B, які не можа даць рэзультатаў, — гэта тупы канец, адзялёны панелямі з дадзеннямі.

Спачатку рашыце проблему, тады працаваць з табламі

Правільны падход да аналізу дыялогаў у BI не павінен пачынацца з выбору табелей. Ён павінен пачынацца з семантычнага рашэння проблемы.

Возьмімо запітанне «Чы раслілася канцэнтрацыя кліянтав у секторы высокай вартосці ў гэтым квартале?». Тэрміны «канцэнтрацыя», «кліянты секторы высокай вартосці» і «гэты квартал» павінны спачатку быць перакладзеныя ў стандартызаваныя об’екты. У гэтых об’ектах знаходзяцца вялічыны, якія ўжо маюць візначэнную структуру, класыфікацыю, правіла часовага аналізу, дазволеныя параметры, схемы супарабоцавання даных і правіла ўтрымання якосці. Лячынае, пасля гэтага шар выканання можа стварыць фізычны запіт.

Команды, якія працуюць у цыкле, павінны магчымаць опісваць працэс выканання запіта ў восьмі крокі:

1. Запітанне і кантэкст карыстальніка
2. Семантычныя пераклады на стандартызаваныя паняцце і вялічыны
3. Збір кантэксту, фільтруючы ўсё за правіламі і дазволамі
4. Супарабоцавання семантычных об’ектаў з фізычнымі данымі
5. Стварэнне запіта або плану выканання
6. Выконанне запіта і парабоцавання рэзультатаў
7. Адказ, падтрымваны доказамі і інформацыяй пра ўзгадкі даных

Семантычныя рэгрэсіі або ацэнка, плюс кераваныя дзеянні, калі гэта прыменяецца

Падход зусім не ў тым, каб проста падставіць аналітычную схему ў запіт і спадзявацца. LLM все ўсё можа выясніць намер і стварыць план, але гэта відбуваецца праз кераваныя семантычныя об’екты і контракты інструментаў, а не шляхом дэкадавання слоўніка CFO з табелі пад назвай fct_rev_v3.

Перакананыя запыты ёсць ціннымі як тэсты і прыклады, але яны не ўтвараюць семантыкі. Яны толькі паказваюць, што адны запыт у певны момент быў рашаны за дапамогою прыйнятай рэалізацыі. Значэнне пад спадом все ўсё патрэбуе сваёй сабстотнай ідэнтычнасі і вызначэння.

Што не ляжыць у межы семантычнай архітэктуры

Каталог, заполнены опісамі, спрыяе адкрыццю інформацыі. Але гэта не ўзводжыцельная семантычная сістэма.

Прыганне за зразкамі схем складоў без якіх-леба настройкаў і называнне гэтага самаслужбовага BI толькі перакладае сэмантычны рызык на верагатысавы модэль.

Дуплікацыя кожнага факту з складу ў граф сведчанняў „для AI“, без чыткага эфекту ад яго выкарыстоўвання, стварае другую „правду“ падпрыемства, якая астаецца позаду праз затрымкі сінхронізаціі.

Полны разлік метрык ад онтологіі так, што адна бізнес-канцэпцыя атрымлея суперсучасныя ідэнтыфікаторы ў BI і ў модэлях сведчанняў, стварае пазнейшыя суперчанні.

Плутанне прэдставлення з сэмантыкай, напрыклад, прыпусканне, што граф прыродна мае большую сэмантыку чым вымірная модэль, ёсць прыкладам мышлення на кшталт культуры перавазкі. Вымірныя модэлі, сэмантычныя шары, графы сведчанняў і онтологіі кожны з іх кодуюць значэнне на разныя способы, і выбір графа сам по сабе не дадае дапамогі у стварэнні значэння.

Адаптаванне метаданых чыраў або адносаў, створаных штучным інтэлектам, як фактов, без паказання ўзгадкі пра магчымыя крыніцы чыраў чы рэжыму ўзрэшчэння, — гэта спосаб, якім правдападобныя вымыслы ператвараюцца на правілы.

Цель за адну лінію

Людзі хацелі бы запытацца пра паказнікі пашлога месяца так жа лёгка, як і пра пагоду. Гэта вялікія фантазіі. Програмнаму забезпечэнню паўнажліва даваецца семантычная праца, яку раней выкананы аналітыкі і інжынеры, і для таго, каб атрымліваць адносныя адпаведзі, неабходна яе ясна адобразіць.

Ні LLM, прыўязаны да складу, ні каталог у поўнанні з векторным пошукам не ёсць канечным пунктом. Гэта кераваны семантычны сістэма, у якой панявы, адносы, паказнікі, абмежэнні, правілы, якасць і крыніцы маюць адно значэнне для людзей і машын, з’ўязаныя формальнымі супарадненнямі з дадзеннямі пад імі.

Большая частка базовых дадзейнаяў лепша обрабоцваецца ў рэляцыйных і SQL-аналітычных двойчыках, і тэхналогіі сэмантыкі чы антологій не можаяць іх заменіць. Іх задача — дапрацаваць модэль на такім рэвэле, якога рэляцыйная схема сама па сабе ніколі не могла б стварыць, нават пасля таго, як модэлюванне выхідных параметраў і акуратнае называнне дадзейнаў дапамоглі яе як толькі маглі.

Калі стварэнне і падтрымка цэлай аналітычной антологіі яшчэ не ўсё така рэалістычна, трэба выкорыстоўваць кераваны сэмантычны слой, але заставіць заголовак незменным. Сэмантыка павінна пераходзіць вышэй, з панелей керування і запытанняў, у першасортную корпаратыўную модэль, пры чым кожны сае продукту слой трэба спрацавваць як скомпіляваны відблік.

Мэтаем не якась адзіная база дадзэння, інструмент чы рэчымства. Гэта адзіны значэнне, якое чалавек, панель картоў, прыкладнік і агент AI разумеюць адносова. Калі чатыро стороны не пагоджуюцца, проблема не ў LLM. Гэта проблема ідэнтычнасці, якая была адкладзена.

Супаўзвязаныя матэрыялы

• Канцэпцыі LangGraph простым языкам: стан, памяць і оркестрацыя — Перш чым пісаць код: што значыць оркестрацыя, час выканання, агенты з станам, краткасрочная і дзяўгасрочная памяць, мнагаагентныя сістэмы і участка чалавека ў працэсе ў LangGraph.
• Практычныя прыемы: Адзінкты для ацэнкі і выяўлення адхылень — што такое новы кодавальны адзінак — Паспэўны апіс практычных прыемаў: Адзінкты для ацэнкі і выяўлення адхылень — што такое новы кодавальны адзінак: контракты, перакананні і месцы для вставкі коду для команд, якія выкарыстоўваюць гэты патэрн.