Як анталогія і граф ведаў выправілі RAG у дакументацыі па паўправадніках
Дакументацыя EDA для паўправаднікоў атрымала анталогію RDF/OWL, граф ведаў у Neo4j і пошук з абмежаваннямі анталогіі — удакладняльных пытанняў да RAG стала на 30% менш.
Крыніцы: How I Built a Semantic Layer to Ground Our RAG System…And Why Ontology Was the Missing Piece
Дзе паслужыць звычны RAG
Першы протатып генеравання з дапамогай выкарыстоўвання дакументацыі продукту зазвычай выглядае абяцальна. Уводзіцца сховішча вектараў, дакументы дзельнуюцца, выпалююцца калькі запытанняў, і адпаведзі здаюцца правдападобнымі. Аднак інжынер з перакананням запытае, якую методыку належыць выкарыстоўваць для пераканання, ўрахоўваючы спецыфіку блока, і сістэма з абсалютным абяцаннем адпавядае пра методыку функцыональнага пераканання. Контэнт ў своіх жа правілах ёсць точным, але некорэктным для заданага запытання.
Прычына — глосарый. У перакантроле паводарнікавых тэхналогій слова „методалогія“ не ўжываецца ў повсякдзеннай розмове. Яно аднасецца да конкрэтных падходаў перакантроле, кожны з якіх асоціюецца з певнымі інструментамі, этапамі і рэзультатамі ўжывання. Сістэма здолела выявіць тэкст, але не знанні. Чырвоныя гэта проблема значэння, а не проблема выявлення інформацыі, і лепшыя мадэлі імбеддынгу яе не выправяць. Семантычны слой гэта можа зробіць. Далей паказана, як такі слой праектуецца і ствараецца для набора дакументацыі EDA: онтологія, граф знанняў, з’яўленне з RAG і апранаваныя рэзультаты.
Дакументацыя як „пустыня знанняў“
Гэта — програмна аплікацыя для парадактычнай пераканання ў корпоратыўных умовах, якая мае тыячы тэм у фармаце DITA XML у разных лініях продуктам, якія абарачаюць налаштаванне інструментаў, працэсы выканання і кераванне методалагіямі. Матэрыял існуе, але ў віглядзе звычайнага тэксту, а не структураваных знанняў. Этапы пераканання, методалагіі і інструменты знаходзяцца ў окольных дакументах і з’яўляюцца ў зв’язку толькі завдзяк таму, што чытач вядомае. Джэральны інжынер з дзесяцьма гадамі дазнаўанняў справляецца з гэтым. Штучны інтэлект, які шукае правы фрагмент, праграмаце па міннам полі.
Метай была рашэнне, якое адразу задовольняла бы калькі потрэб: RAG, корпоратыўны пошук, адкрыцце контэнту і давгастраўнае кераванне контэнтам.
Спачатку — апісанне проблемы
Перш чым быў створыўся хоць які-небудзь код антологіі, працавалі недзеяў кансультацыяў з менеджэрамі продуктав, экспертамі па перакананні, керуючымі документацыяй, інжынерамі па пошуку і командай па науцы дадзэнняў, якія стоялі за асістэнтам GenAI. Ціясныя рашэнні спрыялі тым пераговорам.
Першае пытанне: калія бізнесавыя рэзультаты маюць значэнне? Адпаведныя адпаведзі: вышэйшая точнасць пошуку, стандартызаваныя апараты для асістэнтав LLM і аднацелыя дадзеныя для всіх лінейкаў продуктав. Другое пытанне: як выглядае нявярнасць сэргодні? Пошук па ключоўых словах вяртае нерэлевантныя рэзультаты, корыстувачы надсылаюць дадатковыя запыткі, таму што першая адпаведзь не включала кантэкст, а ручнае з’ўязыванне кантэнту не можа быць эфектываў. Трэцяе пытанне: як выглядаў бы успех? Сістэма пошуку павінна розумець, што запытка пра дынамічнае перакананне дызайнаў, керованых энергіяй, трэбуе кантэнту, які аднасецца да адной методалогіі, на аднам этапе пераканання, з вікорыстаннем конкрэтных інструментоў, а не проста якога-небудзь дакумента, які містыць гэтыя ключоўыя словы.
Гэтыя падготовчыя заходы запобегаюць перанасыццю онталогіі, тэпеўкі мадэляваць усё, што здаецца інтэлектуальна цікавым, а не тое, каму патрэбна компанія.
Адкрыцья канцэпцый і праектаванне онталогіі
Праектаванне онталогіі пачынаецца з адкрыцья знанняў, а не з прыемаў Protégé чы файлаў Turtle. Ям супляваюць чатыры элементы:
- Інтэрв’ю з інжынерамі па верыфікацыі, якія апісвалі, як яны разумеюць адносы між інструментамі, парадак ўжыцця і пункты прыняцтва рашэнняя, што разлічыцца ад таго, як працуюць гэтыя інструменты
- Існуючая дакументацыя і інтэрфейсы інструментаў, у якіх часта павтараюцыяся тэрміны адкрывалі канцэпцыі, якія застаўаліся стабільнымі працоўна гады
- Лог-файлы, файлы налаштавання і вакуумы, якія паказвалі рэальныя зв’язкі між інструментамі, этапамі і выходнымі данымі, і часта не састаўаліся з дакументацыяй
Рэзультатам стала асновная група стабільных канцэпцый домэна, практычна таксанамія, якая спачатку была зафіксавана ў Excel. Работа над онталогіямі ўскладнена, а людзі, якія павінны пераканацца ў модэлі — эксперты домэна і менеджэры продуктав — не чытаюць Turtle. Таблічны калькулятор дазволяе ўсім ім пераканацца ў правільнасці і удосконаліць ёе, а таксама стварыць спраўнае розумеўне ўжо задоўга перш чым пачнёцца формальная кодавання.
Калі модэль была узгоджана пасля калькі раундоў перагляду, яна была фармалізавана за дапамогою стандартоў семантычнай сеткі:
- RDF выражае кожную аб’ект і адносіну як трыплы
- OWL забезпечвае іерархіі класаў, абмежэнні атрыбутаў і логічныя правілы
- SKOS стандартызуе тэрміналогію ў разных лініях продуктав за дапамогою кантролюемых слоўнікаў
- Schematron перакантроўвае правільнае выкарыстоўванне онтологіі пад час стварэння кантэнту ў Oxygen XML
Сама онтологія знаходзіцца ў файлах TTL, а правілы Schematron прыўязваюцца безпасова да асяроддзя стварэння кантэнту. Таму автары не можуць аднесці концэпцыі, якія наражаюць онтологію на парадоксы, таму кераванне ёсць часткай працэсу працы, а не чымса, што робіцца пазней. Кожна вярнюванне дадзеных контролюецца за дапамогою метададзей prolog у DITA XML і кантрольваных слоўнікаў; не дазволяюцца свабодныя тагі і падходы тыпу «дасыць».
Архітэктура графа знанняў
Онтологіі патрэбна аднасць, граф, які можна запытваць і пераскакваць па ўсіх яго лініях. Дызайн складаецца з калькі:
- Слой схемы: адзначэнні онтологіі ў файлах TTL
- Слой тэрмінологіі: слоўнік на аднойчыні з SKOS
- Слой экзанпляраў: тройкі RDF, створаныя з метададзей кантэнту
- Інфраструктурны слой: Neo4j для зберагання і запытанняў
Акрамя гэтых слоёў знаходзяцца канвэйяі семантычнага прыемлівання, якія ператвараюць створаны контэнт у трыплы, гатовыя для вікорыстання ў графе, і завантажаюць іх у Neo4j, а таксама API для запытанняў і пошуку, якія адкрываюць граф для корыстувачаў, напрыклад, канвэйя RAG, і інфраструктура воблака Azure для масштабавання і інтэграцыі з існуючымі сервісамі платформы.
Канвэй з момента стварэння контэнту да графа яго ператварае з простаў экзерсіцыі з онтологій. Автары пішуць DITA ў Oxygen XML. Schematron контролюе метаданы, якія павінны быць супарадныя з онтологіяй, падчас ўводу. Контэнт публікуецца праз Adobe Experience Manager. Семантычныя метаданы застаюцца недыскрэтаванымі пад час гэтага працэсу і прыемліваюцца ў Neo4j, дзе сістэмы пошуку, аналітыкі і ШЫ можаць яныя запытваць. Гэта архітэктурны контроль над усім потокам дадзеных, ад інструмента стварэння контэнту праз граф да шара API.
Падключэнне семантычнага слою да RAG
Што саме тут дае рэзультаты всі зусілі. Стандартны падход RAG разбівае дакументы на часткі, уключае гэтыя часткі, зберагае іх у векторнай базе дадзеных, выкарыстоўвае аналіз сэмантычнай супарадненасці для пошуку і перэдае знайдзеныя даныя LLM. Гэты падход працюе, але ён не розумее сэнсу, і паўтараюцься тры основныя проблемы:
- Плутанне ў кантэксце, калі падчас пошуку знаходзіцца правыя паняці, але ў неправым кантэксце, як было опісана раней у падзеўцы з перакананнем
- Несупарадненасць слоўніку, калі інжынеры вжываюць скраценні, а дакументацыя — формальныя тэрміны, таму значны контэнт застаецца незаўважаным
- Галюцынацыі праз неяснасць, калі нечыткія тэрміны ў частцы дакумента дазволяюць LLM запалняць прасоўкі правдападобнымі, але некорэктнымі знаннямі
Калі як базовы слой выкорыстоўваецца граф знанняў, працэс пошуку змініцца чатырма спосабамі.
Правіла онтологіі абсалютную, што будзе адзначана. Калі запіт называе методалогію пераканалення, спачатку выконваецца адпаведна перакладка тэрміна ў межах онтологіі, пасля чаго пошук абмежваецца тым кантэнтам, які мае атрыбуты гэтай методалогіі і ўсія ўзаемная зв’язкі, якія яна дазволяе. Векторны пошук таксама выконваецца, але толькі на семантычна фільтраваным падскупе.
Дыявалююць канонічны слоўнік. Запыты корыстувача перад адзначаннем перакладваюцца на кантролюемыя тэрміны, таму „power-aware sim“ перакладваецца на формальны тэрмін для сімуляцыі, якая врачуе параметры моцы, і вярны кантэнт вяртаецца незалежна ад таго, як інжынер сформулюваў запыт.
Фрагменты кантэнту формуюцца ў межах граніц онтологіі, а не за фіксаваным розмерам. Абаротка пра ролю аднаго з інструментаў у аднай стадзіі пераканалення застаецца цэлым і не розрываецца насерэдкі ідэі.
Нэбяспрэчныя камбінацыі фільтруюцца. Онталогія фіксуе, якія камбінацыі інструментаў, методаў і этапаў ўважаюцца легітымнымі, таму фрагмент, які паводзіць да нэбяспрэчнай камбінацыі, паднімаецца у прыорытэце або адхоўляецца прытым, калі LLM яго ўжо не бачыць.
Рэзультаты практычна адразу сталі віднымі. Адпаведзі базуюцца на пераканаўаным, атрыбутаваным онталогіяй кантэнце, а не на спадзяваннях модэлю ў чынніце пераканання паўвядрачоў. Скорачэнне таго, што можа бачыць модэль, усунуло клас галюцынацый, якія выступаюць унаследкі неяснага або безконтэкстнага адшукаўвання. Кожны адшуканы фрагмент несе метаданы онталогіі, таму сістэма можа паясніць свой выбор: якая ентытэ, якія адносінні, якія абмежэнні. А агентныя рабочыя пралэты можу пераходзіць па графе, каб планаваць багатыя на крокі задачы пераканання на аднойчыні з рэальнымі адносіннямі ентытэў, а не толькі на аднаковасці тэксту.
Тэхналагічны стак
- Стварэнне: Oxygen XML з DITA
- Аправленне і кераванне: Schematron і Schematron Quick Fix
- Кодаванне онталогій: RDF, OWL і SKOS у файлах Turtle
- Граф знанняў: Neo4j
- Публікацыя: Adobe Experience Manager
- Хмара: Microsoft Azure
- Інтэграцыя RAG: спецыяльныя API для пошуку, якія спалююць Neo4j і вектарны пошук
- Слой LLM: прыналежны корпоратыўны асістэнт GenAI
Рэзультаты
Пасля запуску дапамагалі чатыры показнікі:
- Колькасць дадзеных запыткаў зменілася на 30%. Дакументацыя цяпер выступае як высокаточны аднаковы стандарт для асістэнтав AI, і корыстувальнікі ў значна большай меры атрымляюць правыя адказы з першай спробы. Гэты показнік быў ключовым, таму што ён безпасэродна відбівае якасць пошуку.
- Павторны выкарыстоўванне контэнту зросла на 25%. За дапамогою семантычных тагоў і розумення адносаў той самы контэнт можа выклікватыцца ў разных лініях продуктав без неабходнасці ручнага копіювання.
- Часы ручнага стварэння звязаў зменіліся на 60%. Функцыя «Супаўзвязаны контэнт» у AEM цяпер працуе на асоцыяцыйных графах, таму звязы, якія раней ствараліся ручна, цяпер генеруюцца на адваротнае адносіны ў онтологіі. Самаслужба для корыстуначаў таксама павысілася на 25%.
- Цыклы ручнай аўдытавання контэнту скорачыліся на 40%. Правілы Schematron, выведзеныя з онтологіі, выяўляюць проблемы ў Oxygen пад час працы автараў, таму якасць контэнту павышаецца на ранніх этапах.
Урокі для падобных праектаў
Спачатку сформулюйце мадэль домэна, перш чым выбіраць тэхналогію. Команды часта выбіраюць Neo4j або вектарную базу дадзеных, не з’ясавіўшы чытка, якія ў ўсём там ўчастнікі і якія ўзаінтэрэсаванасці межы ў ўсём. Гэта як будаваць будынак, не накрэсліўшы план. Працуйце спачатку з експертамі домэна ў табліцы. Гэта можа здавацца не такым прыгожым, але самэ гэтаму і ўсёма ценнасці.
Спрыткуйце карбаванне як структуру. Антонімія без карбавання быстра занікае, адколі кожны новы автар, продукт чыраг кейс паслабляе адносовасць. Уключыце перакананне ў працэс стварэння, каб гэта вядзалося аўтаматычна, а не праз перыядычныя аўдыты, якія завжды прыходзяць пазней.
RAG без семантыкі — гэта пошук з дадзенымі дапамогамі. Вектарная садоўнасць неабходная, але недастаткова для пошуку ў корпоратыўных сістэмах. Калі домэн мае структураваныя адносы, іерархіі і абмежэнні, як і большасць корпоратыўных домэнаў, семантычны слой перакідае пошук з пошуку садоўнага тэксту на пошук рэлевантных знанняў.
Зьвяржыце метрыкі з тым, што мае значэнь для бізнесу. Фраза «Мы створылі граф знанняў» не ўскладнівае бізнес-рэзультатыв, тады як фраза «Колькасць запытанняў пасля падтрымкі зменілася на 30% завяршыць таму, што працэс пошуку стаў точнейшым» — так. Кожны архітэктурны выбар павінен быць прыязначаны да метрыкі, якая мае значэнь для людзей за межамі команды.
Што будзе далей
Семантычны слой ёсць фундамент, а не верхня межа. Онтологія продовжвае развівацца: прыбываюць новыя концэпцыі, якія тэстуюцца, перакананыя і аднароджваюцца без парадоксаў у існуючай семантыцы, а прыбылі ў інструментах LLM, сынтэзе графаў і AI і архітэктуры агентав можаць будавацца на яе аднойчыні. Абшчы вывод такі: у спрохе да GenAI найменаважанейшая інвэстыцыя — гэта не лепшы мадэль чы большы прыём кантэксту, а лепшы семантычны фундамент. Мадэлі прыходзяць і знікаюць, а значэньне застаецца.
Спадневаная літэратура
- Чаму агентам для аналізу дадзейнаў AI патрэбны семантычныя шары замест чыстага SQL — Канвертаванне тэксту ў SQL на чыстых табліцах складу стварае некалькі паметрык і ігнаруе правіла доступу. Пазнакайце, як семантычны шар, такі як Cube, у поўнасці з MCP, дае агентам значэнні, адпаведныя правілам бізнесу.
- Ад простага падходу да прыменнення RAG у дакументах SEC 10-K: разбіўка на часткі, гібрыдны пошук — Чаму стандартны падход RAG не працаваў з 300-стороннімі дакументамі 10-K, і якія ўсунуць гэтыя проблемы: часткі, ўрахоўваюцы структуру раздзелаў, гібрыдны спосаб выкарыстоўвання дадзейнаў, пераранжаванне за дапамогою крос-кодэраў, перакананне дакументаў і цітаты метададзейнаў.