Рухавік ведаў «вэб → MCP»: рэестры крыніц, два крытыкі і прыватныя аб’яднанні
Як рэестр крыніц, захаванне ў першую чаргу, рэдакцыя з двух крытыкаў і MCP-сервер толькі для чытання ператвараюць штодзённыя змены ў вэбе ў надзейную і бяспечную для прыватнасці базу ведаў.
Крыніцы: Building an Authoritative Web-to-MCP Knowledge Engine
Навуковцы, які вівачаюць літэратуру, паціенты, які споўнаюць новыя даследжэння з своімі медычнымі дакументамі, а таксама коордынаторы падтрымкі людзей з інваліднасцю чы рэабілітатары, які сочаць за стрэмкай змянай правіл, маюць аднае ўзаўсёдніца. Ім неабходна даведацца, што змянілася, калі і хто гэта сказаў, і ўсе яны волелі б не шукаць гэтую інфармацыю ў Інтэрнэце кожны ранак. Адносовыя інструменты не падходзяць для гэтай задачы. Апавешчэння на адповідныя ключоўкі спрыймаюць блог віробніка і офіцыйную правовую палатынацыю як аднаковыя, не запам’ятаваюць нічога кроме паведамленняў у поштовай скрынцы і не можу працаваць з прыватнымі дакументамі. Чат-боты, якія маюць можлівасць пошуку, падсумоўваюць тое, што мела найвышэйшую прыорытэтнасць таго ранку, паследуюць застарэлай іерархіі, якая ўжо ёсць ў іх навучальных даных, забываюць вчорашнія дакументы, а інодзе памілкова вказуюць час і факты або ўсё гэта вымышляюць.
Адзін з спосабаў адпаведзення — гэта сістэма, яку спецыялісты называюць «сканаваннем горызонту». Яна функціонуе як база знання, створаная на аднойчыне з веб-рэсурсамі, як ўтрэнняе становішча, а таксама як сервер, які падтрымлець протакол Model Context Protocol (MCP) і дозволяе ставіць запіты. Яна скарбуе толькі інфармацыю з надзяйных, пераглянутых людзьмі джэрэл, сягледзе за падпісамі і ліцензіямі, і зберагае базу дадзэных, якая расшырваецца з кожным запланаваным запускам. Калі інфармацыя за паведамлены дзень ёсць недастатковай, крытык можа прымусіцца не публікуваць нічога, залішаючы толькі запіс запуску з поясненням прычыны. База дадзэных перазіходзіць за межы будзь-яга конкрэтнага выпуску і можа быць выкарыстоўвана ў будзь-які момент з выбранага кута апошнювання ў спісе сасавых дадзэных, завжды за межамі локальных правіл прыватнасці. Кантэкст карыстальніка прыўлікаецца да дыялогу, але ніколі не запісваецца ў базу дадзэных. Паколькі персональныя, клінічныя і дэталі прыкладоў ніколі не прабрацоўваюцца ў яе, такая схема адпавядае Аўстралійскаму закону пра прыватнасць 1988 (Cth), тады як публічная база дадзэных застаецца доступной для всіх у галузі.
Першая версія прытамлівае правіла і цены для Нацыянальнага плану страхавання ад калекасціны Аўстраліі (NDIS); неправільная дата пачатку чыста цінавы ліміт у такой сітуацыі можу нашкодзіць людзям. Запускач працюе о 06:00 па часу Сіднея. Рэдакцыйскі апарат або публікуе, або не публікуе інформацыю, пры чым ў кожны раз заносіць чыста прычыну ў журнал запускаў, тады як база дадзеных продовжвае растаць. Інформацыя падае ў канал Slack, і людзі там можу адказваць на запыткі, выкарыстоўваючы тэг Claude, які запрашае сервер MCP. Напрыклад, інформацыя за адны тыдзень паведамляла, што даныя учаснікаў моглі паставіцца на аналітычную платформу Palantir, разам з рашэнням Комісіі па справедлівай працы ў спрэчы пра зваленне за наяўнасць правалянняў у Кодэксе этыкі NDIS.
Даты і посілання в кожному віданні беруцца з зберэжэніх даных, а будзь-якая цытата повінна відповідаты фрагменту, які сістэма зберэгла. Гэты рэестр створэній на основі NDIS, але заміна радків дозволяе тый самій сістэмі відстэжуваты дослідніцьку галузь, стан здоров’я чы рэгуляторній орган.
Збірка, керована рэестром джэрэл
Збірка формуецца за допомогою рэестру джэрэл – табліці конфігураціі кантраляваніх кінцевіх точок, а не на основі того, што найвішчэ ранжуецца пошуковім двігуном. Кожэн радок опісуе одне джэрэло за фіксованою схемою: назва відавця, метод доступу, частота опітування, рывень авторытэтносты, обмежэння шчодо повторного вікорыстання, умові і правіла ліцензування для отрымання дат.
Існуе чотыры рывні авторытэтносты:
- T1 охоплюе основні рэестры галузі, такі як законодавство, офіційні рышэння чы індэксі цытувань.
- T2 охоплюе офіційні урадові органі і рэгуляторы.
Кожны радок таксама мае адну з трох умов павторныя выкарыстоўкі, каб былі сарабатаны правіла выдавача:
- REUSE_OK значыць, што весь тэкст можа быць зберагнут, таму што на то дазволяе адкрыты ліцэнс.
- LINK_SUMMARISE_ONLY значыць, што застаецца толькі гіперскаявочка і короткі атырыстак.
- NO_BULK выключае канецкі пункт з автоматызаванага адчынення і надае яго на ручную пераглядку.
У радках таксама фіксуецца тое, што было выявлена пра хоста, напрыклад, затрымкі пад час сканавання або ліміт для старонак-хабаў, напрыклад, менейш чым тры статыі з датамі. Без гэтых запісаў радок ёстабільны букмарк, які колектар не можа безпечна выкарыстоўваць.
Тая ж структура рэестру пераходзіць і на іншыя поля:
- Для научных даследаванняў радкі T1 паказваюць індэксы цытатаў, такія як MEDLINE, Crossref і OpenAlex, а таксама рэпазітарыяў з вольным доступам да полных тэкстаў і канфігураваныя каналы журналаў, якія прымаюць толькі абстракты чы ўсіянкі.
- Для кантролю за сабойскім здароў’ем радкі паказваюць офіцыйныя рэкамендацыі па лечэнні адпаведных станоў, інфармацыю пра медычныя продукты ад рэгулявальных органаў, а таксама перакананыя клінічныя каналы.
- Для стачунку з правамі і судовымі працэсамі галоўны радок T1 следуе за офіцыйным каналам публікацыі рашэнняў суда.
Дынамічныя шляхі абстракцыі дапамагаюць фіксаванаму спісу, ўбліжваючы такі чын, каб база дадзеных не стала застарэлай. Кожны ранак апраноць выконвае калька цілявых пошукаваў у адной з дапаможных спісаў выкладачоў, пры чым існуюць обмежэння: ліміт па колькасці слоў, невялікая калька спроб абстракцыі на адного выкладча і загальны ліміт сторанак за апраноц. Для падтрымкі часовай точнасці, будзь-яя сторанка без паўнаважнага даты выпуску або з датай у будучыні автаматычна выключаецца. Ядзінай апятачкай ў гэтым правіле ёсць адкрытые кансультацыі з датай заканчэння: яны залічваюцца ў спісе пад наглядам, ўзімаюцца зноў кожны дзень і пазначаюцца як актуальныя запытанні. Сторанкі з хостаў, якія не ў спісе, атрымоўваюць нізкі ранг аўтарытэта, таму стороннія каментары пазначаюцца як тое, чым яны ёсць.
Чытанне рэўістраў высшага рангу безпосерэдна
Кожная галузь мае главныя крыніцы інфармацыі, якія маюцы вышэйшую прыорытэтнасць, чым іншыя — будзь то рэгістар законадачнасці, індэкс первычных цытатаў або даныя судоў. Сістэма збору інфармацыі чытае яе праз структураваныя API. Напрыклад, сістэма NDIS атрымлеў первычныя законы з API OData Федэральнага рэгістра законадачнасці. Яна вяршыць структураваныя файлы EPUB над PDF-файламі і ўжо кожны дзень адрабатвае перапытку на выявленне новых змян, супаруя іх з зафіксаваным станом дадзеных. Даўгія тэксты законадачнасці дзельнуюцца на часткі по 60 000 сімваў і выкарыстоўваюцца по часткам, каб не перасягнуць меры, встановленыя для модэля.
Явныя ідэнтыфікаторы разлічваюць рэальныя прававыя змены ад звычайнага перэіндэксавання:
- Што стосуецца новаўведзеных законадаў, то гэта законы, прынятыя Парламентам, і яны спрычыняюць выдачу паведамленняў пра актываныя змены.
Прыемка па-свойму, не адночасна з публікацыяй
Неапранутыя дакументы хэшуюцца за допамогай SHA-256 і збіраюцца ў Postgres прычымо да пачатку будзь-якай сінтэзы, таму база дадзеных расце пасля кожнага запуску, незалежна ад таго, выйшла лічба чы ні. Статус публікацыі фіксуецца дэтэрміністычна за дапамогай абмежэння UNIQUE(briefing_date, channel), якое зберагае серыязаваны пакет дадзеных і яго хэш у фармаце JSON. Калі запуск завершыцца незавершана або доставка да канала не выйдзе, наступны запуск знайдзе незавершаную рэзервацыю і выкажае заморожаны пакет дадзеных у належным парадку, замест таго каб пісаць новы тэкст.
Тры відэкі залішаюць разныя следы:
- У спакойны ранок, калі няма новых фактов, дакументы пазначаюцца як пераглянутыя ў адной транзакцыі і выключаюцца з іспользовання.
- У ранак, калі матэрыял быў адхоўлены, таму што крытык адмовіўся яго прыняць, рэяд з оценкай не запісваецца, і дакументы вяртаюцца ў чэргу наступнага ранку.
- У ранак, калі матэрыял быў опублікованы, цітаваны дакументы пазначаюцца як апрацаваныя і выключаныя з чэргі.
Сталое зберыўчэнне дахоўвае строгую часовую відстэйбальнасць. Запытанне, задаўшаеся у марцы пра тое, што было вядома ў студзені, адпавядаецца строго на аснове фрагментаў, якія засталіся з студзеня і не былі параджаны пазнейшымі змянамі на жывай веб-сторанцы.
Рэдакцыйны стол
Ёжы бачэння галюцынацый, працэс стварэння матэрыяла павінен адпавядаць адной строгай правілу: мадэль ніколі не працюе безпасэродзейна з фактамі, якія ўжо вядомы.
Код адмініструецькі кожную буквальную дату і URL-адрэсу з пакета доказаў прытаму, калі той яшчэ не дасягае рэдагуўальніка. Алгорытмы на адной залежнасці ад вхідных дадзеных адклёнаюць любы праект, які стварае уражання пра прававы чы аперацыйны статус, напрыклад, пра тое, чы ён дзейны чы ужо розпачаты. Перакананыя даты возврашчаюцца толькі пасля таго, як праект будзе прыняты, і ўключаюцца зноў з полей базы дадзеных, так што ўхідныя даны застаюцца ў тэксце. Гэтае правілы падаёць помоч у всіх згаданых сферах: розмеры вяроўкі, ацэнкі эфектаў і дозы лекавых прыладоў застаюцца прыкрэпленымі да запісаў у базе дадзеных і не прабрацоўваюцца ў параметрычную памяць модэлю.
Робочы працэс адбываецца па алгорытму на адной залежнасці, у калькі этапаў:
- Планаванне і адклёненне. Планіст прызначае кожны дакумент да адпаведнай групы чы фіксуе конкрэтную прычыну яго адклёнення, напрыклад, дуплікацыю, незначнасць чы недастатак доказаў.
Шыматы JSON, дэтэрміністычныя верыфікаторы, два крытыкіста і адрасавальнік візначаюць кантракт. Публічны тэкст можа быць обрабоўаны за дапамогою інферэнсу, які можа выконваліцца будзь-дзе, але сховішчы, якія храняць прыватную медычную інфармацыю або непублікаваныя даследжэнні, должны выконваліць інферэнс у межах локальных суверэнных тэрыторый.
Запытанні праз MCP і адключэнне прыватнага кантэкста за сесію
Сервер з правамі толькі на чытанне, які рэалізуе Protocol Model Context, адкрывае доступ да стойкага сховішча праз тры інструменты: search_knowledge_base, get_document і list_changes. Для парадоксальной цэласообразнасі, выдобытыя на стороне сервера фрагменты інфармацыі должны заканчвацца на межах слоў. Фрагмент, перэрваны на серэдзіне слова, спрыяе таму, што генератыўны мадэль можа правдападобна дапрацаваць нехватную частку тэксту на слою прыказаў, што ў разлічнасці з дозамі лекаў чы прававымі лімітамі ўзяць не можна.
Усім у данай галерэзе ёсць аднаковыя публічныя доказаткі, але кожны корыстувач прыходзіць з асобным кантэкстам. Команда па салідарнасці хочаць, каб новыя правілы былі пераканалены ў співвазе з внутрэньяй політыкай, а клінічны спеціяліст — каб апошнія даследжэння былі аналізаваны на фоне історыі конкрэтнага паціўента. Спалучэнне публічных доказатакоў і чутлівых местных запісаў у адной базе дадзеных стварыла бы серьязныя проблемы з алеянцамі дадзеных і прыватнасцю.
Таму архітэктура раздзеляе публічны сховыш ад асобнага кантэксту. Чутлівыя персональныя і клінічныя дадзеныя застаюцца ў аўтэнтыфікованых местных срэдах за строгай межой довер'я. Перакананыя публічныя факты надаюцца з сервера MCP, які дазволяе толькі чытанне, па запіту, а асістэнт спалучае іх з местнымі запісамі выключна ў рамках чынной сесіі корыстувача. Асобны кантэкст ніколі не прабывае ў спяльным сховышы, што дазволяе публічную базу дадзеных быць спяльнаванай між многама корыстувачамі.
Чаму абяцковы пошук і звычны адгукаванне не падходзяць
Выкарыстоўванне автонамнага агента для працы з абяцковым пошукам у інтэрнэтэ або з стандартным канектаром RAG не задовольняе трэбаванням да доверы ў сферах з высокымі рызыкамі. Абяцковы пошук ігнаруе абмежэнні ў паўтарным выкарыстоўванні матэрыялаў ад выдавачаў, не зберагае хэшаваных даных пра паходжанне інфармацыі, якія мог бы пераглянуць аўдытар, і не можа паведаміць, што змянілася з вечара. Калі ад такога асістэнта запытаюць пра тое, што не ўключана ў яго індэксаваны дыяпазон, ён часта прыметвае або даганяе непূরныя факты, і гэтыя памылкі пераходзяць у пасляўпарны аналіз.
Такія ж прынцыпы прыменяюцца да калькі разлічных настаўленняў:
- Для NDIS і шырэйшага сектора людзей з адарэннямі змяны законадзяў і цэнаў ствараюць фон для дзяржавной палітыкі, а бюджэты планаў учаснікаў і запісы ўспакоіваюць гэты фон толькі пад час жывай сесіі.
Пярэдача точнасці фактам да неканалізаванага мовнага модэля — гэта рызык. Структураваны рэгістр істочніка, база дадзеных, якая застаецца, рэдакцыйскі стол з двумя крытыкамі і сервер MCP з правамі толькі на чытанне, які працуе пад асістэнтам, разам ператварая тымчасовыя абнаўленні з Інтэрнэту ў базу знаёмасцей, якая ёсць аўтарытэтной, захоўвае прыватнасць і ёсць надзеямай.