Strona główna / Artykuły

Silnik wiedzy Web-to-MCP: rejestratory źródłowe, dwaj recenzenci oraz mechanizmy ochrony prywatności

Jak rejestr źródłowy, przechowywanie typu persist-first, redakcja z dwoma recenzentami oraz serwer MCP tylko do odczytu przekształcają codzienne zmiany w sieci w wiarygodną, chroniącą prywatność bazę wiedzy.

Wydawca: REACTAPP.TOP8 min czytania1923 słów

Źródła: Building an Authoritative Web-to-MCP Knowledge Engine

Naukowcy analizujący literaturę fachową, pacjenci porównujący nowe badania ze swoimi własnymi записami oraz koordynatorzy pomocy osobom niepełnosprawnym lub opiekunowie śledzący szybko zmieniające się przepisy mają jedno wspólne codzienne zadanie. Muszą dowiedzieć się, co się zmieniło, kiedy to nastąpiło i kto to ogłosił, a woleliby nie musieć co rano przeglądać internetu, aby to ustalić. Dostępne narzędzia okazują się niewystarczające – alerty słowne traktują blog producenta i oficjalną poprawkę prawną jako równoważne, nie pamiętają nic poza treściami w skrzynce odbiorczej i nie mogą uzyskać dostępu do prywatnych записów. Chatboty z funkcją wyszukiwania podsumowują to, co tego ranka miało najwyższą pozycję w wynikach, opierają się na przestarzałej hierarchii zawartej w ich danych treningowych, zapominają o dokumentach z poprzedniego dnia, a czasami błędnie podają daty i fakty albo je wymyślają.

Jedną z metod jest system, który praktycy nazywają skanowaniem horyzontu. Działa on jako baza wiedzy tworzona na podstawie treści z Internetu, codzienne streszczenie oraz serwer umożliwiający wyszukiwanie danych według protokołu Model Context Protocol (MCP). Zbiera informacje wyłącznie z wiarygodnych, sprawdzonych przez ludzi źródeł, przestrzega zasad dotyczących subskrypcji i licencji oraz utrzymuje bazę danych, która powiększa się z każdym przeprowadzonym procesem. Gdy dowody na dany dzień są niewystarczające, krytyk może zdecydować się nic nie publikować, pozostawiając jedynie zapis procesu wyjaśniający powód. Baza ta przetrwa każdą edycję i może być wyszukiwana w dowolnym momencie z wybranego punktu widzenia na podstawie danych użytkownika, zawsze w ramach zasady ochrony prywatności. Kontekst użytkownika jest uwzględniany w rozmowie, ale nigdy nie trafia do bazy danych. Ponieważ dane osobiste, kliniczne i dotyczące konkretnych przypadków nigdy do niej nie trafiają, taki układ jest zgodny z Australijskim Ustawą o Ochronie Prywatności z 1988 roku, natomiast publiczna baza pozostaje dostępna dla wszystkich specjalistów w tej dziedzinie.

Pierwsze wdrożenie obejmuje śledzenie zasad i cen w ramach australijskiego programu ubezpieczeniowego dla osób niepełnosprawnych NDIS, gdzie błędna data rozpoczęcia lub górna granica cen może zaszkodzić ludziom. Planer uruchamia się o godzinie 06:00 czasu sydnejskiego. Redakcja albo publikuje, albo odrzuca informacje i za każdym razem zapisuje wyraźny powód w rejestrze działania, podczas gdy baza danych nadal się rozrasta. Informacje trafiają do kanału Slack, gdzie użytkownicy mogą wyszukiwać dane w bazie wiedzy poprzez oznaczenie Claude, który łączy się z serwerem MCP. Na przykład informacje z jednego tygodnia wskazywały, że dane uczestników mogły trafić na platformę analityczną Palantir, obok orzeczenia Komisji ds. Spraw Pracy dotyczącego wyrzucenia z pracy za naruszenie Kodeksu Postępowania NDIS.

Data i linki w każdym wydaniu pochodzą z zapisanych faktów, a wszelkie cytyaty muszą odpowiadać fragmentom zachowanym przez system. Ten rejestr jest oparty na NDIS, ale zamiana wierszy umożliwiłaby temu samemu mechanizmowi śledzenie określonego obszaru badań, stanu zdrowia lub organu regulacyjnego.

Zbiór kierowany rejestratem źródeł

Zbiór jest kierowany przez rejestr źródeł, tabelę konfiguracji monitorowanych punktów końcowych, a nie przez to, co silnik wyszukiwania umieszcza na najwyższej pozycji. Każdy wiersz opisuje jedno źródło według ustalonego schematu: nazwa wydawcy, metoda dostępu, częstotliwość sprawdzania, poziom autorytetu, ograniczenia dotyczące ponownego użycia, warunki licencjonowania oraz zasady wyodrębniania dat.

Istnieją cztery poziomy autorytetu:

  • T1 obejmuje podstawowe rejestratory danego obszaru, takie jak przepisy prawne, oficjalne źródła orzeczeń lub indeksy cytowań.
  • T2 obejmuje oficjalne organy rządowe i organy regulacyjne.
  • T3 obejmuje organizacje branżowe i stowarzyszenia zawodowe.
  • T4 obejmuje wiarygodne media i komentarze.

Każdy wiersz zawiera również jedno z trzech ograniczeń dotyczących ponownego użycia, aby zachować warunki wydawcy:

  • REUSE_OK oznacza, że pełny tekst może zostać zapisany, ponieważ na to pozwala otwarta licencja.
  • LINK_SUMMARISE_ONLY oznacza, że zachowuje się tylko hiperlink i krótki fragment tekstu.
  • NO_BULK usuwa punkt końcowy z automatycznych pobierań i wysyła go do ręcznej weryfikacji.

Wiersze dodatkowo odnotowują informacje uzyskane na temat strony hostującej, takie jak opóźnienia w przeglądaniu lub limity dla stron centralnych, na przykład mniej niż trzy artykuły datowane. Bez tych notatek wiersz stanowi statyczną zakładkę, której kolektor nie może bezpiecznie używać.

Ta sama struktura rejestrów jest stosowana w innych polach:

  • W celach badań naukowych wiersze T1 odnoszą się do indeksów cytowań takich jak MEDLINE, Crossref i OpenAlex, w połączeniu z repozytoriami pełnych tekstów dostępnymi bezpłatnie oraz źródłami artykułów czasopism skonfigurowanymi tak, by przekazywać jedynie streszczenia lub linki.
  • W zarządzaniu zdrowiem osobistym wiersze te odnoszą się do oficjalnych wytycznych postępowania w przypadku danej choroby oraz do informacji o produktach leczniczych dostarczanych przez organy regulacyjne, a także do sprawdzonych źródeł danych klinicznych.
  • W celach śledzenia spraw prawnych i sądowych główny wiersz T1 odnosi się do oficjalnego źródła orzeczeń sądowych.

Dynamiczna ścieżka badawcza uzupełnia stałą listę, dzięki czemu baza nie staje się przestarzała. Każdego ranka przeprowadzana jest kilka celowanych wyszukiwań w ramach drugorzędnej listy źródeł, ograniczonych maksymalną liczbą słów, niewielką ilością prób pobrania na każde źródło oraz ogólnym limitem stron na jedną sesję. Dla zachowania dokładności czasowej strony bez potwierdzonej daty publikacji lub z datą w przyszłości są automatycznie odrzucane. Jedynym wyjątkiem są konsultacje otwarte z określoną datą zakończenia: znajdują się one na liście obserwowanych, są pobierane ponownie każdego dnia i oznaczane jako bieżące problemy. Strony z hostów nieobecnych na liście otrzymują niski poziom autorytetu, więc komentarze z zewnątrz są tak oznaczane, jacyimi są w rzeczywistości.

Czytanie rejestrów najwyższej klasy bezpośrednio

Każda dziedzina ma główne źródło, które ma wyższy priorytet niż pozostałe – czy to rejestr ustawodawczy, indeks podstawowych cytatów, czy strumień informacji sądowych. System zbierający dane odczytuje je za pośrednictwem zstrukturyzowanych API. Na przykład proces NDIS pobiera podstawowe akty prawne z API OData Federal Register of Legislation. Preferuje zstrukturyzowane pliki EPUB zamiast PDF i co dzień sprawdza różnice w stosunku do utrzymywanego punktu odniesienia, aby zidentyfikować nowe treści. Długie teksty ustawodawcze są dzielone na fragmenty po 60 000 znaków i wydobywane po kolei, aby uniknąć przekroczenia ograniczeń modelu.

Jasno określone identyfikatory odróżniają rzeczywistą zmianę prawniczą od rutynowego ponownego indeksowania:

  • Instrumenty uchwalone w bieżącym terminie to świeżo przyjęte prawa przez Parlament, które uruchamiają aktywne powiadomienia o zmianach.
  • Kompilacje to ujednolicone teksty główne z włączonymi wcześniejszymi poprawkami. Planer integracji oznacza je jako referencje tła, dzięki czemu rutynowe ponowne indeksowanie nigdy nie wywołuje fałszywych alertów o zmianach.
  • Integracja oddzielona od publikacji

    Nieprzetworzone pliki są haszowane za pomocą SHA-256 i zapisywane do Postgres przed rozpoczęciem jakiejkolwiek syntezy, więc zasób rośnie przy każdym uruchomieniu, niezależnie od tego, czy wyjdzie jakieś wydanie, czy nie. Stan publikacji jest ustalany w sposób deterministyczny za pomocą ograniczenia UNIQUE(briefing_date, channel), które przechowuje zserializowany payload oraz jego hash w formacie JSON. Jeśli uruchomienie się nie powiedzie lub dostawa do kanału zawiedzie, następne uruchomienie znajdzie wyczekującą rezerwację i opublikuje zamrożony payload zamiast tworzyć nowy tekst.

    Trzy rodzaje porannych operacji pozostawiają różne ślady:

    • W spokojny poranek, gdy nie pojawiają się nowe fakty, dokumenty są oznaczane jako przetworzone w ramach jednej transakcji i usuwane.
    • W poranku, gdy tekst został odrzucony przez recenzenta, nie tworzy się żadnej pozycji oceny, a dokumenty trafiają z powrotem do kolejki na następny poranek.
    • W poranku, gdy tekst został opublikowany, wymienione dokumenty oznacza się jako przetworzone i usuwane.

    Zachowanie oryginalnych danych zapewnia ścisłą możliwość śledzenia czasowego. Pytanie zadane w marcu na temat tego, co było wiadome w styczniu, odpowiada się ściśle na podstawie fragmentów zachowanych z stycznia, nienaruszonych późniejszymi edytami na żywej stronie internetowej.

    Biuro redakcyjne

    Aby uniknąć błędów, przy tworzeniu tekstów obowiązuje jedna ścisła zasada: model nigdy nie pracuje bezpośrednio z faktami potwierdzonymi w rzeczywistości.

    Kod usuwa wszystkie dosłowne daty i adresy URL z pakietu dowodowego, zanim trafi on do osoby opracowującej projekt. Sprawdzanie według deterministycznych wzorów odrzuca każdy projekt, który podaje status prawny lub operacyjny, np. „w mocy” lub „rozpoczęty”. Sprawdzone daty pojawiają się dopiero po zaakceptowaniu projektu, przywracane z pól bazy danych, dzięki czemu ich pochodzenie pozostaje w tekście. To zasada pomaga we wszystkich wymienionych obszarach: wielkości prób, szacunki efektów oraz dawki leków pozostają powiązane z rekordami bazy danych i nie trafiają do parametrycznej pamięci modelu.

    Proces pracuje według deterministycznego, wieloetapowego schematu:

    1. Planowanie i wykluczanie. Osoba odpowiedzialna za planowanie przypisuje każdy dokument do konkretnej sprawy lub zapisuje wyraźny powód jego wykluczenia, np. duplikat, dowód nieistotny lub niewystarczający.
  • Tworzenie i weryfikacja. Autor przygotowuje zwięzły opis, ograniczony do mniej niż 400 słów, z ścisłym limitem cytowanych fragmentów. Deterministyczny narzędzie weryfikacyjne sprawdza każdą cytat przed tym, jak tekst przeczyta jakiś krytyk.
  • Przegląd przez dwóch krytyków. Pierwszy krytyk może zatwierdzić tekst, odrzucić go lub poprosić o jedną konkretną korektę. Następnie drugi krytyk, który nie ma dostępu do wcześniejszych informacji, przegląda tekst niezależnie, skupiając się wyłącznie na nierozwiązanych kwestiach dotyczących daty lub statusu. Odrzucenie przez któregokolwiek z nich powoduje wstrzymanie publikacji.
  • Prezentacja z informacjami o pochodzeniu. Przed opublikowaniem tekstu system pobiera zweryfikowane dane dotyczące dat i łączy je z źródłami z magazynu, umieszczając je w tekście.
  • Schematy JSON, deterministyczne walidatory, dwa krytycy oraz generator określają ten kontrakt. Tekst publiczny może być przetwarzany za pomocą algorytmów inferencji uruchamianych gdziekolwiek, natomiast bazy przechowujące prywatne informacje zdrowotne lub nieopublikowane badania muszą wykonywać te operacje w ramach lokalnych granic terytorialnych.

    Zapytania przez MCP oraz łączenie prywatnego kontekstu na sesję

    Serwer o dostępie tylko do odczytu, który implementuje Model Context Protocol, udostępnia trwałą bazę danych za pośrednictwem trzech narzędzi: search_knowledge_base, get_document oraz list_changes. Dla zachowania integralności faktograficznej, fragmenty tekstowe generowane po stronie serwera muszą kończyć się na granicach słów. Fragment tekstu przerwany w środku słowa może skłonić model generatywny do wiarygodnego uzupełnienia brakującego tekstu na warstwie prezentacji, co stanowi zagrożenie, którego nie można zaakceptować w przypadku dawek leków czy limitów prawnych.

    Dane publiczne są takie same dla wszystkich w danym obszarze, ale każdy użytkownik posiada swój prywatny kontekst. Zespół ds. zgodności chce, aby nowe zasady były oceniane w odniesieniu do wewnętrznej polityki, natomiast lekarz chce, aby aktualne badania były analizowane w kontekście historii medycznej konkretnego pacjenta. Mieszanie danych publicznych z wrażliwymi lokalnymi записами w jednej bazie danych stworzyłoby poważne problemy z przejrzystością pochodzenia danych oraz ochroną prywatności.

    Dlatego architektura oddziela zbiór danych publicznych od prywatnego kontekstu. Wrażliwe dane osobowe i kliniczne pozostają w zautoryzowanych lokalnych środowiskach za ścisłą granicą zaufania. Sprawdzone fakty publiczne są dostarczane na żądanie z serwera MCP o dostępie tylko do odczytu, a asystent łączy je z lokalnymi записами wyłącznie w ramach bieżącej sesji użytkownika. Prywatny kontekst nigdy nie trafia do wspólnego zbioru danych, co umożliwia udostępnianie bazy publicznej między wieloma użytkownikami.

    Dlaczego otwarte wyszukiwanie i zwykłe odzyskiwanie danych są niewystarczające

    Wskazywanie autonomicznemu agentowi bezpośrednio na otwarte wyszukiwanie w sieci lub na standardowy łącznik RAG nie spełnia wymagań związanych z zaufaniem w dziedzinach o wysokim stopniu ryzyka. Wyszukiwanie w czasie rzeczywistym ignoruje ograniczenia dotyczące ponownego wykorzystania treści przez wydawców, nie przechowuje żadnych haszowanych informacji o pochodzeniu danych, które audytor mógłby sprawdzić, i nie potrafi wskazać, co zmieniło się od wczoraj. Gdy zostanie postawione przed pytaniem wykraczającym poza zakres jego indeksowania, asystent bez solidnych podstaw skłania się do domysłów lub uzupełniania niekompletnych faktów, a błędy przenoszą się na dalsze analizy.

    To samo rozwiązanie może być zastosowane w kilku kontekstach:

    • W przypadku NDIS oraz szerszego sektora osób niepełnosprawnych zmiany w prawie i cenach stanowią tło polityki publicznej, natomiast budżety planów uczestników oraz notatki z przypadków odpowiadają temu tle jedynie podczas sesji w czasie rzeczywistym.
  • W badaniach naukowych bazy danych z oryginalnymi cytatami oraz repozytoria o otwartym dostępie śledzą opublikowaną literaturę, podczas gdy nieopublikowane wyniki badań laboratoryjnych pozostają izolowane.
  • W zarządzaniu zdrowiem wytyczne władz klinicznych oraz dane regulacyjne dotyczące leków dostarczają zweryfikowanych dowodów publicznych, natomiast dokumenty diagnostyczne i medyczne pozostają prywatne i przechowywane lokalnie.
  • W zakresie przestrzegania przepisów prawnych i regulacyjnych rejestry ustawodawcze oraz zbiory orzeczeń sądowych stanowią publiczną podstawę, natomiast wewnętrzne podręczniki polityki są bezpiecznie chronione za pomocą lokalnych mechanizmów autoryzacji.
  • Zlecanie precyzyjnego przekładu faktów nieuzasadnionemu modelowi językowemu to hazard. Ustrukturyzowany rejestr źródeł, baza danych istniejąca przed wszystkim innymi, redakcja składająca się z dwóch krytyków oraz serwer MCP o dostępie tylko do odczytu działający u podstaw asystenta – to wszystko przekształca chwilowe aktualizacje z Internetu w bazę wiedzy, która jest autorytatywna, chroni prywatność i jest niezawodna.