Двигатель знаний от веба к MCP: реестры источников, двойные проверщики и механизмы защиты приватности

Исследователи, изучающие литературу, пациенты, сопоставляющие новые исследования со своими медицинскими записями, а также координаторы по оказанию помощи людям с инвалидностью или их опекуны, отслеживающие быстро меняющуюся политику, имеют одну общую ежедневную задачу. Им необходимо узнавать, что изменилось, когда это произошло и кто это сказал, причем им бы хотелось не искать информацию каждое утро в Интернете. Существующие инструменты оказываются недостаточными. Системы оповещения по ключевым словам рассматривают блог производителя и официальную правовую поправку как равноценные, не запоминают ничего кроме содержимого почтового ящика и не могут просматривать закрытые записи. Чат-боты с функцией поиска кратко излагают то, что имело наивыский рейтинг утром того дня, опираются на устаревшую иерархию, заложенную в их обучающие данные, забывают документы прошлого дня и иногда ошибаются или выдумывают даты и факты.

Одним из способов является система, которую специалисты называют сканированием горизонта. Она функционирует как база знаний, собранная из информации с Интернета, ежедневный брифинг и сервер с возможностью поиска, работающий по протоколу Model Context Protocol (MCP). Система собирает данные только из надежных источников, прошедших проверку людьми, соблюдает условия подписок и лицензий, а также ведет хранилище, которое пополняется при каждом запланированном запуске. Когда доказательств для определенного дня недостаточно, эксперт может решить не публиковать ничего, оставив лишь запись о запуске с объяснением причин. Это хранилище сохраняется дольше любого отдельного выпуска и может быть просмотрено в любое время с выбранной точки зрения на основе собственных данных пользователя, при этом всегда за защитным барьером локальной конфиденциальности. Контекст пользователя участвует в обсуждении, но никогда не сохраняется в хранилище. Поскольку личные, клинические и детали случаев туда не попадают, такая схема соответствует Австралийскому закону о конфиденциальности 1988 года (Cth), в то время как общедоступное хранилище остается доступным для всех специалистов в данной области.

Первая версия программы отслеживает правила и цены в рамках Национальной программы страхования людей с ограниченными возможностями Австралии (NDIS); неверная дата начала или предел цен могут нанести вред участникам. Задача выполняется в 06:00 по времени Сиднея. Редакционный отдел либо публикует информацию, либо отклоняет её, каждый раз записывая четкую причину в журнал операций, тем временем база данных продолжает расти. Информация попадает в канал Slack, где сотрудники могут запрашивать данные из базы знаний, используя тег Claude, который затем обращается к серверу MCP. Например, в отчете за неделю говорилось о том, что данные участников могли попасть на аналитическую платформу Palantir, наряду с решением Комиссии по справедливой занятости о увольнении за нарушение Кодекса поведения NDIS.

Даты и ссылки в каждом издании берутся из сохраненных данных, причем любая цитата должна соответствовать фрагменту текста, сохраненному системой. Этот реестр построен вокруг NDIS, но замена строк позволит использовать ту же самую структуру для отслеживания исследовательской области, состояния здоровья или регулирующего органа.

Сбор данных на основе реестра источников

Сбор данных контролируется реестром источников — таблицей конфигурации отслеживаемых точек входа, а не тем, что наиболее высоко ранжировано поисковой системой. Каждая строка описывает один источник согласно фиксированной схеме: название издателя, способ доступа, частота опроса, уровень авторитетности, ограничения на повторное использование, условия лицензирования и правила извлечения дат.

Существует четыре уровня авторитетности:

• T1 включает основные реестры определенной области, такие как законодательство, официальные источники судебных решений или индексы цитат.
• T2 включает официальные государственные органы и регулирующие структуры.

• T3 относится к ведущим организациям и профессиональным ассоциациям.
• T4 относится к надежным СМИ и комментариям.

Каждая строка также содержит одно из трех ограничений повторного использования для соблюдения условий издателя:

• REUSE_OK означает, что полный текст можно сохранять, поскольку это разрешено открытой лицензией.
• LINK_SUMMARISE_ONLY означает, что сохраняются только гиперссылка и краткий отрывок.
• NO_BULK исключает данную запись из автоматического поиска и отправляет её на ручную проверку.

В строках также фиксируется информация о хосте, например задержки при обходе сайта или лимит для центральных страниц — например, менее трех статей с датами. Без этих записей строка представляет собой статическую закладку, которую сборщик не может безопасно использовать.

Та же структура регистров применяется и к другим полям:

• Для научных исследований строки T1 указывают на индексы цитирования, такие как MEDLINE, Crossref и OpenAlex, в сочетании с репозиториями полных текстов открытого доступа и каналами публикаций журналов, настроенными на отображение только аннотаций или ссылок.
• Для управления личным здоровьем строки указывают на официальные рекомендации по лечению определённых заболеваний, а также на информацию о медицинских препаратах от регулирующих органов, плюс проверенные клинические каналы.
• Для отслеживания юридических вопросов и судебных процессов основная строка T1 отслеживает официальный канал публикации решений судов.

Динамический механизм поиска дополняет фиксированный список, чтобы база данных не устаревала. Каждое утро он выполняет несколько целенаправленных поисков во вспомогательном списке источников, ограниченных лимитами по количеству слов, числом попыток загрузки с каждого источника и общим лимитом страниц за одну процедуру поиска. Для обеспечения временной точности любые страницы без подтвержденной даты публикации или с будущей датой автоматически исключаются. Единственным исключением являются консультации с установленной датой завершения: они попадают в список наблюдения, ежедневно снова загружаются и отмечаются как актуальные вопросы. Страницы с хостов, отсутствующих в списке, получают низкий уровень авторитетности, поэтому комментарии извне маркируются как таковые.

Прямой доступ к реестрам высшего уровня

У каждой области существует основной источник, имеющий приоритет над остальными — будь то реестр законодательства, основной индекс цитат или источник судебных решений. Сборщик данных читает этот контент через структурированные API. Например, система NDIS получает основные законы из API OData Федерального реестра законодательства. Она предпочитает структурированные файлы формата EPUB файлам PDF и ежедневно проверяет изменения с использованием сохраненного указателя, чтобы выявить новые данные. Длинные тексты законов разбиваются на фрагменты по 60 000 символов, которые извлекаются по частям, чтобы не превысить ограничения модели.

Явные идентификаторы позволяют отличить реальные изменения в законодательстве от обычной переиндексации:

• Новые законы — это только что принятые законы парламентом, которые запускают уведомления о активных изменениях.

Компиляции представляют собой объединенные основные тексты с включенными предыдущими изменениями. Планировщик обработки отмечает их как фоновые ссылки, поэтому при регулярном переиндексировании никогда не появляются ложные уведомления о изменениях.

Обработка данных отдельно от публикации

Необработанные данные хэшируются с использованием SHA-256 и сохраняются в Postgres до начала любой обработки, поэтому объем хранилища увеличивается при каждой операции независимо от того, публикуется ли какое-либо издание. Статус публикации определяется детерминированно с помощью ограничения UNIQUE(briefing_date, channel), которое хранит сериализованный контент и его JSON-хеш. Если операция завершается с ошибкой или доставка в канал не происходит, следующая операция находит ожидающую заявку и загружает замороженный контент вместо того, чтобы создавать новый текст.

Три вида утренних операций оставляют разные следы:

• В тихое утро, когда нет новых данных, документы отмечаются как проанализированные в рамках одной транзакции и удаляются.
• В утренний период, когда проект был отклонён рецензентом, строка с оценкой не записывается, и документы возвращаются в очередь на следующее утро.
• В утренний период публикации указанные документы отмечаются как обработанные и удаляются.

Сохранение первоначального варианта обеспечивает строгую временную прослеживаемость. Вопрос, заданный в марте о том, что было известно в январе, отвечается исключительно на основе фрагментов, сохранённых в январе и не изменённых последующими правками в онлайн-версии.

Редакционный стол

Чтобы избежать галлюцинаций, при составлении текста соблюдается одно строгое правило: модель никогда не работает напрямую с фактами из реального мира.

Код удаляет все буквальные даты и URL-адреса из пакета доказательств до того, как он попадает к составителю. Метод проверки на основе детерминистических шаблонов отклоняет любые проекты, указывающие на юридический или операционный статус, такой как «в силе» или «начат». Проверенные даты возвращаются только после принятия проекта, загружаемые из полей базы данных, чтобы их происхождение сохранялось в тексте. Это правило полезно во всех упомянутых областях: размеры выборок, оценки эффекта и дозировки лекарств остаются привязанными к записям базы данных и не попадают в параметрическую память модели.

Рабочий процесс основан на детерминистическом многоэтапном подходе:

1. Планирование и исключение. Специалист по планированию относит каждый документ к определенной категории или указывает конкретную причину его исключения, например дублирование, незначительность или недостаточность доказательств.

Составление и проверка. Автор составляет краткий текст объемом менее 400 слов с строгим ограничением на количество цитируемых фрагментов. Детерминистический проверщик анализирует каждую цитату до того, как текст прочитает рецензент.

Рецензирование двумя рецензентами. Первый рецензент может одобрить текст, отклонить его или попросить внести одну конкретную корректировку. Затем второй рецензент независимо проверяет текст, уделяя внимание только нерешенным вопросам, связанным с датами или статусом. Отклонение со стороны любого из рецензентов приводит к отказу в публикации издания.

Вставка данных с указанием источника. Перед публикацией специалист берет проверенные даты и ссылки из хранилища и вставляет их в текст.

Схемы JSON, детерминистичные валидаторы, два критика и один рендерер определяют контракт. Общедоступный текст можно обрабатывать с использованием инференса, размещённого где угодно, но хранилища, содержащие конфиденциальную медицинскую информацию или непубликованные исследования, должны выполнять инференс в пределах локальных границ.

Запросы через MCP и объединение приватного контекста в рамках сессии

Только для чтения сервер, реализующий протокол Model Context Protocol, предоставляет доступ к постоянному хранилищу через три инструмента: search_knowledge_base, get_document и list_changes. Для обеспечения достоверности фактов выдержки, полученные на стороне сервера, должны заканчиваться на границах слов. Фрагмент текста, обрезанный посередине слова, побуждает генеративную модель правдоподобно завершить отсутствующий текст на уровне представления, что является риском, неприемлемым в случае доз лекарств или юридических ограничений.

Общедоступные данные одинаковы для всех в определенной области, но каждый пользователь работает с собственным локальным контекстом. Команда по соблюдению правил хочет, чтобы новое правило оценивалось с учетом внутренней политики, а врач — чтобы обновленные исследования анализировались на фоне истории болезни конкретного пациента. Смешивание общедоступных данных и конфиденциальных локальных записей в одной базе данных создаст серьезные проблемы с прослеживаемостью данных и защитой приватности.

Поэтому архитектура разделяет общедоступное хранилище и локальный контекст. Конфиденциальные личные и клинические данные остаются в аутентифицированных локальных средах за строгими барьерами безопасности. Проверенные общедоступные факты по запросу поступают с сервера MCP с режимом только для чтения, и ассистент объединяет их с локальными записями исключительно в рамках текущей сессии пользователя. Локальный контекст никогда не попадает в общее хранилище, что позволяет делить общедоступную базу данных между множеством пользователей.

Почему открытый поиск и простое извлечение данных не справляются

Использование автономного агента, ориентированного непосредственно на открытый веб-поиск или стандартный коннектор RAG, не соответствует требованиям к надежности в критически важных сферах. Функция реального времени игнорирует ограничения на повторное использование контента издателями, не сохраняет хэшированные данные о происхождении информации, которые мог бы проверить аудитор, и не может указать, что изменилось с прошлого дня. При запросах, выходящих за рамки индексированной информации, агент без достаточных данных склонен к догадкам или завершению фактов неполностью, что приводит к ошибкам в последующем анализе.

Такая же концепция применима к нескольким сценариям:

• В сфере NDIS и других программах для людей с ограниченными возможностями изменения в законодательстве и тарифах формируют контекст государственной политики, в то время как бюджеты участников и записи по их делам соответствуют этому контексту только во время прямой сессии.

В научных исследованиях основные индексы цитирований и репозитории с открытым доступом отслеживают опубликованную литературу, в то время как неопубликованные результаты лабораторных исследований остаются изолированными.

В управлении здравоохранением рекомендации клинических экспертов и данные регулирующих органов об лекарствах предоставляют проверенные публичные доказательства, в то время как диагностические и медицинские записи остаются конфиденциальными и хранятся локально.

В сфере соблюдения законодательства и нормативов регламенты законодательства и базы судебных решений устанавливают общественные стандарты, в то время как внутренние руководства по политике находятся под защитой локальной аутентификации.

Полагаться на точность фактов у необоснованной языковой модели — это риск. Структурированный реестр источников, база данных, сохраняющая информацию в первую очередь, редакционный отдел с двумя критиками и сервер MCP с правом только на чтение, работающий в фоновом режиме у ассистента, вместе превращают временные обновления из Интернета в базу знаний, которая является авторитетной, обеспечивающей конфиденциальность и надежной.