Кейсы / Grant Radar

Наш собственный продукт · ETL

Возможности финансирования из множества источников,
Один каталог на 5 языков

Grant Radar — это наш сервис мониторинга грантов. Ежедневная задача собирает данные с порталов ЕС и сайтов финансирующих организаций, очищает их и публикует поисковые карточки на английском, польском, русском, украинском и немецком языках.

Конвейер ETL

От страницы финансиста до переведенной карточки

Каждый этап работает автономно и фиксирует свои действия, поэтому сбой в одном источнике не мешает остальным.

Извлечение данных

Запуск процесса планирования происходит каждое утро в 06:00 по времени Варшавы. Он считывает данные с API портала EU Funding & Tenders и специализированных адаптеров, таких как Interreg, Vinnova и EEA. Реестр примерно из 300 источников ЕС определяет, какие из них требуют обработки, причем каждый запуск фиксируется в журнале.

Нормализовать и устранить дубликаты

Названия, суммы, сроки и страны, имеющие право на получение гранта, объединяются в одну модель. Грант, поступивший из двух источников, сохраняется один раз, а звонки с истекшим сроком отмечаются как закрытые.

Классификация

Каждому звонку присваивается тип (исследования, инновации, культура, образование, социальные вопросы, окружающая среда, здравоохранение), статус и страна финансиста, что используется для фильтров и статистики.

Перевод

Задача на перевод отправляет новые тексты пакетами в наш локальный сервис перевода и сохраняет результаты на каждом языке рядом с оригиналом. Сервис работает на нашем собственном оборудовании, поэтому тексты заявок не отправляются в облачные ИИ-модели.

Загрузка и обслуживание

Карточки сохраняются в базе данных и отображаются на панели управления с возможностью полнотекстового поиска и фильтрацией по типу, статусу, стране, типу заявителя и сумме. Страницы заявок генерируются на сервере, что позволяет поисковым системам их читать.

Язык выбирается в зависимости от читателя

Текст гранта отображается на языке интерфейса. Отдельной кнопки для перевода нет: смена языка автоматически меняет карточку.

Проверено и запланировано

Что реализовано сейчас и что пока находится в планах

Бег

Ежедневный сбор данных с порталов ЕС и адаптеров, удаление дубликатов, закрытие просроченных звонков, перевод на 5 языков, публичные карточки грантов, поиск и фильтры после входа.

Ещё нет

Многие источники из реестра проверяются только до тех пор, пока не будет создан специальный адаптер, а источники с защитой от ботов игнорируются. Длинные описания и условия переводятся отдельно, в более медленном режиме.

Часто задаваемые вопросы

О данном случае

Нет. Это наш собственный продукт, поэтому мы можем подробно описать его работу. Здесь не отображаются данные клиентов или результаты.
Английский, польский, русский, украинский и немецкий. Добавление языка означает его включение в интерфейс и в процесс перевода.
Стоимость и контроль. Каждую неделю переводятся тысячи текстов, причем локальная служба хранит их на нашем оборудовании.
Да. Каждый источник представляет собой адаптер с собственным графиком и журналом записей, поэтому новые источники могут добавляться без изменения остальной части конвейера.

Нужна подобная система мониторинга?

Сообщите нам, какие источники вы используете и на каких языках работает ваша команда. Мы ответим в течение одного рабочего дня.