Кейси / Grant Radar

Наш власний продукт · ETL

Можливості фінансування з багатьох джерел,
Один каталог на 5 мов

Grant Radar – це наша служба моніторингу грантів. Щоденне завдання збирає дані з порталів ЄС та сайтів фінансувальних організацій, очищує їх та публікує інформацію у форматі карток, яку можна шукати, англійською, польською, російською, українською та німецькою мовами.

Потік даних ETL

Від сторінки фінансувача до перекладеної картки

Кожен етап працює самостійно та фіксує виконані дії, тому одне несправне джерело не зупиняє решту.

Вилучення даних

Запуск процесу відбувається щоранку о 06:00 за часом Варшави. Він зчитує API порталу EU Funding & Tenders та адаптери, спеціалізовані на певних джерелах, такі як Interreg, Vinnova та EEA. Реєстр приблизно з 300 джерел ЄС визначає, які з них потребують обробки, і кожен запуск фіксується.

Нормалізувати та усунути дублікати

Назви, суми, терміни та країни-учасниці об’єднуються в одну модель. Грант, отриманий з двох джерел, зберігається лише один раз, а дзвінки з закінченим терміном позначаються як закриті.

Класифікація

Кожен дзвінок отримує тип (дослідження, інновації, культура, освіта, соціальні питання, навколишнє середовище, охорона здоров’я), статус та країну фінансувальної організації, що використовується для фільтрів та статистики.

Переклад

Завдання з перекладу надсилає нові тексти пакетами до нашої місцевої служби перекладу та зберігає результати для кожної мови поруч із оригіналом. Служба працює на нашому власному обладнанні, тому тексти заявок не надсилаються до хмарних моделей машинного навчання.

Завантаження та обробка

Інформація про заявки потрапляє до бази даних та відображається на панелі керування з можливістю повнотекстового пошуку та фільтрації за типом, статусом, країною, типом заявника та сумою. Сторінки заявок генеруються на сервері, тож пошукові системи можуть їх читати.

Мова визначається читачем

Текст гранту відображається мовою інтерфейсу. Окремої кнопки для перекладу немає: зміна мови автоматично змінює картку.

Перевірено та сплановано

Що вже реалізовано сьогодні та що залишається планом

Біг

Щоденне збирання даних з порталів ЄС та адаптерів, усунення дублікатів, закриття дзвінків з закінченим терміном, переклад на 5 мов, публікація карток грантів, пошук та фільтри після входу.

Ще ні

Багато джерел з реєстру перевіряються лише до моменту створення спеціалізованого адаптера, а джерела з захистом від ботів ігноруються. Довгі описи та умови перекладаються окремо, у повільнішому режимі.

Часто ставлені запитання

Про цю справу

Ні. Це наш власний продукт, тому ми можемо детально описати, як він працює. Тут не відображаються дані клієнтів чи результати.
Англійська, польська, російська, українська та німецька. Додавання мови означає її включення до інтерфейсу та до процесу перекладу.
Вартість та контроль. Щотижня перекладаються тисячі текстів, а локальний сервіс зберігає їх на нашому обладнанні.
Так. Кожне джерело є адаптером із власним графіком та журналом подій, тому нові джерела додаються без змін решти конвеєра.

Потрібна система моніторингу на кшталт цієї?

Скажіть нам, які джерела ви використовуєте та якими мовами працює ваша команда. Ми відповімо протягом одного робочого дня.