ETL处理流程
从招标公告到经过评分和翻译后的卡片
该监控系统在本地硬件上持续运行。每个处理阶段都有独立的队列,因此来源速度较慢或模型负载过高时,仅会影响该阶段自身的工作进度。
提取
无需登录的公共信息源:欧盟的IT服务招标信息、英国的Contracts Finder平台、加拿大的CanadaBuys开放数据、21种语言的新闻推送、Wikidata数据,以及用于抓取企业网站信息的爬虫工具。那些屏蔽了该爬虫的网站会被标记后不予处理。
规范化并去重
机构会通过名称和域名进行匹配,因此如果在招标信息或新闻中出现的同一家公司,会被视为同一条记录。预算金额会按照欧洲央行的参考汇率换算为欧元,存储的文本中也会删除电子邮件和电话号码。
分类与评分
系统会根据信息类型和新鲜度为证据打分,随后通过本地模型判断机构类型及IT需求。只有当证据中出现该机构的名称时才会保留记录,且每次被拒的原因都会被详细记录。
翻译
工作人员会识别信息源的语言,然后批量将机构名称、拒绝原因及证据标题发送至我们的本地翻译服务。原始文件绝不会被覆盖,且每份译文在保存前都会经过校验。
加载与提供
被认可的机构会被收录到目录中,并通过带筛选功能的实时仪表板展示招标详情及以欧元计价的项目金额。新内容可通过WebSocket直接显示在屏幕上,无需重新加载页面。
原始数据一键获取
每张卡片上会显示翻译内容并标注源语言,可通过切换按钮将整张卡片恢复为原文。仍在处理队列中的文本会以原文形式显示并附有说明,绝不会作为猜测结果呈现。
已验证且已规划
当前正在运行的功能以及仍处于计划阶段的功能
运行中
从招标和新闻来源持续收集信息,进行去重处理,通过本地模型进行评分,再将内容翻译成英语和俄语,同时生成招标详情页面和仪表板。这是一款内部工具,而非公共服务。
尚未
某些来源在能完整读取其详细信息之前需要专用适配器。对于语言无法被可靠识别的简短文本或混合语言文本,则不会进行翻译。
常见问题
关于此案例
否。这是我们用于查找需要IT服务的公司的内部工具,此处不会显示任何客户数据或结果。
仅使用本地模型进行评分和翻译,不会调用云端大语言模型或付费搜索API。
存储的页面文本中会移除电子邮件和电话号码,且不会提取人名;记录会保留诸如IT部门负责人之类的角色提示。
是。来源和查询模板可根据国家和语言进行配置,每个新来源都是带有独立日志的适配器。