docling-pipelines 如何结合 OpenSearch 或 Milvus 为 RAG 存储文档向量
IBM docling-pipelines for RAG的向量数据库层:可插拔的OpenSearch和Milvus适配器、过期数据块清理、自动维度处理、JSON数据流功能。
来源: The Indexing Layer: How docling-pipelines Prepares Your Documents for RAG
所有用于解答有关私人文档问题的现代应用都依赖同一套模式,即检索增强生成技术,简称RAG。比如有人询问去年的合同适用哪些续订条款,或者供应商协议中规定了怎样的责任上限。在语言模型能够给出回复之前,必须先从数千份文件中找到相关段落,并以可用形式传递给模型。承担这一任务的正是向量数据库,而IBM开源的docling-pipelines项目中的vectordb操作符就承担着这一功能。
下文将阐述向量数据库的原理、RAG为何依赖它们,以及docling-pipelines如何将RAG流程中的存储部分转化为可通过JSON流程文件配置、必要时还能通过自定义操作符进行扩展的声明式结构。
RAG与向量数据库的角色
借助RAG,语言模型并非仅凭记忆来回答问题。系统首先从文档集合中检索出最相关的段落,并将其作为上下文放入提示词中。随后,模型会基于这些段落来生成答案,而非依赖训练过程中形成的统计规律。
向量数据库使得检索步骤成为可能。实际运作流程如下。
在索引生成时,集合中的每个文本片段都会被一个模型转换为一个数值向量,即嵌入向量,该模型能够学会将含义相似的文本在高维空间中放置得彼此靠近。这些向量会被存储在原始文本旁边。
在查询时,用户的提问会通过同一模型进行处理。数据库会执行最近邻搜索,返回那些向量与提问向量最为接近的片段。即便这些片段与提问没有共享任何关键词,它们在语义上仍具有相关性。模型会将这些片段作为上下文,从而生成有依据的答案。
为何普通数据库无法做到这一点
关系型数据库或文档数据库只能匹配关键词,而无法理解语义。即使“终止条款”与“合同退出条件”表达的是相同含义,搜索“终止条款”也不会返回相关段落。向量数据库则是基于语义而非字符来工作的。
在大规模应用中,若要逐一比对数百万个向量,速度将会慢得无法接受。因此向量数据库会使用近似最近邻索引,例如 HNSW(分层可导航小世界图)和 IVF(倒排文件索引)。这类索引虽然会略微降低召回率,但能显著降低延迟,而且这两种索引类型都是 vectordb 操作符中的常规配置选项。
docling-pipelines 支持哪些后端
该项目内置了对两种向量数据库后端——OpenSearch 和 Milvus 的支持。无需修改代码,只需通过流程 JSON 即可进行配置。操作符配置中的 "provider" 键用于选择后端,其余配置都会随之确定。
该操作器的六边形架构使得添加其他后端变得十分简单。无论是要支持 Qdrant、pgvector、Weaviate 还是其他任何系统,只需编写一个适配器类并将其注册即可,既无需修改操作器本身,也不需要改动流水线框架。
操作器的工作原理
在索引流水线中,vectordb 操作器负责数据存储。进入其 PyArrow 表格的行已经包含了以下字段:
- 原始文档文本;
doc_id_hash,为每份文档生成一个在每次运行时都保持不变的固定标识符;chunked_content列,即被分割成重叠窗口的文档内容;embeddings列,其中每个窗口对应一个由上游的embeddings操作器生成的数值向量。
该操作程序会获取该表格,将每个数据块及其嵌入信息和元数据写入向量数据库。在此过程中,它会创建或验证索引结构,批量插入数据,跟踪哪些数据块操作成功或失败,当文档内容发生变化时还会移除之前版本中过时的数据块。
六边形设计:可接入任意存储系统
该操作程序刻意不绑定于单一数据库,而是将后端工作交给实现 VectorStorePort 接口的适配器,该接口是一份抽象规范,明确了各类向量存储系统应具备的功能,包括 create_index()、index_documents()、refresh_index() 以及 delete_documents_by_ids() 等方法。
这是应用于管道操作符的六边形架构模式。关于存储内容的逻辑位于操作符中,而如何与特定后端进行通信的基础设施相关问题则由适配器处理。操作符仅调用端口接口,从不直接接触 OpenSearch 或 Milvus 协议。
VectorDBOperator
│
└── VectorStorePort (interface / abstract contract)
├── OpenSearchAdapter (ships with docling-pipelines)
├── MilvusAdapter (ships with docling-pipelines)
└── YourCustomAdapter (implement VectorStorePort → plug in)
要支持尚未被覆盖的数据库,需实现 VectorStorePort 并将该适配器注册到工厂中。之后,您的适配器名称即可用作流程 JSON 中的 "provider"。无论是操作符、周围的流水线,还是那些 type: vectordb 的现有流程,其余部分均无需更改。
分块文档与未分块文档
这两种模式都会被透明处理。当上游 chunker 操作符输出的内容被填充到 chunked_content 中时,每个数据块都会作为独立的文档被索引。其主键由父文件 ID、数据块索引以及数据块文本共同决定。而对于那些未进行分块处理、直接存储完整文档的表格,每一行都会作为一个独立单元被索引。操作符会自动选择对应的路径,无需额外设置标志。
清理过期的数据块
对于分块索引而言,更新操作总是个令人头疼的问题。如果某个文件的内容被修改后再次被导入,新的数据块将不再与之前存储的块匹配。处理方式是在插入新数据之前,先查找每份文档的现有块ID,计算旧块集与新块集之间的差异,删除过时的块后再写入新的数据批次。这样,无论处理流程对同一语料库运行多少次,索引都能反映当前文档的状态。
已为您检测到的向量维度
您无需手动统计维度并硬编码。当处理流程运行时,系统会读取表中的第一个非空嵌入向量,以其长度作为维度值。随后就会用该尺寸创建索引;如果索引已存在,则会依据该尺寸进行验证。
完整的RAG索引流程
这里的完整索引流程由五个通过depends_on边连接的运算符组成。此示例使用的是OpenSearch:
{
"flow_name": "rag-indexing-pipeline",
"global_config": {
"doc_column": "content",
"storage": "in-memory",
"execute_type": "local",
"enable_micro_batching": true,
"micro_batch_size": 10
},
"flow": [
{
"name": "ingest",
"type": "ingest_source",
"config": {
"provider": "filesystem",
"connection_params": { "paths": ["./documents"], "recursive": true },
"include_filter": "pdf,docx,txt"
}
},
{
"name": "extract",
"type": "extract_operator",
"depends_on": ["ingest"],
"config": {
"text_extraction": { "provider": "docling_library", "doc_column": "content" }
}
},
{
"name": "chunk",
"type": "chunker",
"depends_on": ["extract"],
"config": {
"doc_column": "content",
"chunk_size": 512,
"chunk_overlap": 50
}
},
{
"name": "embed",
"type": "embeddings",
"depends_on": ["chunk"],
"config": {
"provider": "litellm",
"embeddings_column": "embeddings",
"provider_config": {
"model_id": "openai/nomic-embed-text",
"api_base": "http://localhost:11434/v1",
"api_key": "${OLLAMA_API_KEY}"
}
}
},
{
"name": "store",
"type": "vectordb",
"depends_on": ["embed"],
"config": {
"provider": "opensearch",
"doc_id_column": "doc_id_hash",
"create_index": true,
"provider_config": {
"index_name": "my_rag_index",
"host": "localhost",
"port": 9200,
"username": "${OPENSEARCH_USERNAME}",
"password": "${OPENSEARCH_PASSWORD}",
"use_ssl": false,
"engine": "faiss",
"algorithm": "hnsw",
"space_type": "l2"
}
}
}
]
}
从命令行运行它:
docling-pipelines --flow-file rag-pipeline.json
./documents目录下的所有PDF、DOCX及纯文本文件都会被检测到、提取出来,并按512个标记为一个块,块与块之间有50个标记的重叠。这些设置位于chunker节点中,可自由修改。这些块会通过Ollama本地运行的nomic-embed-text模型进行嵌入处理,最终被写入为支持相似度搜索而配置的OpenSearch索引中。
该示例是从本地文件夹读取数据,但数据导入功能也支持S3、SharePoint、Google Drive、Box、OneDrive以及自定义数据加载器。只有ingest_source节点会发生变化,而包括vectordb在内的后续所有操作模块,无论文档来自何处都保持不变。
配备两种嵌入模型的Milvus
那些希望同时使用两种不同模型嵌入文档的团队,比如通用模型和领域专用模型,可以使用branching和merge操作符。处理流程包括数据摄取、提取、分块,接着分为两个嵌入步骤,最后合并并将结果写入Milvus。
Milvus适配器支持多个向量列。每个模型的输出都会存入集合中的独立向量字段,这样在查询时就可以进行集成检索:从每个模型的索引中获取最佳结果,再在排序前将它们合并起来。
增量索引
该处理程序设计为可以反复在不断增长的文档集中运行,而无需重新为所有内容建立索引。数据导入处理程序还会记住之前的运行记录,跳过那些哈希值和修改时间均未变化的文件。这样一来,只有新生成的文档和被修改过的文档会进入处理流程。这些文档的片段会被写入,已过期的旧文档片段会被删除,其余内容则保持不变。
对于针对持续增长的文档存储库而设置的定时处理流程,其运行时间取决于文档的变化量,而非文档集的总大小。
在整体架构中的定位
在文档处理流水线的RAG流程中,vectordb操作符负责向量存储。根据设计不同,它可能是最后一个节点,也可能之后还有其他节点。例如,document_set操作符可以将完整的增强版PyArrow表格保存到DuckDB中,以便日后与向量索引一起进行分析。
所有操作符都通过标准的 PyArrow 表结构进行通信,因此 vectordb 不关心其数据行来自何处,无论是本地文件夹、S3、SharePoint 还是自定义加载器。数据源与存储的便携性是由架构强制保障的固有特性,而非依赖惯例。该操作符可处理索引创建、批量写入、多向量列管理、过期数据块清理以及自动维度检测等功能,所有操作均由流程文件驱动,而数据块大小、重叠度、嵌入模型、索引算法及相似度度量标准则作为配置参数提供。
它是日益完善的处理管道生态系统中的组成部分,该项目以开源形式由 IBM 发布。如果您的向量数据库尚未得到支持,适配器接口是着手解决的起点。