首页 / 文章

实用笔记:超越嵌入技术——自动化文档验证与版本控制

《实用笔记》操作指南:超越嵌入技术——自动化文档验证,以及适用于采用该模式的团队的合同、检查项和即用型代码模块。

发布者:REACTAPP.TOP阅读约 6 分钟1291 词

来源: Beyond Embeddings: Automated Document Validation and Version Control for RAG Knowledge Bases

本指南将逐步构建从原始材料到可运行系统的完整流程,适用于项目“Beyond Embeddings:RAG知识库的自动化文档验证与版本控制”。重点在于可操作的步骤、明确的检查点,以及可直接放入代码仓库的代码,无需猜测其用途。 在概览阶段,应在修改代码之前明确输入参数、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行该步骤,而无需推测其中的隐藏状态。 配置信息应与应用程序代码分开存放。环境文件、密钥存储以及功能开关都应集中管理,这样操作人员只需查看相关部分即可,无需通读整个系统结构。

简介

在完成入门阶段时,首先写下契约内容:所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分,而非后续需要优化的内容。 在调整提示词之前,先使用固定的问题集来衡量检索效果。仅仅更换提示词很难解决检索能力不足的问题。

为何仅靠元数据行不通

在处理“为何仅靠元数据不可行”这一阶段时,首先需列出相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合要求。 相比庞大的脚本,应优先选择小型且可测试的单元。当某个步骤出现故障时,故障原因应能指向单一责任模块,而非复杂的流程链。 在调整提示词之前,需先使用固定的问题集来衡量检索的准确率。仅仅更换提示词往往无法解决检索效果不佳的问题。

import fitz  # PyMuPDF
from pypdf import PdfReader

doc = fitz.open("mining_act_2022.pdf")
metadata = doc.metadata

for key, value in metadata.items():
    print(f"{key}: {value} -> {type(value)}")
format: PDF 1.5 -> <class 'str'>
title: View - NSW legislation -> <class 'str'>
author: -> <class 'str'>
subject: -> <class 'str'>
keywords: PCO, Parliamentary Counsel's Office, ...
creator: -> <class 'str'>
producer: Prince 15.1 (www.princexml.com) -> <class 'str'>
creationDate: -> <class 'str'>
modDate: -> <class 'str'>
trapped: -> <class 'str'>
encryption: None -> <class 'NoneType'>

为何正则表达式和大型语言模型不够用

在处理“为什么需要正则表达式和大型语言模型”这一阶段时,首先要写明相关契约:所需的输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功判定标准,杜绝无声的半完成状态。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是造成资源浪费的常见原因。 在处理“为什么需要正则表达式和大型语言模型”这一阶段时,首先要写明相关契约:所需的输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。

方法论

将方法论阶段视为可度量的对象来处理效果最佳。在扩大范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。同时记录正常流程和恢复流程的文档。重试机制、人工审核环节以及死信处理都是产品本身的一部分,而非后续需要补充的内容。应将分块策略与检索策略分开,当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

元数据提取

将元数据提取阶段视为可度量的对象来处理,效果最佳。在扩大范围之前,先记录一份理想的转换结果、一个失败案例以及回滚说明。 优先选择小型且可测试的单元,而非庞大的脚本。当某个步骤出现故障时,故障应指向单一责任主体,而非复杂的流程链。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

# Example of document id generation
raw_bytes = Path(pdf_path).read_bytes()
content_hex = raw_bytes.hex()
doc_std_id = str(uuid.uuid5(DOCUMENT_ID_NAMESPACE, content_hex))
# Code Example of generating similarity id with minhash encoding
def _compute_doc_similarity_id(self, full_text: str) -> str:
    sketch = pyhyperminhash.Sketch()
    entry = pyhyperminhash.Entry()
    entry.add_bytes(full_text.encode("utf-8"))
    sketch.add_entry(entry)

    return base64.b64encode(sketch.save()).decode()
# Code Example of DocumentFingerprint Pydantic model class
class DocumentFingerprint(BaseModel):
    primary_entity: str
    entity_type: str
    key_words: list[str]

内容验证

将内容验证阶段视为可度量的工作面时,其效果最佳。在扩大范围之前,需记录一份理想样本、一个失败案例以及回滚说明。 应将此阶段视为输入与已验证输出之间的契约。为相关成果命名,明确成功标准,杜绝默许的半完成状态。 需将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制重新编写另一项。 将内容验证阶段视为可度量的工作面时,其效果最佳。在扩大范围之前,需记录一份理想样本、一个失败案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储及功能开关应集中存放于一处,以便操作人员无需查看整个系统结构即可进行审计。

# Coding Example for Jaccard similarity computation
import pyhyperminhash

new_sketch_bytes = base64.b64decode(new_doc_similarity_id)
new_sketch = pyhyperminhash.Sketch.load(new_sketch_bytes)

cand_sketch_bytes = base64.b64decode(candidate_similarity_id)
cand_sketch = pyhyperminhash.Sketch.load(cand_sketch_bytes)
jaccard_sim = new_sketch.similarity(cand_sketch)

jaccard_threshold = SIMILARITY_CONFIG["jaccard_threshold"]

if jaccard_sim < jaccard_threshold:
   print("New document detected")
   """
    Upload as a new document to vector daatabase
   """
else:
   print("Similar document detected")
   """
    Subsequent identity score calculation...
   """

结论

在结论阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和异常恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分,而非后续需要补充的内容。 必须引用实际作为答案依据的段落。如果没有引用,操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

运营检查清单

将运营检查清单阶段视为可衡量的工作面,效果会更好。在扩大范围之前,需记录一份最佳操作范例、一个故障案例以及回滚说明。

应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。

将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制要求重新编写另一项。

在预算允许的情况下,使用测试数据而非真实的付费 API,在持续集成过程中添加用于检测关键路径的冒烟测试。

将配置置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。

将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制要求重新编写另一项。

在升级技术栈之前,先冻结版本,为关键路径生成标准参考记录,并确认回滚步骤。共享环境需要设置速率限制、租户验证机制,以及明确的密钥轮换负责人。与其追求华丽的临时演示,不如注重扎实的可靠性。

关于4cd49d3b9b36的批量处理说明:请勿将提供者密钥放入代码仓库,需设定单会话令牌使用上限,并将转录内容存储在评估测试用例的旁边,以便后续模型更换时仍能保持可比性。

强化措施的第0阶段若被视为可量化的评估标准,则效果最佳。在扩大范围之前,应先收集一份理想的转录样本、一个失败案例以及回滚说明。将该阶段视为输入与经过验证的输出之间的契约,为相关文件命名,明确成功标准,杜绝默许的半完成状态。

强化措施细节0/869:需针对此项措施记录运行时间、错误类型及令牌消耗情况,然后依据固定的评估标准而非主观判断来决定是否保留该变更。