加入aiextract：构建包含三个组件的统一RAG流程

可将此文档视为《将ai_extract整合进来：利用三个Databricks SQL AI函数构建统一的RAG流程》中内容的面向操作人员的重构版本：清晰的阶段划分、有序的代码模块以及便于交接时参考的恢复说明。在扩大范围之前，应先确定一个最佳示例文本、一个故障案例以及相应的回滚说明。将该阶段视为输入与经过验证的输出之间的契约，为相关成果命名、明确成功标准，并杜绝默许的半完成状态。

为何元数据的重要性超出表面所见

在“为何元数据更为重要”这一阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。必须注明实际作为答案依据的段落；没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

三个功能的具体作用

在修改代码之前，对于这三个功能阶段，需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 需引用实际作为答案依据的段落。如果没有引用，操作人员就无法区分是虚假信息还是索引缺失导致的错误。

流水线：逐步解析

对于分阶段进行的流水线处理，应在修改代码之前明确各阶段的输入、负责人员以及终止标准。操作员应能够从已知的检查点重新运行相应步骤，而无需猜测其中的隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的功能。 必须引用那些真正作为答案依据的段落。如果没有引用，操作员就无法区分是虚假信息还是索引缺失导致的错误。 对于分阶段进行的流水线处理，应在修改代码之前明确各阶段的输入、负责人员以及终止标准。操作员应能够从已知的检查点重新运行相应步骤，而无需猜测其中的隐藏状态。 应将这一阶段视为输入与经过验证的输出之间的契约。为相关输出文件命名，明确成功判定标准，并杜绝无声无息的半完成状态。

步骤1：解析文档

在执行“步骤1：解析文档”阶段时，首先需记录下相关内容：所需输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改更加规范。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前，先使用固定的问题集测试召回率。仅仅更换提示词往往无法改善较差的检索效果。

SELECT
  path,
  ai_parse_document(
    content,
    MAP('version', '2.0')
  ) AS parsed
FROM READ_FILES(
  '/Volumes/<YOUR_CATALOG>/<YOUR_SCHEMA>/orion_docs/',
  format => 'binaryFile'
)

步骤2：使用ai_extract v2.1提取结构化元数据

在执行“第2步：提取结构化数据”阶段时，首先需记录下相关契约：所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前，需先用固定的问题集来测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。

WITH parsed_documents AS (
  SELECT path, ai_parse_document(content, MAP('version', '2.0')) AS parsed
  FROM READ_FILES('/Volumes/<YOUR_CATALOG>/<YOUR_SCHEMA>/orion_docs/', format => 'binaryFile')
)
SELECT
  path,
  ai_extract(
    parsed,
    '{
      "document_title":  {"type": "string", "description": "Main title or heading of the document"},
      "document_type":   {"type": "enum", "labels": ["manual", "datasheet", "guide", "report", "specification", "policy", "other"]},
      "product_name":    {"type": "string", "description": "Primary product or system referenced"},
      "version":         {"type": "string", "description": "Document or product version if mentioned"},
      "key_topics":      {"type": "array", "items": {"type": "string"}},
      "target_audience": {"type": "enum", "labels": ["engineer", "operator", "manager", "customer", "general"]}
    }',
    MAP(
      'version', '2.1',
      'instructions', 'These are technical documents from Orion Robotics. Extract metadata that would help users filter and find relevant documents.'
    )
  ) AS metadata
FROM parsed_documents

第3步：使用ai_prep_search()准备语义块

在完成第3步“准备语义”阶段时，首先需写下相关契约：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续需要补充的功能。 在调整提示词之前，需先用固定的问题集来衡量检索效果。仅仅更换提示词很难解决检索能力不足的问题。

WITH parsed_documents AS ( ... )
SELECT
  path,
  ai_prep_search(parsed) AS chunked
FROM parsed_documents

在完成第3步“准备语义”阶段时，首先需写下相关契约：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 应将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，并杜绝无声无息的部分完成情况。

第4步：将元数据与数据块整合为统一输出

在第4步的元数据整合阶段，若将其视为可度量的对象来处理，效果会更好。在扩大范围之前，先记录一份最佳结果文本、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况，可避免在系统从演示环境过渡到共享环境时出现意外费用。应将数据分块策略与检索策略分开，当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。

WITH parsed_documents AS (
  SELECT path, ai_parse_document(content, MAP('version', '2.0')) AS parsed
  FROM READ_FILES('/Volumes/<YOUR_CATALOG>/<YOUR_SCHEMA>/orion_docs/', format => 'binaryFile')
),
doc_metadata AS (
  SELECT
    path,
    parsed,
    ai_extract(
      parsed,
      '{ ... }',
      MAP('version', '2.1', 'instructions', 'These are technical documents from Orion Robotics. Extract metadata for search filtering.')
    ) AS metadata
  FROM parsed_documents
),
doc_chunks AS (
  SELECT path, ai_prep_search(parsed) AS chunked
  FROM doc_metadata
)
SELECT
  chunk.value:chunk_id::STRING          AS chunk_id,
  chunk.value:chunk_position::INT       AS chunk_position,
  chunk.value:chunk_to_retrieve::STRING AS chunk_to_retrieve,
  chunk.value:chunk_to_embed::STRING    AS chunk_to_embed,
  doc_chunks.chunked:document.source_uri::STRING AS source_uri,
  dm.metadata:response:document_title::STRING    AS document_title,
  dm.metadata:response:document_type::STRING     AS document_type,
  dm.metadata:response:product_name::STRING      AS product_name,
  dm.metadata:response:version::STRING           AS doc_version,
  dm.metadata:response:target_audience::STRING   AS target_audience
FROM
  doc_chunks
  JOIN doc_metadata dm ON doc_chunks.path = dm.path,
  LATERAL variant_explode(doc_chunks.chunked:document.contents) AS chunk

第5步：持久化到Delta存储并建立索引

将第5步“持久化到阶段”视为可度量的指标来处理效果最佳。在扩大范围之前，先记录一份优秀的转录结果、一个失败案例以及回滚说明。 配置应与应用程序代码分开存放。环境文件、密钥存储和功能标志应集中于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 分块策略与检索策略应相互独立。当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。

CREATE OR REPLACE TABLE <YOUR_CATALOG>.<YOUR_SCHEMA>.orion_docs_rag_chunks AS
-- [full CTE chain from Step 4]

为何这种设计适用于智能体

将“此设计为何有效”这一阶段视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一个理想案例、一个失败案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都属于产品本身的组成部分，而非后续需要补充的内容。 应将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。 将“此设计为何有效”这一阶段视为输入与已验证输出之间的契约。为相关成果命名，明确成功标准，杜绝默默完成部分任务的情况。

坦诚的局限性

在“诚实限制”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前显示成本信息，可避免在从演示环境过渡到共享环境时出现意外费用。必须注明支撑答案的具体内容出处；若没有引用，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

总结

在“最终思考”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审核。 需注明支撑答案的具体段落。如果没有引用，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

资源

在资源准备阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 必须引用实际作为答案依据的段落。如果没有引用，操作人员就无法区分是虚假信息还是索引缺失导致的错误。

操作检查清单

在处理操作检查清单阶段时，首先需明确相关约定：所需输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。

应优先选择小型、可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障原因应能指向单一责任模块，而非复杂的流程链。

在调整提示词之前，先使用固定的问题集来测试召回率。频繁更换提示词很难改善较差的检索效果。

锁定依赖版本，并记录用于演示的图像摘要。可重复性比经验知识更重要。

将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，拒绝默许的半完成状态。

在调整提示词之前，先使用固定的问题集来测试召回率。频繁更换提示词很难改善较差的检索效果。

在推广整个系统之前，先冻结版本，为关键流程保存标准记录，并确认回滚步骤。共享环境需要设置速率限制、进行租户检查，同时明确密钥轮换的负责人。与其追求华丽的临时演示，不如注重扎实的可靠性。

关于7a3f8fc3e730的批处理说明：不要将提供者密钥放入仓库中，为每个会话设置令牌上限，并将转录内容存储在评估测试用例的旁边，以便后续更换模型时仍能保持可比性。