首页 / 文章 / 实用笔记：超越RAG——为何人工智能系统需要语义层

semantic-layer rags knowledge-graph enterprise-ai llm rag

实用笔记：超越RAG——为何人工智能系统需要语义层

《实用笔记》操作指南：超越RAG——为何AI系统需要语义层：为采用该模式的团队提供的合同、校验机制以及可直接插入的代码模块。

2328 词

本指南将逐步构建从原始材料到可运行系统的完整流程，主题为《超越RAG：为何AI系统需要语义层》。重点在于可操作的步骤、明确的检查点，以及可直接放入代码库的代码，无需猜测其用途。在概览阶段，应在修改代码之前明确输入参数、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行该步骤，而无需推测隐藏的状态。相比庞大的脚本，更应采用小型且可测试的单元。当某个步骤失败时，故障原因应能明确指向单一责任模块，而非复杂的流程链。

RAG功能强大——但仅能解决部分问题

在处理“RAG确实强大”这一阶段时，首先要列出相关约定：所需的输入参数、成功标志，以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，绝不允许出现无声的半完成状态。在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。

1. 碎片化检索

在处理“1 分片检索”阶段时，首先写下相关规范：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。

Chunk 1: Atlas Enterprise — vendor, category
Chunk 2: Pricing — base fee, usage fee
Chunk 3: Risks — lock-in, migration, data residency

2. 不进行关系遍历

在处理“无关系遍历”阶段时，首先需明确相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，以便操作人员无需查看整个系统结构即可进行审计。在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。在处理“无关系遍历”阶段时，首先需明确相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。相比庞大的脚本，更应优先使用小型且可测试的单元。当某个步骤出现故障时，故障原因应能指向单一责任模块，而非复杂的流程链。

NVIDIA
   ↓ HAS_STRATEGIC_PARTNER
Company
   ↓ HELD_BY
ETF

?nvidia corp:hasStrategicPartner ?company .
?etf etf:hasConstituent ?company .

3. 实体歧义

将“实体歧义”这一阶段视为可测量的层面来处理效果最佳。在扩大范围之前，需收集一份理想的转录文本、一个失败案例以及回滚说明。应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。需将分块策略与检索策略分开。当质量指标发生变化时，调整其中一项不应强制要求重新编写另一项。

NVIDIA     → Company
NVIDIA International  → Subsidiary
NVIDIA AI Enterprise    → Product

4. 无精确的数值过滤机制

当将“4个无精确数值阶段”视为可测量的表面时，其效果最佳。在扩大范围之前，先记录一份成功的案例、一个失败案例以及回滚说明。在功能结果旁记录处理时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。

SELECT customer_id
FROM customer_metrics
WHERE annual_revenue > 1000000
  AND churn_probability < 0.05;

一个问题需要多个引擎

“一个问题需多阶段处理”这一方法在被视为可度量的对象时效果最佳。在扩大范围之前，应先记录一份理想的处理结果、一个故障案例以及回滚说明。配置应与应用程序代码分开存放。环境文件、密钥存储和功能开关应集中于一处，以便操作人员无需查看整个系统结构即可进行审计。分块策略与检索策略应相互独立。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。 “一个问题需多阶段处理”这一方法在被视为可度量的对象时效果最佳。在扩大范围之前，应先记录一份理想的处理结果、一个故障案例以及回滚说明。相比庞大的脚本，更应采用小型且可测试的单元。当某个步骤出现故障时，故障原因应能明确指向单一责任模块，而非复杂的处理流程。

Vector → meaning and unstructured text
BM25   → exact lexical matching
Graph  → relationships and multi-hop traversal
SQL    → filters, numbers and aggregation

真正的挑战：分解、路由与映射

在“真正的挑战”中的分解阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功检测标准，并拒绝默许的半完成状态。需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分幻觉内容与索引缺失的问题。

分解

在分解阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前显示成本信息，可避免在从演示环境过渡到共享环境时出现意外费用。必须注明支撑答案的具体内容出处；没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

1. Resolve NVIDIA as a Company
2. Find its strategic partners
3. Find ETFs holding those companies
4. Filter AUM > $1B
5. Retrieve the latest research reports
6. Identify positive views

路由

在路由阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。在路由阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相较于庞大的脚本，应优先使用小型且可测试的单元。当某个步骤失败时，故障原因应能明确指向某个特定功能，而非整个复杂的流程。

relationships → Graph
AUM           → SQL
research view → Vector Search

映射

在处理映射阶段时，首先写下相关契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。将此阶段视为输入与验证后输出之间的契约。为相关成果命名，明确成功判定标准，杜绝无声的半完成状态。在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。

NET_ASSET_AMT
AUM_USD
FUND_NET_ASSET

进入语义层

在进入“构建语义层”阶段时，首先需列出相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免从演示环境过渡到共享环境时出现意外费用。在调整提示词之前，先使用固定的问题集测试召回率。仅仅更换提示词往往无法改善较差的检索效果。

Company
Strategic Partner
ETF
Constituent
Assets Under Management
Research Report

Assets Under Management
 ├─ business definition
 ├─ currency / unit
 ├─ effective date
 ├─ authoritative source
 └─ physical column

实际应用中是怎样的？

在“这看起来像什么”阶段工作时，首先写下相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，以便操作人员无需查看整个系统结构即可进行审计。在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。在“这看起来像什么”阶段工作时，首先写下相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。优先选择小型且可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障应能指向单一的责任模块，而不是复杂的流程链。

semantic_layer/
├── ontology/
│   ├── tbox.ttl              # classes and relationships
│   └── vocabulary.yaml       # business terms and synonyms
├── schemas/
│   ├── rdb.yaml              # tables, columns, types
│   ├── graph.yaml            # entities, predicates, graph paths
│   └── vector.yaml           # indexes and document metadata
├── semantics/
│   ├── metrics.yaml          # governed metrics such as AUM
│   ├── mappings.yaml         # concept → physical source mapping
│   └── relationships.yaml    # cross-domain relationships
├── query/
│   ├── routing.yaml          # Graph vs SQL vs Vector routing
│   └── examples.yaml         # representative query plans
└── validation/
    └── rules.yaml            # allowed fields and business rules

从语义层到语义运行时

将“从语义层到”这一阶段视为可度量的环节最为有效。在扩大范围之前，先记录一份最佳示例、一个失败案例以及回滚说明。应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。需将分块策略与检索策略分开。当质量指标发生变化时，调整其中一项不应强制重新编写另一项。

User → LLM → Tools

User
 ↓
Semantic Resolution
 ↓
Logical Query Plan
 ↓
Validated Execution
 ↓
Evidence
 ↓
LLM

为何开放式语义交互如此重要

将“Why Open Semantic Interchange”阶段视为可度量的对象来处理时效果最佳。在扩大范围之前，先记录一份理想的测试案例、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况，就能避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开，当质量指标发生变化时，修改其中一项无需强制重写另一项。

version: "0.2.0.dev0"
semantic_model:
  - name: investment_products
    datasets:
      - name: etf
        source: analytics.dim_etf
        fields:
          - name: aum
            datatype: Decimal
            ai_context:
              synonyms: ["assets under management", "net assets"]
    metrics:
      - name: total_aum
        expression:
          dialects:
            - dialect: ANSI_SQL
              expression: SUM(etf.aum)

┌→ BI
                  ├→ Analytics
Semantic Model ───┼→ AI Agents
                  ├→ Data Catalogs
                  └→ Data Applications

Customer is an Organization
Company HAS_SUBSIDIARY Company
Company OWNS_PRODUCT Product
Document DESCRIBES Entity

整合应用

将“整合所有要素”这一阶段视为可度量的对象来处理效果最佳。在扩大范围之前，先记录一份理想的流程示例、一个故障案例以及回滚说明。应将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处，以便操作人员无需查看整个系统结构即可进行审计。需将分块策略与检索策略区分开来。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。将“整合所有要素”这一阶段视为可度量的对象来处理效果最佳。在扩大范围之前，先记录一份理想的流程示例、一个故障案例以及回滚说明。相比庞大的脚本，更应采用小型且可测试的单元。当某个步骤出现故障时，故障原因应能明确指向单一责任模块，而非复杂的流程链。

更大的变革

在“更大规模变革”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分幻觉内容与索引缺失问题。

LLM + Prompt
     ↓
LLM + RAG
     ↓
LLM + Tools
     ↓
LLM + Federated Data
     ↓
Semantic Layer + Federated Execution + LLM

操作检查清单

将“操作检查清单”阶段视为可度量的基准，效果最佳。在扩大范围之前，需记录一份理想流程案例、一个故障案例以及回滚说明。

同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理方式都是产品的一部分，而非后续需要完善的内容。

将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。

在预算允许的情况下，使用测试数据而非真实的付费 API，在持续集成过程中添加用于检测关键路径的冒烟测试。

优先选择小型、可测试的单元，而非庞大的脚本。当某个步骤失败时，故障应能指向单一责任点，而非复杂的流程链。

将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。

在推广该技术栈之前，先冻结版本，为关键路径记录标准输出结果，并确认回滚步骤。共享环境需要设置速率限制、租户验证机制，以及明确的密钥轮换负责人。与其追求花哨的一次性演示，不如注重扎实的可靠性。

关于 9b6fa92e9bf6 的批处理说明：不要将提供者密钥放入代码仓库，为每个会话设置令牌上限，并将转录内容存储在评估测试用例的旁边，以便后续更换模型时仍能保持可比性。

全部文章发送简报