首页 / 文章 / 实用笔记:语义搜索与向量搜索:有何区别,以及

实用笔记:语义搜索与向量搜索:有何区别,以及

《实用笔记》操作指南:语义搜索与向量搜索有何区别,以及为采用该模式的团队提供的契约、检查项和可直接插入的代码片段。

3159 词

本指南将逐步构建从原材料到可运行系统的完整流程,主题为“语义搜索与向量搜索:有何区别?它们在RAG中的定位是什么?”。重点在于可操作的步骤、明确的检查点,以及可直接放入代码仓库的代码,无需猜测其用途。 在概览阶段,应在修改代码之前明确输入内容、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏的状态。 建议使用小型、可测试的单元而非庞大的脚本。当某个步骤失败时,故障应指向单一责任点,而非复杂的流程链。

1. 从最简单的思维模型开始

在完成“从1开始”阶段时,首先写下契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功判定标准,杜绝默许的部分完成情况。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是造成资源浪费的常见原因。

关键词搜索

在处理关键词搜索阶段时,首先写下相关约定:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词往往无法改善较差的检索效果。

向量搜索

在处理向量搜索阶段时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集来衡量召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。 在处理向量搜索阶段时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 相较于庞大的脚本,应优先选择小型且可测试的单元。当某个步骤出现故障时,故障点应能指向单一的责任模块,而非复杂的流程链。

语义搜索

将语义搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。 把这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声无息的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制要求重新编写另一项。

Keyword Search
     ↓
Match words
Vector Search
     ↓
Match embedding similaritySemantic Search
     ↓
Match meaning / relevance

2. 什么是关键词搜索?

在将“关键词是什么”这一阶段视为可度量的指标时,其效果最佳。在扩大范围之前,先记录一份优秀的示例文本、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开,当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

annual
leave
days
employees

关键词搜索表现优异的场景

将“Where”关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个故障案例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能标志应集中存放于一处,以便操作人员无需查看整个系统结构即可进行审计。 需将分块策略与检索策略区分开来。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。 将“Where”关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个故障案例以及回滚说明。 相比庞大的脚本,更应采用小型且可测试的单元。当某个步骤出现故障时,故障点应指向单一责任模块,而非复杂的处理流程。

INC-10996
PROD-12345
LAPTOP-XPS-15
HTTP 401
API-OrderService

3. 关键词搜索的局限性

在“限制”阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉与索引缺失。

annual leave
vacation time

4. 什么是向量搜索?

在“什么是向量”这一阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。除了功能结果外,还需记录执行时间以及令牌或查询成本。提前显示成本信息,可避免在从演示环境过渡到共享环境时出现意外费用。必须注明实际作为答案依据的段落;没有引用的话,操作人员就无法区分是幻觉内容还是索引缺失导致的错误。

"Employees are entitled to 20 days of annual leave."
             ↓
        Embedding Model
             ↓
[0.12, -0.43, 0.78, 0.21, ...]
"How much vacation time can I take?"
             ↓
        Embedding Model
             ↓
[0.15, -0.39, 0.75, 0.24, ...]
User Query
    ↓
Embedding
    ↓
Vector
    ↓
Compare with stored vectors
    ↓
Nearest / most similar vectors
    ↓
Relevant documents
annual leave
      ≈
vacation time

5. 那么向量搜索就是语义搜索吗?

在“5 So Is Vector”阶段,修改代码之前需先明确输入参数、该步骤的负责人以及终止条件。操作员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作员无需查看整个流程即可进行审核。 需引用实际作为答案依据的段落。若没有引用,操作员就无法区分是虚假信息还是索引缺失导致的问题。 在“5 So Is Vector”阶段,修改代码之前需先明确输入参数、该步骤的负责人以及终止条件。操作员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 相较于庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤失败时,故障原因应能明确指向某个具体的责任模块,而非整个复杂的流程。

不完全是。

在处理“不完全是”这一阶段时,首先需写下契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功判定标准,杜绝无声的半完成状态。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。

Semantic Search
       │
       ├── Vector similarity
       ├── Query understanding
       ├── Semantic relevance
       ├── Ranking
       └── Other relevance signals

6. 向量搜索与语义排序

在处理6个向量搜索阶段时,首先明确相关约定:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词很难改善较差的检索效果。

User Query
     ↓
Vector Search
     ↓
50 candidate documents
     ↓
Semantic Ranking
     ↓
Top 5 most relevant documents

7. 什么是混合搜索?

在完成“7个什么是混合系统”的阶段时,首先需写明相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词很难解决检索效果不佳的问题。 在完成“7个什么是混合系统”的阶段时,首先需写明相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 相比庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤出现故障时,故障点应指向单一职责,而非复杂的流程链。

Keyword Search
       +
Vector Search
User Query
                        │
              ┌─────────┴─────────┐
              ↓                   ↓
       Keyword Search       Vector Search
              │                   │
              └─────────┬─────────┘
                        ↓
                 Combined Results
                        ↓
                 Ranking / Reranking
                        ↓
                 Relevant Documents

自然语言

将自然语言处理阶段视为可测量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个失败案例以及回滚说明。 把这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声无息的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

INC-10996
Customer-1234
HTTP-500
Order-98765

8. 一个真实的企业案例

将“8 A Real Enterprise”阶段视为可度量的指标体系时,其效果最佳。在扩大范围之前,先记录一份优秀的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外账单。应将分块策略与检索策略分开处理,当质量指标发生变化时,修改其中一项无需强制重写另一项。

INC-10231
Payment gateway timeout
INC-10287
Payment service unavailableINC-10492
Database connection pool exhaustedINC-10501
Payment API latency

关键词搜索

将关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处,以便操作人员无需查看整个系统结构即可进行审计。 需将分块策略与检索策略区分开来。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。 将关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。 相比庞大的脚本,更应采用小型且可测试的单元。当某个步骤出现故障时,故障原因应能明确指向单一责任模块,而非复杂的流程链。

payment
timeout

向量搜索

在向量搜索阶段,修改代码之前需明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉内容与索引缺失问题。

timeout
latency
unavailable
connection problems

混合搜索

在混合搜索阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。除了功能结果外,还需记录执行时间以及令牌或查询成本。提前显示成本信息,可避免在从演示环境过渡到共享环境时出现意外费用。必须注明实际作为答案依据的段落内容;若没有引用,操作人员就无法区分幻觉内容与索引缺失造成的问题。

Exact lexical relevance
        +
Semantic relevance

9. Azure AI Search的定位是什么?

对于“Azure在何处执行”这一问题,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作人员无需查看整个流程即可进行审计。 需引用实际作为答案依据的段落。若没有引用,操作人员就无法区分是虚假信息还是索引缺失导致的错误。 对于“Azure在何处执行”这一问题,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 相较于庞大的脚本,应优先使用小型且可测试的单元。当某个步骤失败时,故障原因应能明确指向某个特定职责,而非整个复杂的流程。

Azure AI Search
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
    Full-text       Vector       Semantic
      Search        Search        Ranking
          │            │            │
          ↓            ↓            ↓
      Keywords      Embeddings    Relevance

10. RAG 应用于何处?

在完成“RAG 应用于何处?”的10个阶段时,首先写下相关契约:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功标准,杜绝默许的部分完成情况。 在调整提示词之前,先使用固定的问题集来衡量召回率。仅仅更换提示词很难解决检索效果不佳的问题。

User
  ↓
RAG System
  ↓
Azure AI Search
  ↓
Azure OpenAI
Retrieval
    +
Augmentation
    +
Generation

11. RAG 包含两个主要阶段

在完成11个RAG Has Two阶段的任务时,首先需列出相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词往往无法改善较差的检索效果。

第一阶段 — 知识准备

在完成第一阶段的知识准备工作时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集测试系统的召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。 在完成第一阶段的知识准备工作时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 相比庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤出现故障时,故障原因应能明确指向某个具体的功能模块,而非整个复杂的流程。

PDFs
SharePoint
Confluence
SQL Server
Word documents
APIs
     ↓
Document extraction
     ↓
Chunking
     ↓
Embeddings
     ↓
Search / Vector Index
Document content
Embeddings
Document ID
Page number
Title
Metadata
Permissions

12. 第二阶段——用户查询

将第二阶段的用户处理流程视为可度量的工作面,这样效果最佳。在扩大范围之前,需记录一份优质的处理案例、一个失败案例以及回滚说明。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,杜绝默许的半完成状态。 需将分块策略与检索策略分开。当质量指标发生变化时,调整其中一项不应强制要求重写另一项。

User
 ↓
Application
 ↓
Retrieval
 ↓
Azure AI Search
 ↓
Relevant chunks
 ↓
Augmentation
 ↓
Azure OpenAI
 ↓
Answer

13. 检索过程中究竟发生了什么?

将“13. 具体发生了什么”这一阶段视为可度量的对象来处理效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。

Keyword Search
       +
Vector Search
       +
Semantic Ranking
       +
Filters

14. “增强”是什么意思?

把“14. 增强的含义”这一阶段当作可度量的对象来处理最为有效。在扩展范围之前,要记录一份理想的处理结果、一个故障案例以及回滚说明。

System:
Answer using the provided company information.
Context:
Employees are entitled to 20 days of annual leave.User:
How many vacation days can I take?

15. 接下来是生成阶段

Retrieved Context
       +
User Question
       ↓
Azure OpenAI
       ↓
Generated Answer

16. 那么RAG究竟位于何处?

                         RAG
                          │
             ┌────────────┼────────────┐
             ↓            ↓            ↓
         RETRIEVE      AUGMENT      GENERATE
             │            │            │
             ↓            ↓            ↓
      Azure AI Search   Context     Azure OpenAI
             │
       ┌─────┼─────┐
       ↓     ↓     ↓
    Keyword Vector Hybrid
    Search  Search Search

17. Azure AI Search与RAG是一样的吗?

RAG
 │
 ├── Retrieval → Azure AI Search
 │
 ├── Augmentation → Add retrieved context
 │
 └── Generation → Azure OpenAI

18. Semantic Kernel属于RAG吗?

ASP.NET Core
      ↓
Semantic Kernel
      │
      ├────→ Azure AI Search
      │             ↓
      │        Relevant chunks
      │
      └────→ Azure OpenAI
                    ↓
                 Answer

19. RAG需要向量搜索吗?

基于关键词的RAG

User
 ↓
Keyword Search
 ↓
Documents
 ↓
LLM

基于向量的RAG

User
 ↓
Vector Search
 ↓
Documents
 ↓
LLM

混合式RAG

User
 ↓
Keyword + Vector
 ↓
Hybrid Search
 ↓
Documents
 ↓
LLM

20. 完整的企业级视角

KNOWLEDGE SOURCES
                        │
       ┌────────────────┼─────────────────┐
       ↓                ↓                 ↓
      PDFs           SQL Server       SharePoint
       │                │                 │
       └────────────────┼─────────────────┘
                        ↓
                   Ingestion
                        ↓
                    Chunking
                        ↓
                   Embeddings
                        ↓
              ┌────────────────────┐
              │ Azure AI Search    │
              │                    │
              │ Text + Vectors +   │
              │ Metadata/Indexes   │
              └─────────┬──────────┘
                        │
                 INDEX IS READY
                        │
════════════════════════╪════════════════════════
                        │
                    USER QUERY
                        │
                        ↓
                ASP.NET Core API
                        │
                        ↓
              RAG Orchestration
                        │
                        ↓
              ┌─────────────────┐
              │ Azure AI Search │
              │                 │
              │ Keyword         │
              │ Vector          │
              │ Hybrid          │
              │ Semantic Rank   │
              └────────┬────────┘
                       │
                       ↓
                Relevant Chunks
                       │
                       ↓
                  Augmentation
                       │
                       ↓
                 Azure OpenAI
                       │
                       ↓
                    Answer

21. 高级技术负责人的思维模型

22>面试级别的答案

操作检查清单