实用笔记:语义搜索与向量搜索:有何区别,以及
《实用笔记》操作指南:语义搜索与向量搜索有何区别,以及为采用该模式的团队提供的契约、检查项和可直接插入的代码片段。
本指南将逐步构建从原材料到可运行系统的完整流程,主题为“语义搜索与向量搜索:有何区别?它们在RAG中的定位是什么?”。重点在于可操作的步骤、明确的检查点,以及可直接放入代码仓库的代码,无需猜测其用途。 在概览阶段,应在修改代码之前明确输入内容、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏的状态。 建议使用小型、可测试的单元而非庞大的脚本。当某个步骤失败时,故障应指向单一责任点,而非复杂的流程链。
1. 从最简单的思维模型开始
在完成“从1开始”阶段时,首先写下契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功判定标准,杜绝默许的部分完成情况。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是造成资源浪费的常见原因。
关键词搜索
在处理关键词搜索阶段时,首先写下相关约定:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词往往无法改善较差的检索效果。
向量搜索
在处理向量搜索阶段时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集来衡量召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。 在处理向量搜索阶段时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 相较于庞大的脚本,应优先选择小型且可测试的单元。当某个步骤出现故障时,故障点应能指向单一的责任模块,而非复杂的流程链。
语义搜索
将语义搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。 把这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声无息的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制要求重新编写另一项。
Keyword Search
↓
Match words
Vector Search
↓
Match embedding similaritySemantic Search
↓
Match meaning / relevance
2. 什么是关键词搜索?
在将“关键词是什么”这一阶段视为可度量的指标时,其效果最佳。在扩大范围之前,先记录一份优秀的示例文本、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开,当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。
annual
leave
days
employees
关键词搜索表现优异的场景
将“Where”关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个故障案例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能标志应集中存放于一处,以便操作人员无需查看整个系统结构即可进行审计。 需将分块策略与检索策略区分开来。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。 将“Where”关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个故障案例以及回滚说明。 相比庞大的脚本,更应采用小型且可测试的单元。当某个步骤出现故障时,故障点应指向单一责任模块,而非复杂的处理流程。
INC-10996
PROD-12345
LAPTOP-XPS-15
HTTP 401
API-OrderService
3. 关键词搜索的局限性
在“限制”阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉与索引缺失。
annual leave
vacation time
4. 什么是向量搜索?
在“什么是向量”这一阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。除了功能结果外,还需记录执行时间以及令牌或查询成本。提前显示成本信息,可避免在从演示环境过渡到共享环境时出现意外费用。必须注明实际作为答案依据的段落;没有引用的话,操作人员就无法区分是幻觉内容还是索引缺失导致的错误。
"Employees are entitled to 20 days of annual leave."
↓
Embedding Model
↓
[0.12, -0.43, 0.78, 0.21, ...]
"How much vacation time can I take?"
↓
Embedding Model
↓
[0.15, -0.39, 0.75, 0.24, ...]
User Query
↓
Embedding
↓
Vector
↓
Compare with stored vectors
↓
Nearest / most similar vectors
↓
Relevant documents
annual leave
≈
vacation time
5. 那么向量搜索就是语义搜索吗?
在“5 So Is Vector”阶段,修改代码之前需先明确输入参数、该步骤的负责人以及终止条件。操作员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作员无需查看整个流程即可进行审核。 需引用实际作为答案依据的段落。若没有引用,操作员就无法区分是虚假信息还是索引缺失导致的问题。 在“5 So Is Vector”阶段,修改代码之前需先明确输入参数、该步骤的负责人以及终止条件。操作员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 相较于庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤失败时,故障原因应能明确指向某个具体的责任模块,而非整个复杂的流程。
不完全是。
在处理“不完全是”这一阶段时,首先需写下契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功判定标准,杜绝无声的半完成状态。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。
Semantic Search
│
├── Vector similarity
├── Query understanding
├── Semantic relevance
├── Ranking
└── Other relevance signals
6. 向量搜索与语义排序
在处理6个向量搜索阶段时,首先明确相关约定:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词很难改善较差的检索效果。
User Query
↓
Vector Search
↓
50 candidate documents
↓
Semantic Ranking
↓
Top 5 most relevant documents
7. 什么是混合搜索?
在完成“7个什么是混合系统”的阶段时,首先需写明相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词很难解决检索效果不佳的问题。 在完成“7个什么是混合系统”的阶段时,首先需写明相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 相比庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤出现故障时,故障点应指向单一职责,而非复杂的流程链。
Keyword Search
+
Vector Search
User Query
│
┌─────────┴─────────┐
↓ ↓
Keyword Search Vector Search
│ │
└─────────┬─────────┘
↓
Combined Results
↓
Ranking / Reranking
↓
Relevant Documents
自然语言
将自然语言处理阶段视为可测量的对象时,其效果最佳。在扩大范围之前,先记录一份理想的处理结果、一个失败案例以及回滚说明。 把这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声无息的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。
INC-10996
Customer-1234
HTTP-500
Order-98765
8. 一个真实的企业案例
将“8 A Real Enterprise”阶段视为可度量的指标体系时,其效果最佳。在扩大范围之前,先记录一份优秀的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外账单。应将分块策略与检索策略分开处理,当质量指标发生变化时,修改其中一项无需强制重写另一项。
INC-10231
Payment gateway timeout
INC-10287
Payment service unavailableINC-10492
Database connection pool exhaustedINC-10501
Payment API latency
关键词搜索
将关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处,以便操作人员无需查看整个系统结构即可进行审计。 需将分块策略与检索策略区分开来。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。 将关键词搜索阶段视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。 相比庞大的脚本,更应采用小型且可测试的单元。当某个步骤出现故障时,故障原因应能明确指向单一责任模块,而非复杂的流程链。
payment
timeout
向量搜索
在向量搜索阶段,修改代码之前需明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉内容与索引缺失问题。
timeout
latency
unavailable
connection problems
混合搜索
在混合搜索阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。除了功能结果外,还需记录执行时间以及令牌或查询成本。提前显示成本信息,可避免在从演示环境过渡到共享环境时出现意外费用。必须注明实际作为答案依据的段落内容;若没有引用,操作人员就无法区分幻觉内容与索引缺失造成的问题。
Exact lexical relevance
+
Semantic relevance
9. Azure AI Search的定位是什么?
对于“Azure在何处执行”这一问题,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作人员无需查看整个流程即可进行审计。 需引用实际作为答案依据的段落。若没有引用,操作人员就无法区分是虚假信息还是索引缺失导致的错误。 对于“Azure在何处执行”这一问题,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测其中的隐藏状态。 相较于庞大的脚本,应优先使用小型且可测试的单元。当某个步骤失败时,故障原因应能明确指向某个特定职责,而非整个复杂的流程。
Azure AI Search
│
┌────────────┼────────────┐
↓ ↓ ↓
Full-text Vector Semantic
Search Search Ranking
│ │ │
↓ ↓ ↓
Keywords Embeddings Relevance
10. RAG 应用于何处?
在完成“RAG 应用于何处?”的10个阶段时,首先写下相关契约:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功标准,杜绝默许的部分完成情况。 在调整提示词之前,先使用固定的问题集来衡量召回率。仅仅更换提示词很难解决检索效果不佳的问题。
User
↓
RAG System
↓
Azure AI Search
↓
Azure OpenAI
Retrieval
+
Augmentation
+
Generation
11. RAG 包含两个主要阶段
在完成11个RAG Has Two阶段的任务时,首先需列出相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词往往无法改善较差的检索效果。
第一阶段 — 知识准备
在完成第一阶段的知识准备工作时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理,以便操作人员无需查看整个系统结构即可进行审计。 在调整提示词之前,先使用固定的问题集测试系统的召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。 在完成第一阶段的知识准备工作时,首先需明确相关规范:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 相比庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤出现故障时,故障原因应能明确指向某个具体的功能模块,而非整个复杂的流程。
PDFs
SharePoint
Confluence
SQL Server
Word documents
APIs
↓
Document extraction
↓
Chunking
↓
Embeddings
↓
Search / Vector Index
Document content
Embeddings
Document ID
Page number
Title
Metadata
Permissions
12. 第二阶段——用户查询
将第二阶段的用户处理流程视为可度量的工作面,这样效果最佳。在扩大范围之前,需记录一份优质的处理案例、一个失败案例以及回滚说明。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,杜绝默许的半完成状态。 需将分块策略与检索策略分开。当质量指标发生变化时,调整其中一项不应强制要求重写另一项。
User
↓
Application
↓
Retrieval
↓
Azure AI Search
↓
Relevant chunks
↓
Augmentation
↓
Azure OpenAI
↓
Answer
13. 检索过程中究竟发生了什么?
将“13. 具体发生了什么”这一阶段视为可度量的对象来处理效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。
Keyword Search
+
Vector Search
+
Semantic Ranking
+
Filters
14. “增强”是什么意思?
把“14. 增强的含义”这一阶段当作可度量的对象来处理最为有效。在扩展范围之前,要记录一份理想的处理结果、一个故障案例以及回滚说明。
System:
Answer using the provided company information.
Context:
Employees are entitled to 20 days of annual leave.User:
How many vacation days can I take?
15. 接下来是生成阶段
Retrieved Context
+
User Question
↓
Azure OpenAI
↓
Generated Answer
16. 那么RAG究竟位于何处?
RAG
│
┌────────────┼────────────┐
↓ ↓ ↓
RETRIEVE AUGMENT GENERATE
│ │ │
↓ ↓ ↓
Azure AI Search Context Azure OpenAI
│
┌─────┼─────┐
↓ ↓ ↓
Keyword Vector Hybrid
Search Search Search
17. Azure AI Search与RAG是一样的吗?
RAG
│
├── Retrieval → Azure AI Search
│
├── Augmentation → Add retrieved context
│
└── Generation → Azure OpenAI
18. Semantic Kernel属于RAG吗?
ASP.NET Core
↓
Semantic Kernel
│
├────→ Azure AI Search
│ ↓
│ Relevant chunks
│
└────→ Azure OpenAI
↓
Answer
19. RAG需要向量搜索吗?
基于关键词的RAG
User
↓
Keyword Search
↓
Documents
↓
LLM
基于向量的RAG
User
↓
Vector Search
↓
Documents
↓
LLM
混合式RAG
User
↓
Keyword + Vector
↓
Hybrid Search
↓
Documents
↓
LLM
20. 完整的企业级视角
KNOWLEDGE SOURCES
│
┌────────────────┼─────────────────┐
↓ ↓ ↓
PDFs SQL Server SharePoint
│ │ │
└────────────────┼─────────────────┘
↓
Ingestion
↓
Chunking
↓
Embeddings
↓
┌────────────────────┐
│ Azure AI Search │
│ │
│ Text + Vectors + │
│ Metadata/Indexes │
└─────────┬──────────┘
│
INDEX IS READY
│
════════════════════════╪════════════════════════
│
USER QUERY
│
↓
ASP.NET Core API
│
↓
RAG Orchestration
│
↓
┌─────────────────┐
│ Azure AI Search │
│ │
│ Keyword │
│ Vector │
│ Hybrid │
│ Semantic Rank │
└────────┬────────┘
│
↓
Relevant Chunks
│
↓
Augmentation
│
↓
Azure OpenAI
│
↓
Answer