向量数据库详解：RAG与AI搜索背后的技术引擎
了解向量数据库如何将文本转换为嵌入向量，为语义搜索和RAG流程提供支持，并推动推荐系统等实际人工智能应用的发展。
简介
人工智能已经渗透到软件开发的几乎每一个领域。
开发者们正以前所未有的速度推出人工智能代理，构建检索增强生成（RAG）流程，并将大型语言模型整合到各类日常产品中。
然而，在所有这些活动背后，有一项基础设施却很少得到应有的关注：
向量数据库。
如果你曾好奇ChatGPT是如何记录上下文的，现代搜索工具为何能理解用户意图而不仅仅是匹配关键词，或是RAG系统如何从包含数百万份文档的集合中提取相关信息，那么向量数据库正是将这一切联系在一起的缺失环节。
读完本文后，你应该能够解释：
- 向量数据库究竟是什么
传统数据库存在的问题
想象一下，你需要为公司构建一个内部人工智能助手的场景。
该公司存储着数千份文件：
- 人力资源政策
- 员工手册
- 产品文档
- 法律合同
- 内部知识库
假设有一名员工输入了这样的问题：
"我每年可以请多少天假？"
但实际上相关的政策文件用的是不同的表述：
"年度休假额度"
您看到不一致之处了吗？
员工使用的是“days off”来搜索。
而文档中使用的表述是“vacation entitlement”。
传统数据库通常只会进行精确的单词匹配搜索。
由于术语并不完全相同，它可能根本找不到正确的文档。
传统数据库在处理以下方面表现优异：
- 精确匹配查询
- 结构化查询
- 关系型数据
但在处理以下内容时则力不从心：
- 含义
- 上下文
- 语义关系
正是这一缺陷使得向量数据库变得重要。
什么是向量？
让我们用最简单的方式来解释。
人类的认知并不会将单词视为由孤立字母组成的字符串。
当您看到“King”这个词时：
国王
你的大脑会立刻将其与以下概念联系起来：
- 版税
- 领导力
- 王冠
- 权力
你的大脑实际上会将含义与关联信息一起存储。
有趣的是，机器学习模型也会做类似的事情。
它们会将文字、句子、图像乃至整份文档转化为数字数组，即：
向量（或嵌入）。
这些数字数组能够编码含义。
而不是保留原始文本：
King
模型反而会以数字形式来表示它，大致如下：
[0.83, -0.24, 0.67, 0.91, ...]
这里重要的并非具体的数值，而是该向量在更广阔的数学空间中的位置。
嵌入的魔力
机器学习研究中有个广为引用的例子是这样的：
King - Man + Woman ≈ Queen
为什么这种运算方式真的有效？
因为嵌入模型被训练用来捕捉概念之间的关联，而不仅仅是孤立的定义。
含义相近的词汇在向量空间中会处于彼此靠近的位置。
例如：
- Dog与Puppy的位置相近
- Cat与Kitten的位置相近
- Doctor与Physician的位置相近
这种邻近性使得人工智能系统能够基于含义进行推理，而无需完全依赖精确的措辞。
什么是向量数据库？
向量数据库是一种专为存储嵌入向量并高效检索它们而设计的系统。
不再使用以下方式查询：
“哪些文档包含这个确切的单词？”
现在你可以这样提问：
“哪些文档具有相似的含义？”
在底层机制中，数据库会找到与查询向量最为接近的向量。
这种查找机制被称为：
相似度搜索
即便需要扫描数百万份存储的文档，它的运行速度依然非常快。
RAG如何使用向量数据库
目前向量数据库最重要的应用场景之一是：
检索增强生成（RAG）
你可以把传统的大型语言模型想象成参加闭卷考试的学生。
这样的学生只能依靠事先记住的知识作答。
当问题超出他们所学范围时，他们可能会：
- 猜测
- 编造答案
- 给出错误答案
现在再想象同一位学生参加开卷考试的情形。
在这种情况下，他们可以：
- 阅读题目
- 在教科书中查找答案
RAG正是基于这一原理运行的。
工作流程
步骤1：将文档转换为嵌入向量
每份源文档都会被转换成向量表示形式。
步骤2：将它们存储在向量数据库中
这些向量会被建立索引，以便日后快速检索。
步骤3：将用户查询转换为嵌入向量
输入的查询会被映射到同一个向量空间中。
步骤4：查找相似文档
向量数据库会筛选出与查询最相关的内容片段。
步骤5：将上下文传递给大语言模型
检索到的内容会与原始查询一起传给模型。
步骤6：生成最终答案
大型语言模型会基于实际检索到的内容生成回应，而非纯粹的猜测。
这种方法大大减少了幻觉现象，并提升了答案的准确性。
为何文档分块很重要
刚进入这个领域的人往往会把所有注意力集中在选择“合适”的向量数据库上。
实际上，检索质量往往更取决于文档的分块方式。
如果分块过大
精确度会下降。
关键细节会被埋没在过于宽泛的分块中。
如果分块过小
上下文会丢失。
系统有可能检索到那些本身缺乏足够意义的片段。
一个合理的初始配置如下：
- 每个分块约包含300到500个标记
- 相邻分块之间有50到100个标记的重叠
更有效的办法：
在可行的情况下采用语义分块技术。
选对分块策略比更换底层数据库更能提升检索质量。
值得关注的向量数据库选项
ChromaDB
如果您是初学者，这是理想的选择。
它的优势在于：
- 易于设置
- 可在个人机器上正常运行
- 能与LangChain无缝集成
- 是学习RAG工作原理的绝佳实验环境
Qdrant
当性能是首要考虑因素时，这个选项表现突出。
它的特点包括：
- 开源代码库
- 使用Rust语言编写以提高速度
- 运行速度快且内存占用高效
- 文档结构清晰、内容详尽
Pinecone
对于生产级部署而言，这是首选方案。
其优势：
- 全托管基础设施
- 可随需求增长自动扩展
- 部署简单便捷
- 被广泛用于企业级人工智能架构中
Weaviate
这款数据库在混合搜索场景中表现优异。
它结合了：
- 基于向量的相似度搜索
- 传统的关键词搜索
在实际应用中，将这两种方法结合使用通常能获得更出色的检索效果。
除检索增强生成之外的应用场景
一个常见的误解是认为向量数据库仅适用于聊天机器人系统。
事实远非如此。
Spotify的音乐推荐功能
Spotify会将你的听歌历史转化为向量表示形式。
随后，它会寻找与你的听歌模式相似的歌曲。
正是通过这种机制，它才能推荐出你从未接触过但最终会喜欢的作品。
Netflix上的推荐功能
Netflix也采用类似的技术来推荐电影和剧集。
Pinterest的视觉搜索功能
假设你上传了一张客厅的照片。
Pinterest会将这张图片转换为向量，并寻找在视觉上相似的其他图片。
安全与威胁检测
典型的行为模式会在向量空间中聚集在一起。
偏离常规的行为则会出现在这些集群之外较远的位置。
这种分离使得能够发现异常情况以及潜在的安全威胁。
一种简单的理解方式
每当遇到任何基于人工智能的产品时，可以问自己：
- 这些数据能否表示为向量？
如果对这些问题的回答是肯定的，那么很可能背后就有向量数据库在发挥作用。
这一情况适用于许多领域：
- 对话式人工智能助手
- 推荐引擎
- 语义搜索工具
- 基于图像的搜索
- 欺诈检测
- 网络安全监控
所有这些应用背后的共同模式本质上是：
转换 → 存储 → 搜索 → 检索 → 生成
总结
向量数据库属于推动当今人工智能发展最重要的基础设施之一。
它们让机器能够依据语义进行搜索，而不仅仅依赖关键词匹配。
它们是RAG流程、AI智能体、推荐系统、语义搜索以及众多其他应用场景的基石。
如果你正在提升AI工程技能，掌握向量数据库的工作原理已不再是可有可无的附加知识，而是必备的核心能力。
一旦理解了这个概念，你就会发现向量数据库出现在AI领域的各个角落。
相关阅读
- 向量数据库详解：机器如何通过含义进行搜索 — 了解向量数据库如何将文本转换为数值嵌入以实现语义搜索，以及它们与传统数据库的区别。