作为文档感知型聊天机器人的向量大脑——ChromaDB

为何 RAG 需要向量存储，Chroma 的集合与元数据过滤器是如何工作的，以及应在何时在完成开发前先进行原型设计。

1352 词

ChromaDB：“与文档聊天”功能背后的向量存储

有些聊天机器人似乎能知晓你的文件——人力资源相关的PDF、产品目录，或是上周那份五十页长的报告。这种能力背后其实是一个向量数据库。对许多开发者而言，当需要快速搭建此类功能时，ChromaDB是首选。

Chroma解决的问题

大语言模型虽是强大的通用工具，却无法成为公司内部的得力员工：它们不了解上个季度的营收报告或休假政策。在私有文档上对其进行微调既缓慢又容易出问题。检索增强生成技术则通过将文档嵌入向量、存储这些向量、针对问题查找相似向量，再将这些片段作为上下文输入模型。

你需要一个地方来存储嵌入向量、筛选元数据并查询最相似的向量。Chroma旨在通过简洁的API成为这样的工具。

Chroma 是什么

这是一个开源的嵌入数据库，采用以 Python 为主的开发模式：可以创建集合，添加带有嵌入向量及元数据的文档，还能通过向量或文本（结合嵌入函数）进行查询。它既可用于原型开发，在进程内运行，也可作为服务供小型团队使用。

核心工作流程

安装并创建客户端/集合：

"The quarterly revenue exceeded projections."
→ [0.021, -0.143, 0.887, 0.002, ... ] (1536 numbers)

添加文本（Chroma 可以帮您调用嵌入函数）：

import chromadb

查询最近的文档片段：

client = chromadb.Client()
collection = client.create_collection("company-docs")collection.add(
    documents=["Q3 revenue exceeded projections by 12%"],
    metadatas=[{"department": "finance", "quarter": "Q3"}],
    ids=["doc-001"]
)

元数据过滤器可按产品线、租户或日期筛选结果：

results = collection.query(
    query_texts=["What was our budget performance last quarter?"],
    n_results=3,
    where={"department": "finance"}  # Optional metadata filter
)

数据持久化与客户端

临时客户端会随进程终止而消失——适合测试使用。持久化路径则能让数据在多次运行间保持不变：

System: You are a helpful assistant. Use the following context to answer.

当嵌入模式无法满足需求时，HTTP 客户端可与 Chroma 服务器通信：

Context:
- "Q3 revenue exceeded projections by 12%"
- "Engineering headcount grew to support product roadmap"
- "Marketing spend increased customer acquisition"User: How did we perform in Q3?

Chroma 的优势与替代方案对比

Chroma适用于本地应用、笔记本以及早期的RAG服务。当您需要多区域高可用性、复杂的混合搜索操作或极高的扩展规模时，建议考虑使用专为这些场景设计的集群（如Qdrant、Weaviate、大规模使用的pgvector等）。许多团队仍会先在Chroma上构建原型，之后再进行迁移。

最简RAG流程

嵌入问题，对集合进行查询，将文档放入提示词中，进而生成结果：

User Query
    ↓
Embedding Model
    ↓
Query Vector
    ↓
ChromaDB (HNSW Index)
    ↓
Top-K Similar Documents
    ↓
LLM Prompt (Context + Query)
    ↓
Accurate, Grounded Answer

pip install chromadb

请保持分块大小合理，在元数据中存储源文件路径，并在答案界面中标明这些路径。

何时不宜使用

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import PyPDFLoader

如果您已经选择了其他向量存储方案，从一开始就需要特殊的分布式架构，或者仅使用关系型查询而不涉及嵌入技术，则无需使用Chroma。否则，它依然是构建具备文档理解能力的聊天机器人的实用“智能核心”。

# Step 1: Load your documents
loader = PyPDFLoader("company-policy.pdf")
documents = loader.load()# Step 2: Split into chunks
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = splitter.split_documents(documents)# Step 3: Embed and store in ChromaDB
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=OpenAIEmbeddings(),
    persist_directory="./chroma_store"
)# Step 4: Query it
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
results = retriever.invoke("What is the remote work policy?")for r in results:
    print(r.page_content)

建议在每个示例中都明确标注模型标签，以避免升级时在教程进行过程中悄悄改变行为。

全部文章发送简报