ChromaDB向量嵌入持久化：避免重复计算的实用指南

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

# 假设你有一些文档需要嵌入
# 这里我们创建一个简单的示例文档
# loader = TextLoader("your_document.txt")
# documents = loader.load()
# text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
# texts = text_splitter.split_documents(documents)

# 模拟一些文本数据
texts = [
    {"page_content": "ChromaDB是一个开源的向量数据库。", "metadata": {"source": "doc1"}},
    {"page_content": "它支持高效的相似性搜索。", "metadata": {"source": "doc2"}},
    {"page_content": "通过Langchain可以方便地集成ChromaDB。", "metadata": {"source": "doc3"}},
]

# 定义持久化目录
persist_directory = 'chroma_db_store'

# 初始化嵌入模型
# 请确保你已设置OPENAI_API_KEY环境变量或通过其他方式提供API密钥
embedding = OpenAIEmbeddings()

# 从文档创建ChromaDB，并指定持久化目录
# 注意：如果persist_directory目录不存在，ChromaDB会自动创建它。
print(f"正在创建并持久化ChromaDB到目录: {persist_directory}")
vectordb = Chroma.from_documents(
    documents=texts,
    embedding=embedding,
    persist_directory=persist_directory
)
print("ChromaDB创建并持久化完成。")

# 此时，'chroma_db_store' 目录下会生成数据库文件

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import OpenAIEmbeddings

# 定义之前使用的持久化目录
persist_directory = 'chroma_db_store'

# 初始化嵌入模型
# 必须使用与创建数据库时相同的嵌入模型
embedding = OpenAIEmbeddings()

# 从持久化目录加载ChromaDB
# 注意：这里直接使用Chroma类的构造函数，而不是from_documents
print(f"正在从目录 {persist_directory} 加载ChromaDB...")
vectordb = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding
)
print("ChromaDB加载完成。")

# 现在你可以像往常一样使用vectordb进行查询
query = "什么是向量数据库？"
docs = vectordb.similarity_search(query)

print(f"\n查询: '{query}' 的结果:")
for doc in docs:
    print(f"- {doc.page_content} (来源: {doc.metadata.get('source', '未知')})")