ChromaDB向量嵌入持久化：高效保存与加载策略

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

# 假设您有一些文档需要嵌入
# 这里我们创建一个模拟文档列表
# 实际应用中，您可以从文件加载
raw_documents = [
    "这是一个关于人工智能的文档，讨论了机器学习和深度学习。",
    "Python是一种流行的编程语言，广泛应用于数据科学和Web开发。",
    "ChromaDB是一个开源的向量数据库，支持快速检索和存储。",
    "向量嵌入是将文本转换为数值表示的过程，是许多NLP任务的基础。"
]

# 将原始文本转换为Document对象
# 这里使用简单的TextLoader和CharacterTextSplitter作为示例
documents = []
for i, doc_content in enumerate(raw_documents):
    # 模拟从文件加载，并创建Document对象
    # 实际场景可能需要更复杂的加载器和分割器
    from langchain.docstore.document import Document
    documents.append(Document(page_content=doc_content, metadata={"source": f"doc_{i+1}"}))

# 定义持久化目录
persist_directory = 'chroma_db_store'

# 初始化嵌入模型（例如OpenAIEmbeddings）
# 请确保已配置OPENAI_API_KEY环境变量
embedding = OpenAIEmbeddings()

# 从文档创建ChromaDB实例并进行持久化
# 如果'chroma_db_store'目录不存在，ChromaDB会自动创建它
print(f"正在创建ChromaDB并持久化到: {persist_directory}...")
vectordb = Chroma.from_documents(
    documents=documents, 
    embedding=embedding, 
    persist_directory=persist_directory
)
print("ChromaDB创建并持久化完成。")

# 您现在可以对vectordb进行查询操作
query = "什么是向量数据库？"
docs = vectordb.similarity_search(query)
print("\n查询结果示例:")
for doc in docs:
    print(f"- 内容: {doc.page_content[:50]}...")
    print(f"  来源: {doc.metadata.get('source', '未知')}")

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

# 定义之前使用的持久化目录
persist_directory = 'chroma_db_store'

# 初始化与创建时相同的嵌入模型
# 这是非常重要的一步，加载时必须提供与创建时相同的embedding_function
embedding = OpenAIEmbeddings()

# 从持久化目录加载ChromaDB实例
print(f"正在从 {persist_directory} 加载ChromaDB...")
vectordb_loaded = Chroma(
    persist_directory=persist_directory, 
    embedding_function=embedding
)
print("ChromaDB加载完成。")

# 加载后，您可以像往常一样使用vectordb_loaded进行查询
query = "Python语言的特点是什么？"
docs_loaded = vectordb_loaded.similarity_search(query)
print("\n加载后查询结果示例:")
for doc in docs_loaded:
    print(f"- 内容: {doc.page_content[:50]}...")
    print(f"  来源: {doc.metadata.get('source', '未知')}")

# 验证加载的数据库是否与原始数据库功能一致
# 比如，再次查询并比较结果
query_ai = "人工智能和机器学习"
docs_ai = vectordb_loaded.similarity_search(query_ai)
print("\n再次查询结果示例 (人工智能):")
for doc in docs_ai:
    print(f"- 内容: {doc.page_content[:50]}...")
    print(f"  来源: {doc.metadata.get('source', '未知')}")