ChromaDB向量嵌入持久化指南：高效管理与重用

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

# 1. 定义持久化目录
persist_directory = 'chroma_db_data'

# 2. 准备文档数据 (此处以一个简单文本文件为例)
# 假设你有一个名为 'example.txt' 的文件
# 内容可以是 "这是一个示例文本，用于生成向量嵌入并进行持久化存储。持久化可以避免重复计算，提高效率。"
loader = TextLoader("example.txt")
documents = loader.load()

# 3. 分割文档
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 4. 初始化嵌入模型
# 请确保已设置OPENAI_API_KEY环境变量或在OpenAIEmbeddings中传入api_key参数
embedding = OpenAIEmbeddings()

# 5. 创建ChromaDB向量数据库并进行持久化
# Chroma.from_documents 会处理文档分割、嵌入生成和存储
print(f"正在创建并持久化ChromaDB到目录: {persist_directory}")
vectordb = Chroma.from_documents(
    documents=texts,
    embedding=embedding,
    persist_directory=persist_directory
)
print("ChromaDB已成功创建并持久化。")

# 在此之后，您可以使用 vectordb 进行查询等操作
# 例如：
# query = "什么是向量嵌入？"
# docs = vectordb.similarity_search(query)
# print(f"\n查询结果: {docs[0].page_content}")

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

# 1. 定义持久化目录 (必须与创建时一致)
persist_directory = 'chroma_db_data'

# 2. 初始化嵌入模型 (加载时也需要提供，确保与创建时一致)
embedding = OpenAIEmbeddings()

# 3. 从持久化目录加载ChromaDB向量数据库
print(f"正在从目录 {persist_directory} 加载ChromaDB。")
vectordb = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding
)
print("ChromaDB已成功加载。")

# 现在，您可以直接使用加载的vectordb进行查询等操作
query = "向量嵌入的用途是什么？"
docs = vectordb.similarity_search(query)
print(f"\n查询结果 (来自加载的数据库): {docs[0].page_content}")