解决ChromaDB hnswlib.Index属性错误的教程

import os
import shutil

persist_directory = './db_vector_new' # 建议使用新的目录名称

# 在开发或调试阶段，可以考虑在创建前删除旧目录
if os.path.exists(persist_directory):
    print(f"检测到旧的持久化目录 '{persist_directory}'，正在删除...")
    shutil.rmtree(persist_directory)
    print("旧目录已删除。")

# 后续代码将在此处创建新的ChromaDB实例

python -m venv my_chroma_env
source my_chroma_env/bin/activate # macOS/Linux
# my_chroma_env\Scripts\activate # Windows

pip install langchain chromadb openai pypdf # 安装所需库

import os
import shutil
from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.docstore.document import Document # 导入Document类

# --- 配置您的环境 ---
# 确保您的OpenAI API Key已设置为环境变量，或者直接在此处赋值
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY_HERE"

# 替换为您的PDF文件路径
pdf_file_path = "your_document.pdf" 
# 请确保该PDF文件存在于脚本运行目录下，或提供完整路径

# 定义ChromaDB持久化目录
persist_directory = './db_vector_store' 

# --- 1. 文档加载 ---
print(f"正在加载文档: {pdf_file_path}...")
try:
    loader = PyPDFLoader(pdf_file_path)
    pages = loader.load()
    print(f"成功加载 {len(pages)} 页文档。")
except Exception as e:
    print(f"加载PDF文档失败: {e}")
    exit()

# --- 2. 文档分割 ---
print("正在分割文档为小块...")
text_splitter = CharacterTextSplitter(
    separator="\n",
    chunk_size=450,
    chunk_overlap=50,
    length_function=len
)
pdf_splits = text_splitter.split_documents(pages)
print(f"文档已分割为 {len(pdf_splits)} 个文本块。")

# 打印前两个文本块作为示例
print("\n--- 前两个文本块示例 ---")
for i, doc in enumerate(pdf_splits[:2]):
    print(f"块 {i+1} (长度: {len(doc.page_content)}):\n{doc.page_content[:200]}...\n")
print("------------------------\n")

# --- 3. 初始化嵌入模型 ---
print("正在初始化OpenAI嵌入模型...")
try:
    embeddings = OpenAIEmbeddings()
    # 尝试生成一个空白嵌入以验证API Key和连接
    # embeddings.embed_query("test query")
    print("OpenAI嵌入模型初始化成功。")
except Exception as e:
    print(f"OpenAI嵌入模型初始化失败，请检查API Key和网络连接: {e}")
    exit()

# --- 4. 初始化或重新创建ChromaDB向量存储 ---
print(f"准备创建或加载ChromaDB向量存储到: {persist_directory}")

# 建议：如果存在旧的持久化目录，先删除以确保全新创建
if os.path.exists(persist_directory):
    print(f"检测到现有持久化目录 '{persist_directory}'，正在删除以进行全新创建...")
    try:
        shutil.rmtree(persist_directory)
        print("旧目录已成功删除。")
    except OSError as e:
        print(f"删除旧目录失败: {e}。请手动删除或检查权限。")
        exit()

# 创建ChromaDB向量存储
try:
    print("正在从文档创建ChromaDB向量存储...")
    vectorstore = Chroma.from_documents(
        documents=pdf_splits,
        embedding=embeddings,
        persist_directory=persist_directory
    )
    print(f"ChromaDB向量存储已成功创建并持久化到: {persist_directory}")

    # 验证向量存储是否可用（可选）
    print("\n--- 正在进行一个简单的相似性搜索以验证 ---")
    query = "What is the main topic of the document?"
    docs_retrieved = vectorstore.similarity_search(query, k=1)
    if docs_retrieved:
        print(f"成功检索到相关文档块（部分内容）:\n{docs_retrieved[0].page_content[:300]}...")
    else:
        print("未能检索到文档，请检查向量存储内容。")

except AttributeError as e:
    print(f"\n!!!! 致命错误: 创建ChromaDB时发生AttributeError: {e}")
    print("这通常是ChromaDB与hnswlib版本不兼容导致。")
    print("请尝试：")
    print("  1. 确保在一个干净的虚拟环境中。")
    print("  2. 卸载现有ChromaDB (`pip uninstall chromadb`)。")
    print("  3. 安装一个已知稳定的ChromaDB版本，例如 `pip install chromadb==0.4.17`。")
    print("  4. 确保您的持久化目录已清空或使用新目录。")
except Exception as e:
    print(f"\n!!!! 创建ChromaDB时发生未知错误: {e}")