LangChain中HNSWLib向量存储机制解析与数据持久化

本文深入探讨了langchain中hnswlib向量存储的内部机制，重点阐明其“内存存储”的实际含义——数据存储于项目运行的宿主服务器内存中，而非langchain的服务器。文章将详细介绍hnswlib数据的持久化方法，并通过示例代码指导用户如何安全地管理和保存向量数据，确保数据安全与应用稳定性。

在构建基于大型语言模型（LLM）的应用时，向量存储（Vector Stores）是关键组件之一，它负责高效地存储和检索文本嵌入（Embeddings）。LangChain作为LLM应用开发的框架，集成了多种向量存储方案，其中HNSWLib因其高效的近似最近邻（ANN）搜索能力而广受欢迎。然而，对于初次接触LangChain和HNSWLib的用户来说，其数据存储机制，特别是“内存存储”的含义，常常引起数据安全方面的疑问。

HNSWLib的内存存储机制解析

HNSWLib（Hierarchical Navigable Small World）是一个用于高效近似最近邻搜索的库。在LangChain中，当使用HNSWLib作为向量存储时，其核心数据结构确实是“in-memory”，即存储在内存中。但这里的“内存”并非指LangChain服务提供商的远程服务器，而是指运行您的LangChain项目的宿主服务器的内存。

这意味着，如果您将应用程序部署在Vercel、AWS EC2、Google Cloud Run或任何其他服务器上，HNSWLib向量存储的数据将驻留在该特定服务器的内存中。LangChain框架本身或其开发团队不会在任何中央服务器上存储您的向量数据。这种本地化的内存存储方式，从数据安全角度来看，通常是更可控和透明的，因为数据完全受您控制的运行环境所管理。

数据持久化：确保HNSWLib数据安全

HNSWLib的“内存存储”特性虽然提供了极高的检索速度，但也意味着一旦程序关闭或服务器重启，内存中的数据将会丢失。为了解决这一问题，HNSWLib提供了将内存数据持久化到磁盘的功能。

通过调用save方法，您可以将当前的HNSWLib向量存储状态保存为文件，这些文件将生成在您指定的项目目录中。这样，即使应用程序重启，您也可以从这些文件中重新加载向量存储，恢复到之前的状态。

DeepBrain

AI视频生成工具，ChatGPT +生成式视频AI =你可以制作伟大的视频!

108

查看详情

以下是一个LangChain中HNSWLib向量存储的创建、添加文档和持久化示例：

from langchain.vectorstores import HNSWLib
from langchain_community.embeddings import OpenAIEmbeddings # 假设使用OpenAI的嵌入模型
from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
import os

# 1. 初始化嵌入模型
embeddings = OpenAIEmbeddings()

# 2. 准备文档数据
# 假设有一个文本文件 'data.txt'
# loader = TextLoader("data.txt")
# documents = loader.load()

# 为了演示，我们直接创建一些文档
documents = [
    {"page_content": "LangChain是一个用于开发由语言模型驱动的应用程序的框架。", "metadata": {"source": "doc1"}},
    {"page_content": "HNSWLib是一个高效的近似最近邻搜索库。", "metadata": {"source": "doc2"}},
    {"page_content": "向量存储负责将文本转换为数值向量并进行存储。", "metadata": {"source": "doc3"}},
]

# 3. 分割文档（如果需要）
# text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
# texts = text_splitter.split_documents(documents)

# 4. 从文档创建HNSWLib向量存储
# 注意：HNSWLib.from_documents 接受 PageContent 而不是字典
# 我们可以将上面的字典转换为 LangChain 的 Document 对象
from langchain.docstore.document import Document
langchain_documents = [Document(page_content=d["page_content"], metadata=d["metadata"]) for d in documents]

vector_store = HNSWLib.from_documents(
    langchain_documents,
    embeddings,
    # persist_directory="./hnswlib_store" # 可以在创建时指定持久化目录，但通常在save时指定
)

print("向量存储已创建并加载到内存。")

# 5. 持久化向量存储到磁盘
persist_directory = "./hnswlib_store"
if not os.path.exists(persist_directory):
    os.makedirs(persist_directory)

vector_store.save_local(persist_directory)
print(f"向量存储已成功保存到本地目录: {persist_directory}")

# 6. 从磁盘加载向量存储
new_embeddings = OpenAIEmbeddings() # 重新初始化嵌入模型
loaded_vector_store = HNSWLib.load_local(
    persist_directory,
    new_embeddings,
    allow_dangerous_deserialization=True # HNSWLib加载时可能需要此参数
)
print("向量存储已从本地目录重新加载。")

# 7. 进行检索测试
query = "什么是LangChain？"
docs = loaded_vector_store.similarity_search(query, k=1)
print(f"\n查询 '{query}' 的结果:")
for doc in docs:
    print(f"- 内容: {doc.page_content}")
    print(f"  来源: {doc.metadata['source']}")

在上述代码中，vector_store.save_local(persist_directory) 会在指定的 persist_directory 目录下生成一系列文件（例如 index.bin 和 index.json），这些文件包含了HNSWLib的索引结构和元数据。当您需要重新使用这些向量数据时，可以通过 HNSWLib.load_local(persist_directory, embeddings) 方法将其加载回内存。

注意事项与最佳实践

1. 数据安全与宿主环境： HNSWLib的数据安全直接取决于您宿主服务器的安全性。确保您的服务器环境受到适当的保护，防止未经授权的访问。
2. 持久化策略： 对于生产环境的应用，务必实现健全的持久化策略。这可能包括：
   • 定期保存向量存储：根据数据更新频率，周期性地执行 save_local 操作。
   • 启动时加载：在应用程序启动时，检查是否存在持久化的向量存储文件，并优先加载它们。
   • 备份：对持久化文件进行备份，以防数据损坏或丢失。
3. 大文件处理： 如果您的向量数据量非常大，持久化文件也会相应增大。在加载和保存时，需要考虑磁盘I/O和内存消耗。
4. 嵌入模型一致性： 在保存和加载HNSWLib向量存储时，务必使用相同的嵌入模型。不同的嵌入模型会生成不同的向量表示，导致加载后的向量存储无法正确匹配查询。
5. allow_dangerous_deserialization： 在某些LangChain版本或特定场景下，加载本地HNSWLib存储可能需要设置 allow_dangerous_deserialization=True。这是因为反序列化操作可能存在安全风险，请确保您加载的来源是可信的。

总结

HNSWLib在LangChain中提供了一种高效的内存向量存储方案，其数据存储在运行项目的宿主服务器内存中，而非LangChain的服务器。这为用户提供了对数据存储位置的完全控制。为了确保数据的持久性和安全性，开发者必须利用HNSWLib提供的 save_local 和 load_local 方法，将向量数据显式地保存到磁盘并按需加载。通过遵循适当的持久化策略和安全实践，可以充分利用HNSWLib的高性能优势，同时保障应用数据的完整性和安全性。

以上就是LangChain中HNSWLib向量存储机制解析与数据持久化的详细内容，更多请关注php中文网其它相关文章！