本文详细介绍了如何使用langchain框架，结合faiss向量数据库和huggingface embeddings，构建一个能够基于csv文件内容进行问答的检索增强生成（rag）聊天机器人。教程涵盖了从数据加载、文本分块、创建向量存储到集成检索器并增强大型语言模型（llm）回答的完整流程，旨在帮助开发者高效地实现自定义知识库问答应用。
检索增强生成（Retrieval Augmented Generation, RAG）是一种强大的技术，它结合了信息检索系统和大型语言模型（LLM）的优势。通过RAG，LLM不再仅仅依赖其预训练知识，而是可以在生成回答之前，从外部知识库中检索相关信息作为上下文。这显著提高了LLM回答的准确性、时效性和可信度，尤其是在处理特定领域或最新数据时。
本教程的目标是构建一个RAG应用，使聊天机器人能够根据一个CSV文件中的内容来回答用户问题，而不是仅仅依靠其通用知识。
构建RAG应用的第一步是准备一个可供检索的知识库。我们将使用CSV文件作为数据源，并通过LangChain将其转换为FAISS向量存储。
首先，我们需要加载CSV文件并将其内容转化为LangChain的Document对象。
# embeddings.py
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.document_loaders.csv_loader import CSVLoader
import os
# 定义向量存储路径
DB_FAISS_PATH = "vectorstore/db_faiss"
# 确保向量存储目录存在
os.makedirs(DB_FAISS_PATH, exist_ok=True)
# 加载CSV文件
# 假设你的CSV文件名为 cleanTripLisbon.csv 位于当前脚本的 data 目录下
loader = CSVLoader(file_path="./data/cleanTripLisbon.csv", encoding="utf-8", csv_args={'delimiter': ','})
data = loader.load()
# 文本分块
# 对于CSV的每一行，我们将其视为一个独立的文档块。
# 如果CSV内容较长，可能需要更复杂的文本分割策略。
text_splitter = CharacterTextSplitter(separator='\n', chunk_size=1000, chunk_overlap=0)
text_chunks = text_splitter.split_documents(data)
print(f"原始文档数量: {len(data)}")
print(f"分割后的文本块数量: {len(text_chunks)}")代码解析：
接下来，我们将使用预训练的HuggingFace模型生成文本块的嵌入向量，并利用FAISS创建高效的向量索引。
# embeddings.py (继续上面的代码)
# 初始化嵌入模型
# 'sentence-transformers/all-MiniLM-L6-v2' 是一个轻量级且性能良好的通用嵌入模型
embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
# 从文档块和嵌入模型创建FAISS向量存储
docsearch = FAISS.from_documents(text_chunks, embeddings)
# 将FAISS索引保存到本地磁盘，以便后续加载和使用
docsearch.save_local(DB_FAISS_PATH)
print(f"FAISS向量存储已创建并保存到: {DB_FAISS_PATH}")代码解析：
在集成检索功能之前，我们需要一个能够与大型语言模型（如OpenAI GPT系列）交互的基础类。
# chat_bot.py
from openai import OpenAI
import os
# 假设 local_settings.py 包含 OPENAI_API_KEY
# 实际应用中，建议通过环境变量管理API密钥
# from util import local_settings
class GPT_Helper:
def __init__(self,
OPENAI_API_KEY: str,
system_behavior: str = "",
model="gpt-3.5-turbo",
):
self.client = OpenAI(api_key=OPENAI_API_KEY)
self.messages = []
self.model = model
if system_behavior:
self.messages.append({
"role": "system",
"content": system_behavior
})
def get_completion(self, prompt: str, temperature: float = 0.0):
"""
向LLM发送用户提示并获取回复。
管理对话历史，确保每次调用都包含完整的对话上下文。
"""
user_message_entry = {"role": "user", "content": prompt}
self.messages.append(user_message_entry)
try:
completion = self.client.chat.completions.create(
model=self.model,
messages=self.messages,
temperature=temperature,
)
assistant_response = completion.choices[0].message.content
self.messages.append(
{
"role": "assistant",
"content": assistant_response
}
)
return assistant_response
except Exception as e:
print(f"Error calling OpenAI API: {e}")
# 移除失败的user message，避免污染对话历史
self.messages.pop()
return "抱歉，我在处理您的请求时遇到了问题。"
def reset_messages(self):
"""重置对话历史，除了系统行为。"""
if self.messages and self.messages[0]["role"] == "system":
self.messages = [self.messages[0]]
else:
self.messages = []
@property
def memory(self):
return self.messages
代码解析：
现在是关键部分：将之前创建的FAISS检索器集成到我们的聊天机器人中，实现RAG功能。
我们将修改 AttractionBot 类，使其在生成响应之前，能够从向量存储中检索相关信息。
# chat_bot.py (继续上面的代码)
from langchain_core.retrievers import BaseRetriever
from typing import List
class AttractionBot:
def __init__(self, system_behavior: str, doc_retriever: BaseRetriever):
self._system_behavior = system_behavior
self._username = None
# 初始化GPT_Helper
# 建议从环境变量中获取API密钥
openai_api_key = os.getenv("OPENAI_API_KEY")
if not openai_api_key:
raise ValueError("OPENAI_API_KEY not found in environment variables.")
self.engine = GPT_Helper(
OPENAI_API_KEY=openai_api_key,
system_behavior=system_behavior
)
# 将传入的doc_retriever赋值给实例变量
self.doc_retriever = doc_retriever
def set_username(self, username: str):
self._username = username
def _format_docs(self, docs: List) -> str:
"""将检索到的文档格式化为LLM可以理解的上下文字符串。"""
return "\n\n".join([doc.page_content for doc in docs])
def generate_response(self, message: str) -> str:
# 包含用户名（如果可用）
user_message = f"{self._username}: {message}" if self._username else message
# 核心RAG步骤：检索相关信息
# 使用get_relevant_documents方法从向量存储中检索与用户查询最相关的文档
relevant_docs = self.doc_retriever.get_relevant_documents(user_message)
# 将检索到的文档格式化为上下文字符串
context = self._format_docs(relevant_docs)
# 构建一个包含检索上下文的增强提示
# 引导LLM使用提供的上下文来回答问题
augmented_prompt = (
f"请根据以下提供的信息来回答问题。如果信息中没有明确提及，请说明你不知道。\n\n"
f"上下文信息:\n{context}\n\n"
f"用户问题: {user_message}\n"
f"回答:"
)
# 使用增强后的提示生成响应
response = self.engine.get_completion(augmented_prompt)
return response
def reset(self):
"""重置聊天机器人的状态，包括LLM的对话历史。"""
self.engine.reset_messages()
self._username = None
@property
def memory(self):
return self.engine.memory
@property
def system_behavior(self):
return self._system_behavior
@system_behavior.setter
def system_behavior(self, system_config: str):
self._system_behavior = system_config
# 更新GPT_Helper的系统行为
self.engine.messages = [{"role": "system", "content": system_config}]
# 如果需要保留历史，这里需要更复杂的逻辑代码解析：
现在，我们将把所有组件组合起来，创建一个完整的RAG聊天机器人应用。
# main_app.py
import os
from dotenv import load_dotenv
# 导入之前定义的类和模块
from embeddings import DB_FAISS_PATH, embeddings
from chat_bot import AttractionBot
from langchain_community.vectorstores import FAISS
# 加载环境变量 (例如 OPENAI_API_KEY)
load_dotenv()
def main():
# 1. 加载FAISS向量存储
try:
loaded_docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings, allow_dangerous_deserialization=True)
# 将FAISS向量存储转换为LangChain检索器
retriever = loaded_docsearch.as_retriever()
print("FAISS向量存储加载成功，检索器已准备就绪。")
except Exception as e:
print(f"加载FAISS向量存储失败: {e}")
print("请确保已运行 embeddings.py 脚本创建向量存储。")
return
# 2. 初始化RAG聊天机器人
system_behavior = "你是一个友好的旅游助手，专门提供关于里斯本景点的信息。请根据你掌握的里斯本景点信息回答用户的问题。"
try:
bot = AttractionBot(system_behavior=system_behavior, doc_retriever=retriever)
bot.set_username("用户")
print("\n里斯本景点问答机器人已启动！输入 '退出' 结束对话。")
except ValueError as e:
print(f"机器人初始化失败: {e}")
return
# 3. 开始交互
while True:
user_input = input("\n您: ")
if user_input.lower() == '退出':
print("机器人: 再见！期待下次为您服务。")
break
response = bot.generate_response(user_input)
print(f"机器人: {response}")
if __name__ == "__main__":
# 在运行 main_app.py 之前，请确保你已经运行过 embeddings.py 来生成向量存储。
# 并且在你的环境中设置了 OPENAI_API_KEY。
# 例如，可以在 .env 文件中添加 OPENAI_API_KEY="your_api_key_here"
main()运行步骤：
pip install langchain langchain-community openai sentence-transformers faiss-cpu python-dotenv
OPENAI_API_KEY="sk-YOUR_OPENAI_API_KEY"
python embeddings.py
python main_app.py
本教程详细演示了如何利用LangChain框架，结合FAISS向量数据库和HuggingFace嵌入模型，构建一个基于CSV文件内容的检索增强生成（RAG）聊天机器人。通过将外部知识库的信息检索与大型语言模型的生成能力相结合，我们成功地创建了一个能够提供准确、有依据回答的智能应用。掌握RAG技术是构建企业级AI应用和提升LLM实用性的关键一步。
以上就是利用LangChain和FAISS构建基于CSV数据的RAG问答机器人教程的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
726
收藏
