基于LangChain的CSV数据检索增强生成（RAG）问答系统构建指南

from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.document_loaders.csv_loader import CSVLoader

# 定义FAISS向量数据库的保存路径
DB_FAISS_PATH = "vectorstore/db_faiss"
# 加载CSV文件，指定编码和分隔符
loader = CSVLoader(file_path="./data/cleanTripLisbon.csv", encoding="utf-8", csv_args={'delimiter': ','})
data = loader.load()

# 文本切分器，这里假设每行是一个独立的文档，所以使用换行符作为分隔符
# 注意：对于更复杂的文本，可能需要更智能的切分策略
text_splitter = CharacterTextSplitter(separator='\n', chunk_size=1000, chunk_overlap=0)
text_chunks = text_splitter.split_documents(data)

print(f"原始文档数量: {len(data)}")
print(f"切分后文本块数量: {len(text_chunks)}")

# 初始化HuggingFace嵌入模型
# 'sentence-transformers/all-MiniLM-L6-v2' 是一个轻量级且性能良好的模型
embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')

# 从文本块和嵌入模型创建FAISS向量数据库
docsearch = FAISS.from_documents(text_chunks, embeddings)
# 将FAISS向量数据库保存到本地，以便后续加载和使用
docsearch.save_local(DB_FAISS_PATH)

print(f"FAISS向量数据库已创建并保存到: {DB_FAISS_PATH}")

from openai import OpenAI
from util import local_settings # 假设local_settings包含OPENAI_API_KEY

class GPT_Helper:
    def __init__(self, OPENAI_API_KEY: str, system_behavior: str = "", model="gpt-3.5-turbo"):
        self.client = OpenAI(api_key=OPENAI_API_KEY)
        self.messages = [] # 存储对话历史
        self.model = model

        if system_behavior:
            # 设置系统角色，指导模型的行为
            self.messages.append({
                "role": "system",
                "content": system_behavior
            })

    def get_completion(self, prompt, temperature=0):
        # 将用户提示添加到消息历史
        self.messages.append({"role": "user", "content": prompt})

        # 调用OpenAI API获取模型响应
        completion = self.client.chat.completions.create(
            model=self.model,
            messages=self.messages,
            temperature=temperature,
        )

        # 将模型的响应添加到消息历史
        self.messages.append(
            {
                "role": "assistant",
                "content": completion.choices[0].message.content
            }
        )
        return completion.choices[0].message.content

    def reset_messages(self):
        """重置对话历史，保留系统行为（如果存在）"""
        system_message = None
        if self.messages and self.messages[0]["role"] == "system":
            system_message = self.messages[0]
        self.messages = []
        if system_message:
            self.messages.append(system_message)

from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings

# 假设docsearch已经通过前面的步骤创建并加载
# 如果是重新运行，可能需要先加载
# embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
# docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings) # 重新加载向量数据库

class AttractionBot:
    def __init__(self, system_behavior: str, docsearch: FAISS):
        self._system_behavior = system_behavior
        self._username = None

        # 初始化GPT_Helper
        self.engine = GPT_Helper(
            OPENAI_API_KEY=local_settings.OPENAI_API_KEY,
            system_behavior=system_behavior
        )

        # 将FAISS向量数据库转换为检索器
        self.doc_retriever = docsearch.as_retriever()

    def set_username(self, username):
        self._username = username

    def generate_response(self, message: str):
        # 包含用户名（如果可用）
        user_message = f"{self._username}: {message}" if self._username else message

        # 使用检索器获取与用户查询最相关的信息
        # retrieve方法返回的是Document对象列表
        relevant_docs = self.doc_retriever.retrieve(user_message)

        # 将检索到的文档内容组合成一个上下文字符串
        # 这是一个关键步骤，将外部知识注入到LLM的输入中
        context = "\n\n".join([doc.page_content for doc in relevant_docs])

        # 构建包含检索上下文的完整提示
        # 明确告诉LLM基于提供的上下文来回答问题
        rag_prompt = f"请根据以下信息回答问题：\n\n{context}\n\n用户问题: {user_message}\n\n回答："

        # 使用语言模型生成响应，现在它有了额外的上下文信息
        response = self.engine.get_completion(rag_prompt)

        return response

    def reset(self):
        # 重置对话历史
        self.engine.reset_messages()
        # 如果有其他状态需要重置，也在此处处理

    @property
    def memory(self):
        return self.engine.messages

    @property
    def system_behavior(self):
        return self._system_behavior

    @system_behavior.setter
    def system_behavior(self, system_config: str):
        self._system_behavior = system_config

# 确保在运行此部分之前，已经执行了数据准备和向量数据库构建的代码
# 如果是独立运行，需要先加载向量数据库
# embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
# docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings)

# 定义系统的行为，指导LLM的回答风格和范围
system_behavior = "你是一个关于葡萄牙里斯本景点的智能问答机器人，请根据提供的信息回答用户关于景点的问题。"

# 实例化AttractionBot，并传入docsearch对象
attraction_bot = AttractionBot(system_behavior=system_behavior, docsearch=docsearch)

# 设置用户名（可选）
attraction_bot.set_username("Alice")

# 进行问答
query1 = "里斯本有哪些著名的历史景点？"
response1 = attraction_bot.generate_response(query1)
print(f"用户: {query1}")
print(f"机器人: {response1}\n")

query2 = "告诉我关于贝伦塔的信息。"
response2 = attraction_bot.generate_response(query2)
print(f"用户: {query2}")
print(f"机器人: {response2}\n")

# 重置对话
attraction_bot.reset()
query3 = "里斯本的购物区在哪里？"
response3 = attraction_bot.generate_response(query3)
print(f"用户: {query3}")
print(f"机器人: {response3}\n")