Langchain对话式检索链：记忆、提示模板与聊天历史的正确配置

import os
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter, Language

# 1. 初始化嵌入模型
# 假设您已配置Vertex AI环境，并有权限访问textembedding-gecko模型
EMBEDDING_QPM = 100
EMBEDDING_NUM_BATCH = 5
embeddings = VertexAIEmbeddings(
    requests_per_minute=EMBEDDING_QPM,
    num_instances_per_batch=EMBEDDING_NUM_BATCH,
    model_name="textembedding-gecko",
    max_output_tokens=512,
    temperature=0.1,
    top_p=0.8,
    top_k=40
)

# 2. 初始化文本分割器
text_splitter = RecursiveCharacterTextSplitter.from_language(
    language=Language.PYTHON,  # 根据您的数据类型选择语言，或使用通用分割器
    chunk_size=2000,
    chunk_overlap=500
)

# 3. 加载并处理训练数据
docs = []
training_data_path = "training/facts/" # 假设您的训练数据在此目录下
trainingData = os.listdir(training_data_path)

for training_file in trainingData:
    file_path = os.path.join(training_data_path, training_file)
    with open(file_path, 'r', encoding='utf-8') as f:
        print(f"Add {f.name} to dataset")
        texts = text_splitter.create_documents([f.read()])
        docs.extend(texts)

# 4. 从文档创建FAISS向量存储并保存到本地
store = FAISS.from_documents(docs, embeddings)
store.save_local("faiss_index")
print("FAISS index created and saved successfully.")

from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings
from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationalRetrievalChain
from langchain_core.prompts import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate
from langchain_google_vertexai import ChatVertexAI # 假设使用Vertex AI的聊天模型

# 1. 加载嵌入模型 (与构建索引时保持一致)
EMBEDDING_QPM = 100
EMBEDDING_NUM_BATCH = 5
embeddings = VertexAIEmbeddings(
    requests_per_minute=EMBEDDING_QPM,
    num_instances_per_batch=EMBEDDING_NUM_BATCH,
    model_name="textembedding-gecko",
    max_output_tokens=512,
    temperature=0.1,
    top_p=0.8,
    top_k=40
)

# 2. 加载FAISS索引并创建检索器
store = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True) # 注意：生产环境请谨慎使用allow_dangerous_deserialization
retriever = store.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 2},
)

# 3. 初始化LLM模型
code_llm = ChatVertexAI(model_name="gemini-pro", temperature=0.1) # 示例LLM

# 4. 初始化记忆模块
# memory_key 必须与提示模板中用于聊天历史的占位符名称一致
memory = ConversationBufferMemory(
    memory_key='chat_history',
    return_messages=True,
    output_key='answer'
)

# 5. 定义自定义提示模板
# 提示模板必须包含 {context}, {chat_history}, {question} 占位符
promptTemplate = """请根据提供的上下文和聊天历史回答用户的问题。
如果您不知道答案，请说明您无法回答。

上下文:
{context}

聊天历史:
{chat_history}

用户问题: {question}
"""

messages = [
    SystemMessagePromptTemplate.from_template(promptTemplate),
    HumanMessagePromptTemplate.from_template("{question}")
]
qa_prompt = ChatPromptTemplate.from_messages(messages)

# 6. 创建 ConversationalRetrievalChain 实例
qa_chain = ConversationalRetrievalChain.from_llm(
    llm=code_llm,
    retriever=retriever,
    memory=memory,
    # get_chat_history 用于将 memory 中的历史记录格式化为 prompt 所需的格式
    # 这里 lambda h: h 表示直接使用 memory 返回的原始历史消息列表
    get_chat_history=lambda h: h,
    # combine_docs_chain_kwargs 用于配置内部用于结合文档和历史的链
    combine_docs_chain_kwargs={"prompt": qa_prompt}
)

# 7. 进行对话交互
history = [] # 外部维护的聊天历史列表，用于传递给链的输入

# 第一次提问
question1 = "什么是FAISS？"
print(f"Human: {question1}")
answer1 = qa_chain({"question": question1, "chat_history": history})
print(f"AI: {answer1['answer']}")
# 更新外部历史
history.append((question1, answer1['answer']))

print("\n" + "="*50 + "\n")

# 第二次提问，利用上下文和历史
question2 = "它有什么主要用途？"
print(f"Human: {question2}")
answer2 = qa_chain({"question": question2, "chat_history": history})
print(f"AI: {answer2['answer']}")
# 更新外部历史
history.append((question2, answer2['answer']))