【Agentic RL 专题】深入浅出了解ReAct

<code class="python">Question: （用户问题）Thought 1: 我需要先查一下 X 的相关背景。Action 1: search["X 的维基百科页面"]Observation 1: （搜索工具返回的摘要文本）Thought 2: 现在我知道了 X 的定义，还需要确认 Y。Action 2: lookup["Y 相关条目"]Observation 2: （查具体条目返回的信息）Thought 3: 根据 Observation 1 和 2，可以得出结论……Final Answer: （给用户的最终回答）</code>

<code class="python">while True:    llm_output = call_llm(prompt)    if "Final Answer:" in llm_output:        提取最终答案，结束    action = parse_action(llm_output)         # 找 Action: xxx["..."]    obs = run_tool(action)                    # 真正调用工具    prompt += llm_output + f"Observation: {obs}"</code>

<code class="python">import refrom typing import Dict, Callable# 假设这是一个Chat LLM 接口def call_llm(prompt: str) -> str:    passTOOLS: Dict[str, Callable[[str], str]] = {}def register_tool(name: str):    def decorator(fn):        TOOLS[name] = fn        return fn    return decorator@register_tool("calculator")def calculator(expr: str) -> str:    """计算简单数学表达式"""    try:        return str(eval(expr))    except Exception as e:        return f"计算错误: {e}"</code>

<code class="python">REACT_SYSTEM_PROMPT = """你是一个可以一边思考一边使用工具的助手。交互格式如下：Thought: 先解释你在想什么Action: 工具名["参数"]Observation: 我会用工具返回的结果填在这里...最后当你可以回答用户问题时，请输出：Final Answer: 给出最终回答当前可用工具：- calculator: 计算数学表达式，格式如 calculator["1+2*3"]"""</code>

<code class="python">def react_loop(question: str, max_steps: int = 5):    scratchpad = ""    for step in range(1, max_steps + 1):        prompt = (            REACT_SYSTEM_PROMPT            + f"Question: {question}"            + scratchpad            + "请给出下一步 Thought / Action 或 Final Answer："        )        llm_output = call_llm(prompt)        # 1. 先看是否已经给出 Final Answer        if "Final Answer:" in llm_output:            answer = llm_output.split("Final Answer:")[1].strip()            print("✅ Final Answer:", answer)            return answer        # 2. 解析 Action        action_match = re.search(r"Action:\s*(\w+)\[\"(.*)\"\]", llm_output)        if action_match:            tool_name, tool_input = action_match.groups()            if tool_name not in TOOLS:                observation = f"工具 {tool_name} 不存在。"            else:                observation = TOOLS[tool_name](tool_input)            # 把这一步的 Thought / Action / Observation 追加到 scratchpad            scratchpad += (                f"{llm_output.strip()}"                f"Observation: {observation}"            )        else:            # 如果没解析出 Action，只把 Thought 拼进去，继续下一轮            scratchpad += f"{llm_output.strip()}"    print("⚠️ 达到最大步数仍未得到 Final Answer")    return None</code>

<code class="python">pip install -U langchain langchain-openai langchain-community duckduckgo-search`</code>

<code class="python"># 带搜索 + 计算器的 ReAct Agent 示例import osfrom langchain_openai import ChatOpenAIfrom langchain_community.tools import DuckDuckGoSearchRunfrom langchain_core.tools import tool# 远程调用，需要KEYos.environ["OPENAI_API_KEY"] = "你的 key"# 1️⃣ LLM：底层使用 Chat 接口（如 GPT-4 / DeepSeek 等）llm = ChatOpenAI(    model="gpt-4o-mini",   # 或者 deepseek/chat 等    temperature=0)# 本地定义llm#from langchain_community.chat_models import ChatOllama#llm = ChatOllama(#    model="qwen2.5:7b-instruct",  # 本地 ollama 已经拉好的模型#    temperature=0#)# 2️⃣ 定义一个自定义工具：计算器@tooldef calculator(expression: str) -> str:    """计算一个数学表达式，例如 '1+2*3'。"""  #docstring    try:        return str(eval(expression))    except Exception as e:        return f"计算出错: {e}"#内置的 DuckDuckGo 搜索工具,简单的网页搜索工具,无需keysearch = DuckDuckGoSearchRun()tools = [calculator, search]</code>

<code class="python">from langchain import hub# 从 LangChain Hub 拉取 ReAct Promptprompt = hub.pull("hwchase17/react")print(prompt.template[:400], "...")</code>

<code class="python">Answer the following questions as best you can. You have access to the following tools:{tools}Use the following format:Question: the input question you must answerThought: you should always think about what to doAction: the action to take, should be one of [{tool_names}]Action Input: the input to the actionObservation: the result of the action.. (this Thought/Action/Action Input/Observation can repeat N times)Thought: I now know the final answerFinal Answer: the final answer to the original input questionBegin!Question: {input}Thought:</code>

<code class="python">from langchain.agents import create_react_agent, AgentExecutor# 5️⃣ 构建 ReAct Agent（本质是一个 LCEL runnable）agent = create_react_agent(    llm=llm,    tools=tools,    prompt=prompt,)# 6️⃣ 用 AgentExecutor 包一层循环执行逻辑agent_executor = AgentExecutor(    agent=agent,    tools=tools,    verbose=True,        # 打印中间 Thought / Action / Observation 轨迹    max_iterations=5,    # 最多迭代 5 轮    handle_parsing_errors=True,)</code>

<code class="python">query = "请查一下 2024 年奥运会举办城市，然后算一下这个城市名称的长度平方是多少？"result = agent_executor.invoke({"input": query})print("? 最终回答:", result["output"])</code>

<code class="python">Thought: 我需要先查一下 2024 年奥运会的举办城市。Action: duckduckgo_searchAction Input: "2024 Summer Olympics host city"Observation: The 2024 Summer Olympics were held in Paris, France. ...Thought: 我知道了举办城市是 Paris。现在需要计算城市名称长度的平方。Action: calculatorAction Input: "len('Paris')**2"Observation: 25Thought: 我已经知道了最终答案。Final Answer: 2024 年奥运会举办城市是巴黎（Paris），城市名 "Paris" 的长度为 5，5 的平方为 25，因此答案是 25。</code>

<code class="python">1. 第一步 Thought：说明“先查办奥运会城市”；2. 第一步 Action：调用 `duckduckgo_search`；    3. Observation 包含了搜索结果（告诉你是 Paris）；    4. 第二步 Thought：决定用 calculator 计算长度平方；    5. 第二步 Action：调用 `calculator`；    6. Observation 给出 25；    7. 最后 Thought + Final Answer：给出解释 + 最终结论。</code>