怎样用Python实现强化学习？OpenAI Gym入门-Python教程-PHP中文网

怎样用Python实现强化学习？OpenAI Gym入门

爱谁谁

发布： 2025-07-05 15:31:01

原创

886人浏览过

强化学习通过试错调整策略，使程序在环境中学会完成任务。核心步骤包括：1.安装openai gym环境，使用pip命令安装基础包或扩展包；2.创建环境如cartpole，调用gym.make并重置状态；3.与环境交互，随机或基于策略选择动作，执行后获取反馈；4.应用q-learning算法训练agent，初始化q表并按epsilon-greedy策略更新；5.评估agent性能，运行多轮测试并计算平均奖励；6.根据任务特性选择合适算法，如dqn、policy gradient等；7.调试和优化模型，调整超参数、探索策略、设计奖励函数等。掌握这些要点有助于实现和提升强化学习效果。

怎样用Python实现强化学习？OpenAI Gym入门

强化学习，听起来就很高大上，用Python来实现它，其实也没那么难。核心就是让你的程序（也就是agent）在一个环境中不断试错，然后根据结果调整策略，最终学会完成某个任务。OpenAI Gym就是一个提供各种环境的工具包，方便我们做强化学习实验。

掌握强化学习的关键在于理解基本概念，并能将其应用于实际问题。

用Python实现强化学习，离不开OpenAI Gym。

立即学习“Python免费学习笔记（深入）”；

如何安装OpenAI Gym？

安装Gym非常简单，直接用pip就可以搞定：

pip install gym

登录后复制

如果你想玩一些更复杂的游戏，比如Atari游戏，还需要安装额外的依赖：

pip install gym[atari]

登录后复制

安装好之后，就可以开始你的强化学习之旅了！

如何创建一个简单的Gym环境？

Gym提供了各种各样的环境，比如经典的CartPole（小车倒立摆）、MountainCar（爬山车）等等。我们先从最简单的CartPole开始。

import gym

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 重置环境，返回初始状态
state = env.reset()

# 渲染环境（可选，用于可视化）
env.render()

# 关闭环境
env.close()

登录后复制

这段代码会创建一个CartPole环境，然后重置环境，返回初始状态。env.render()可以用来可视化环境，方便我们观察agent的行为。最后，记得用env.close()关闭环境，释放资源。

如何与Gym环境交互？

与Gym环境交互，就是让agent采取行动，然后观察环境的反馈。

Lateral App

整理归类论文

查看详情

import gym
import random

env = gym.make('CartPole-v1')
state = env.reset()

for _ in range(100):
    # 随机选择一个动作（0或1，分别代表向左或向右）
    action = env.action_space.sample()

    # 执行动作，返回新的状态、奖励、是否结束、额外信息
    next_state, reward, done, info = env.step(action)

    # 渲染环境
    env.render()

    # 如果游戏结束，重置环境
    if done:
        state = env.reset()
    else:
        state = next_state

env.close()

登录后复制

这段代码会让agent随机采取100个动作，并渲染环境。env.action_space.sample()会随机返回一个有效的动作。env.step(action)会执行动作，并返回新的状态、奖励、是否结束、额外信息。如果done为True，说明游戏结束，我们需要重置环境。

如何用Q-learning算法训练一个CartPole agent？

Q-learning是一种经典的强化学习算法，它的核心思想是维护一个Q表，记录每个状态-动作对的价值。agent会根据Q表选择动作，并根据环境的反馈更新Q表，最终学会最优策略。

import gym
import numpy as np
import random

# 超参数
alpha = 0.1  # 学习率
gamma = 0.9  # 折扣因子
epsilon = 0.1 # 探索率
episodes = 1000 # 训练轮数

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 初始化Q表
q_table = np.zeros([env.observation_space.shape[0], env.action_space.n])

# 训练
for i in range(episodes):
    state = env.reset()
    done = False
    while not done:
        # epsilon-greedy策略选择动作
        if random.uniform(0, 1) < epsilon:
            action = env.action_space.sample() # 探索
        else:
            action = np.argmax(q_table[int(state[0])]) # 利用

        # 执行动作
        next_state, reward, done, info = env.step(action)

        # 更新Q表
        old_value = q_table[int(state[0]), action]
        next_max = np.max(q_table[int(next_state[0])])
        new_value = (1 - alpha) * old_value + alpha * (reward + gamma * next_max)
        q_table[int(state[0]), action] = new_value

        # 更新状态
        state = next_state

env.close()

print("Q-table trained!")

登录后复制

这段代码实现了一个简单的Q-learning算法，用于训练CartPole agent。alpha是学习率，控制Q表更新的速度。gamma是折扣因子，控制未来奖励的重要性。epsilon是探索率，控制agent探索新动作的概率。在每一轮训练中，agent会根据epsilon-greedy策略选择动作，并根据环境的反馈更新Q表。

如何评估训练好的agent？

训练好agent之后，我们需要评估它的性能。

import gym
import numpy as np

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 加载训练好的Q表（假设已经训练好并保存到文件）
# q_table = np.load('q_table.npy')

# 评估
episodes = 10
total_reward = 0

for i in range(episodes):
    state = env.reset()
    done = False
    episode_reward = 0
    while not done:
        # 选择最优动作
        action = np.argmax(q_table[int(state[0])])

        # 执行动作
        next_state, reward, done, info = env.step(action)

        # 累加奖励
        episode_reward += reward

        # 更新状态
        state = next_state

    # 累加总奖励
    total_reward += episode_reward
    print(f"Episode {i+1}: Reward = {episode_reward}")

# 计算平均奖励
average_reward = total_reward / episodes
print(f"Average Reward: {average_reward}")

env.close()

登录后复制

这段代码会运行10轮游戏，每轮都选择Q表中价值最高的动作，并记录每轮的奖励。最后，计算平均奖励，作为agent性能的指标。