当前位置：首页 > news >正文

使用深度 Q 学习解决Lunar lander问题

news 来源：原创 2025/7/1 21:13:35

使用深度 Q 学习解决Lunar lander问题

- 0. 前言
- 1. 使用深度 Q 网络解决 Atari 游戏
- 2. 定义环境
- 3. 解决 Lunar lander 问题
- 相关链接

0. 前言

深度 Q 学习模型只需观察状态作为输入就能够解决经典 Atari 游戏，这是一个重大突破，从那时起，深度强化学习 (deep reinforcement learning, DRL) 已经展示出具有比人类更好地解决许多复杂任务的能力。在本节中，我们将实现经典深度 Q 网络 (deep Q-learning, DQN) 解决 Lunar lander 问题。

1. 使用深度 Q 网络解决 Atari 游戏

使用深度 Q 网络 (deep Q-learning, DQN) 解决经典 Atari 游戏需要大量迭代。即使是基本 Atari 环境，所需的训练回合数也可能达到数百万个。虽然改进的强化学习方法已经降低了训练回合数，但总体而言，度强化学习 (deep reinforcement learning, DRL) 是一项计算昂贵的任务。

2. 定义环境

首先，导入所需库，并定义 Gym 环境：

import gym.wrappers
import matplotlib.pyplot as plt
import os
import pickle
import numpy as np
import mediapy 
import random
from collections import deque
from livelossplot import PlotLossesENVIRONMENT = "LunarLander-v2" #@param ["CartPole-v1", "Acrobot-v1", "CubeCrash-v0", "MountainCar-v0", "LunarLander-v2"]env = gym.make(ENVIRONMENT, render_mode='rgb_array')state = env.reset()[0]
plt.imshow(env.render())print("action space: {0!r}".format(env.action_space))
print("observation space: {0!r}".format(env.observation_space))ENVIRONMENT = "LunarLander-v2" #@param ["CartPole-v1", "Acrobot-v1", "MountainCar-v0", "LunarLander-v2"]
SIMULATION_RUNS = 10 #@param {type:"slider", min:1, max:10, step:1}
SIMULATION_ITERATIONS = 200 #@param {type:"slider", min:50, max:200, step:1}env = gym.make(ENVIRONMENT, render_mode='rgb_array')fitnesses = []
frames = []for run in range(SIMULATION_RUNS):  state = env.reset()state = state[0]fitness = 0for i in range(SIMULATION_ITERATIONS):action = env.action_space.sample()state, reward, done, info, _ = env.step(np.argmax(action))  frames.append(env.render())  fitness += reward       if done: fitnesses.append(fitness) break mediapy.show_video(frames, fps=30)
print(fitnesses)

3. 解决 Lunar lander 问题

(1) 定义 DQNAgent 类，init 函数设置了基本的超参数并保存了动作和状态空间的大小，使用 memory 存储模拟的经验以及智能体模型：

import tensorflow.keras as k
import tensorflow.keras.layers as klclass DQNAgent():def __init__(self, state_size, action_size, episodes=100):self.weight_backup      = "backup_weights.h5"self.state_size         = state_sizeself.action_size        = action_sizeself.memory             = deque(maxlen=2000)self.learning_rate      = 0.001self.gamma              = 0.95self.exploration_rate   = 1.0self.exploration_min    = 0.1self.exploration_decay  = (self.exploration_rate-self.exploration_min) / episodes      self.brain              = self._build_model()

(2) 接下来，在 _build_model() 函数中定义智能体的深度学习模型。创建一个三层模型，将状态空间作为输入，动作空间作为输出，模型使用均方误差 (Mean squared error, MSE) 作为损失函数、Adam 作为优化器进行编译，同时模型能够加载先前训练过的模型权重的文件。

    def _build_model(self):# Neural Net for Deep-Q learning Modelmodel = k.Sequential()model.add(kl.Dense(24, input_dim=self.state_size, activation='relu'))model.add(kl.Dense(24, activation='relu'))model.add(kl.Dense(self.action_size, activation='linear'))model.compile(loss='mse', optimizer=k.optimizers.Adam(learning_rate=self.learning_rate))if os.path.isfile(self.weight_backup):model.load_weights(self.weight_backup)self.exploration_rate = self.exploration_minreturn model

(3) act() 函数首先评估探索的机会，并根据情况返回随机动作(如果进行探索)或预测的动作(如果不进行探索)。其次，remember() 函数将智能体的经验存储为它模拟的回合，memory，是一个双端队列类，使用固定大小，在满了之后会自动删除最早的记忆。当记忆足够多时，replay() 函数从智能体的记忆中提取一批经验。然后，这批经验用于重播智能体的动作并评估每个先前执行的动作(随机或预测)的质量，动作的质量目标是使用 Q 学习方程计算的。然后，在单个 epoch 中使用 fit() 函数更新模型。最后，在 replay() 函数结束时，通过 exploration_decay 更新探索率——exploration_rate：

    def save_model(self):self.brain.save(self.weight_backup)def mem_usage(self):return len(self.memory)/2000def act(self, state):if np.random.rand() <= self.exploration_rate:return random.randrange(self.action_size)act_values = self.brain.predict(state)return np.argmax(act_values[0])def remember(self, state, action, reward, next_state, done):self.memory.append((state, action, reward, next_state, done))    def replay(self, batch_size):if len(self.memory) < batch_size:returnsample_batch = random.sample(self.memory, batch_size)for state, action, reward, next_state, done in sample_batch:target = rewardif not done:target = reward + self.gamma * np.amax(self.brain.predict(next_state)[0])target_f = self.brain.predict(state)target_f[0][action] = targetself.brain.fit(state, target_f, epochs=1, verbose=0)if self.exploration_rate > self.exploration_min:self.exploration_rate -= self.exploration_decay

(4) 模型训练代码首先设置 BATCH_SIZE 和 EPISODES 这两个主要超参数。然后，开始循环遍历每个回合的数量，并在每个回合中模拟智能体，直到 env.step 输出 done 值等于 True。如果智能体尚未完成，将状态输入到 agent.act 函数中以输出动作预测，然后将其应用于 env.step 函数以输出下一个状态、奖励和完成标志。接下来，调用 agent.remember 将动作和结果添加到 memory 中。在每个回合结束时，当 done == True 时，调用 agent.remember，重播所有动作，并使用结果来训练模型：

BATCH_SIZE = 256 #@param {type:"slider", min:32, max:256, step:2}
EPISODES = 1000 #@param {type:"slider", min:10, max:1000, step:1}
import tqdmstate_size = env.observation_space.shape[0]
action_size = env.action_space.n
agent = DQNAgent(state_size, action_size, episodes=EPISODES)groups = { "reward" : {"total", "max", "avg"}, "agent" : {"explore_rate", "mem_usage"}}
plotlosses = PlotLosses(groups=groups)
total_rewards = 0
for ep in tqdm.tqdm(range(EPISODES)):rewards = []state = env.reset()state = state[0]state = np.reshape(state, [1, state_size])done = Falseindex = 0while not done:    action = agent.act(state)next_state, reward, done, info, _ = env.step(action)rewards.append(reward)next_state = np.reshape(next_state, [1, state_size])agent.remember(state, action, reward, next_state, done)state = next_state      agent.replay(BATCH_SIZE)  total_rewards += sum(rewards)plotlosses.update({'total': sum(rewards),'max': max(rewards),"avg" : total_rewards/(ep+1),"explore_rate" : agent.exploration_rate,"mem_usage" : agent.mem_usage(),})plotlosses.send()

运行结果

(5) 在 Lunar lander 环境上训练 DQN 智能体 1000 个回合，可以看到智能体逐渐积累奖励，掌握环境：

fitness = 0
frames = []state = env.reset()
state = state[0]
done = False
while not done:  state = np.reshape(state, [1, state_size])action = agent.act(state)next_state, reward, done, info, _ = env.step(action)  state = next_statefitness += rewardframes.append(env.render())
env.close()print(fitness)
mediapy.show_video(frames, fps=30)

DQN 和 DRL 是人工智能和机器学习的重大进展，展示了数字智能可能比人类更好地解决某些任务的潜力。

使用深度 Q 学习解决Lunar lander问题

0. 前言

1. 使用深度 Q 网络解决 Atari 游戏

2. 定义环境

3. 解决 Lunar lander 问题

相关链接

相关文章：