当前位置：首页 > news >正文

强化学习-GAE方法

news 来源：原创 2025/9/18 20:22:04

2016-ICLR-HIGH-DIMENSIONAL CONTINUOUS CONTROL USING GENERALIZED ADVANTAGE ESTIMATION

解决问题

强化学习的目标为最大化策略的预期总回报，其中一个主要困难为行为对reward的影响存在一个长时间的延迟（credit assignment problem）。价值函数为信用分配提供了一种优雅的解决方案，它们允许我们在延迟的奖励到来之前估计一个动作的好坏。AC方法中使用价值函数而不是经验回报，以引入偏差为代价获得方差较低的估计量。但是，虽然高方差需要使用更多的样本，但偏差更有害——即使样本数量不受限制，偏差也会导致算法无法收敛，或者收敛到一个甚至不是局部最优的糟糕解决方案。

本文方法可以大幅降低方差并保证偏差在可接受的范围内。

具体方法

policy gradient：
在这里插入图片描述
其中 $\psi$ 的可能形式有：

其中 $A_t$ :

这种形式具有最低的方差，它的解释为：政策梯度方向上的一步应该增加优于平均水平的行动的概率，降低低于平均水平的行为的概率。根据其定义，优势函数 $A_π（s，A）=Q_π（s、A）−V_π（s）$ 衡量该操作是否比策略的默认行为更好或更差。

通过引入一个方差缩减参数 $\gamma$ ,这使我们能够以引入偏差为代价，通过降低与延迟效应相对应的奖励权重来减少方差。折扣Value-function：
在这里插入图片描述

将引入优势函数的γ-just估计量的概念，使用它来代替 $A^{\pi,\gamma}$ 时不会引入额外的偏差，有以下的这些形式（为什么这些形式不会引入偏差没有看懂）：
在这里插入图片描述

ADVANTAGE FUNCTION ESTIMATION

在这里插入图片描述
with discount $\gamma$ 的TD 残差：（只有当 $V=V^{\pi,\gamma}$ 时才不会引入偏差）

引入k个时间步总和的 $\delta$ :
在这里插入图片描述
当 $k->\infty$ 时， $\lambda^kV_{(s+k)}$ 变的高度折扣，就等价于：

其中 $V (t)$ 不引入偏差，等价于实验reward结果减去value function baseline。

$GAE(\gamma, \lambda)$ 为k步 $A$ 的指数加权平均值：

在这里插入图片描述

通过条件参数 $\lambda$ 可以控制方差和偏差的平衡， $\lambda$ 趋近于1 ，方差大；趋近于0，偏差大,
在这里插入图片描述

两个参数：

具有两个单独参数γ和λ的优势估计器，在使用近似值函数时，这两个参数都有助于偏差-方差权衡。然而，它们服务于不同的目的，并且在不同的值范围内最有效。 $\gamma$ 直接控制 $V$ 。

无论值函数的精度如何，γ<1都会在策略梯度估计中引入偏差。另一方面，λ<1仅在值函数不准确时引入偏差。根据经验，发现λ的最佳值远低于γ的最佳值，这可能对于合理准确的值函数λ引入的偏差远小于γ。

引入GAE后（当 $\lambda$ =1时等式成立）：
在这里插入图片描述
算法流程：

实验

实验发现 $\lambda$ 的取值在【0.9，0.99】之间通常会产生最佳的效果。

2016-ICLR-HIGH-DIMENSIONAL CONTINUOUS CONTROL USING GENERALIZED ADVANTAGE ESTIMATION

解决问题

具体方法

ADVANTAGE FUNCTION ESTIMATION

两个参数：

实验

相关文章：