译者注：
翻译行为已得到原作者授权，转载请注明原作者。
摘要：在本文中，我们将深入探讨策略梯度算法的工作原理以及近年来提出的一些新的策略梯度算法：平凡策略梯度、演员评论家算法、离线策略演员评论家算法、A3C、A2C、DPG、DDPG、D4PG、MADDPG、TRPO、PPO、ACER、ACKTR、SAC以及TD3算法。
什么是策略梯度
策略梯度算法是一类解决强化学习问题的方法。如果你对于强化学习领域还不熟悉，请首先阅读这篇博客来对强化学习的问题定义以及核心概念进行初步了解。
符号
下面是一个符号列表，可以帮助您更轻松地理解本文中的公式。
| 符号 | 含义 |
|---|---|
| $s \in \mathcal{S}$ | 状态。 |
| $a \in \mathcal{A}$ | 动作。 |
| $r \in \mathcal{R}$ | 回报。 |
| $S_{t}, A_{t}, R_{t}$ | 一个轨迹中第$t$个时间步对应的状态、动作以及回报。我可能会偶尔使用$s_{t}, a_{t}, r_{t}$来代替。 |
| $\gamma$ | 折扣因子；用于惩罚未来回报中的不确定性；$0<\gamma \leq 1$。 |
| $G_{t}$ | 累积回报；或者说累积折扣回报；$G_{t}=\sum_{k=0}^{\infty} \gamma^{k} R_{t+k+1}$。 |
| $P\left(s^{\prime}, r\vert s, a\right)$ | 在当前状态$s$下采取动作$a$后转移到下一个状态$s^{\prime}$并得到回报$r$的概率。 |
| $\pi(a\vert s)$ | 随机策略（智能体行为逻辑）；$\pi_{\theta}( .)$代表由$\theta$参数化的策略。 |
| $\mu(s)$ | 确定性策略；虽然也可以把确定性策略记为$\pi(s)$，但是采用一个不同的字母可以让我们更容易分辨一个策略到底是确定性的还是随机的。$\pi$或者$\mu$都是强化学习算法要学习的目标。 |
| $V(s)$ | 状态-值函数衡量状态$s$的期望累积回报；$V_{w}( .)$代表由$w$参数化的状态-值函数。 |
| $V^{\pi}(s)$ | 当智能体遵循策略$\pi$时状态$s$的期望累积回报；$V^{\pi}(s)=\mathbb{E}_{a \sim \pi}\left[G_{t}\vert S_{t}=s\right]$。 |
| $Q(s, a)$ | 动作-值函数，与状态-值函数类似，但是它衡量在状态$s$下采取动作$a$后的期望累积回报；$Q_{w}( .)$代表由$w$参数化的动作-值函数。 |
| $Q^{\pi}(s, a)$ | 与$V^{\pi}(s)$类似，当智能体遵循策略$\pi$时，在状态$s$下采取动作$a$后的期望累积回报；$Q^{\pi}(s, a)=\mathbb{E}_{a \sim \pi}\left[G_{t}\vert S_{t}=s,A_{t}=a\right]$。 |
| $A(s, a)$ | 优势函数，$A(s, a)=Q(s, a)-V(s)$；可以认为优势函数是加强版本的动作-值函数，但是由于它采用状态-值函数作为基准使得它具有更小的方差。 |
策略梯度
强化学习的目标是为智能体找到一个最优的行为策略从而获取最大的回报。策略梯度方法主要特点在于直接对策略进行建模并优化。策略通常被建模为由$\theta$参数化的函数$\pi_{\theta}(a | s)$。回报（目标）函数的值受到该策略的直接影响，因而可以采用很多算法来对$\theta$进行优化来最大化回报（目标）函数。
回报（目标）函数定义如下：
$$
J(\theta)=\sum_{s \in \mathcal{S}} d^{\pi}(s) V^{\pi}(s)=\sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} \pi_{\theta}(a | s) Q^{\pi}(s, a)
$$
其中$d^{\pi}(s)$代表由$\pi_{\theta}$引出的马尔科夫链的平稳分布（$\pi$下的在线策略状态分布）。
译者注：上述目标函数是在连续环境（没有固定的终止状态）下的目标函数（被称为平均值），在连续环境下还有一种性质更好的目标函数，叫做平均回报：
$$
\begin{aligned} J(\theta) \doteq r(\pi) & \doteq \lim _{h \rightarrow \infty} \frac{1}{h} \sum_{t=1}^{h} \mathbb{E}\left[R_{t} | S_{0}, A_{0 : t-1} \sim \pi\right] \\ &=\lim _{t \rightarrow \infty} \mathbb{E}\left[R_{t} | S_{0}, A_{0 : t-1} \sim \pi\right] \\ &=\sum_{s} \mu(s) \sum_{a} \pi_{\theta}(a | s) \sum_{s^{\prime}, r} p\left(s^{\prime}, r | s, a\right) r \end{aligned}
$$
在这种定义下，（差分）累积回报定义为回报与平均回报的差值的累加值：
$$
G_{t} \doteq R_{t+1}-r(\pi)+R_{t+2}-r(\pi)+R_{t+3}-r(\pi)+\cdots
$$
对应的还有差分状态-值函数以及差分-动作值函数：
$$
\begin{array}{l}
{V_{\pi}(s)=\sum_{a} \pi_{\theta}(a | s) \sum_{r, s^{\prime}} p\left(s^{\prime}, r | s, a\right)\left[r-r(\pi)+V_{\pi}\left(s^{\prime}\right)\right]} \\ {Q_{\pi}(s, a)=\sum_{r, s^{\prime}} p\left(s^{\prime}, r | s, a\right)\left[r-r(\pi)+\sum_{a^{\prime}} \pi_{\theta}\left(a^{\prime} | s^{\prime}\right) Q_{\pi}\left(s^{\prime}, a^{\prime}\right)\right]}\end{array}
$$
之所以说上述目标函数性质更好，是因为平均值目标函数其实只是它的另外一种形式，下面我们就来证明一下（Sutton&Barto,2017; Sec 10.4）：
$$
\begin{aligned}
J(\theta)=&\sum_{s \in \mathcal{S}} d^{\pi}(s) V^{\pi}(s) \\
=& \sum_{s} d_{\pi}(s) \sum_{a} \pi_{\theta}(a | s) \sum_{s^{\prime}} \sum_{r} p\left(s^{\prime}, r | s, a\right)\left[r+\gamma V_{\pi}\left(s^{\prime}\right)\right] \\
=&\;r(\pi) + \sum_{s} d_{\pi}(s) \sum_{a} \pi_{\theta}(a | s) \sum_{s^{\prime}} \sum_{r} p\left(s^{\prime}, r | s, a\right)\gamma V_{\pi}\left(s^{\prime}\right) \\
=&\;r(\pi) + \gamma \sum_{s^{\prime}} V_{\pi}\left(s^{\prime}\right) \sum_{s} d_{\pi}(s) \sum_{a} \pi_{\theta}(a | s) p\left(s^{\prime} | s, a\right) \\
=&\;r(\pi) + \gamma\sum_{s^{\prime}}V_{\pi}(s^{\prime})d_{\pi}(s^{\prime}) \\
=&\;r(\pi) + \gamma J(\theta) \\
=&\;r(\pi) + \gamma r(\pi) + \gamma^{2}J(\theta) \\
=&\;r(\pi) + \gamma r(\pi) + \gamma^{2}r(\pi) + \gamma^{3}J(\theta) + \cdots \\
=&\;\frac{1}{1-\gamma}r(\pi)
\end{aligned}
$$
因而在下面进行策略梯度定理证明时，我们仅考虑平均回报形式的目标函数。
另一方面，在周期环境下的目标函数（不包含折扣因子）如下：
$$
J(\theta)=V^{\pi}(s_{0})
$$
之所以不在连续环境下也使用上述目标函数，是因为在连续环境下上述目标函数的值为无穷大，优化一个无穷大值是没有意义的。
为了简化符号，当策略作为其他函数的上标或者下标出现时$\pi_{\theta}$中的参数$\theta$将省略，例如：$d^{\pi}$以及$Q^{\pi}$的完整形式为$d^{\pi_{\theta}}$以及$Q^{\pi_{\theta}}$。想象一下你一直在马尔科夫链构成的状态序列中游荡，随着时间不断向前推进，你经过某个状态的概率将保持不变——这个概率就是$\pi_{\theta}$下的平稳概率。$d^{\pi}(s)=\lim _{t \rightarrow \infty} P\left(s_{t}=s | s_{0}, \pi_{\theta}\right)$就表示你从状态$s_0$开始，在策略$\pi_{\theta}$下经过$t$个时间步后到达状态$s$的概率。实际上，PageRank正是利用了马尔科夫链的平稳分布。你可以阅读这篇文章以获取更多细节。
我们可以很自然的预见到基于策略的方法能够很好地处理连续空间中的强化学习问题。因为在连续空间中存在无限多的动作及（或）状态因而基于值函数的算法由于需要去估计所有的动作及（或）状态的值导致其所需的算力变得无法接受。例如，在一般的策略迭代过程中，策略提升步骤$\arg \max _{a \in \mathcal{A}} Q^{\pi}(s, a)$需要去遍历整个动作空间，因而会遭受维度诅咒。
使用梯度上升方法，我们可以将参数$\theta$往梯度$\nabla_{\theta} J(\theta)$给出的方向进行改变从而去找到最优的$\theta$使得其对应的策略$\pi_{\theta}$能够给智能体带来最大的期望累积回报。
策略梯度定理
计算梯度$\nabla_{\theta} J(\theta)$可不是一件简单的事情。因为梯度值不仅依赖于动作的选择（由$\pi_{\theta}$直接决定），还依赖于由选择的动作而产生的状态的平稳分布（由$\pi_{\theta}$间接决定）。鉴于环境通常是未知的，很难去估计策略的更新对于状态分布造成的影响。
哇哦！这时候出现了策略梯度定理来拯救世界了！该定理对梯度的形式进行了变形使其不依赖于状态分布$d^{\pi}( .)$的导数，从而在很大程度上简化了梯度$\nabla_{\theta} J(\theta)$的计算：
$$
\begin{aligned}
\nabla_{\theta} J(\theta) &=\nabla_{\theta} \sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} Q^{\pi}(s, a) \pi_{\theta}(a | s) \\
&\propto \sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} Q^{\pi}(s, a) \nabla_{\theta} \pi_{\theta}(a \vert s) \end{aligned}
$$
译者注：这里策略梯度定理的形式不够完全，只考虑了目标函数为连续环境下的平均值形式，上述定理还同时适用于连续环境下的平均回报形式目标函数以及周期环境下的目标函数，即：
$$
\begin{aligned}
\nabla_{\theta} J(\theta) &\stackrel{\text{def}}{=} \nabla_{\theta} \sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} Q^{\pi}(s, a) \pi_{\theta}(a | s) & \scriptstyle{\text{连续环境下的平均值形式目标函数}} \\
&\stackrel{\text{def}}{=} \nabla_{\theta} \sum_{s\in\mathcal{S}} \mu(s) \sum_{a\in\mathcal{A}} \pi_{\theta}(a | s) \sum_{s^{\prime}\in\mathcal{S}, r} p\left(s^{\prime}, r | s, a\right) r & \scriptstyle{\text{连续环境下的平均回报形式目标函数}}\\
&\stackrel{\text{def}}{=} \nabla_{\theta} V^{\pi}(s_{0}) & \scriptstyle{\text{周期环境下的目标函数}}\\
& \propto \sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} Q^{\pi}(s, a) \nabla_{\theta} \pi_{\theta}(a | s) & \scriptstyle{}
\end{aligned}
$$
策略梯度定理的证明
现在我们要深入上述定理的证明（Sutton&Barto,2017; Sec 13.1（译者注：这里应该更改为Sec 13.2））从而理解为什么该定理的正确的，因而这部分会包含很多的数学公式。
我们首先从计算状态-值函数的梯度开始：
$$
\begin{aligned}
& \nabla_\theta V^\pi(s) \\
=& \nabla_\theta \Big(\sum_{a \in \mathcal{A}} \pi_\theta(a \vert s)Q^\pi(s, a) \Big) & \\
=& \sum_{a \in \mathcal{A}} \Big( \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) + \pi_\theta(a \vert s) \color{red}{\nabla_\theta Q^\pi(s, a)} \Big) & \scriptstyle{\text{; 微分乘法法则}} \\
=& \sum_{a \in \mathcal{A}} \Big( \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) + \pi_\theta(a \vert s) \color{red}{\nabla_\theta \sum_{s’, r} P(s’,r \vert s,a)(r + V^\pi(s’))} \Big) & \scriptstyle{\text{; 扩展} Q^\pi} \\
=& \sum_{a \in \mathcal{A}} \Big( \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) + \pi_\theta(a \vert s) \color{red}{\sum_{s’, r} P(s’,r \vert s,a) \nabla_\theta V^\pi(s’)} \Big) & \scriptstyle{; P(s’,r \vert s,a) \text{或者} r \text{不是}\theta \text{的函数}}\\
=& \sum_{a \in \mathcal{A}} \Big( \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) + \pi_\theta(a \vert s) \color{red}{\sum_{s’} P(s’ \vert s,a) \nabla_\theta V^\pi(s’)} \Big) & \scriptstyle{\text{; 因为 } P(s’ \vert s, a) = \sum_r P(s’, r \vert s, a)}
\end{aligned}
$$
现在我们有：
$$
{\color{red}{\nabla_\theta V^\pi(s)}}
= \sum_{a \in \mathcal{A}} \Big( \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) + \pi_\theta(a \vert s) \sum_{s’} P(s’ \vert s,a) \color{red}{\nabla_\theta V^\pi(s’)} \Big)
$$
上述等式拥有很好的递归特性（红色部分）因而未来状态的状态-值函数$V^{\pi}\left(s^{\prime}\right)$可以根据上式来递归地展开。让我们考虑一个下面这样的状态访问序列并将从状态$s$开始在策略$\pi_{\theta}$下经过$k$个时间步到达状态$x$的概率记为$\rho^{\pi}(s \rightarrow x, k)$：
$$
s \xrightarrow[]{a \sim \pi_\theta(.\vert s)} s’ \xrightarrow[]{a \sim \pi_\theta(.\vert s’)} s’’ \xrightarrow[]{a \sim \pi_\theta(.\vert s’’)} \dots
$$
对于不同的$k$值，$\rho^{\pi}(s \rightarrow x, k) $值包含以下几种情况：
- 当$k=0$时：$\rho^{\pi}(s \rightarrow s, k=0)=1$。
- 当$k=1$时，我们遍历在状态$s$下所有可能的动作$a$然后将所有从元组$(s,a)$转移到目标状态的概率累加：$\rho^{\pi}\left(s \rightarrow s^{\prime}, k=1\right)=\sum_{a} \pi_{\theta}(a | s) P\left(s^{\prime} | s, a\right)$。
- 设想以下我们的目标是从状态$s$开始依照策略$\pi_{\theta} $经过$k+1$个时间步最终达到目标状态$x$。为了实现这个目标，我们可以先从状态$s$开始经过$k$个时间步后达到某个中间状态$s^{\prime} $（任何一个状态$s\in\mathcal{S}$均可成为中间状态）然后经过最后一个时间步到达目标状态$x$。这样的话，我们就可以递归地计算访问概率：$\rho^{\pi}(s \rightarrow x, k+1)=\sum_{s^{\prime}} \rho^{\pi}\left(s \rightarrow s^{\prime}, k\right) \rho^{\pi}\left(s^{\prime} \rightarrow x, 1\right)$。
有了以上的相关基础，我们就可以递归地展开$\nabla_\theta V^\pi(s)$！首先为了简化符号我们进行以下符号上的替换：$\phi(s)=\sum_{a \in \mathcal{A}} \nabla_{\theta} \pi_{\theta}(a | s) Q^{\pi}(s, a)$。如果我们不停地展开$\nabla_{\theta} V^{\pi}(\cdot)$，那么可以发现通过这个展开过程我们可以从状态$s$开始经过任意时间步后到达任意的状态，并且将上述过程中的访问概率累加起来就可以得到$\nabla_\theta V^\pi(s)$！
$$
\begin{aligned}
& \color{red}{\nabla_\theta V^\pi(s)} \\
=& \phi(s) + \sum_a \pi_\theta(a \vert s) \sum_{s’} P(s’ \vert s,a) \color{red}{\nabla_\theta V^\pi(s’)} \\
=& \phi(s) + \sum_{s’} \sum_a \pi_\theta(a \vert s) P(s’ \vert s,a) \color{red}{\nabla_\theta V^\pi(s’)} \\
=& \phi(s) + \sum_{s’} \rho^\pi(s \to s’, 1) \color{red}{\nabla_\theta V^\pi(s’)} \\
=& \phi(s) + \sum_{s’} \rho^\pi(s \to s’, 1) \color{red}{[ \phi(s’) + \sum_{s’’} \rho^\pi(s’ \to s’’, 1) \nabla_\theta V^\pi(s’’)]} \\
=& \phi(s) + \sum_{s’} \rho^\pi(s \to s’, 1) \phi(s’) + \sum_{s’’} \rho^\pi(s \to s’’, 2){\color{red}{\nabla_\theta V^\pi(s’’)}} \scriptstyle{\text{ ; 考虑将 }s’\text{ 作为 }s \to s’’}\text{的中间状态}\\
=& \phi(s) + \sum_{s’} \rho^\pi(s \to s’, 1) \phi(s’) + \sum_{s’’} \rho^\pi(s \to s’’, 2)\phi(s’’) + \sum_{s’’’} \rho^\pi(s \to s’’’, 3)\color{red}{\nabla_\theta V^\pi(s’’’)} \\
=& \dots \scriptstyle{\text{; 递归展开 }\nabla_\theta V^\pi(.)} \\
=& \sum_{x\in\mathcal{S}}\sum_{k=0}^\infty \rho^\pi(s \to x, k) \phi(x)
\end{aligned}上述
$$
上述变形使得我们无需计算Q-值函数的梯度$\nabla_\theta Q^\pi(s, a)$。将其带入目标函数$J(\theta)$中，可得：
$$
\begin{aligned}
\nabla_\theta J(\theta)
&= \nabla_\theta V^\pi(s_0) & \scriptstyle{\text{; 从一个随机状态 } s_0 \text{开始}} \\
&= \sum_{s}\color{blue}{\sum_{k=0}^\infty \rho^\pi(s_0 \to s, k)} \phi(s) &\scriptstyle{\text{; 令 }\color{blue}{\eta(s) = \sum_{k=0}^\infty \rho^\pi(s_0 \to s, k)}} \\
&= \sum_{s}\eta(s) \phi(s) & \\
&= \Big( {\sum_s \eta(s)} \Big)\sum_{s}\frac{\eta(s)}{\sum_s \eta(s)} \phi(s) & \scriptstyle{\text{; 正则化 } \eta(s), s\in\mathcal{S} \text{ 使其成为一个概率分布}}\\
&\propto \sum_s \frac{\eta(s)}{\sum_s \eta(s)} \phi(s) & \scriptstyle{\sum_s \eta(s)\text{ 是一个常数}} \\
&= \sum_s d^\pi(s) \sum_a \nabla_\theta \pi_\theta(a \vert s)Q^\pi(s, a) & \scriptstyle{d^\pi(s) = \frac{\eta(s)}{\sum_s \eta(s)}\text{ 即为平稳分布}}
\end{aligned}
$$
译者注：上述证明过程仅仅涉及周期环境，连续环境下的证明如下：
$$
\begin{aligned}
& \nabla_\theta V^\pi(s) \\
=& \nabla_\theta \Big(\sum_{a \in \mathcal{A}} \pi_\theta(a \vert s)Q^\pi(s, a) \Big) & \\
=& \phi(s) + \sum_{a \in \mathcal{A}} \Big( \pi_\theta(a \vert s) {\color{red}{\nabla_\theta Q^\pi(s, a)}} \Big) & \scriptstyle{\text{; 微分乘法法则}} \\
=& \phi(s) + \sum_{a \in \mathcal{A}} \Big( \pi_\theta(a \vert s) {\color{red}{\nabla_\theta \sum_{s’, r} P(s’,r \vert s,a)(r - r(\pi) + V^\pi(s’))}}\Big) & \scriptstyle{\text{; 扩展} Q^\pi} \\
=& \phi(s) + \sum_{a \in \mathcal{A}} \Big( \pi_\theta(a \vert s){\color{red}{\bigg[{\color{blue}{-\nabla_{\theta}r(\pi)}}+\sum_{s’, r} P(s’,r \vert s,a) \nabla_\theta V^\pi(s’)} \bigg]}\Big) & \scriptstyle{; P(s’,r \vert s,a) \text{或者} r \text{不是}\theta \text{的函数}}\\
=& \phi(s) + \sum_{a \in \mathcal{A}} \Big( \pi_\theta(a \vert s) {\color{red}{\bigg[{\color{blue}{-\nabla_{\theta}r(\pi)}}+\sum_{s’} P(s’ \vert s,a) \nabla_\theta V^\pi(s’)} \bigg]}\Big) & \scriptstyle{\text{; 因为 } P(s’ \vert s, a) = \sum_r P(s’, r \vert s, a)} \\
=& {\color{blue}{-\nabla_{\theta}r(\pi)}} + \phi(s) + \sum_{a \in \mathcal{A}} \Big( \pi_\theta(a \vert s) {\color{red}{\sum_{s’} P(s’ \vert s,a) \nabla_\theta V^\pi(s’)}}\Big)
\end{aligned}
$$
经过移项可得：
$$
\color{blue} {\nabla_{\theta}r(\pi)} =\phi(s) + \sum_{a}\left[\pi_{\theta}(a | s) \color{red} {\sum_{s^{\prime}} p\left(s^{\prime} | s, a\right) \nabla_{\theta} V^{\pi}\left(s^{\prime}\right)} \right]-\nabla_{\theta} V^{\pi}(s)
$$
那么平均回报形式的目标函数的梯度有：
$$
\begin{aligned}
\nabla_{\theta}J(\theta) =&\;\nabla_{\theta} r(\pi) \\
=& \sum_{s} d^{\pi}(s)\left(\phi(s) + \sum_{a}\left[\pi_{\theta}(a | s) \sum_{s^{\prime}} p\left(s^{\prime} | s, a\right) \nabla_{\theta} V^{\pi}\left(s^{\prime}\right)\right]-\nabla_{\theta} V^{\pi}(s)\right) \\
=& \sum_{s} d^{\pi}(s) \phi(s) +\sum_{s} d^{\pi}(s) \sum_{a} \pi_{\theta}(a | s) \sum_{s^{\prime}} p\left(s^{\prime} | s, a\right) \nabla_{\theta} V^{\pi}\left(s^{\prime}\right)-\sum_{s} d^{\pi}(s) \nabla_{\theta} V^{\pi}(s) \\
=& \sum_{s} d^{\pi}(s) \phi(s) + \sum_{s^{\prime}} \underbrace{\sum_{s} d^{\pi}(s) \sum_{a} \pi_{\theta}(a|s) p\left(s^{\prime}|s,a\right)}_{d^{\pi}\left(s^{\prime}\right)} \nabla_{\theta} V^{\pi}\left(s^{\prime}\right)-\sum_{s} d^{\pi}(s) \nabla_{\theta} V^{\pi}(s) \\
=& \sum_{s} d^{\pi}(s) \phi(s) + \sum_{s^{\prime}} d^{\pi}(s^{\prime}) \nabla_{\theta} V^{\pi}\left(s^{\prime}\right)-\sum_{s} d^{\pi}(s) \nabla_{\theta} V^{\pi}(s) \\
=& \sum_{s} d^{\pi}(s) \phi(s) \\
=& \sum_s d^\pi(s) \sum_a Q^\pi(s, a)\nabla_\theta\pi_\theta(a \vert s) \\
\propto& \sum_s d^\pi(s) \sum_a Q^\pi(s, a)\nabla_\theta \pi_\theta(a \vert s)
\end{aligned}
$$
其中第二个等式成立是因为$\nabla_{\theta}r(\pi)$不依赖$s$且$\sum_{s}d^{\pi}(s)=1$。
另外，平均值形式的目标函数的梯度有：
$$
\begin{aligned}
\nabla_{\theta}J(\theta) =&\;\nabla_{\theta}\sum_{s \in \mathcal{S}} d^{\pi}(s) V^{\pi}(s) \\
=&\;\nabla_{\theta} \sum_{s \in \mathcal{S}} d^{\pi}(s) \sum_{a \in \mathcal{A}} Q^{\pi}(s, a) \pi_{\theta}(a | s)\\
=&\;\frac{1}{1-\gamma}\nabla_{\theta} r(\pi) \\
=&\;\frac{1}{1-\gamma}\left(\sum_s d^\pi(s) \sum_a Q^\pi(s, a)\nabla_\theta\pi_\theta(a \vert s)\right) \\
\propto& \sum_s d^\pi(s) \sum_a Q^\pi(s, a)\nabla_\theta \pi_\theta(a \vert s)
\end{aligned}
$$
梯度还可以改写为如下形式：
$$
\begin{aligned}
\nabla_\theta J(\theta)
&\propto \sum_{s \in \mathcal{S}} d^\pi(s) \sum_{a \in \mathcal{A}} Q^\pi(s, a) \nabla_\theta \pi_\theta(a \vert s) &\\
&= \sum_{s \in \mathcal{S}} d^\pi(s) \sum_{a \in \mathcal{A}} \pi_\theta(a \vert s) Q^\pi(s, a) \frac{\nabla_\theta \pi_\theta(a \vert s)}{\pi_\theta(a \vert s)} &\\
&= \mathbb{E}_\pi [Q^\pi(s, a) \nabla_\theta \ln \pi_\theta(a \vert s)] & \scriptstyle{\text{; 因为 } (\ln x)’ = 1/x}
\end{aligned}
$$
$\mathbb{E}_{\pi}$代表$\mathbb{E}_{s \sim d_{\pi}, a \sim \pi_{\theta}}$，下标表示遵循策略$\pi_{\theta}$（在线策略）时状态以及动作的分布。
上述策略梯度定理是许多策略梯度算法的理论基础。平凡策略梯度算法由于直接使用采样得到的回报所以其估计的梯度不存在偏差（bias）但是有较大的方差（variance）（见下式）。因此后续的算法被相继提出用以在保持偏差有界的情况下减小方差。
$$
\nabla_{\theta} J(\theta)=\mathbb{E}_{\pi}\left[Q^{\pi}(s, a) \nabla_{\theta} \ln \pi_{\theta}(a | s)\right]
$$
这里有一个从GAE（泛化优势估计，genaral advantage estimate）论文 （Schulman et al., 2016）中引用的很好的策略梯度算法一般形式的归纳，并且这篇博客深入探讨了GAE的几大组成部分，值得一读。
](https://upload-images.jianshu.io/upload_images/13653853-593dfedad43dfce3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
