置信域策略优化（TRPO）

6 实用算法

在此，我们基于上述思想提出两种实用的策略优化算法，它们分别采用前一节中的单路径采样或藤蔓采样方案。这些算法重复执行以下步骤：

1. 使用单路径或藤蔓采样过程收集一组状态-动作对及其蒙特卡洛估计的$Q$值。

2. 通过对样本求平均，构建式（14）中的目标函数和约束的估计。

3. 近似求解此约束优化问题以更新策略的参数向量$\theta$。我们使用共轭梯度算法，随后进行线搜索，总体计算成本仅略高于梯度本身的计算。详见附录C。

关于步骤（3），我们通过解析计算KL散度的Hessian矩阵来构造Fisher信息矩阵（FIM），而非使用梯度的协方差矩阵。即，我们将$A_{ij}$估计为$\frac{1}{N}\sum _{n=1}^N\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}{D}_{\mathrm{KL}}\left({\pi }_{{\theta }_{\mathrm{old}}}\left(\cdot \mid s_n\right)\parallel {\pi }_{\theta }\left(\cdot \mid s_n\right)\right)$，而非$\frac{1}{N}\sum _{n=1}^N\frac{\partial }{\partial {\theta }_i}\log {\pi }_{\theta }\left(a_n\mid s_n\right)\frac{\partial }{\partial {\theta }_j}\log {\pi }_{\theta }\left(a_n\mid s_n\right)$。该解析估计器对每个状态$s_n$下的动作进行积分，且不依赖于采样得到的动作$a_n$。如附录C所述，这种解析估计器在大规模场景下具有计算优势，因为它无需存储稠密的Hessian矩阵或一批轨迹中的所有策略梯度。实验表明，其策略改进速率与经验FIM相近。

Fisher 信息矩阵 (FIM) 的解析估计：

• 问题：如何高效计算 FIM $A_{ij}=\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}{\bar{D}}_{KL}({\theta }_{\text{old}},\theta )$
• 两种方法：
  1. 经验 FIM：$A_{ij}=\frac{1}{N}{\sum }_n\frac{\partial }{\partial {\theta }_i}\log {\pi }_{\theta }(a_n|s_n)\cdot \frac{\partial }{\partial {\theta }_j}\log {\pi }_{\theta }(a_n|s_n)$
  • 使用采样动作 $a_n$ 的梯度协方差
  • 需要存储所有轨迹的策略梯度
  2. 解析 FIM：$A_{ij}=\frac{1}{N}{\sum }_n\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}{D}_{KL}({\pi }_{{\theta }_{\text{old}}}(\cdot |s_n)||{\pi }_{\theta }(\cdot |s_n))$
  • 对每个状态下的所有动作进行积分
  • 不依赖于采样动作
• 解析 FIM 的优势：
  • 无需存储稠密的 Hessian 矩阵
  • 无需存储所有轨迹的策略梯度
  • 计算效率更高，特别适合大规模问题
• 实现：使用 Hessian-向量乘积（HVP），通过自动微分计算
• 项目对应：src/trpo.py 中的 conjugate_gradient 方法使用 HVP 计算 FIM-向量乘积

我们简要总结第3节的理论与所描述的实用算法之间的关系：

• 理论证明了对带有KL散度惩罚项的替代目标函数进行优化的合理性。然而，较大的惩罚系数$C$会导致步长过小，因此我们希望减小该系数。由于经验上难以稳健地选择惩罚系数，我们使用硬约束而非惩罚项，参数为$\delta$（KL散度的边界）。

• 对$D_{\mathrm{KL}}^{\max }\left({\theta }_{\text{ old }},\theta \right)$的约束在数值优化和估计中难以处理，因此我们转而约束${\bar{D}}_{\mathrm{KL}}\left({\theta }_{\text{ old }},\theta \right)$。

• 我们的理论忽略了优势函数的估计误差。Kakade & Langford (2002)在其推导中考虑了此误差，相同的论点也适用于本文的场景，但为简洁起见，我们省略了相关内容。

7 与先前工作的联系

如第4节所述，我们的推导得到的策略更新与多种先前方法相关，为若干策略更新方案提供了统一视角。自然策略梯度（Kakade, 2002）可作为式（12）更新的特例获得，通过对$L$采用线性近似并对${\bar{D}}_{\mathrm{KL}}$约束采用二次近似，得到如下问题：

$$\underset{\rho }{\mathrm{maximize}}\left[{{\nabla }_{\theta }{L}_{{\theta }_{\text{ old }}}\left(\theta \right)|}_{\theta ={\theta }_{\text{ old }}}\cdot \left(\theta -{\theta }_{\text{ old }}\right)\right]\text{\hspace{1em}(17)}$$

$$\text{ subject to }\frac{1}{2}{\left({\theta }_{\text{ old }}-\theta \right)}^{T}A\left({\theta }_{\text{ old }}\right)\left({\theta }_{\text{ old }}-\theta \right)\le \delta \text{ , }$$

$$\text{ where }A{\left({\theta }_{\text{ old }}\right)}_{ij}=$$

$$\frac{\partial }{\partial {\theta }_i}\frac{\partial }{\partial {\theta }_j}{\mathbb{E}}_{s\sim {\rho }_{\pi }}{\left[D_{\mathrm{KL}}\left(\pi \left(\cdot \mid s,{\theta }_{\text{ old }}\right)\parallel \pi \left(\cdot \mid s,\theta \right)\right)\right]|}_{\theta ={\theta }_{\text{ old }}}.$$

更新公式为${\theta }_{\text{ new }}={\theta }_{\text{ old }}+{\frac{1}{\lambda }A{\left({\theta }_{\text{ old }}\right)}^{-1}{\nabla }_{\theta }L\left(\theta \right)|}_{\theta ={\theta }_{\text{ old }}}$，其中步长$\frac{1}{\lambda }$通常被视为算法参数。这与我们在每次更新中强制执行约束的方法不同。尽管这种差异看似细微，但我们的实验表明，它显著提升了算法在较大问题上的性能。

我们也可以通过使用${\ell }_2$约束或惩罚来获得标准策略梯度更新：

$$\underset{\theta }{\mathrm{maximize}}\left[{{\nabla }_{\theta }{L}_{{\theta }_{\text{ old }}}\left(\theta \right)|}_{\theta ={\theta }_{\text{ old }}}\cdot \left(\theta -{\theta }_{\text{ old }}\right)\right]\text{\hspace{1em}(18)}$$

$$\text{ subject to }\frac{1}{2}{\Vert \begin{array}{c}\theta -{\theta }_{\text{ old }}\end{array}\Vert }^2\le \delta \text{ . }$$

策略迭代更新也可以通过求解无约束问题最大化${\pi }_{L_{\mathrm{odd}}}\left(\pi \right)$来获得，使用如式3中定义的$L$。

其他几种方法采用与式（12）类似的更新。相对熵策略搜索（REPS）（Peters et al. 2010）约束状态-动作边缘分布$p\left(s,a\right)$，而TRPO约束条件分布$p\left(a\mid s\right)$。与REPS不同，我们的方法不需要在内循环中进行代价高昂的非线性优化。Levine和Abbeel（2014）也使用KL散度约束，但其目的是鼓励策略不要偏离估计动态模型有效的区域，而我们不尝试显式估计系统动态。Pirotta等人（2013）也基于并推广了Kakade和Langford的结果，并推导出了与本文不同的算法。

策略改进界的证明

本证明（定理1的证明）采用了（Kakade & Langford, 2002）中定理4.1证明的技术，并将其适配到本文所考虑的更一般的设置中。大致概述如下：我们的证明依赖耦合的概念，即联合定义策略$\pi$和${\pi }^{\prime }$，使它们以高概率$=\left(1-\alpha \right)$选择相同的动作。代理损失$L_{\pi }\left(\tilde{\pi }\right)$考虑了$\tilde{\pi }$首次与$\pi$产生分歧时的优势，但不考虑后续分歧。因此，$L_{\pi }$中的误差源于$\pi$和$\tilde{\pi }$之间的两次或更多次分歧，由此我们得到一个$O\left({\alpha }^2\right)$修正项，其中$\alpha$是分歧概率。

我们从Kakade & Langford（2002）的一个引理开始，该引理表明策略性能$\eta \left(\tilde{\pi }\right)-\eta \left(\pi \right)$的差异可以分解为每时间步优势的总和。

引理1. 给定两个策略$\pi ,\tilde{\pi }$，

$$\eta \left(\tilde{\pi }\right)=\eta \left(\pi \right)+{\mathbb{E}}_{\tau \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }\left(s_t,a_t\right)\right]$$

(19)

该期望取自轨迹$\tau \text{ := }\left(s_0,a_0,s_1,a_0,\dots \right)$，符号${\mathbb{E}}_{\tau \sim \tilde{\pi }}\left[\dots \right]$表示从$\tilde{\pi }$中采样动作以生成$\tau$。

证明。首先注意到$A_{\pi }\left(s,a\right)={\mathbb{E}}_{s^{\prime }\sim P\left(s^{\prime }\mid s,a\right)}\left[r\left(s\right)+\gamma V_{\pi }\left(s^{\prime }\right)-V_{\pi }\left(s\right)\right]$。因此，

$${\mathbb{E}}_{\tau \mid \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }\left(s_t,a_t\right)\right]\text{\hspace{1em}(20)}$$

$$={\mathbb{E}}_{\tau \mid \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t\left(r\left(s_t\right)+\gamma V_{\pi }\left(s_{t+1}\right)-V_{\pi }\left(s_t\right)\right)\right]\text{\hspace{1em}(21)}$$

$$={\mathbb{E}}_{\tau \mid \tilde{\pi }}\left[-V_{\pi }\left(s_0\right)+\sum _{t=0}^{\infty }{\gamma }^{t}r\left(s_t\right)\right]\text{\hspace{1em}(22)}$$

$$=-{\mathbb{E}}_{s_0}\left[V_{\pi }\left(s_0\right)\right]+{\mathbb{E}}_{\tau \mid \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^{t}r\left(s_t\right)\right]\text{\hspace{1em}(23)}$$

$$=-\eta \left(\pi \right)+\eta \left(\tilde{\pi }\right)\text{\hspace{1em}(24)}$$

重新整理后，结论得证。

将$\bar{A}\left(s\right)$定义为在状态$s$下$\tilde{\pi }$相对于$\pi$的期望优势：

$$\bar{A}\left(s\right)={\mathbb{E}}_{a\sim \tilde{\pi }\left(\cdot \mid s\right)}\left[A_{\pi }\left(s,a\right)\right].\text{\hspace{1em}(25)}$$

现在引理1可写为如下形式：

$$\eta \left(\tilde{\pi }\right)=\eta \left(\pi \right)+{\mathbb{E}}_{\tau \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t\bar{A}\left(s_t\right)\right]\text{\hspace{1em}(26)}$$

注意$L_{\pi }$可写为

$$L_{\pi }\left(\tilde{\pi }\right)=\eta \left(\pi \right)+{\mathbb{E}}_{\tau \sim \pi }\left[\sum _{t=0}^{\infty }{\gamma }^t\bar{A}\left(s_t\right)\right]\text{\hspace{1em}(27)}$$

这些方程的差异在于状态是使用$\pi$还是$\tilde{\pi }$采样的。为了界定$\eta \left(\tilde{\pi }\right)$和$L_{\pi }\left(\tilde{\pi }\right)$之间的差异，我们将界定每个时间步产生的差异。为此，我们首先需要引入一种衡量$\pi$和$\tilde{\pi }$一致性的度量。具体而言，我们将耦合策略，使它们定义一个动作对的联合分布。

定义1. 若$\left(\pi ,\tilde{\pi }\right)$定义了一个联合分布$\left(a,\tilde{a}\right)\mid s$，使得对所有s都有$P\left(a\ne \tilde{a}\mid s\right)\le \alpha$，则$\left(\pi ,\tilde{\pi }\right)$是一个$\alpha$耦合策略对。$\pi$和$\tilde{\pi }$将分别表示a和$\tilde{a}$的边缘分布。

在计算上，$\alpha$耦合意味着如果我们为随机数生成器随机选择一个种子，然后在设置该种子后从$\pi$和$\tilde{\pi }$中分别采样，结果将在至少$1-\alpha$比例的种子上一致。

引理2. 已知$\pi ,\tilde{\pi }$是$\alpha$耦合策略，则对所有$s$，

$$\left|\bar{A}\left(s\right)\right|\le 2\alpha \underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|\text{\hspace{1em}(28)}$$

证明。

$$\bar{A}\left(s\right)={\mathbb{E}}_{\tilde{a}\sim \tilde{\pi }}\left[A_{\pi }\left(s,\tilde{a}\right)\right]={\mathbb{E}}_{\left(a,\tilde{a}\right)\sim \left(\pi ,\tilde{\pi }\right)}\left[A_{\pi }\left(s,\tilde{a}\right)-A_{\pi }\left(s,a\right)\right]\text{ since }{\mathbb{E}}_{a\sim \pi }\left[A_{\pi }\left(s,a\right)\right]=0\text{\hspace{1em}(29)}$$

$$=P\left(a\ne \tilde{a}\mid s\right){\mathbb{E}}_{\left(a,\tilde{a}\right)\sim \left(\pi ,\tilde{\pi }\right)\mid a\ne \tilde{a}}\left[A_{\pi }\left(s,\tilde{a}\right)-A_{\pi }\left(s,a\right)\right]\text{\hspace{1em}(30)}$$

$$\left|\bar{A}\left(s\right)\right|\le \alpha \cdot 2\underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|\text{\hspace{1em}(31)}$$

引理3. 设$\left(\pi ,\tilde{\pi }\right)$是一个$\alpha$耦合策略对。则

$$\left|{\mathbb{E}}_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{s_t\sim \pi }\left[\bar{A}\left(s_t\right)\right]\right|\le 2\alpha \underset{s}{\max }\bar{A}\left(s\right)\le 4\alpha \left(1-{\left(1-\alpha \right)}^t\right)\underset{s}{\max }\left|A_{\pi }\left(s,a\right)\right|\text{\hspace{1em}(32)}$$

证明。给定耦合策略对$\left(\pi ,\tilde{\pi }\right)$，我们也可以得到分别由$\pi$和$\tilde{\pi }$产生的轨迹分布上的耦合。即，我们有轨迹对$\tau ,\tilde{\tau }$，其中$\tau$是通过从$\pi$采取动作获得的，$\tilde{\tau }$是通过从$\tilde{\pi }$采取动作获得的，且使用相同的随机种子生成这两条轨迹。我们将考虑在时间步$t$时$\tilde{\pi }$相对于$\pi$的优势，并基于$\pi$和$\tilde{\pi }$在所有时间步$i<t$是否一致来分解这个期望。

令$n_t$表示$i<t$中$a_i\ne {\tilde{a}}_i$发生的次数，即时间步$t$之前$\pi$和$\tilde{\pi }$不一致的次数。

$${\mathbb{E}}_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_t\right)\right]=P\left(n_t=0\right){\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t=0}\left[\bar{A}\left(s_t\right)\right]+P\left(n_t>0\right){\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\text{\hspace{1em}(33)}$$

当动作使用$\pi$采样时，期望的分解类似：

$${\mathbb{E}}_{s_t\sim \pi }\left[\bar{A}\left(s_t\right)\right]=P\left(n_t=0\right){\mathbb{E}}_{s_t\sim \pi \mid n_t=0}\left[\bar{A}\left(s_t\right)\right]+P\left(n_t>0\right){\mathbb{E}}_{s_t\sim \pi \mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\text{\hspace{1em}(34)}$$

注意$n_t=0$项是相等的：

$${\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t=0}\left[\bar{A}\left(s_t\right)\right]={\mathbb{E}}_{s_t\sim \pi \mid n_t=0}\left[\bar{A}\left(s_t\right)\right],\text{\hspace{1em}(35)}$$

因为$n_t=0$表示$\pi$和$\tilde{\pi }$在所有小于$t$的时间步上一致。减去式（33）和式（34），我们得到

$${\mathbb{E}}_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{s_t\sim \pi }\left[\bar{A}\left(s_t\right)\right]=P\left(n_t>0\right)\left({\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t>0}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{s_t\sim \pi \mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\right)\text{\hspace{1em}(36)}$$

根据$\alpha ,P\left(\pi ,\tilde{\pi }\text{ agree at timestep }i\right)\ge 1-\alpha$的定义，所以$P\left(n_t=0\right)\ge {\left(1-\alpha \right)}^t$，并且

$$P\left(n_t>0\right)\le 1-{\left(1-\alpha \right)}^t\text{\hspace{1em}(37)}$$

接下来，注意

$$\left|{\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t>0}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{s_t\sim \pi \mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\right|\le \left|{\mathbb{E}}_{s_t\sim \tilde{\pi }\mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\right|+\left|{\mathbb{E}}_{s_t\sim \pi \mid n_t>0}\left[\bar{A}\left(s_t\right)\right]\right|\text{\hspace{1em}(38)}$$

$$\le 4\alpha \underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|\text{\hspace{1em}(39)}$$

第二个不等式由引理3得出

将式37和式39代入式36，得到

$$\left|{\mathbb{E}}_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{s_t\sim \pi }\left[\bar{A}\left(s_t\right)\right]\right|\le 4\alpha \left(1-{\left(1-\alpha \right)}^t\right)\underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|\text{\hspace{1em}(40)}$$

前述引理对每个时间步的期望优势差进行了界的估计$t$。我们可以对时间求和，以界定$\eta \left(\tilde{\pi }\right)$和$L_{\pi }\left(\tilde{\pi }\right)$之间的差异。减去式26和式27，并定义$ϵ=\underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|$，

$$\left|\eta \left(\tilde{\pi }\right)-L_{\pi }\left(\tilde{\pi }\right)\right|=\sum _{t=0}^{\infty }{\gamma }^t\left|{\mathbb{E}}_{\tau \sim \tilde{\pi }}\left[\bar{A}\left(s_t\right)\right]-{\mathbb{E}}_{\tau \sim \pi }\left[\bar{A}\left(s_t\right)\right]\right|\text{\hspace{1em}(41)}$$

$$\le \sum _{t=0}^{\infty }{\gamma }^t\cdot 4ϵ\alpha \left(1-{\left(1-\alpha \right)}^t\right)\text{\hspace{1em}(42)}$$

$$=4ϵ\alpha \left(\frac{1}{1-\gamma }-\frac{1}{1-\gamma \left(1-\alpha \right)}\right)\text{\hspace{1em}(43)}$$

$$=\frac{4{\alpha }^2\gamma ϵ}{\left(1-\gamma \right)\left(1-\gamma \left(1-\alpha \right)\right)}\text{\hspace{1em}(44)}$$

$$\le \frac{4{\alpha }^2\gamma ϵ}{{\left(1-\gamma \right)}^2}\text{\hspace{1em}(45)}$$

最后，要用总变差散度替换$\alpha$，我们需要利用TV散度与耦合随机变量之间的对应关系：

假设$p_X$和$p_Y$是具有$D_{TV}\left(p_X\parallel p_Y\right)=\alpha$的分布。则存在一个联合分布$\left(X,Y\right)$，其边缘分布为$p_X,p_Y$，对于该联合分布，$X=Y$以概率$1-\alpha$成立。

参见（Levin et al. 2009），命题4.7。

由此可知，如果我们有两个策略$\pi$和$\tilde{\pi }$满足$\underset{s}{\max }{D}_{TV}\left(\pi \left(\cdot \mid s\right)\parallel \tilde{\pi }\left(\cdot \mid s\right)\right)\le \alpha$，那么我们可以定义一个具有适当边缘分布的$\alpha$耦合策略对$\left(\pi ,\tilde{\pi }\right)$。在式45中取$\alpha =\underset{s}{\max }{D}_{TV}\left(\pi \left(\cdot \mid s\right)\parallel \tilde{\pi }\left(\cdot \mid s\right)\right)\le \alpha$，即可得证定理1。

B 策略改进界的微扰理论证明

我们还提供了使用微扰理论对定理1的另一种证明。

证明。令$G=\left(1+\gamma P_{\pi }+{\left(\gamma P_{\pi }\right)}^2+\dots \right)={\left(1-\gamma P_{\pi }\right)}^{-1}$，类似地令$\tilde{G}=\left(1+\gamma P_{\tilde{\pi }}+{\left(\gamma P_{\tilde{\pi }}\right)}^2+\dots \right)={\left(1-\gamma P_{\tilde{\pi }}\right)}^{-1}$。我们将采用如下约定：$\rho$（状态空间上的密度）是一个向量，$r$（状态空间上的奖励函数）是一个对偶向量（即向量上的线性泛函），因此$r\rho$是一个标量，表示在密度$\rho$下的期望奖励。注意$\eta \left(\pi \right)=rG{\rho }_0$，且$\eta \left(\tilde{\pi }\right)=c\tilde{G}{\rho }_0$。令$\Delta =P_{\tilde{\pi }}-P_{\pi }$。我们希望对$\eta \left(\tilde{\pi }\right)-\eta \left(\pi \right)=r\left(\tilde{G}-G\right){\rho }_0$进行界定。我们从一些标准的微扰理论运算开始。

$$G^{-1}-{\tilde{G}}^{-1}=\left(1-\gamma P_{\pi }\right)-\left(1-\gamma P_{\tilde{\pi }}\right)$$

$$=\gamma \Delta \text{ . }\text{\hspace{1em}(46)}$$

左乘$G$，右乘$\tilde{G}$。

$$\tilde{G}-G=\gamma G\Delta \tilde{G}$$

$$\tilde{G}=G+\gamma G\Delta \tilde{G}\text{\hspace{1em}(47)}$$

将右侧代入$\tilde{G}$可得

$$\tilde{G}=G+\gamma G\Delta G+{\gamma }^{2}G\Delta G\Delta \tilde{G}\text{\hspace{1em}(48)}$$

因此我们有

$$\eta \left(\tilde{\pi }\right)-\eta \left(\pi \right)=r\left(\tilde{G}-G\right)\rho =\gamma rG\Delta G{\rho }_0+{\gamma }^{2}rG\Delta G\Delta \tilde{G}{\rho }_0\text{\hspace{1em}(49)}$$

我们首先考虑首项$\gamma rG\Delta G{\rho }_0$。注意$rG=v$，即无限时域状态价值函数。同时注意$G{\rho }_0={\rho }_{\pi }$。因此我们可以写出$\gamma cG\Delta G{\rho }_0=\gamma v\Delta {\rho }_{\pi }$。我们将证明该表达式等于期望优势$L_{\pi }\left(\tilde{\pi }\right)-L_{\pi }\left(\pi \right)$。

$$L_{\pi }\left(\tilde{\pi }\right)-L_{\pi }\left(\pi \right)=\sum _s{\rho }_{\pi }\left(s\right)\sum _a\left(\tilde{\pi }\left(a\mid s\right)-\pi \left(a\mid s\right)\right)A_{\pi }\left(s,a\right)$$

$$=\sum _s{\rho }_{\pi }\left(s\right)\sum _a\left({\pi }_{\theta }\left(a\mid s\right)-{\pi }_{\tilde{\theta }}\left(a\mid s\right)\right)\left[r\left(s\right)+\sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)\gamma v\left(s^{\prime }\right)-v\left(s\right)\right]$$

$$=\sum _s{\rho }_{\pi }\left(s\right)\sum _{s^{\prime }}\sum _a\left(\pi \left(a\mid s\right)-\tilde{\pi }\left(a\mid s\right)\right)p\left(s^{\prime }\mid s,a\right)\gamma v\left(s^{\prime }\right)$$

$$=\sum _s{\rho }_{\pi }\left(s\right)\sum _{s^{\prime }}\left(p_{\pi }\left(s^{\prime }\mid s\right)-p_{\tilde{\pi }}\left(s^{\prime }\mid s\right)\right)\gamma v\left(s^{\prime }\right)$$

$$=\gamma v\Delta {\rho }_{\pi }\text{\hspace{1em}(50)}$$

接下来我们对$O\left({\Delta }^2\right)$项${\gamma }^{2}rG\Delta G\Delta \tilde{G}\rho$进行界估计。首先考虑乘积$\gamma rG\Delta =\gamma v\Delta$。考察该对偶向量的分量$s$。

$$\left|{\left(\gamma v\Delta \right)}_s\right|=\left|\sum _a\left(\tilde{\pi }\left(s,a\right)-\pi \left(s,a\right)\right)Q_{\pi }\left(s,a\right)\right|$$

$$=\left|\sum _a\left(\tilde{\pi }\left(s,a\right)-\pi \left(s,a\right)\right)A_{\pi }\left(s,a\right)\right|$$

$$\le \sum _a\left|\tilde{\pi }\left(s,a\right)-\pi \left(s,a\right)\right|\cdot \underset{a}{\max }\left|A_{\pi }\left(s,a\right)\right|$$

$$\le 2\alpha ϵ\text{\hspace{1em}(51)}$$

其中最后一行使用了总变差散度的定义以及$ϵ=\underset{s,a}{\max }\left|A_{\pi }\left(s,a\right)\right|$的定义。我们利用${\ell }_1$算子范数对另一部分$G\Delta \tilde{G}\rho$进行界估计

$$\parallel A{\parallel }_1=\underset{\rho }{\sup }\left\{\frac{\parallel A\rho {\parallel }_1}{\parallel \rho {\parallel }_1}\right\}\text{\hspace{1em}(52)}$$

其中我们有$\parallel G{\parallel }_1=\parallel \tilde{G}{\parallel }_1=1/\left(1-\gamma \right)$和$\parallel \Delta {\parallel }_1=2\alpha$。由此可得

$$\parallel G\Delta \tilde{G}\rho {\parallel }_1\le \parallel G{\parallel }_1\parallel \Delta {\parallel }_1\parallel \tilde{G}{\parallel }_1\parallel \rho {\parallel }_1$$

$$=\frac{1}{1-\gamma }\cdot 2\alpha \cdot \frac{1}{1-\gamma }\cdot 1\text{\hspace{1em}(53)}$$

因此我们有

$${\gamma }^2\left|rG\Delta G\Delta \tilde{G}\rho \right|\le \gamma \parallel \gamma rG\Delta {\parallel }_{\infty }\parallel G\Delta \tilde{G}\rho {\parallel }_1$$

$$\le \gamma \parallel v\Delta {\parallel }_{\infty }\parallel G\Delta \tilde{G}\rho {\parallel }_1$$

$$\le \gamma \cdot 2\alpha ϵ\cdot \frac{2\alpha }{{\left(1-\gamma \right)}^2}$$

$$=\frac{4\gamma ϵ}{{\left(1-\gamma \right)}^2}{\alpha }^2\text{\hspace{1em}(54)}$$

C 高效求解信赖域约束优化问题

本节介绍如何高效近似求解以下约束优化问题，我们必须在TRPO的每次迭代中求解该问题：

$$\text{ maximize }L\left(\theta \right)\text{ subject to }{\bar{D}}_{\mathrm{KL}}\left({\theta }_{\text{ old }},\theta \right)\le \delta \text{ . }\text{\hspace{1em}(55)}$$

我们将介绍的方法包括两个步骤：（1）使用目标函数的线性近似和约束的二次近似计算搜索方向；（2）沿该方向执行线搜索，确保在满足非线性约束的同时改进非线性目标函数。

搜索方向通过近似求解方程$Ax=g$来计算，其中$A$是Fisher信息矩阵，即KL散度约束的二次近似：${\bar{D}}_{\mathrm{KL}}\left({\theta }_{\text{ old }},\theta \right)\approx \frac{1}{2}{\left(\theta -{\theta }_{\text{ old }}\right)}^{T}A\left(\theta -{\theta }_{\text{ old }}\right)$，其中$A_{ij}=\frac{\partial }{\partial {\theta }_i}\frac{\partial }{\partial {\theta }_j}{\bar{D}}_{\mathrm{KL}}\left({\theta }_{\text{ old }},\theta \right)$。在大规模问题中，构建完整矩阵$A$（或$A^{-1}$）的计算和内存成本过高，令人望而却步。然而，当我们仅能访问计算矩阵-向量乘积$y\to Ay$的函数时，共轭梯度算法允许我们无需构建完整矩阵即可近似求解方程$Ax=b$。附录C.1描述了计算Fisher信息矩阵的矩阵-向量乘积的最有效方法。关于使用Hessian-向量乘积优化神经网络目标的更多阐述，请参见（Martens & Sutskever, 2012）和（Pascanu & Bengio, 2013）。

计算出搜索方向$s\approx A^{-1}g$后，我们接下来需要计算最大步长$\beta$，使得$\theta +\beta s$满足KL散度约束。为此，令$\delta ={\bar{D}}_{\mathrm{KL}}\approx \frac{1}{2}{\left(\beta s\right)}^{T}A\left(\beta s\right)=\frac{1}{2}{\beta }^2{s}^{T}As$。由此可得$\beta =\sqrt{2\delta /s^{T}As}$，其中$\delta$是期望的KL散度。项$s^{T}As$可通过单次海森向量积计算，并且它也是共轭梯度算法产生的中间结果。

最后，我们使用线搜索来确保代理目标的改进和KL散度约束的满足，这两者在参数向量$\theta$中均为非线性（因此偏离了用于计算步长的线性和二次近似）。我们对目标$L_{{\theta }_{\text{ old }}}\left(\theta \right)-\mathcal{X}\left[{\bar{D}}_{\mathrm{KL}}\left({\theta }_{\text{ old }},\theta \right)\le \delta \right]$执行线搜索，其中当参数为真时$\mathcal{X}\left[\dots \right]$等于零，为假时$+\infty$。从前段计算的步长$\beta$最大值开始，我们指数级缩小$\beta$直至目标得到改进。若没有此线搜索，算法偶尔会计算出导致性能灾难性下降的大步长。

C.1 计算Fisher向量积

这里我们将描述如何计算平均Fisher信息矩阵与任意向量之间的矩阵-向量积。这种矩阵-向量积使我们能够执行共轭梯度算法。假设参数化策略将输入$x$映射到“分布参数”向量${\mu }_{\theta }\left(x\right)$，该向量对分布$\pi \left(u\mid x\right)$进行参数化。现在，给定输入$x$的KL散度可写为：

$$D_{\mathrm{KL}}\left({\pi }_{{\theta }_{\text{ old }}}\left(\cdot \mid x\right)\parallel {\pi }_{\theta }\left(\cdot \mid x\right)\right)=\mathrm{kl}\left({\mu }_{\theta }\left(x\right),{\mu }_{\text{ old }}\right)\text{\hspace{1em}(56)}$$

其中$\mathrm{kl}$是对应于两个均值参数向量的分布之间的KL散度。对$\theta$求kl的二阶导数，我们得到

$$\frac{\partial {\mu }_a\left(x\right)}{\partial {\theta }_i}\frac{\partial {\mu }_b\left(x\right)}{\partial {\theta }_j}{\mathrm{kl}}_{ab}^{\prime \prime }\left({\mu }_{\theta }\left(x\right),{\mu }_{\mathrm{old}}\right)+\frac{{\partial }^2{\mu }_a\left(x\right)}{\partial {\theta }_i\partial {\theta }_j}{\mathrm{kl}}_a^{\prime }\left({\mu }_{\theta }\left(x\right),{\mu }_{\mathrm{old}}\right)\text{\hspace{1em}(57)}$$

其中撇号（'）表示对第一个参数的微分，并且对指标$a,b$存在隐式求和。第二项为零，仅留下第一项。令$J\text{ := }\frac{\partial {\mu }_a\left(x\right)}{\partial {\theta }_i}$（雅可比矩阵），则Fisher信息矩阵可写为矩阵形式$J^{T}MJ$，其中$M=k{l}_{ab}^{\prime \prime }\left({\mu }_{\theta }\left(x\right),{\mu }_{\text{ old }}\right)$是分布关于均值参数$\mu$（而非参数$\theta$）的Fisher信息矩阵。对于大多数感兴趣的参数化分布，这具有简单形式。

Fisher向量积现在可写为函数$y\to J^{T}MJy$。与$J^T$和$J$的乘法可由大多数自动微分和神经网络包执行（与$J^T$的乘法是众所周知的反向传播操作），而与$M$的乘法操作可针对感兴趣的分布推导得出。注意，此Fisher向量积易于在一组数据点（即输入$x$至$\mu$）上取平均。

另一种方法是使用基于反向模式自动微分的通用方法计算Hessian向量积（{Wright &Nocedal,1999),第8章），即计算$D_{\mathrm{KL}}$对$\theta$的Hessian矩阵。该方法效率略低，因为它没有利用$\mu \left(x\right)$的二阶导数（即式（57）中的第二项）可忽略这一事实，但实现起来可能要简单得多。

我们描述了一种计算Fisher向量积$y\to Ay$的方法，其中Fisher信息矩阵是在函数$\mu$的一组输入上取平均得到的。计算Fisher向量积的代价通常与计算依赖于$\mu \left(x\right)$的目标函数的梯度相当（Wright &Nocedal,1999）。此外，我们需要计算

每个梯度需要计算$k$个这样的Fisher向量积，其中$k$是我们执行的共轭梯度算法的迭代次数。我们发现$k=10$相当有效，使用更高的$k$并不会加快策略改进速度。因此，朴素实现会将超过$90\%$的计算量用于这些Fisher向量积。然而，我们可以通过对Fisher向量积计算的数据进行子采样来大幅减轻这一负担。由于Fisher信息矩阵仅作为一种度量，因此可以在数据子集上计算，而不会严重降低最终步骤的质量。因此，我们可以在10%的数据上计算它，此时Hessian向量积的总计算成本将与计算梯度大致相同。通过这种优化，自然梯度步$A^{-1}g$的计算不会比梯度$g$的计算产生显著的额外计算成本。

D 用神经网络近似因子化策略

策略是一种条件概率分布${\pi }_{\theta }\left(a\mid s\right)$，可用神经网络进行参数化。该神经网络（确定性地）将状态向量$s$映射到向量$\mu$，后者指定了动作空间上的分布。然后我们可以计算似然$p\left(a\mid \mu \right)$并采样$a\sim p\left(a\mid \mu \right)$。

在连续状态和动作空间的实验中，我们使用高斯分布，其协方差矩阵为对角矩阵且与状态无关。具有多个全连接（密集）层的神经网络将输入特征映射到高斯分布的均值。另一组独立参数指定每个元素的对数标准差。具体而言，这些参数包括用于计算均值的神经网络的权重和偏置集{Wi,bi}i=1L{\left\{ {W}_{i},{b}_{i}\right\} }_{i = 1}^{L}{Wi​,bi​}i=1L​，以及一个与$a$维度相同的向量$r$（对数标准差）。此时，策略由正态分布N( mean = NeuralNet (s;{Wi,bi}i=1L), stdev =exp⁡(r))\mathcal{N}\left( {\text{ mean } = \text{ NeuralNet }\left( {s;{\left\{ {W}_{i},{b}_{i}\right\} }_{i = 1}^{L}}\right) ,\text{ stdev } = \exp \left( r\right) }\right)N( mean = NeuralNet (s;{Wi​,bi​}i=1L​), stdev =exp(r))定义。其中，$\mu =$[均值，标准差]。

在离散动作（Atari）实验中，我们使用因子化离散动作空间，每个因子被参数化为类别分布。即，动作由整数元组$\left(a_1,a_2,\dots ,a_K\right)$ak∈{1,2,…,Nk}{a}_{k} \in \left\{ {1,2,\ldots ,{N}_{k}}\right\}ak​∈{1,2,…,Nk​}组成，每个分量均假设服从类别分布，由向量${\mu }_k=\left[p_1,p_2,\dots ,p_{N_k}\right]$指定。因此，$\mu$定义为各因子参数的拼接：$\mu =\left[{\mu }_1,{\mu }_2,\dots ,{\mu }_K\right]$，维度为$\dim \mu =\sum _{k=1}^K{N}_k$。$\mu$的各分量通过对输入$s$应用神经网络，然后对每个切片应用softmax算子计算得到，从而为每个因子生成归一化概率。

10 总结与理解要点

10.1 TRPO 核心思想总结

TRPO 的核心创新：

1. 单调改进保证：理论上保证每次更新都能改进策略性能（或至少不降低）
2. 替代目标函数：使用局部近似 $L({\theta }_{\text{old}},\theta )$ 替代难以优化的真实性能 $\eta (\theta )$
3. KL 散度约束：限制策略更新幅度，避免过大更新导致性能下降
4. 高效求解：使用共轭梯度算法，无需显式构建 Fisher 信息矩阵
5. 线搜索：确保实际性能改进和 KL 约束满足

为什么 TRPO 能工作：

• 替代目标函数：在旧策略附近，$L$ 和 $\eta$ 的值和梯度都匹配
• KL 散度约束：限制策略变化幅度，保证替代目标与真实性能的差异可控
• 单调改进保证：理论上保证每次更新都能改进（或至少不降低）性能
• 高效实现：共轭梯度算法避免显式构建 FIM，计算效率高

10.2 与项目实现的对应关系

算法组件对应：

• 策略网络 → src/trpo.py 中的 PolicyNet 类
• 价值网络 → src/trpo.py 中的 ValueNet 类
• KL 散度约束 → TRPOAgent.update 方法中的 KL 约束检查
• 共轭梯度 → TRPOAgent.conjugate_gradient 方法
• 线搜索 → TRPOAgent.line_search 方法
• GAE 优势估计 → TRPOAgent._compute_returns_adv 方法

超参数对应：

• KL 散度阈值 → config.py 中的 TRPO_MAX_KL（默认 0.01）
• 共轭梯度迭代数 → config.py 中的 TRPO_CG_ITERS（默认 10）
• 阻尼项 → config.py 中的 TRPO_DAMPING（默认 0.01）
• 线搜索系数 → config.py 中的 TRPO_LS_COEF（默认 0.9）
• GAE 参数 → config.py 中的 TRPO_GAE_LAMBDA（默认 0.95）
• 熵正则化系数 → config.py 中的 TRPO_ENTROPY_COEF（默认 0.01）

10.3 关键设计决策的理解

为什么需要替代目标函数？

• 真实性能 $\eta (\theta )$ 难以直接优化（依赖于策略的状态分布）
• 替代目标 $L({\theta }_{\text{old}},\theta )$ 使用旧策略的状态分布，易于优化
• 在旧策略附近，$L$ 和 $\eta$ 的值和梯度都匹配

为什么需要 KL 散度约束？

• 替代目标只在旧策略附近有效，步长过大时可能失效
• KL 散度约束限制策略变化幅度，保证替代目标与真实性能的差异可控
• 使用约束而非惩罚项，允许更大的步长（只要满足约束）

为什么使用平均 KL 散度而非最大 KL 散度？

• 最大 KL 散度约束对每个状态都有约束，难以求解
• 平均 KL 散度约束只有一个约束，易于求解
• 实验表明两者性能相近

为什么使用共轭梯度算法？

• Fisher 信息矩阵维度高，显式构建和求逆计算成本高
• 共轭梯度算法只需计算 FIM-向量乘积，无需显式构建矩阵
• 计算效率高，特别适合大规模问题

为什么需要线搜索？

• 共轭梯度算法使用线性/二次近似，可能与实际非线性目标有偏差
• 线搜索确保实际性能改进和 KL 约束满足
• 避免性能灾难性下降

10.4 TRPO vs DQN vs DDPG vs PPO 综合对比

特性	TRPO	DQN	DDPG	PPO
策略类型	随机策略	确定性策略（$ϵ$-贪婪）	确定性策略 + 噪声	随机策略
动作空间	离散/连续	离散	连续	离散/连续
学习方式	在策略	离策略	离策略	在策略
更新方式	KL 约束	硬更新	软更新	裁剪/自适应KL
稳定性保证	单调改进保证	经验回放 + 目标网络	软更新 + 经验回放	裁剪机制
计算复杂度	高（共轭梯度 + 线搜索）	中（经验回放采样）	中（经验回放采样）	中（多轮更新）
实现复杂度	复杂	简单	中等	简单
样本效率	高（在策略学习）	中（经验回放）	中（经验回放）	高（多轮更新）
理论保证	有（单调改进）	无	无	无
适用场景	需要稳定训练	离散动作任务	连续控制任务	通用 RL 任务

10.5 常见问题与解答

Q1: TRPO 与策略梯度的主要区别是什么？

• 策略梯度：直接优化策略梯度，步长需要手动调整，可能不稳定
• TRPO：使用 KL 散度约束限制步长，保证单调改进，更稳定

Q2: 为什么 TRPO 计算成本高？

• 需要计算 Fisher 信息矩阵的 Hessian-向量乘积
• 需要执行共轭梯度算法（通常 10 次迭代）
• 需要执行线搜索（可能多次评估目标函数）
• 但相比显式构建 FIM，已经高效很多

Q3: KL 散度阈值 $\delta$ 如何选择？

• 通常设置为 0.01（论文推荐值）
• 太小：更新过于保守，学习速度慢
• 太大：可能违反单调改进保证，训练不稳定
• 建议从默认值开始，根据训练曲线调整

Q4: 如何判断训练是否收敛？

• 观察训练曲线：奖励应该逐渐上升并趋于稳定
• 观察 KL 散度：应该接近但不超过阈值 $\delta$
• 观察策略改进：替代目标应该持续改进
• 测试性能：在测试环境中评估策略性能

Q5: TRPO 与 PPO 的关系是什么？

• PPO（Proximal Policy Optimization）是 TRPO 的简化版本
• PPO 使用裁剪机制替代 KL 散度约束，实现更简单
• PPO 通常性能与 TRPO 相近，但实现更简单
• TRPO 有理论保证，PPO 更实用

Q6: TRPO 训练时 KL 散度总是很小怎么办？

• 原因：
  • KL 散度阈值 $\delta$ 设置过小
  • 共轭梯度算法求解不准确
  • 线搜索过于保守
• 解决方案：
  • 适当增大 KL 阈值（如从 0.01 到 0.02）
  • 增加共轭梯度迭代数（如从 10 到 20）
  • 检查线搜索实现，确保正确执行
  • 如果 KL 散度始终很小，说明更新过于保守，可以增大步长

Q7: TRPO 计算成本高，如何加速？

• 减少计算成本的方法：
  • 减少共轭梯度迭代数（通常 10 次足够）
  • 减少线搜索回溯次数（限制最大回溯次数）
  • 使用更小的批量大小（但可能影响稳定性）
  • 减少 Fisher 信息矩阵计算的数据量（子采样）
• 权衡：
  • 减少迭代数可能降低更新精度
  • 需要在速度和精度之间平衡
  • 对于简单任务，可以适当减少计算

10.6 实践建议

训练技巧：

1. 从简单开始：先在简单环境上验证实现
2. 监控训练：观察训练曲线、KL 散度、替代目标等
3. 调整超参数：根据任务特点调整 KL 阈值、CG 迭代数等
4. 保存检查点：定期保存模型，避免训练中断丢失

调参建议：

1. KL 散度阈值：从 0.01 开始，如果训练不稳定则减小
2. 共轭梯度迭代数：通常 10 次足够，增加迭代数可能提高精度但计算成本高
3. 阻尼项：通常 0.01，用于稳定共轭梯度算法
4. GAE 参数：通常 0.95，平衡偏差和方差

常见问题：

1. 训练不稳定：减小 KL 阈值、增加阻尼项、检查网络初始化
2. 不收敛：检查奖励函数、增加探索、调整网络结构
3. 性能不佳：检查超参数、增加训练时间、尝试不同网络结构
4. 计算慢：减少 CG 迭代数、减少线搜索回溯次数、使用更小的批量

调试技巧：

1. 监控关键指标：
   • KL 散度：应该接近但不超过阈值 $\delta$
   • 替代目标改进：应该持续改进
   • 实际性能改进：确保真实性能也在改进
   • 共轭梯度收敛：观察 CG 算法的收敛情况
2. KL 散度分析：
   • KL 散度过小：更新过于保守，可以增大阈值
   • KL 散度过大：可能违反约束，需要减小步长
   • KL 散度波动大：检查线搜索实现
3. 共轭梯度调试：
   • 如果 CG 不收敛：增加阻尼项或迭代数
   • 如果 CG 收敛太快：可能步长计算不准确
   • 检查 FIM-向量乘积的计算是否正确

10.7 进一步阅读

相关论文：

• Schulman et al. (2015): “Trust Region Policy Optimization”（TRPO 原始论文）
• Schulman et al. (2017): “Proximal Policy Optimization Algorithms”（PPO，TRPO 的简化版本）
• Kakade & Langford (2002): “Approximately Optimal Approximate Reinforcement Learning”（保守策略迭代）

扩展算法：

• PPO：使用裁剪机制替代 KL 散度约束，实现更简单
• ACER：结合经验回放和重要性采样，提高样本效率
• IMPALA：大规模分布式策略梯度算法

应用领域：

• 机器人控制：连续控制任务，需要稳定训练
• 游戏 AI：离散动作任务，需要稳定策略更新
• 自然语言处理：序列决策问题

10.8 算法选择指南

何时选择 TRPO？

• ✅ 适用场景：
  • 需要稳定训练的场景（保证单调改进）
  • 离散或连续动作空间都可以
  • 需要理论保证的场景
  • 复杂任务，需要稳定策略更新
• ❌ 不适用场景：
  • 需要快速实现的场景（PPO 更简单）
  • 计算资源有限的场景（TRPO 计算成本高）
  • 简单任务（PPO 或标准策略梯度即可）
• 项目对应：车辆路径跟踪任务可以使用 TRPO，但 PPO 实现更简单
  • 动作空间：离散转向角（5-9 个动作）
  • 状态空间：横向误差、航向误差（低维）
  • 奖励函数：基于跟踪误差和控制平滑性
  • 优势：保证单调改进，训练稳定
  • 劣势：实现复杂，计算成本高
  • 建议：如果不需要理论保证，优先使用 PPO

与其他算法的选择建议：

• TRPO vs PPO：需要理论保证用 TRPO，需要简单实现用 PPO
• TRPO vs DQN/DDPG：需要稳定训练用 TRPO，需要离策略学习用 DQN/DDPG
• TRPO vs 标准策略梯度：需要稳定训练用 TRPO，简单任务用标准策略梯度
• TRPO vs GRPO：LLM 强化学习用 GRPO，通用 RL 任务用 TRPO

10.9 性能优化技巧

提高训练速度：

1. 减少 CG 迭代数：通常 10 次足够，可以减少到 5-7 次
2. 减少线搜索回溯：限制最大回溯次数
3. 使用更小的批量：减少每次更新的计算量
4. 并行计算：使用多线程计算 FIM-向量乘积

提高样本效率：

1. GAE：使用 GAE 减少优势估计的方差
2. 熵正则化：鼓励探索，提高样本效率
3. 网络容量：适当增加网络容量，提高表达能力
4. 批量大小：使用较大的批量大小，提高更新稳定性

提高稳定性：

1. KL 阈值：确保 KL 阈值 $\delta$ 合适
2. 阻尼项：使用合适的阻尼项稳定 CG 算法
3. 梯度裁剪：防止梯度爆炸
4. 网络初始化：使用合适的初始化方法

减少计算成本：

1. 子采样 FIM：使用子采样数据计算 FIM
2. 近似 FIM：使用对角 FIM 近似（但可能降低性能）
3. 减少更新频率：不是每批数据都更新，可以累积多批
4. 使用 PPO：如果不需要理论保证，使用 PPO 更简单

---