作者 | 小猴锅

编辑 | 安可

出品 | 磐创AI团队出品

【磐创AI导读】：本篇文章是深度强化学习专栏的第二篇，讲了第三节有模型的强化学习，希望对大家有所帮助。查看上篇关于本专栏的介绍：深度强化学习（DRL）专栏开篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。

目录：

1. 引言

• 专栏知识结构

• 从AlphaGo看深度强化学习

2. 强化学习基础知识

• 强化学习问题

• 马尔科夫决策过程

• 最优价值函数和贝尔曼方程

3. 有模型的强化学习方法

• 价值迭代

• 策略迭代

4. 无模型的强化学习方法

• 蒙特卡洛方法

• 时序差分学习

• 值函数近似

• 策略搜索

5. 实战强化学习算法

• Q-learning 算法

• Monte Carlo Policy Gradient 算法

• Actor Critic 算法

6. 深度强化学习算法

• Deep Q-Networks(DQN)

• Deep Deterministic Policy Gradient(DDPG)

7. 专栏小结

3 有模型的强化学习方法

在一些强化学习问题中，我们知道环境的具体信息（例如所有的环境状态、状态转移概率矩阵以及关于动作（或状态）的奖励等），这种情况下我们可以利用这些信息构建一个MDP模型来对环境进行描述。一旦有了这个模型， 我们就可以使用动态规划的方法来对最优价值函数和策略进行求解，而一旦获得了最优价值函数，最优策略就是选择能够最大化下一状态价值的动作。

3.1 价值迭代

价值迭代（Value Iteration）算法是一种求解最优策略的方法，价值迭代的算法思想是：遍历环境中的每一个状态，在每一个状态下，依次执行每一个可以执行的动作，算出执行每一个动作后获得的奖励，即状态-动作价值，当前状态的价值即为当前状态下的最大状态-动作价值。重复这个过程，直到每个状态的最优价值不再发生变化，则迭代结束。迭代算法如下：

for s in S:
V(s)=0
do:
    delta = 0
for s in S:
    temp = V(s)
    for a in A:
                                                                       
       
         delta = max(delta,|temp-V(s)|)
while(delta≥θ)

3.2 策略迭代

在价值迭代（Value Iteration）中，我们通过价值迭代间接地寻找最优策略，而在策略迭代（Policy Iteration）中，我们直接存储和更新策略。策略迭代算法主要由两部分组成，一部分是策略估计（policy Evaluation），另一部分是策略改进（policy improvement）。

其算法思想是：首先随机初始化策略，将状态价值函数置为0。在策略估计部分，根据当前的策略来计算每一个状态的价值，直到收敛为止。在策略改进部分，根据上一步求得的状态价值来计算新的策略，直到策略收敛为止，否则重新回到策略估计。迭代算法如下：

Initialization：
Initial a polic π
for s in S:
V(s)=0
Policy Evaluation：
do:
delta = 0
for s in S:
        temp = V(s)
        V(s) =
        delta = max(delta,|temp-V(s)|)
while(delta≥θ)
Policy Improvement：
policy-stable = true
for s in S:
    temp =
   
    if temp ≠ :
        then policy-stable = false
if policy-stable:
    then stop and return V and π
else:
    goto Policy Evaluation

留言送书福利

为了鼓励大家踊跃在文章留言区分享自己的看法，磐创AI推出了“留言送书”活动~在本文文末留言即可参与活动，留言内容需为主题相关。欢迎大家在日常推文中留言，以后将不定期推出“留言送书”活动。

这次磐小仙精心挑选了本《深度学习之图像识别：核心技术与案例实战》送给大家。本书是一本讲述深度学习在计算机视觉领域的书籍，详尽地讲述了深度学习的各个知识点； 包括深度学习卷积神经网络的理论知识、深度学习中的数据，以及图像分类、图像分割和目标检测等三大图像基础应用； 另外还介绍了深度学习的数据可视化和模型可视化、深度学习中的常用损失函数、模型压缩以及深度学习模型部署的前后端基础知识。 书籍详细介绍可以点击文末阅读原文或者点击下方链接查看。

恭喜上期留言读者⁶₆饭饭₆⁶，获赠书籍一本。请 ⁶₆饭饭₆⁶ 同学联系小编：cellerai

/  今日赠送书籍 /

《深度学习之图像识别：核心技术与案例实战》

/  今日留言主题 /

你对本专栏的看法或建议？

 

你也许还想看：

● 深度强化学习（DRL）专栏（一）

● 深度强化学习（DRL）专栏开篇

● 深度学习vs机器学习 | 这些本质区别你知道多少？

欢迎扫码关注：

 点击下方 | 阅读原文 | 了解更多