第4章 动态规划

4.1 多级决策问题

贝尔曼最优性原理最优化原理也称最优性原理。 指解决多阶段决策问题的理论。 这个理论是美国的贝尔曼在1956年提出的。 它原来的表述是：一个过程的最优策略具有这样的性质，即无论其初始状态及初始决策如何，其以后诸决策对以第一个决策所形成的状态作为初始状态的过程而言，必须构成最优策略。

4.1.1 最短路线问题

4.1.2 最优性原理

4.1.3 动态规划的基本递推方程

4.2 离散动态规划

4.3 连续动态规划

4.3.1 连续时间系统的最优控制问题

4.3.2 哈密顿-雅可比方程

∂ J ∗ ∂ t = min ⁡ u ( t ) ∈ Ω { L [ x ( t ) , u ( t ) , t ] + ( ∂ J ∗ ∂ x ) T f [ x ( t ) , u ( t ) , t ] } \frac{\partial J^*}{\partial t} = \min_{u(t)\in\Omega} \{L[x(t), u(t), t] + (\frac{\partial J^*}{\partial x})^T f[x(t), u(t), t] \} ∂t∂J∗​=u(t)∈Ωmin​{L[x(t),u(t),t]+(∂x∂J∗​)Tf[x(t),u(t),t]}

称为哈密顿-雅可比方程，又称哈密顿（Hamilton）-雅可比（Jacobi）-贝尔曼（Bellman）方程，属于泛函与偏微分方程的一种混合形式。

4.3.3 连续动态规划的基本方程