我们经常看到强化学习中有求汇报期望$E$，转化为价值函数(value function)$V$，策略的状态价值函数(State-Value function)$V_{\pi }$和动作价值函数（action-value function）$Q_{\pi }$。还有提到通过将期望将消除随机性，如北大教程中提到。这对概率论已经不作为主要学习课程的同学来说第一次看能没啥感觉，直观地看懂就行，但是深究推导过程就有点迷茫。这里我写点笔记。

定义

‌Discounted return (折扣回报)‌:
$$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdots +{\gamma }^{n-t}{R}_n（1）$$

定义

价值函数(value function)
$$V(s)=\mathbb{E}[U_t|S_t=s]（2）$$

展开为：

$$V(s)=r(s)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s)V(s^{\prime })（3）$$

大多数书本的eq(2)到eq(3)推导如下：
展开为
$V(s)=\mathbb{E}[R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\dots |S_t=s]$

进一步整理得
$V(s)=\mathbb{E}[R_t+\gamma (R_{t+1}+\gamma R_{t+2}+\dots )|S_t=s]$

这可以看作即时奖励与未来折扣奖励之和的期望，即
$V(s)=\mathbb{E}[R_t+\gamma U_{t+1}|S_t=s]$

将未来累积奖励的期望表示为价值函数，得
$V(s)=\mathbb{E}[R_t+\gamma V(U_{t+1})|S_t=s]$

在上式的最后一个等式中，一方面，即时奖励的期望正是奖励函数的输出，即
$\mathbb{E}[R_t|U_t=s]=r(s)$

另一方面，等式中剩余部分根据从状态$s$出发的转移概率得到，即
$V(s)=r(s)+\gamma {\sum }_{s^{\prime }\in S}p(s^{\prime }|s)V(s^{\prime })（4）$
一般不会给出
$E[\gamma V(U_{t+1})|S_t=s]$ 到 $r(s)+\gamma {\sum }_{s^{\prime }\in S}p(s^{\prime }|s)V(s^{\prime })$的过程,我们补充如下

首先，公式(2)中我们有：

$V(s)=\mathbb{E}[R_t+\gamma V(S_{t+1})|S_t=s]$

这个等式表示状态s的价值等于从该状态获得的即时奖励的期望，加上下一个状态的折扣价值的期望。

/

推导步骤如下：

1. 首先，我们知道期望$\mathbb{E}[R_t|S_t=s]=r(s)$，即在状态s下的即时奖励期望就是奖励函数r(s)。

2. 对于第二项$\mathbb{E}[\gamma V(S_{t+1})|S_t=s]$，我们可以使用条件期望的定义展开：
   $$\mathbb{E}[\gamma V(S_{t+1})|S_t=s]=\gamma \sum _{s^{\prime }}\mathbb{P}(S_{t+1}=s^{\prime }|S_t=s)V(s^{\prime })$$

3. 而$\mathbb{P}(S_{t+1}=s^{\prime }|S_t=s)$正是从状态s转移到状态s’的转移概率，通常记为$p(s^{\prime }|s)$。

4. 将这两部分结合起来：
   $$V(s)=r(s)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s)V(s^{\prime })$$

这就得到了公式(4)。这也就是贝尔曼方程了，他的作用是进行动态规划，强化学习只是应用了贝尔曼方程和蒙特卡洛估计作为了理论基础。
/
/

回答一下为什么说消去了随机性，这里转换完后没有了大写的随机变量S而是转为具体的s所以认为是消除了随机性

这个等式是非常经典的贝尔曼方程(Bellman Equation)，它表明一个状态的价值等于即时奖励加上所有可能的下一个状态的价值的加权和（权重是转移概率），并进行折扣。这个方程是强化学习中价值迭代、策略评估等算法的基础。

这里提一下经典的期望demo

这里提一下经典的期望demo方便初学者建立对应关系，由于这里用的是条件概率求期望，所以和本科课本的概率论上的对应关系不同，所以与如下的经典期望deno是不能直接对应：

期望的定义式

数学期望的定义根据随机变量的类型有两种主要形式：
离散型随机变量的期望定义
对于离散型随机变量 X，其期望定义为：

$$E[X]=\sum _i{x}_{i}P(X=x_i)$$

其中 $x_i$ 是随机变量可能的取值，$P(X=x_i)$ 是随机变量取该值的概率。

连续型随机变量的期望定义
对于连续型随机变量 X，其期望定义为：

$$E[X]={\int }_{-\infty }^{\infty }xf(x)dx$$

其中 $f(x)$ 是随机变量的概率密度函数。

离散型随机变量的例子
例子1：掷骰子
掷一个标准六面骰子，随机变量 X 表示骰子的点数。

可能的取值：$x_1=1,x_2=2,x_3=3,x_4=4,x_5=5,x_6=6$
每个取值的概率：$P(X=x_i)=1/6$ (对所有 $i=1,2,...,6$)

根据期望的定义式：
$$E[X]=\sum _{i=1}^6{x}_{i}P(X=x_i)=1\times \frac{1}{6}+2\times \frac{1}{6}+3\times \frac{1}{6}+4\times \frac{1}{6}+5\times \frac{1}{6}+6\times \frac{1}{6}=\frac{21}{6}=3.5$$

但是在马尔科夫的推导过程中使用的是条件概率，所以对应起来需要转个弯
比如
$V(s)=r(s)+\mathbb{E}[\gamma V(S_{t+1})|S_t=s]$
中的
$\mathbb{E}[\gamma V(S_{t+1})|S_t=s]$
其整个$[\gamma V(S_{t+1})|S_t=s]$对应$E[X]$中的变量X（具体说应该是大写状态变量S）
其条件概率 $\mathbb{P}(S_{t+1}=s^{\prime }|S_t=s)$对应$P(X=x_i)=1/6$
其状态价值 $V(s^{\prime })$对应具体的可能取值$x_1=1,x_2=2,x_3=3,x_4=4,x_5=5,x_6=6$

数学期望（Expected Value）‌是概率论和统计学中的核心概念，表示随机变量在理论上的‌长期平均值‌。它反映了随机事件在大量重复试验中可能呈现的平均结果，是概率加权的平均值（这句话我觉得是本质）。

从价值函数推导到策略的状态价值函数(State-Value function)$V_{\pi }$和动作价值函数（action-value function）$Q_{\pi }$的过程在动手学强化学习或者北大强化学习中已经比较