Auto-Encoder（AutoEncoder AE）

自编码器

• 自编码器将数据映射到特征空间得到每个样本的编码，并希望这组编码可以重构出原来的样本

• Encoder

  编码器

  $$f:{\mathbb{R}}^D\to {\mathbb{R}}^M$$

• Decoder

  解码器

  $$g:{\mathbb{R}}^M\to {\mathbb{R}}^D$$

• 目标函数：最小化重构错误（Reconstruction Error）

  $$\begin{array}{rl}\mathcal{L}& =\sum _{n=1}^N{\Vert {\mathbf{x}}^{(n)}-g\left(f\left({\mathbf{x}}^{(n)}\right)\right)\Vert }^2\\ & =\sum _{n=1}^N{\Vert {\mathbf{x}}^{(n)}-f\circ g\left({\mathbf{x}}^{(n)}\right)\Vert }^2\end{array}$$

• One Simple Example

  

  $$z=f\left({\mathbf{W}}^{(1)}\mathbf{x}+{\mathbf{b}}^{(1)}\right)$$

  $${\mathbf{x}}^{\prime }=f\left({\mathbf{W}}^{(2)}{z}_a+{\mathbf{b}}^{(2)}\right)$$

  $$\mathcal{L}=\sum _{n=1}^N\Vert {\mathbf{x}}^{(n)}-{\mathbf{x}}^{\prime (n)}\Vert {}^2+\lambda \Vert \mathbf{W}{\Vert }_F^2$$

• 使用自编码器是为了得到有效的数据表示，因此在训练结束后，我们一般会去掉解码器，只保留编码器．编码器的输出可以直接作为后续机器学习模型的输入

Sparse Auto-Encoder

稀疏自编码器

• 编码向量$z$的维度$M$大于输入样本$x$的维度$D$，且$z$尽可能稀疏

• 稀疏性度量函数

  • $L_0$范数

    $$\rho (z)=\sum _{m=1}^M\mathbf{I}\left(\left|z_m\right|>0\right)$$

  • $L_1$范数

    $$\rho (\mathbf{z})=\sum _{m=1}^M\left|z_m\right|$$

  • 对数函数

    $$\rho (z)=\sum _{m=1}^M\log \left(1+z_m^2\right)$$

  • 指数函数

    $$\rho (\mathbf{z})=\sum _{m=1}^M-\exp \left(-z_m^2\right)$$

• 目标函数

  $$\mathcal{L}=\sum _{n=1}^N\Vert {\mathbf{x}}^{(n)}-{\mathbf{x}}^{\prime (n)}\Vert {}^2+\eta \rho (\mathbf{Z})+\lambda \Vert \mathbf{W}{\Vert }^2$$
  $\mathbf{Z}=\left[{\mathbf{z}}^{(1)},\cdots ,{\mathbf{z}}^{(N)}\right]$表示所有训练样本的编码，$\rho (\mathbf{Z})$为稀疏性度量函数

  • 这里的稀疏性度量函数还可以定义为一组训练样本中每一个神经元激活的概率。给定$N$个训练样本，隐藏层第$j$个神经元平均活性值为

    $${\hat{\rho }}_j=\frac{1}{N}\sum _{n=1}^N{z}_j^{(n)}$$
    ${\hat{\rho }}_j$可以近似看作第$j$个神经元激活的概率

  • 我们希望${\hat{\rho }}_j$接近于一个事先给定的值${\rho }^{\ast }$，例如$0.05$，可以通过KL散度来衡量两者的差异

    $$\mathrm{KL}\left({\rho }^{\ast }\Vert {\hat{\rho }}_j\right)={\rho }^{\ast }\log \frac{{\rho }^{\ast }}{{\hat{\rho }}_j}+\left(1-{\rho }^{\ast }\right)\log \frac{1-{\rho }^{\ast }}{1-{\hat{\rho }}_j}$$

  • 故稀疏性度量函数可定义为

    $$\rho (\mathbf{Z})=\sum _{j=1}^p\mathrm{KL}\left({\rho }^{\ast }\Vert {\hat{\rho }}_j\right)$$

Stacked Auto-Encoder（SAE）

堆叠自编码器

Denoising Auto-Encoder（DAE）

降噪自编码器

• 通过引入噪声来增加编码鲁棒性

Variational Auto-Encoder（VAE）

变分自编码器