激活函数

Activation Function

Sigmoid（Logistic）

Sigmoid（Logistic）

• 数学描述

  $$\sigma (x)=\frac{1}{1+\exp (-x)}$$

• 由于Sigmoid函数的特性，一些不适当的参数初始化会造成神经元过饱和（Fully Saturated），使Sigmoid的函数值过于趋近两端，造成梯度消失

Tanh

Tanh

• 数学描述

  $$\tanh (x)=\frac{\exp (x)-\exp (-x)}{\exp (x)+\exp (-x)}$$

• 由于Tanh函数的特性，一些不适当的参数初始化会造成神经元过饱和（Fully Saturated），使Tanh的函数值过于趋近两端，造成梯度消失

• Tanh函数的输出是零中心化的（Zero-Centered），而Logistic函数的输出恒大于 0．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降的收敛速度变慢

Hard-Logistic & Hard-Tanh

Hard-Logistic & Hard-Tanh

• 基于泰勒展开逼近原函数值

  $$\begin{array}{rl}\text{ hard-logistic }(x)& =\{\begin{array}{ll}1& g_l(x)\ge 1\\ g_l& 0<g_l(x)<1\\ 0& g_l(x)\le 0\end{array}\\ & =\max \left(\min \left(g_l(x),1\right),0\right)\\ & =\max (\min (0.25x+0.5,1),0).\end{array}$$

  $$\begin{array}{rl}\text{ hard-tanh }(x)& =\max \left(\min \left(g_t(x),1\right),-1\right)\\ & =\max (\min (x,1),-1)\end{array}$$

ReLU

Rectified Linear Unit

• 数学描述

  $$\begin{array}{rl}\mathrm{ReLU}(x)& =\{\begin{array}{ll}x& x\ge 0\\ 0& x<0\end{array}\\ & =\max (0,x).\end{array}$$

• 死亡ReLU问题

  Dying ReLU Problem

  • 如果参数在一次不恰当的更新后，第一个隐藏层中的某个ReLU神经元在所有的训练数据上都不能被激活，那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远不能被激活，并且也有可能会发生在其他隐藏层

Leaky ReLU

Leaky ReLU

• 数学描述

  $$\begin{array}{rl}\mathrm{LeakyReLU}(x)& =\{\begin{array}{ll}x& \text{ if }x>0\\ \gamma x& \text{ if }x\le 0\end{array}\\ & =\max (0,x)+\gamma \min (0,x)\end{array}$$

PReLU

Parametric ReLU

• 数学描述

  $$\begin{array}{rl}{\mathrm{PReLU}}_i(x)& =\{\begin{array}{ll}x& \text{ if }x>0\\ {\gamma }_{i}x& \text{ if }x\le 0\end{array}\\ & =\max (0,x)+{\gamma }_i\min (0,x)\end{array}$$

ELU

Exponential Linear Unit

• 数学描述

  $$\begin{array}{rl}\mathrm{ELU}(x)& =\{\begin{array}{ll}x& \text{ if }x>0\\ \gamma (\exp (x)-1)& \text{ if }x\le 0\end{array}\\ & =\max (0,x)+\min (0,\gamma (\exp (x)-1))\end{array}$$

SELU

Scaled Exponential Linear Unit

• 数学描述

  $$\text{SELU}(x)=\text{scale}\ast (\max (0,x)+\min (0,\alpha \ast (\exp (x)-1)))=\text{scale}\ast \text{ELU}(x,\alpha )$$
  其中，$\text{scale}$与$\alpha$为超参数

  $$\alpha =1.6732632423543772848170429916717$$

  $$\text{scale}=1.0507009873554804934193349852946$$

Softplus

Softplus

• 数学描述

  $$\text{ Softplus }(x)=\log (1+\exp (x))$$

Swish

Swish

• 数学描述

  $$\mathrm{swish}(x)=x\sigma (\beta x)$$

GELU

Gaussian Error Linear Unit

• 数学描述

  $$\mathrm{GELU}(x)=xP(X\le x)$$

Maxout

Maxout

• 数学描述

  $$z_k={\mathbf{w}}_k^{\top }\mathbf{x}+b_k$$

  $$\mathrm{maxout}(\mathbf{x})=\underset{k\in [1,K]}{\max }\left(z_k\right)$$

GLU

Gated Linear Unit

• 数学描述

  $$h_l(\mathbf{X})=(\mathbf{X}\ast \mathbf{W}+\mathbf{b})\otimes \sigma (\mathbf{X}\ast \mathbf{V}+\mathbf{c})$$
  其中，$\mathbf{W},\mathbf{V},\mathbf{b},\mathbf{c}$为可学习参数，$\sigma (\cdot )$为Sigmoid

GTU

Gated Tanh Unit

• 数学描述

  $$h_l(\mathbf{X})=\tanh (\mathbf{X}\ast \mathbf{W}+\mathbf{b})\otimes \sigma (\mathbf{X}\ast \mathbf{V}+\mathbf{c})$$
  其中，$\mathbf{W},\mathbf{V},\mathbf{b},\mathbf{c}$为可学习参数，$\sigma (\cdot )$为Sigmoid，$tanh(\cdot )$为Tanh