梯度下降或者牛顿法本质都是通过迭代的方式逼近最值，而迭代的目标则是找出下一个逼近最值的位置，梯度下降法是根据一阶梯度来确定下一个位置，而牛顿法则是根据二阶梯度来确定下一个位置。

泰勒展开式就是使用多项式函数在$x_0$处逼近函数$f(x)$，即在$x_0$处$f(x)$等于泰勒展开式。虽然是废话，但是一定要好好思考，这个才是核心

1. 梯度下降法为什么可以求极值

a. 梯度的定义

我们通常称在函数$f(x)$某个点上$x_0$的变化率为导数，通常可以求出这个点的切线，一般叫斜率，即
$$f^{\prime }(x_0)=lim\frac{\Delta y}{\Delta x}=lim\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
对于多元函数，则是称之为方向导数，想象一下二维函数$z=f(x,y)$，这是一个曲面，在某个点$(x_0,y_0)$可以求一个切面，每个方向都可以求一个斜率，假如求方向夹角为$\alpha$的变化率
$$\begin{array}{rl}lim\frac{f(x_0+tcos\alpha ,y_0+tsin\alpha )-f(x_0,y_0)}{t}& =f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)sin\alpha \end{array}$$
令$g=[f_x(x_0,y_0),f_y(x_0,y_0)]$,$e=[cos\alpha ,sin\alpha ]$
那么有
$$\begin{gathered} f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)sin\alpha =g\ast e \\ =|g||e|cos\theta =|g|cos\theta \end{gathered}$$
其中， $\theta$为 $g$ 和 $e$ 的夹角，$\alpha$是我们求某个斜率的方向。那么我们该如何确定$\alpha$使得变化率最大呢？
当$(x_0,y_0)$确定的时候，$g$也就确定了，所以

• 当$\theta =0$时，$e$和$g$的方向相同，此时变化率最大，且为正
• 当$\theta =\pi$时，$e$和$g$的方向相反，此时变化率最大，且为负

通过$g$就可以确定$\alpha$了，这两个是等价的。实际使用中，我们称$g$为梯度。
现在应该就明白为什么说梯度是函数某个点变化最大最快的方向了吧。

b. 泰勒展开式

然后看一阶泰勒展开式
$$f(x_0+\Delta x)=f(x_0)+f^{\prime }(x_0)\Delta x$$
为了求极小值，我们希望找到的下一个$x^{\prime }=x_0+\Delta x$可以使$f(x)$变小，因此希望有
$$f(x_0+\Delta x)=f(x^{\prime })<=f(x_0)$$
将一阶泰勒展开式带入
$$f^{\prime }(x_0)\Delta x=f(x_0+\Delta x)-f(x_0)<=0$$

所以只有当$f^{\prime }(x)$和$\Delta x$的符号相反，才能保证有$f^{\prime }(x_0)\Delta x<0$，做一个简单的变换$\Delta x=-\lambda f^{\prime }(x_0)$，这个变换保证了符号相反，并且要求$\lambda >0$，$\lambda$是实时变化的，无法确定，但是在使用中，我们通常会给一个很小的值，就是梯度下降法中的步长。

梯度的方向为什么是函数值增加最快的方向？

---

2. 牛顿法为什么比梯度下降法更快

a. 牛顿法的定义

一阶牛顿法主要是求0值，二阶牛顿法是求极值，所以一般在机器学习中说的牛顿法主要是指二阶的。我们使用二阶泰勒展开式
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x_0{)}^2$$
根据极值的定义$f^{\prime }(x)=0$，我们对x进行求导
$$0=f^{\prime }(x)=f^{\prime }(x_0)+f^{\prime \prime }(x_0)(x-x_0)$$
可以得到牛顿法的更新公式
$$x=x_0-\frac{f^{\prime }(x_0)}{f^{\prime \prime }(x_0)}$$
多维度的情况就不做推导了，需要查一下资料。

b. 为什么牛顿法更快

从下面两个图可以看到，梯度下降法使用的一阶泰勒展开式，可以认为是在$x_0$处使用线性函数在拟合。按照斜率方向更新x。而牛顿法呢？使用的是二阶泰勒展开式，相当于是使用一个二阶函数在$x_0$处进行函数拟合。求梯度时，直接找到了更优的点。
举个极端的例子。如果我们的函数就是二阶的，如果使用梯度下降法，依然需要一步一步逼近，但是当我们使用牛顿法的时候，相当于直接求出了这个函数的极值点，一次更新就可以了。

梯度下降法家族、牛顿法家族、拟牛顿家族