1 线性回归简介

在机器学习中，线性回归可解释为求解连续变量与因变量之间的线性关系的数学表达式。假设该数据集总共有$m$列特征，$n$个数据，那么其形式为：
$$h_w(x_1,x_2...x_m)=w_0+w_1{x}_1+w_2{x}_2+...w_m{x}_m$$
矩阵表达形式为 $H_W(X)=XW$

这里偏置值$b$为$w_0$，并且在矩阵形式中对在矩阵X左边添加了一列1，做了简化，方便推导

其中的模型参数序列 {$w_0,w_1,...w_m$} ，则是我们求解的重点。那么到底如何求解它们呢，主流的两种方法为标准方程法或梯度下降法。

2 损失函数

在具体了解两种方法，标准方程法与梯度下降法之前先介绍一下衡量线性回归模型好坏的损失函数。线性回归中使用的形式为均方差误差（MSE），假设数据集有m个特征，n个样本，那么其形式为：
$$J(w_0,w_1,...w_m)=\sum _{i=1}^n(h_{x^i}(w_0,w_1,...w_m)-y_i{)}^2$$

其矩阵表达形式为 $J(W)=(XW-Y{)}^T(XW-Y)$

其实如果是均方差误差，上面两个公式右边都要左乘$\frac{1}{n}$，但是为了推导方便，并没有加上，实际影响也不大

另外线性回归的损失函数是凸函数，加上正则项（Norm）后仍是凸函数，这也是为什么不管用什么方法都能对线性回归求解到全局最优解。（不了解凸函数可以查找其他资料，实际内容也是比较简单的）

3 两种求解方法

求解参数序列{$w_0,w_1,...w_m$}的准则就是使得我们将数据集带入损失函数，损失函数的值最小。

① 标准方程法

标准方程法的推导是基于矩阵表达形式的，因为我们要求解 $J(W)$ 的最小值，由于 $(XW-Y{)}^T(XW-Y)$ 是一个半正定二次型，那么当取得最小值时，其一阶微分为零矩阵，也是类似于求解二次函数的最小值。
推导过程如下：
$$\frac{\partial (XW-Y{)}^T(XW-Y)}{\partial W}=0$$
$$\frac{\partial (W^T{X}^{T}XW-W^T{X}^{T}Y-Y^{T}XW+Y^{T}Y)}{\partial W}=0$$
$$2X^{T}XW-X^{T}Y-X^{T}Y+0=0$$
最后将$W$提取出来就是：
$$W=(X^{T}X{)}^{-1}{X}^{T}Y$$

在这里要提一下半正定矩阵$X^{T}X$不可逆的情况：
1. 部分特征值之间存在线性相关性
2. 样本数小于特征数

解决$X^{T}X$不可逆的方法，加上正则项$\lambda I$（$\lambda >0且为常数$）,而后变为：
$$W=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$$
改变后的矩阵$(X^{T}X+\lambda I)$的奇异值均大于0，因此必定可逆。

② 梯度下降法

针对梯度下降法求解参数，表明为对参数序列 {$w_0,w_1,...w_m$} 的所有参数进行同步更新，并且普通的梯度下降法每次更新都使用数据集中的所有数据。对于 $t$ 时刻的参数 $w_j$，设置学习率为 $\alpha$ ($\alpha$>0且为常数)，那么就有如下推导：
$$w_j^t=w_j^{t-1}-\alpha \ast \frac{\partial J(w_0,w_1,...w_m)}{\partial w_i}$$
展开损失函数 $J(w_0,w_1,...w_m)$ 就是
$$w_j^t=w_j^{t-1}-\alpha \ast \frac{\partial {\sum }_{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i{)}^2}{\partial w_i}$$
现在直接对 $w_j$ 求出偏导后的结果，就是
$$w_j^t=w_j^{t-1}-\alpha \ast 2\ast \sum _{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i)\ast x_j^i$$

此处的 $j$ 与 $i$ 反映不同的含义，$j$ 反映的是对应参数 $w_j$，$i$ 反映对应哪一个样本，并且这里我省略了对于参数 $w_0$ 的 $x_0^i$, 它们的值都默认为1，作为偏置值

那么对于所有的参数 {$w_0,w_1,...w_m$} 就可以列举$m+1$列：
$w_0^t=w_0^{t-1}-\alpha \ast 2\ast {\sum }_{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i)\ast 1$
$w_1^t=w_1^{t-1}-\alpha \ast 2\ast {\sum }_{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i)\ast x_1^i$
…
$w_m^t=w_m^{t-1}-\alpha \ast 2\ast {\sum }_{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i)\ast x_m^i$

可以看到式子中的 ${\sum }_{i=1}^n(w_0+w_1{x}_1^i+w_2{x}_2^i+...w_m{x}_m^i-y_i)\ast x_j^i$，
其实就是对单个数据求直接误差然后乘以我们对应 $w_j$ 的 $x_j^i$，最后求和。

下面展示一下梯度下降法的矩阵形式，看起来会简便很多：
$$W^{\ast }=W-\alpha \frac{\partial (XW-Y{)}^T(XW-Y)}{\partial W}$$
根据上面标准方程法推导的$$\frac{\partial (XW-Y{)}^T(XW-Y)}{\partial W}=2X^{T}XW-X^{T}Y-X^{T}Y$$
直接带入梯度下降法的矩阵形式中我们可以得到
$$W^{\ast }=W-2\alpha X^T(XW-Y)$$

③ 求解方法的选择

考虑选择哪一种作为线性回归的求解方法一般只需要考虑特征的数量情况。标准方程法由于需要求解$(X^{T}X)$的逆矩阵。假设特征数量为$m$，半正定矩阵的形状就为$m\times m$ (准确来说是$(m+1)\times (m+1)$，因为有将偏置值$b$，也等同视为了特征放入矩阵中计算) ，此时使用 numpy 求解逆矩阵的时间复杂度约为$O(m^3)$。

谈及时间复杂度是为了说明当特征数量十分多时，计算逆矩阵的时间非常漫长。那么这时候就选择梯度下降法就比较合适，后者对特征数量没什么限制。
一般说特征非常多时不合适使用标准方程法，那么到底是多少呢。其实只要特征数量不到几万至几十万，都是适用的。

大多数情况下挑自己顺手的选择。如果你对神经网络十分熟悉，在使用梯度下降法调节学习率与正则项参数时自然也是得心应手。

4 正则化减轻过拟合

在线性回归中，模型可能会出现过拟合，正则化则是在损失函数中增加有关模型参数 $w$ 的一项，从而限制模型复杂度，达到减轻过拟合的效果。基本的有三种正则化，算法分别为Lasso（L1正则），Ridge（L2正则），Elastic-net（L1与L2结合）。

① Lasso（L1正则）

只需要在损失函数后面加上参数序列的绝对值的和的项，此时损失函数为：
$$J(w_0,w_1,...w_m)=\sum _{i=1}^n(h_{x^i}(w_0,w_1,...w_m)-y_i{)}^2+\lambda \sum _{j=1}^m|w_j|$$

矩阵形式为 $J(W)=(XW-Y{)}^T(XW-Y)+\lambda ||W|{|}_1$

② Ridge（L2正则）

在损失函数后加上参数序列的平方和的项，此时损失函数为：
$$J(w_0,w_1,...w_m)=\sum _{i=1}^n(h_{x^i}(w_0,w_1,...w_m)-y_i{)}^2+\lambda \sum _{j=1}^m{w_j}^2$$

矩阵形式为 $J(W)=(XW-Y{)}^T(XW-Y)+\lambda ||W|{|}_2^2$

也就是 $J(W)=(XW-Y{)}^T(XW-Y)+\lambda W^{T}W$

对于L2正则化，可以简单的应用在标准方程法，得到之前提到的最优解为
$W=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$

③ Elastic-net（L1与L2结合）

Elastic-net 弹性网增加的项为
$$\lambda \sum _{j=1}^m{\alpha |w_j|+(1-\alpha )w_j}^2$$
此处的$\alpha$并不是学习率，而是平衡 L1 与 L2 的权重。

④ 浅谈L1与L2正则化

在实际应用中，L1由于绝对值的存在更难计算，并且得到的参数序列会比L2的更加稀疏，更多的参数会被归为0。

5 非线性回归

一般在处理线性回归问题，很可能自变量与因变量之间不是简单的线性关系。这时我们可以对特征或是预测的结果进行非线性变换，从而达到非线性回归的效果。经典的有多项式回归，广义线性回归。

① 多项式回归

多项式回归就是对特征进行多项式变换，比如一个只有两个特征值的线性回归，假设原模型公式为
$$h_w(x_1,x_2)=w_0+w_1{x}_1+w_2{x}_2$$
进行二次多项式变换后就是
$$h_w(x_1,x_2,x_1{x}_2,{x_1}^2{x_2}^2)=w_0+w_1{x}_1+w_2{x}_2+w_3{x}_1{x}_2+w_4{x_1}^2+w_5{x_2}^2$$

虽然这种增加特征维度的变换一般能增加模型的非线性表达能力，但也很可能会造成过拟合，因此使用的时候也需注意

② 广义线性回归

此时不是对特征进行非线性变换，而是对预测的结果进行变换，跟神经网络中的激活函数类似。比如我们原本的预测值为
$$h_w(x_1,x_2)=w_0+w_1{x}_1+w_2{x}_2$$
我们可以对得到的结果进行指数变换为
$$e^{h_w(x_1,x_2)}=e^{w_0+w_1{x}_1+w_2{x}_2}$$

此处的变换函数$$G(z)=e^z$$
在广义线性回归中称这种或其他类型的变换函数为联系函数，但我们一般习惯叫它们激活函数