Liner Regression

 

1. 基本概念

• 线性
    两个变量之间的关系是一次函数关系，图像是直线，成正比例（反比例不是），叫做线性。

• 非线性
    两个变量之间的关系不是一次函数关系的—，图象不是直线，叫做非线性。

• 回归
    人们在测量事物的时候因为客观条件有限，求得的都是测量值，而不是事物真实的值。
    为了求得真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值。

• 线性回归
    线性回归是回归问题的一种，线性回归假设目标值（y）与特征（x）之间线性相关（满足多元一次方程）。
    我们通过构建损失函数，来求解损失函数最小时的参数 w 和 b。

2. 一般表达式

$$y=wx+b$$
w叫做x的系数
b叫做偏置项。

3. 实际用处

• 预测
    寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。
    例如：对房价的预测、判断信用评价、电影票房预估等。

4. 损失函数（Loss Function）之均方误差（MSE）

• MSE(均方误差)
  1-英文名
    Mean Square Error
    又叫：二次损失
  2-概念
    均方误差，指模型预测值f(x)，与样本真实值y。之间的差值的平方的平均值 。
  3-公式
  $$MSE=\frac{1}{n}\sum _{i=1}^n(f(x_i)-y_i{)}^2$$
  n: 样本个数
  $y_i$: 真实值
  $f(x_i)$: 预测值

• 核心目标优化式
  1-概念
    求解最佳参数，需要一个标准来对结果进行衡量，为此我们需要定量化一个目标函数式，使得计算机可以在求解过程中不断地优化。
  2-推导
  将$$y=wx+b$$代入 $$MSE=\frac{1}{n}\sum _{i=1}^n(f(x_i)-y_i{)}^2$$
  得
  $$MSE(w,b)=\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  最终，1/n不影响最小值，省略1/n，便于计算（这个公式很重要）
  得，平方损失函数（squared loss）
  $$L(w,b)=\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  任务是：求解最小化L时w和b的值。
  

5. 计算 w 和 b

5.1 方法一：最小二乘法（least square method）

核心：我们通过构建损失函数，来求解损失函数最小时的参数 w 和 b。

1-回顾
  中学有一种题，给你很多数据（组成表格），要你求解，缺失的部分或进行判断。我们就用到了最小二乘法。公式我们一般都是直接背下来直接用。例如：

直线
$$y=kx+b$$
$\hat{k}$
$$\hat{k}=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}$$

$\hat{b}$
$$\hat{b}=\bar{y}-\hat{k}\bar{x}$$

2-线性回归中计算w和b：求偏导
注意
$$(注意：\sum _{i=1}^n{x}_i=n\frac{{\sum }_{i=1}^n{x}_i}{n}=n\bar{x})$$

对$L(w,b)$求$w$的偏导。

$$\begin{array}{rl}L(w,b{)}_w^{\prime }& =\frac{\partial L}{\partial w}\\ & =\sum _{i=1}^n[(w{x}_i+b-y_i{)}^2{]}_w^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\ast (x_{i}w+b-y_i{)}_w^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\ast x_i\\ & =2[w\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i(b-y_i)]\\ & =2[w\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i(y_i-b)]\end{array}$$

对$L(w,b)$求b的偏导。

$$\begin{array}{rl}L(w,b{)}_b^{\prime }& =\frac{\partial L}{\partial b}\\ & =[\sum _{i=1}^n(w{x}_i+b-y_i{)}^2{]}_b^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\ast (\sum _{i=1}^n{x}_{i}w+b-\sum _{i=1}^n{y}_i{)}_b^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\\ & =2[nb-\sum _{i=1}^n(y_i-w{x}_i)]\end{array}$$

令两式为0

$$\begin{array}{rl}& b=\frac{1}{n}\sum _{i=1}^n(y_i-w{x}_i)\\ & b=\bar{y}-w\bar{x}\end{array}$$
$$\begin{array}{r}2[w\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i(y_i-b)]=0\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{x}_i(y_i-b)\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n(x_i{y}_i-x_{i}b)\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n(x_i{y}_i)-\sum _{i=1}^n(x_{i}b)\\ nw\sum _{i=1}^n{x}_i^2=n\sum _{i=1}^n(x_i{y}_i)-nb\sum _{i=1}^n{x}_i\\ nw\sum _{i=1}^n{x}_i^2=n\sum _{i=1}^n(x_i{y}_i)-\sum _{i=1}^n(y_i-w{x}_i)\sum _{i=1}^n{x}_i\\ nw\sum _{i=1}^n{x}_i^2=n\sum _{i=1}^n(x_i{y}_i)-(\sum _{i=1}^n{y}_i-\sum _{i=1}^{n}w{x}_i))\sum _{i=1}^n{x}_i\\ nw\sum _{i=1}^n{x}_i^2=n\sum _{i=1}^n(x_i{y}_i)-\sum _{i=1}^n(x_i{y}_i)+w\sum _{i=1}^n(x_i)\ast \sum _{i=1}^n{x}_i)\\ nw\sum _{i=1}^n{x}_i^2=n\sum _{i=1}^n(x_i{y}_i)-\sum _{i=1}^n(x_i{y}_i)+w[\sum _{i=1}^n{x}_i{]}^2\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n(x_i{y}_i)-\frac{1}{n}\sum _{i=1}^n(x_i{y}_i)+\frac{w}{n}[\sum _{i=1}^n{x}_i{]}^2\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n(x_i{y}_i)-\bar{x}\sum _{i=1}^n{y}_i+\frac{w}{n}[\sum _{i=1}^n{x}_i{]}^2\\ w\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{y}_i(x_i-\bar{x})+\frac{w}{n}[\sum _{i=1}^n{x}_i{]}^2\\ w=\frac{{\sum }_{i=1}^n{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^n{x}_i^2-\frac{1}{n}[{\sum }_{i=1}^n{x}_i{]}^2}\end{array}$$

5.2 方法二：梯度下降法（gradient descent）

核心：对自变量进行不断的更新（针对w和b求偏导），使得目标函数不断逼近最小值的过程。

• 梯度的定义
    某一函数沿着某点处的方向导数可以以最快速度到达极大值，该方向导数我们定义为该函数的梯度。
    在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率。
    在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

• 梯度的公式

$$\nabla =\frac{df(\theta )}{d\theta }$$
θ是自变量
f(θ)是关于θ的函数
▽表示梯度

• 梯度下降
    梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向。

• 梯度下降的公式
  $$\theta ={\theta }_0-\eta \ast \nabla f({\theta }_0)$$
  η是步长(也作学习率$\alpha$)
  θ是由${\theta }_0$按照上述式子更新后的值

• 步长
    梯度下降迭代过程中每一步沿负方向前进的长度。
    步长太大，会导致迭代过快，错过最优解;
    步长太小，迭代速度太慢，耗时间太长。
  

• 针对本题（线性回归）的梯度下降
  1-公式
  $$\begin{gathered} w\leftarrow w-\alpha \frac{\partial L}{\partial w} \\ b\leftarrow b-\alpha \frac{\partial L}{\partial b} \end{gathered}$$
  $\alpha$是学习率，是一个梯度下降需要的超参数,如 0.01、0.001。
  2-学习率/步长
  学习率设定策略

6. 过拟合

• 概念
    模型在测试集上的表现不如训练集，即为过拟合。

• 原因
    1）模型过于复杂
    2）训练数据太少或比较极端
    3）样本的特征太多
    4）过拟合的原因存在于三个层面：模型、数据量、特征。出现其中一个，就会过拟合。

• 解决方法
    1）使用正则化项，也就是给loss function加上一个参数项。
    2）扩充数据集，收集更多数据。
    3）减少特征数量 。

• 具体方法
    1）L1正则化（Lasso回归）
    2）L2正则化（Rideg/岭回归）
    3）L1+L2正则化（弹性网络/ElasticNet回归）

• 惩罚项
    L1正则化和L2正则化都可以看做是损失函数的惩罚项。
    所谓惩罚项是指对损失函数中的一些参数进行限制，让参数在某一范围内进行取值。
    L1正则化的模型叫做LASSO回归，L2正则化的模型叫做岭回归。

• 范数
  定义：
  范数是衡量某个向量空间（或矩阵）中的每个向量的长度或大小。
  范数的一般定义：
  对实数p>=1，n个向量，$||x|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$
  L0范数
  用来度量向量中非零元素的个数。
  L1范数 $||x|{|}_1$
  当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。
  L2范数 $||x|{|}_2$
  当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。

6.1 L1正则化（Lasso回归）

• Lasso回归公式
  在损失函数后，加L1范数
  $$\begin{array}{rl}L(w,b)& =\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda ||w|{|}_1\\ & =\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda \sum _{j=1}^k|w_j|\end{array}$$
  为了便于计算
  $$\begin{array}{rl}L(w,b)& =\frac{1}{2n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda \sum _{j=1}^k|w_j|\end{array}$$
  $w$为特征变量
  n为样本个数
  k为特征数

• 参数的计算
  不可用最小二乘法
    惩罚项是有绝对值得的，由高中知识就知道，绝对值在0处不可导。
    因为存在不可导点：最小二乘法，梯度下降法，牛顿法与拟牛顿法对它统统失效了。
  其他的方法
  Lasso回归求解
  只算一步梯度

$$L(w,b)=\frac{1}{2n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda \sum _{j=1}^k|w_j|$$
$$\downarrow$$
$$L(w)=\frac{1}{2}MSE(w)+\lambda \sum _{j=1}^k|w_j|$$
$$\downarrow 求梯度$$
$$\begin{array}{rl}L(w{)}_w^{\prime }& ={\nabla }_{w}MSE(w)+\lambda \ast \{\begin{array}{l}sign(w_1)\\ sign(w_2)\\ ...\\ sign(w_k)\end{array}\end{array}$$
$$\downarrow 符号函数sign$$
$$sign(x)=\{\begin{array}{ll}1& x>0\\ 0& x=0\\ -1& x<0\end{array}$$

• Lasso回归的性质
  1）容易获得稀疏解
  2）可以减少特征值
  3）可以降维
  4）存在不可导点
  5）L1范数符合拉普拉斯分布，是不完全可微的。
  6）表现在图像上会有很多角出现。
  7）会造成最优值出现在坐标轴上，因此就会导致某一维的权重为0 。
  8）产生稀疏权重矩阵，进而防止过拟合。
  9）可以使得一些特征的系数变小,甚至还使一些绝对值较小的系数直接变为0。
  10)

6.2 L2正则化（Rideg/岭(脊)回归）

• 岭回归公式
  在损失函数后，加L2范数的平方
  $$\begin{array}{rl}L(w,b)& =\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda ||w|{|}_2^2\\ & =\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\lambda \sum _{j=1}^k{w}_j^2\end{array}$$
  为了便于计算
  $$\begin{array}{rl}L(w,b)& =\frac{1}{2n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\frac{\lambda }{2}\sum _{j=1}^k{w}_j^2\end{array}$$
  $w$为特征变量
  n为样本个数
  k为特征数

• 参数的计算
  最小二乘法
  $$L(w,b)=\frac{1}{2n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+\frac{\lambda }{2}\sum _{j=1}^k{w}_j^2$$
  $$\downarrow$$
  $$转为向量，便于计算(省略偏置项b)$$
  $$\downarrow$$
  $$L=\frac{1}{2}(XW-Y{)}^2+\frac{\lambda }{2}{W}^2$$
  $$\downarrow 求导$$
  $$\begin{array}{rl}{L}_w^{\prime }& =X^T\ast (XW-Y)+\lambda W\\ & =X^{T}XW-X^{T}Y+\lambda W\\ & =(X^{T}X+\lambda I)W-X^{T}Y\end{array}$$
  $$\downarrow 导数取0$$
  $$\begin{array}{rl}{L}_w^{\prime }& =0\\ (X^{T}X+\lambda I)W& =X^{T}Y\\ W& =(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y\end{array}$$
  各个向量解释
  $$\begin{gathered} X:n\times k矩阵 \\ Y:n\times 1矩阵 \\ W:k\times 1矩阵 \\ I:k\times k矩阵 \\ n为样本个数 \\ k为特征数 \\ 矩阵乘法满足：列=行 \end{gathered}$$

• 结论
  $$W=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$$

• 岭回归的性质
  1）岭回归的公式仍然是一个凸函数。
  2）L2范数符合高斯分布，是完全可微的。
  3）图像上的棱角被圆滑了很多。
  4）L2正则化不容易得到稀疏矩阵
  5）

6.3 L1+L2正则化（弹性网络/ElasticNet回归）

• 概念
    1）弹性网络是结合了岭回归和Lasso回归，由两者加权平均所得。
    2）在我们发现用Lasso回归太过(太多特征被稀疏为0)。
    3）岭回归也正则化的不够(回归系数衰减太慢)的时候。
    4）可以考虑使用ElasticNet回归来综合。
    5）它使用L1来训练并且L2优先作为正则化矩阵。

• ElasticNet回归公式
  损失函数加上L1和L2的加权
  $$\begin{array}{rl}L(w,b)& =\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+r\lambda \sum _{j=1}^k|w_j|+(1-r)\lambda \sum _{j=1}^k{w}_j^2\end{array}$$
  为了便于计算
  $$\begin{array}{rl}L(w,b)& =\frac{1}{2n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2+r\lambda \sum _{j=1}^k|w_j|+\frac{1-r}{2}\lambda \sum _{j=1}^k{w}_j^2\end{array}$$
  $w$为特征变量
  n为样本个数
  k为特征数
  r表示L1所占的比例

$$\downarrow 简化，省略偏置项$$
$$\downarrow$$
$$L(w)=\frac{1}{2n}||xw-y|{|}_2^2+r\lambda ||w|{|}_1+\frac{1-r}{2}\lambda ||w|{|}_2^2$$

• 参数的计算
  待定

• ElasticNet回归的性质
  1）当$r$接近0时，ElasticNet表现接近lasso。

• 综合三种回归
  首选Ridge,其次ElasticNet,最后考虑Lasso

7. 欠拟合

• 概念
    1）若在训练集表现差，在测试集表现同样会很差，这可能是欠拟合导致。
    2）欠拟合是指模型拟合程度不高，数据距离拟合曲线较远。
    3）或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。

• 解决方法
    1）增加多项式特征阶数。
    2）减小正则项的超参系数值。
    3）局部加权线性回归

7.1 局部加权线性回归

• 英文
    Locally weighted linear regression

• 概念
    1）在该算法中，我们给待预测点附近的每一个点赋予一定的权重。
    2）在这个子集上基于最小均方误差来进行普通的回归。
    3）与KNN类似，这种算法每次预测均需要事先选取出对应的数据子集。

• 高斯核
  1-使用原因
    局部线性加权使用核（类似支持向量机中的核）来对附近的点赋予更高的权重。
  2-高斯核公式
  $$w(i,i)=exp(\frac{(x_i-x{)}^2}{-2k^2})$$
  3-不同k值，高斯核对应的样本覆盖范围
  
  4-结论
    1）构建了一个只含有对角元素的权重矩阵ω。
    2）并且点x与xi越近，w(i,i)将会越大。
    3）用户指定的参数k，决定了对附近的点赋予多大的权重。

• 公式推导
  由ridge回归，推导的结论
  $$W=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$$
  $$\downarrow 省去L2正则项\downarrow$$
  $$W=(X^{T}X{)}^{-1}{X}^{T}Y$$
  $$\downarrow W用\theta 来代替\downarrow$$
  $$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
  $$\downarrow 引入权重矩阵w:n\times n对角矩阵\downarrow$$
  $$结论：\theta =(X^{T}wX{)}^{-1}{X}^{T}wY$$

• 例子