机器学习 最小二乘法 Ridge回归（岭回归）
·
最小二乘法和Ridge回归在本质上都是用于线性回归问题的优化技术，但它们在处理特定情况时的策略有所不同。
最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离。它通过最小化残差平方和来确定最佳拟合曲线或平面，其中残差是观测数据与拟合值之间的差异。最小二乘法的目标是找到使残差平方和最小的参数值，从而得到最佳的拟合直线或平面。在经济学、物理学和工程学等领域中，最小二乘法常用于估计模型参数、拟合实验数据以及预测和解释变量之间的关系。
然而，当数据集中的特征（自变量）高度相关，即存在共线性时，最小二乘法估计的回归系数会变得不稳定，甚至可能变为无穷大。为了解决这个问题，Ridge回归引入了正则化项。
Ridge回归（也称为岭回归或脊回归）是一种专用于处理共线性数据的回归分析方法。它在损失函数中增加了一个与系数大小相关的正则化项，通常是系数的L2范数乘以一个正则化参数。这个正则化项的目的是通过控制回归系数的大小来减小共线性带来的影响，从而避免过拟合，并提高模型的稳定性和泛化能力。Ridge回归的目标是最小化包含预测误差和正则化项的损失函数，以找到最佳的参数值。
因此，可以说最小二乘法的本质是最小化预测误差，而Ridge回归的本质则是在最小化预测误差的同时，通过正则化项来约束模型复杂度，提高模型的稳定性和泛化能力。
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)