机器学习之线性回归算法

厚谦 2024-05-31 15:40:32

一、什么是线性回归算法？

线性回归算法是一种基于假设自变量和因变量之间存在线性关系的统计学习方法。

也就是说，我们认为因变量y可以表示为自变量x的线性组合加上一个随机误差项。例如，如果我们有一个自变量x和一个因变量y，那么我们可以假设它们之间的关系为：

y = wx b e

其中w是线性系数，b是截距项，e是误差项。我们的目标是根据已知的x和y的数据，找到最合适的w和b，使得误差项e的平方和最小。这就是最小二乘法的思想。

如果我们有多个自变量x1,x2,…,xn和一个因变量y，那么我们可以假设它们之间的关系为：

y = w1x1 w2x2 … wnxn b e

其中w1,w2,…,wn是线性系数，b是截距项，e是误差项。我们同样要找到最合适的w1,w2,…,wn和b，使得误差项e的平方和最小。

所以线性回归算法的思路就是：根据已有的数据去寻找一条“直线”，让它尽可能的接近这些数据，再根据这条直线去预测新数据的结果。

那么具体要怎么找这条“直线”呢？初中数学里描述一条直线时，用的是一元一次方程：y=ax b，这里的a表示直线的斜率，b表示截距，如下图所示：

机器学习之线性回归算法

以排队为例，我们已知x是人的顺序，y是排的位置，将已有的x和y数据代入到公式中，可以得到一组合适a和b的值来描述这条直线，也就是我们找到了这条直线的分布。

上面比较简单，只有一个x变量，在实际的应用中，会有很多个影响结果的变量，比如预测贷款额度时，会有工资、是否有房等变量，用线性回归的思路解决类似的问题，就要构建多元回归方程了，公式也就变成了 y = a1x1 a2x2 … b。

当有两个变量时，线性回归的分布也就不是一条简单的直线了，而是一个平面，如下图所示：

机器学习之线性回归算法

如果有更多的变量，分布就是一个超平面，找到它的分布也会变得更复杂。

如何计算最优解？

机器学习中，评价模型的预测值和实际值差异的公式叫做损失函数，损失函数值越小，模型性能越好。对于线性回归模型，我们通常使用平方残差和（SSE）或均方误差（MSE）作为损失函数。

平方残差和的公式为：

机器学习之线性回归算法

Yi代表实际观测值，而机器学习之线性回归算法代表模型预测。通过计算每个观测值与对应预测值之间的差异（即残差），并求其平方和，可以得到残差平方和。这个值越大，说明实际观测值与模型预测值之间的差异越大，即模型的拟合效果越差；反之，则说明模型拟合得较好。

均方误差公式为：

机器学习之线性回归算法

对于线性回归模型，我们通常使用梯度下降法（GD）（也可用最小二乘法）求得线性回归方程参数。梯度下降法是一种迭代式的算法，每次沿着损失函数的负梯度方向更新参数，直到收敛到最小值。

数据预处理：将原始数据进行归一化、缺失值处理、异常值处理等预处理操作，得到训练集和测试集。
特征提取：从原始数据中提取出自变量和因变量的特征，通常采用的是最小均方误差（MSE）作为特征提取的度量标准。
模型建立：根据特征提取的结果，建立线性回归模型。线性回归模型的一般形式为：y = w1 * x1 w2 * x2 … wn * xn ε。其中，w1,w2,…,wn是线性系数，ε是随机误差项。
参数求解：使用梯度下降法求解模型的参数。根据步骤3，计算得到模型的参数w1,w2,…,wn和b。
模型训练：使用训练集对模型进行训练，得到最优的模型参数和训练集。
模型评估：使用测试集对模型进行评估，计算模型的预测结果与真实结果之间的均方误差（MSE），作为模型的评估指标。