我正在尝试使用python对一个包含大约50个特性的9个样本的数据集应用线性回归方法。我尝试过不同的线性回归方法，即闭式OLS(普通最小二乘法)、LR(线性回归)、HR(Huber回归)、NNLS(非负最小二乘法)，它们各自给出不同的权重。在
但我能直观地理解为什么HR和NNLS有不同的解，而LR和闭式OLS具有相同的目标函数，即最小化给定样本中观测值与由一组特征的线性函数预测的值之差的平方和。由于训练集是奇异的，我不得不使用伪逆来执行闭式OLS。在w = np.dot(train_features.T, train_features)
w1 = np.dot(np.linalg.pinv(w), np.dot(train_features.T,train_target))
对于LR，我使用了scikit学习线性回归使用来自的lapack库来解决最小二乘问题
^{pr2}$
线性方程组或多项式方程组被称为欠定，如果可用的方程组不少于未知参数。每个未知参数都可以算作一个可用的自由度。提出的每一个方程都可以作为限制一个自由度的约束来应用。结果，一个欠定系统可以有无穷多个解，或者根本没有解。由于在我们的案例研究中，系统是欠定的，而且是奇异的，所以存在许多解。在
现在伪逆和Lapack库都试图在样本数小于特征数的情况下求欠定系统的最小范数解。那么为什么闭式和LR给出的解是完全不同的。我是否遗漏了一些可以解释这两种行为的东西。例如，如果用不同的方法计算peudoinverse，比如SVD，QR/LQ因式分解，它们能为同一组方程产生不同的解吗？在
如果觉得《python实现最小二乘法的线性回归_Python中的线性回归与闭式普通最小二乘法》对你有帮助，请点赞、收藏，并留下你的观点哦！
