线性回归模型 —— 普通最小二乘法（OLS）推导与python实现

一般回归模型中

回归的核心任务就是要通过样本信息来估计总体回归函数

一元线性回归模型：

一元线性回归模型假设x是一维的，即只考虑一个因素对y的影响，模型为

y=+x+μ, E (μ|x)= 0

其中, 为回归系数。

可以表示为当x = 0，时y的期望值；可以理解为x每增加一个单位，y平均增加个单位

案例：

假设家庭每月消费支出与每月可支配收入之间的关系为：

Spending=+*Income+μ

表1.1 家庭消费支出与可支配收入的一个随机样本 单位： 元

使用OLS估计回归参数

样本回归模型可表示为：

其中，为回归参数的估计，为下的拟合值，称为残差。

OLS估计的思想是通过最小化残差来对回归系数进行估计，即：

推导过程：

python实现

不调用package：

def linear_OLS(x_arr,y_arr):x_avg= x_arr.mean()y_avg = y_arr.mean()s_xy = (x-x_avg)*(y-y_avg).Ts_x = (x-x_avg)*(x-x_avg).Tbeta_1 = s_xy.sum()/s_x.sum()beta_0 = y_avg-beta_1*x_avgreturn beta_1,beta_0x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])beta_1,beta_0 = linear_OLS(x,y)print('beta_1:',beta_1,'beta_0:',beta_0)result:beta_1:0.67,beta_0:142

调用package：

import statsmodels.api as smx = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])est = sm.OLS(y, sm.add_constant(x)).fit()est.summary()

result：

如果觉得《线性回归模型 —— 普通最小二乘法（OLS）推导与python实现》对你有帮助，请点赞、收藏，并留下你的观点哦！