失眠网 > 机器学习梯度下降法应用波士顿房价预测

机器学习梯度下降法应用波士顿房价预测

时间：2018-10-14 07:14:11

相关推荐

机器学习梯度下降法应用波士顿房价预测

1 线性回归api介绍

机器学习梯度下降算法：/ZGL_cyy/article/details/127037949

sklearn.linear_model.LinearRegression(fit_intercept=True) 通过正规方程优化参数 fit_intercept：是否计算偏置属性 LinearRegression.coef_：回归系数LinearRegression.intercept_：偏置 sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01) SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。参数： loss:损失类型loss=”squared_loss”: 普通最小二乘法fit_intercept：是否计算偏置learning_rate : string, optional 学习率填充‘constant’: eta = eta0‘optimal’: eta = 1.0 / (alpha * (t + t0))‘invscaling’: eta = eta0 / pow(t, power_t)[default]power_t=0.25:存在父类当中对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。属性： SGDRegressor.coef_：回归系数SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API，可以根据选择使用

小结

正规方程 sklearn.linear_model.LinearRegression() 梯度下降法 sklearn.linear_model.SGDRegressor(）

2 波士顿房价预测

2.1 案例背景介绍

数据介绍

给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只需要使用这些特征。到后面量化很多特征需要我们自己去寻找

2.2 案例分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

数据分割与标准化处理回归预测线性回归的算法效果评估

2.3 回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：

注：yi为预测值，为真实值

思考：MSE和最小二乘法的区别是？

sklearn.metrics.mean_squared_error(y_true, y_pred) 均方误差回归损失y_true:真实值y_pred:预测值return:浮点数结果

2.4 代码实现

2.4.1 正规方程

def linear_model1():"""线性回归:正规方程:return:None"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 4.机器学习-线性回归(正规方程)estimator = LinearRegression()estimator.fit(x_train, y_train)# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)return None

2.4.2 梯度下降法

def linear_model2():"""线性回归:梯度下降法:return:None"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 4.机器学习-线性回归(特征方程)estimator = SGDRegressor(max_iter=1000)estimator.fit(x_train, y_train)# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)return None

我们也可以尝试去修改学习率

estimator = SGDRegressor(max_iter=1000,learning_rate="constant",eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。