建立回归模型

在机器学习中，回归模型是一种建立因变量和自变量之间关系的模型。回归模型通常使用训练数据来建立模型，然后使用该模型来预测新的数据点。

在本文中，我们将介绍如何建立回归模型，并对其进行优化和评估。

数据准备

首先，我们需要准备数据集。一般来说，我们需要将数据集分成两个子集：训练集和测试集。训练集用于建立模型，而测试集用于评估模型的性能。

# 导入数据集
from sklearn import datasets

# 加载数据集
boston = datasets.load_boston()

# 分隔数据集为训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=0)

建立模型

在本文中，我们将使用线性回归模型来建立我们的模型。线性回归模型通过求解最小二乘回归问题来建立因变量和自变量之间的关系。

# 建立线性回归模型
from sklearn.linear_model import LinearRegression
lr = LinearRegression().fit(X_train, y_train)

评估模型

使用训练集建立模型后，我们需要使用测试集对模型进行评估。在回归模型中，我们可以使用均方误差（MSE）或决定系数（R²）来评估模型的性能。

# 利用测试集评估模型
from sklearn.metrics import mean_squared_error, r2_score
y_pred = lr.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print('MSE:', mse)
print('R²:', r2)

优化模型

我们可以通过调整模型的超参数来优化模型。例如，在线性回归模型中，我们可以使用岭回归或Lasso回归来避免过度拟合。

# 建立岭回归模型
from sklearn.linear_model import Ridge
ridge = Ridge(alpha=0.1).fit(X_train, y_train)

# 建立Lasso回归模型
from sklearn.linear_model import Lasso
lasso = Lasso(alpha=0.1).fit(X_train, y_train)

结论

建立回归模型是机器学习中的一个重要任务。通过合适的数据准备、模型建立、评估和优化，我们可以得到一个有效的回归模型，用于预测新的数据点。