ML-线性回归与逻辑回归

线性回归

定义

线性回归是最基础也是最常用的回归模型之一。线性回归模型的基本假设是自变量和因变量之间呈线性关系。该模型试图在输入和输出之间建立一个线性关系，向量 $x$ 是输入变量，$y$ 是输出变量，模型将 $x$ 中的每个特征与其相应权重进行加权求和，再加上一个偏置量（截距），最后输出的结果通过一个激活函数进行处理。

线性回归的目标是找到一条直线，使该直线最小化预测值和真实值之间的平均平方误差（MSE）。

代码实现

下面是Python代码实现线性回归模型的示例。

from sklearn.linear_model import LinearRegression
import numpy as np

# 创建训练数据
X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
y = np.dot(X, np.array([1, 2])) + 3

# 建立线性回归模型
model = LinearRegression().fit(X, y)

# 预测新数据
X_new = np.array([[3, 5]])
print(model.predict(X_new))

逻辑回归

定义

逻辑回归是一种广义线性回归模型，用于建立因变量和自变量之间的关系。逻辑回归分析的是线性回归预测概率值的基础上，通过一个特定的函数（称为逻辑函数或Sigmoid函数）将连续回归因子转换为离散值0或1。该模型常用于解决分类问题，如二分类或多分类。

代码实现

下面是Python代码实现逻辑回归模型的示例。

from sklearn.linear_model import LogisticRegression
import numpy as np

# 创建训练数据
X = np.array([[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]])
y = np.array([0, 0, 0, 1, 1, 1])

# 建立逻辑回归模型
model = LogisticRegression().fit(X, y)

# 预测新数据
X_new = np.array([[3, 2]])
print(model.predict(X_new))

总结

线性回归和逻辑回归都是常见的机器学习模型，可用于解决不同的问题。线性回归用于预测数值类问题，逻辑回归用于分类问题。通过掌握这两种模型的原理和实现方法，可以更好地应用到实际数据分析和建模过程中。