📅 最后修改于: 2023-12-03 15:17:26.493000 🧑 作者: Mango
在 Logistic 回归中，Log Odds 是一个十分重要的概念。它是将概率转化为可处理的线性数据的一种方法，同时还可以帮助我们理解变量之间的关系。本文将介绍 Log Odds 在 Logistic 回归中的作用和相关的数学原理。
在 Logistic 回归中，我们需要预测二元变量的结果，通常为 0 或 1。我们可以使用 sigmoid 函数将线性模型的结果转化为概率值。Sigmoid 函数如下：
$$ \sigma(z) = \frac{1}{1+e^{-z}} $$
其中 $z$ 为线性模型的结果，例如：
$$ z = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n $$
在实际问题中，$z$ 通常无法解释为概率，因为它的范围不限于 0 到 1。但是，我们知道概率的范围应该是 0 到 1，因此我们需要将 $z$ 转化为可处理的概率值。转化的方法是将 $z$ 通过 sigmoid 函数进行转化。
但是，sigmoid 函数只能将线性模型的结果转化为概率，它无法处理多个预测变量之间的关系。为了理解多个预测变量之间的关系，我们需要引入 Log Odds。
Odds 是指某个事件发生的概率与不发生的概率之比。例如，某个人获得工作的概率是 0.7，那么他不获得工作的概率就是 1-0.7=0.3，因此他获得工作的 Odds 是 0.7/0.3=2.33。
考虑一个二元分类问题，如果一个样本属于正例的概率是 $p$，那么它不是正例的概率就是 $1-p$，因此它属于正例的 Odds 是 $p/(1-p)$。
Log Odds 是 Odds 取对数后得到的值。Log Odds 的定义如下：
$$ \log{\frac{p}{1-p}} $$
将 Odds 取对数的作用在于将其转化为一个线性的变量，从而可以更方便地处理。值得注意的是，当 $p$ 接近 0 或 1 时，Log Odds 会趋近于正无穷或负无穷，因此我们需要使用 sigmoid 函数将之限制在 0 到 1 的范围内。
Logistic 回归的目标是使用预测变量的线性组合来预测样本属于正例的概率，因此我们需要使用 Log Odds 来将多个预测变量的影响转化为可处理的线性数据。
Logistic 回归的模型可以表示为以下公式：
$$ \log{\frac{p}{1-p}} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n $$
我们可以将其转化为以下形式：
$$ p = \frac{e^{\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n}}{1+e^{\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n}} $$
这个公式可以理解为将多个预测变量的影响转化为 Log Odds，然后使用 sigmoid 函数将之转化为概率。
Logistic 回归通常使用最大似然估计来求解模型中的系数。我们可以通过最大化对数似然函数来求解系数。
本文介绍了 Log Odds 在 Logistic 回归中的作用以及相关的数学原理。Log Odds 能够将概率转化为可处理的线性数据，并且可以帮助我们理解多个预测变量之间的关系。在 Logistic 回归中，我们通常使用 sigmoid 函数将线性模型的结果转化为概率。最后，我们通过最大似然估计求解模型中的系数。