单变量优化——数据科学

维基百科将优化定义为通过系统地从允许的集合中选择输入值并计算函数值来最大化或最小化实际函数的问题。这意味着当我们谈论优化时，我们总是对找到最佳解决方案感兴趣。因此，假设一个人有某种函数形式（例如以f(x)的形式），并且他正在尝试为这种函数形式找到最佳解决方案。现在，最好的意思是什么？可以说他对最小化这种函数形式或最大化这种函数形式感兴趣。
通常，优化问题具有三个组成部分。

minimize f(x),
w.r.t x,
subject to a < x < b
where, f(x) : Objective function
x : Decision variable
a < x < b : Constraint

根据约束的类型，优化可以分为两部分

1. 约束优化问题：如果在那里给出了约束并且我们必须让解决方案满足这些约束，我们称之为约束优化问题。
2. 无约束优化问题：在缺少约束的情况下，我们称它们为无约束优化问题。

什么是单变量优化？
单变量优化是非线性优化问题的一个简单案例，它具有无约束的情况，即没有约束。单变量优化可以定义为一种没有约束的非线性优化，并且在这个优化中只有一个我们试图为其找到值的决策变量。

min f(x)
w.r.t x
x ∈ R

因此，当您查看这个优化问题时，您通常将其写成上面的形式，其中您说要最小化f(x) ，并且该函数称为目标函数。你可以用来最小化这个函数的变量被称为决策变量，它写在下面，就像这里的wrt x一样，你还说 x 是连续的，它可以在实数轴上取任何值。因为这是一个单变量优化问题，所以 x 是一个标量变量而不是一个向量变量。
x 是函数f(x) 的最小值的充分必要条件。
在单变量优化的情况下，x 成为函数f(x) 的最小值的充分必要条件是

• 一阶必要条件：f'(x) = 0
• 二阶充分条件：f”(x) > 0

  让我们快速解决一个数值例子，以更好地理解这些条件。数值示例：
  最小 f(x) wrt x

  给定f(x) = 3x ⁴ – 4x ³ – 12x ² + 3

  根据一阶必要条件：
  $\begin{array}{l} f^{\prime}(x)=0 \\ \Rightarrow 12 x^{3}-12 x^{2}-24 x=0 \\ \Rightarrow 12 x\left(x^{2}-x-2 x\right)=0 \\ \Rightarrow 12 x(x+1)(x-2)=0 \\ \text { e.g } x=0, x=-1, x=2 \end{array}$
  现在，我们想知道 x 的这 3 个值实际上是最小值。为此，我们查看二阶充分性条件。所以根据二阶充分性条件：
  $\begin{array}{l} f^{\prime \prime}(x)>0 \\ f^{\prime \prime}(x)=36 x^{2}-24 x-24 \end{array}$
  将 x 的每个值放入上述等式中：
  f”(x) | _{x = 0} = -24（不满足充分条件）
  f”(x) | _{x = -1} = 36 > 0（满足充分条件）
  f”(x) | _{x = 2} = 72 > 0（满足充分条件）
  因此 -1 和 2 是 f(x) 的实际最小值。所以对于这两个值
  f(x) | _{x = -1} = -2
  f(x) | _{x = 2} = -29