无约束多元优化

维基百科将优化定义为通过系统地从允许的集合中选择输入值并计算函数值来最大化或最小化实际函数的问题。这意味着当我们谈论优化时，我们总是对找到最佳解决方案感兴趣。因此，假设一个人有某种函数形式（例如以 f(x) 的形式），并且他正在尝试为这种函数形式找到最佳解决方案。现在，最好的意思是什么？可以说他对最小化这种函数形式或最大化这种函数形式感兴趣。
通常，优化问题具有三个组成部分。

最小化 f(x)，
x ,
服从 a < x < b

其中， f(x) ：目标函数
x : 决策变量
a < x < b ：约束

什么是多元优化问题？

在多元优化问题中，有多个变量充当优化问题中的决策变量。

z = f(x ₁ ,x ₂ ,x ₃ .....x _n )

因此，当您查看这些类型的问题时，一般函数z 可能是决策变量 x ₁ ,x ₂ ,x ₃到 x _{n 的}一些非线性函数。因此，可以操纵或选择 n 个变量来优化此函数z。请注意，可以使用二维图片来解释单变量优化，因为在 x 方向上我们有决策变量值，而在 y 方向上我们有函数值。但是，如果是多变量优化，那么我们必须使用三个维度的图片，如果决策变量大于2，则很难可视化。

什么是无约束多元优化？

顾名思义，没有约束的多元优化被称为无约束多元优化。
示例：

最小 f(x̄)
wrt x̄
x̄ ∈ R ⁿ

因此，当您查看此优化问题时，您通常将其写成上述形式，其中您说要最小化 f(x̄)，并且该函数称为目标函数。你可以用来最小化这个函数的变量，称为决策变量，写在下面像这样 wrt x̄ here，你也说 x̄ 是连续的，它可以在实数轴上取任何值。

x̄ ^*是函数f(x̄ ^* ) 的极小值的充要条件

In case of multivariate optimization the necessary and sufficient conditions for x̄^* to be the minimizer of the function f(x̄) are:

First-order necessary condition: ∇ f(x̄^*) = 0

Second-order sufficiency condition: ∇ ² f(x̄^*) has to be positive definite.

where,

$\nabla f(x^*) = Gradient = \begin{bmatrix} \partial f/ \partial x_1\\ \partial f/ \partial x_2\\ ...\\ ...\\ \partial f/ \partial x_n\\ \end{bmatrix}$ ,and

$\nabla ^2 f(x^*) = Hessian = \begin{bmatrix} \partial ^2f/ \partial x_1^2 & \partial ^2f/\partial x_1 \partial x_2 & ... & \partial ^2f/ \partial x_1 \partial x_n\\ \partial ^2f/\partial x_2 \partial x_1 & \partial ^2f/ \partial x_2^2 & ... & \partial ^2f/ \partial x_2 \partial x_n\\ ... & ... & ... & ...\\ ... & ... & ... & ...\\ \partial ^2f/\partial x_n \partial x_1 & \partial ^2f/\partial x_n \partial x_2 & ... & \partial ^2f/ \partial x_n^2\\ \end{bmatrix}$

让我们快速解决一个数值例子，以更好地理解这些条件。

数值示例

问题：分钟$x_1 + 2x_2 + 4x_1 ^2 - x_1 x_2 + 2x_2 ^2$解：根据一阶条件

$\nabla f(x^*) = \begin{bmatrix} \partial f/ \partial x_1\\ \partial f/ \partial x_2\\ \end{bmatrix} = \begin{bmatrix} 1 + 8x_1 - x_2\\ 2 - x_1 + 4x_2\\ \end{bmatrix} = \begin{bmatrix} 0\\ 0\\ \end{bmatrix}$通过求解这两个方程，我们得到了值$x_1 ^*$和$x_2 ^*$作为$\begin{bmatrix} x_1 ^*\\ x_2 ^*\\ \end{bmatrix} = \begin{bmatrix} -0.19\\ -0.54\\ \end{bmatrix}$为了检查这是最大点还是最小点，为此我们查看二阶充分性条件。所以根据二阶充分性条件： $\nabla ^2 f(x^*) = \begin{bmatrix} \partial ^2f/ \partial x_1^2 & \partial ^2f/\partial x_1 \partial x_2\\ \partial ^2f/\partial x_2 \partial x_1 & \partial ^2f/ \partial x_2^2\\ \end{bmatrix} = \begin{bmatrix} 8 & -1\\ -1 & 4\\ \end{bmatrix}$我们知道，如果 Hessian 矩阵的所有特征值都为正，则称 Hessian 矩阵在某一点是正定的。所以现在让我们找到上述 Hessian 矩阵的特征值。要找到特征值，请参阅此处。并在Python找到特征值，请参阅此处。所以上述hessian矩阵的特征值为$\begin{bmatrix} \lambda _1\\ \lambda _2\\ \end{bmatrix} = \begin{bmatrix} 3.76\\ 8.23\\ \end{bmatrix}$所以这个的特征值发现都是正的；这意味着，这是一个最低点。