多元优化-KKT条件

什么是多元优化问题?

在多变量优化问题中，有多个变量充当优化问题中的决策变量。

z = f(x ₁ ，x ₂ ，x ₃ …..x _n )

因此，当您查看这些类型的问题时，通用函数z可能是决策变量x ₁ ，x ₂ ，x ₃至x _n的某些非线性函数。因此，有n个变量可以操纵或选择以优化此函数z。请注意，可以使用二维图像来解释单变量优化，这是因为在x方向上我们具有决策变量值，而在y方向上我们具有函数的值。但是，如果是多变量优化，则我们必须使用三维图片，并且如果决策变量大于2，则很难可视化。

为什么我们对KKT条件感兴趣?

不等式的多元优化：在数学中，不等式是在两个数字或其他数学表达式之间进行不等比的关系。它最常用于按数字大小比较数字线上的两个数字。有几种不同的表示不同类型的不等式的符号。其中<，>，≤，≥是表示不同类型不等式的常用符号。因此，如果给定的目标函数具有多个决策变量并且具有不等式，那么这就是已知的。
范例：

最小2x ₁ ² + 4x ₂ ²
英石
_3×1 2×+ _2≤12

在此，x ₁和x ₂是与不等式约束两个决策变量_3×1 2×+ _2≤12

因此，在具有不等式约束的多元优化的情况下，如果必须满足KKT条件，则x̄ ^*成为极小值的必要条件。因此，我们对KKT条件感兴趣。

KKT条件：

KKT代表Karush–Kuhn–Tucker 。在数学优化中，Karush–Kuhn–Tucker(KKT)条件(也称为Kuhn–Tucker条件)是一阶导数检验(有时称为一阶必要条件)，可以使非线性规划中的解决方案达到最佳，前提是满足规律性条件。

因此，一般而言，多元优化问题包含等式和不等式约束。

z =最小f(x̄)
英石
h _i (x̄)= 0，i = 1，2，…m
g _j (x̄)≤0，j = 1，2，…l

这里我们有“ m”个等式约束和“ l”个不等式约束。

这是等式和不等式约束均处于最佳值的多元优化问题的条件。

• 条件1 ：

  $\nabla f(x^*) + \Sigma _i_=_1^l [\nabla h_i(x^*)] \lambda _i^* + \Sigma _j_=_1^m [\nabla g_j(x^*)] \mu _j^* = 0$在哪里， $f(x^*) = f(x_1, x_2, …., x_n)$ =目标函数$h(x^*) = h(x_1, x_2, …., x_n)$ =平等约束$g(x^*) = g(x_1, x_2, …., x_n)$ =不等式约束$\lambda _i^*$ =等式的标量倍数$\mu _j^*$ =不等式约束的标量倍数

• 条件2 ：

  $h_i(x^*) = 0$ ，因为i = 1，… l

  此条件确保最佳条件满足相等性约束。

• 条件3 ：

  $\lambda _i \in R$ ，因为i = 1，…，l

  lambda必须为某个实数，因此相等约束中的实数应与数量相等。

• 条件4 ：

  $g_j(x^*) \leq 0$ ，j = 1，…，m

  就像在条件2中，最优满足等式约束一样，我们还需要使不等式约束也可以由最优点来满足。因此，这确保了最佳点在可行区域内。

• 条件5 ：

  $\mu _j^*(g_j(x^*)) = 0$

  现在，这是等式约束条件和不等式约束情况之间真正的区别。将该条件称为互补松弛条件。所以，这就是说，如果您采用不等式约束与相应条件的乘积$\mu _j^*$则必须为0。基本上意味着$\mu _j^*$在这种情况下为0 $g_j(x^*)$可以自由设置为满足此条件的任何值，或者$g_j(x^*)$是0，在这种情况下，我们必须计算$\mu _j^*$和$\mu _j^*$我们计算得出的值必须是正数或大于等于0。

• 条件6 ：

  $\mu _j^* \geq 0$ ，j = 1，..，m

  在条件5中，我们已经看到$\mu _j^*$在这种情况下为0 $g_j(x^*)$可以自由设置为满足此条件的任何值，或者$g_j(x^*)$是0，在这种情况下，我们必须计算$\mu _j^*$和$\mu _j^*$我们计算出的值必须是正数或大于等于0。因此，存在此条件是为了确保无论您拥有什么最佳点，都不可能从该最佳点得到任何进一步的改进。这就是为什么出现这种情况的原因。