Wikipedia将优化定义为一个问题，在该问题中，您函数通过从允许的集合中系统选择输入值并计算函数的值来最大化或最小化实际函数。这意味着当我们谈论优化时，我们总是对寻找最佳解决方案感兴趣。因此，可以说一个人具有某种函数形式(例如，以f(x)的形式)，而他正试图为此函数形式找到最佳解决方案。现在，最好的意思是什么?有人可以说他有兴趣最小化这种功能形式或最大化这种功能形式。
通常，优化问题包含三个部分。
最小化f(x)，
wrt x，
服从
其中，f(x)：目标函数
x：决策变量
a
根据决策变量的数量，优化可以分为两部分，
- 单变量优化问题：单变量优化可以定义为无约束的非线性优化，并且在此优化中只有一个决策变量要为之寻找值。
最小f(x)
wrt x
∈ - 多元优化问题：在多元优化问题中，此优化中必须有一个以上的决策变量，我们试图为此寻找一个值。
最小f(x 1 ，x 2 ，x 3 …..x n )
什么是多元优化问题?
在多变量优化问题中，有多个变量充当优化问题中的决策变量。
z = f(x 1 ，x 2 ，x 3 …..x n )
因此，当您查看这些类型的问题时，通用函数z可能是决策变量x 1 ，x 2 ，x 3至x n的某些非线性函数。因此，有n个变量可以操纵或选择以优化此函数z。请注意，可以使用二维图像来解释单变量优化，这是因为在x方向上我们具有决策变量值，而在y方向上我们具有函数的值。但是，如果是多变量优化，则我们必须使用三维图片，并且如果决策变量大于2，则很难可视化。
多元优化的类型：
根据约束条件，多元优化可以分为三部分，
- 无约束多元优化
- 等式的多元优化
- 不等式的多元优化
- 无约束多元优化：顾名思义，无约束的多元优化称为无约束多元优化。
范例：
最小x 1 + 2x 2 – x 1 x 2 + 2x 2 2
- 具有等式约束的多元优化：在数学中，等式是两个量或更确切地说是两个数学表达式之间的关系，断言这些量具有相同的值，或者这些表达式表示相同的数学对象。因此，如果给定的目标函数具有多个决策变量并且具有相等约束，那么这就是已知的。
范例：
最小2x 1 2 + 4x 2 2
英石
3x 1 + 2x 2 = 12其中x 1和x 2是两个等式约束相等的决策变量3x 1 + 2x 2 = 12
- 不等式的多元优化：在数学中，不等式是在两个数字或其他数学表达式之间进行不等比的关系。它最常用于按数字大小比较数字线上的两个数字。有几种不同的表示不同类型的不等式的符号。其中<，>，≤，≥是表示不同类型不等式的常用符号。因此，如果给定的目标函数具有多个决策变量并且具有不等式，那么这就是已知的。
范例：
最小2x 1 2 + 4x 2 2
英石
3×1 2×+ 2≤12在此，x 1和x 2是与不等式约束两个决策变量3×1 2×+ 2≤12