维基百科将优化定义为通过系统地从允许的集合中选择输入值并计算函数值来最大化或最小化实际函数的问题。这意味着当我们谈论优化时，我们总是对找到最佳解决方案感兴趣。因此，假设一个人有某种函数形式(例如以 f(x) 的形式)，并且他正在尝试为这种函数形式找到最佳解决方案。现在，最好的意思是什么?可以说他对最小化这种函数形式或最大化这种函数形式感兴趣。
通常，优化问题具有三个组成部分。
最小化 f(x)，
x,
服从 a < x < b
其中， f(x) ：目标函数
x : 决策变量
a < x < b ：约束
根据决策变量的数量，优化可以分为两部分，
1.单变量优化问题：单变量优化可以定义为一种没有约束的非线性优化，在这个优化中只有一个我们试图为其找到值的决策变量。
最小 f(x)
写
x∈R
2.多变量优化问题：在多变量优化问题中，必须有多个决策变量在这个优化中我们试图找到一个值。
min f(x 1 , x 2 , x 3 …..x n )
3.什么是多元优化问题?
在多元优化问题中，有多个变量充当优化问题中的决策变量。
z = f(x 1 , x 2 , x 3 …..x n )
因此，当您查看这些类型的问题时，一般函数z 可能是决策变量 x 1 、x 2 、x 3到 x n 的一些非线性函数。因此，可以操纵或选择 n 个变量来优化此函数z。请注意，可以使用二维图片来解释单变量优化，因为在 x 方向上我们有决策变量值，而在 y 方向上我们有函数值。但是，如果是多变量优化，那么我们必须使用三个维度的图片，如果决策变量大于2，则很难可视化。
多元优化的类型：
根据约束，多元优化可以分为三个部分，
- 无约束多元优化
- 具有等式约束的多元优化
- 具有不等式约束的多元优化
4.无约束多元优化：顾名思义，没有约束的多元优化被称为无约束多元优化。
示例：
最小 x 1 + 2x 2 – x 1 x 2 + 2x 2 2
5.具有等式约束的多元优化：在数学中，等式是两个量之间的关系，或者更一般地说是两个数学表达式，断言这些量具有相同的值，或者表达式表示相同的数学对象。因此，如果给定的目标函数具有多个决策变量并具有等式约束，那么这就是已知的。
示例：
最小 2x 1 2 + 4x 2 2
英石
3x 1 + 2x 2 = 12
这里 x 1和 x 2是两个具有等式约束的决策变量 3x 1 + 2x 2 = 12
6.具有不等式约束的多元优化：在数学中，不等式是在两个数字或其他数学表达式之间进行不等式比较的关系。它最常用于按大小比较数轴上的两个数字。有几种不同的符号用于表示不同种类的不等式。其中<、>、≤、≥是代表不同类型不等式的流行符号。因此，如果给定一个具有多个决策变量且具有不等式约束的目标函数，那么这就是已知的。
示例：
最小 2x 1 2 + 4x 2 2
英石
3x 1 + 2x 2 ≤ 12
这里 x 1和 x 2是两个具有不等式约束的决策变量 3x 1 + 2x 2 ≤ 12