凸优化-仿射集

简介

在数学中，凸优化是最小化凸函数的一种优化技术。凸函数具有唯一的全局最小值，所以使用凸优化可以保证最优解的存在性和唯一性。而仿射集也很重要，在凸优化中被广泛使用。

仿射集

先来了解一下仿射集。

一个集合$C$是仿射集，当且仅当对于$x_1, x_2 \in C$，和任意$\theta\in\mathbb{R}$，$\theta x_1 + (1-\theta)x_2 \in C$。

简言之，仿射集是一个具有一些线性性质的凸集。凸集是指包含集合内的连线的一种集合，而仿射集则是在这个基础上增加了对线性运算的保持不变性质。

仿射组合

有时候我们需要做仿射组合。

给定一组点$x_1, x_2, ..., x_n \in \mathbb{R}^m$，一些系数$\theta_1, \theta_2, ..., \theta_n \in \mathbb{R}$，且$\sum_{i=1}^n \theta_i = 1$，则$\sum_{i=1}^n \theta_i x_i$称为这组点的仿射组合。

要证明的是仿射组合仍然是一个仿射集。

设$x_1, x_2 \in C$，考虑它们的仿射组合：

$\theta_1 x_1 + (1-\theta_1) x_2$ 和 $\theta_2 x_1 + (1-\theta_2) x_2$

设$\theta'_1 = \theta_1 \theta_2$，$\theta'_2 = (1-\theta_2)\theta_1$。

则$\theta'_1 + \theta'_2 = \theta_1\theta_2 + \theta_1(1-\theta_2) = \theta_1$。

$\theta'_1 x_1 + \theta'_2 x_2 = \theta_1 x_1 + (1-\theta_1) x_2$。

所以仿射组合也是仿射集。

凸优化

有关凸优化的详细内容在此就不赘述，本文只介绍几个和仿射集相关的优化问题。

最小二乘法

最小二乘法是一种常见的凸优化问题，它的目标是最小化误差的平方和：

$$ \arg\min_{x\in \mathbb{R}^n} \frac{1}{2}|Ax-b|_2^2 $$

其中$A\in\mathbb{R}^{m \times n}$，$b\in\mathbb{R}^m$，且$m \geq n$。

最小二乘法的解可以用矩阵求逆或 QR 分解等方式求得。在这里，我们只需要知道这个问题是一个凸优化问题。

线性规划

线性规划是求解线性约束下的最优解的一种方法，它的目标是最大化线性目标函数：

$$ \arg\max_{x\in \mathbb{R}^n} c^T x $$

满足一系列线性约束：

$$ Ax \leq b \ x \geq 0 $$

其中$A\in\mathbb{R}^{m\times n}$，$b\in\mathbb{R}^m$，$c\in\mathbb{R}^n$。

线性规划的解可以用单纯形法等方法求得，但需要注意的是，这个问题只有在满足凸性时才能使用线性规划求解。

半正定规划

半正定规划是一种全局最优化问题，目标是求出一个半正定矩阵$X$，满足线性约束和半正定约束：

$$ \arg\min_{X\in \mathbb{S}^n_+} \mathrm{Tr}(CX) \ \mathrm{s.t.} \mathrm{Tr}(A_i X) = b_i, i = 1, 2, ..., m $$

其中$\mathbb{S}^n_+$表示半正定矩阵集合，$C, A_1, A_2, ..., A_m\in\mathbb{R}^{n\times n}$，$b_1, b_2, ..., b_m\in\mathbb{R}$。

注意这个问题中半正定矩阵$X$的集合是一个非凸集合。但是，由于它和一个仿射集的交是一种半正定矩阵集合，并且仿射集是凸的，因此可以使用一些凸优化算法解决。例如，SDP（半正定规划）和SOCP（二阶锥规划）等算法。

总结

本文介绍了仿射集的定义及其相关性质，以及与仿射集相关的几个凸优化问题。凸优化是一个非常重要的优化技术，而仿射集在凸优化中则扮演着至关重要的角色。