凸优化 - 最近点定理

简介

最近点定理是凸优化中的一个重要定理，它告诉我们：对于一个凸集 $C$ 和一个点 $x$，存在一个唯一的点 $y \in C$，使得

$$ | x - y |2 = \min{z \in C} | x - z |_2 $$

这个点 $y$ 就被称为 $x$ 在凸集 $C$ 上的最近点。

应用

最近点定理在凸优化中有着广泛的应用，比如：

• 线性规划
• 拟凸规划
• 支持向量机
• 凸包求解
• 优化算法等等

以线性规划为例，它的标准形式为：

$$ \begin{aligned} \min \quad & c^T x \ \text{s.t.} \quad & Ax \ge b, \ & x \ge 0 \end{aligned} $$

其中 $A \in \mathbb{R}^{m \times n}, b \in \mathbb{R}^m, c \in \mathbb{R}^n$，$x \in \mathbb{R}^n$ 是我们需要求解的问题。将其变形，可以得到：

$$ \begin{aligned} \min \quad & c^T x \ \text{s.t.} \quad & Ax - s = b, \ & x \ge 0, s \ge 0 \end{aligned} $$

将 $x$ 和 $s$ 都看作是变量，将 $Ax - s = b$ 展开，就可以得到一个新的凸优化问题：

$$ \begin{aligned} \min_{x, s} \quad & c^T x \ \text{s.t.} \quad & Ax - s = b, \ & x \ge 0, s \ge 0 \end{aligned} $$

但是问题在于，这个问题中的约束条件并不是一个凸集。我们可以通过找到每个点在凸集上的最近点来实现这个约束条件的凸化，具体来说，对于每个点 $(a_i, b_i)$，它的最近点 $(\bar{a}_i, \bar{b}_i)$ 可以通过最近点定理求解：

$$ \begin{aligned} \bar{a}_i &= \max { a_i, 0} \ \bar{b}_i &= \max { b_i, 0} \end{aligned} $$

这样，我们就得到了一个凸优化问题，可以使用现有的优化算法求解。

代码示例

下面是一个使用 Python 实现最近点定理的示例代码：

import numpy as np

def nearest_point(x, C):
    """
    Find the nearest point y in C to x.
    """
    min_dist = np.inf
    nearest = None
    for y in C:
        dist = np.linalg.norm(x-y)
        if dist < min_dist:
            min_dist = dist
            nearest = y
    return nearest

# Test the function
x = np.array([1, 2])
C = [np.array([0, 0]), np.array([1, 1]), np.array([2, 0])]
print(nearest_point(x, C))  # Output should be [1, 1]

这个函数接受两个参数：一个向量 $x$ 和一个点的列表 $C$。它会返回点 $C$ 中离 $x$ 最近的点。我们可以使用这个函数来实现最近点定理的应用。