定理

令f为二次微分函数。如果$ \ bar {x} $是局部最小值，则$ \ bigtriangledown f \ left(\ bar {x} \ right)= 0 $和Hessian矩阵$ H \ left(\ bar {x} \ right)$是正半定号。

证明

令$ d \ in \ mathbb {R} ^ n $。由于f在$ \ bar {x} $处可微分两次。

因此，

$ f \ left(\ bar {x} + \ lambda d \ right)= f \ left(\ bar {x} \ right)+ \ lambda \ bigtriangledown f \ left(\ bar {x} \ right)^ T d + \ lambda ^ 2d ^ TH \ left(\ bar {x} \ right)d + \ lambda ^ 2d ^ TH \ left(\ bar {x} \ right)d + $

$ \ lambda ^ 2 \ left \ | d \ right \ | ^ 2 \ beta \ left(\ bar {x}，\ lambda d \ right)$

但是$ \ bigtriangledown f \ left(\ bar {x} \ right)= 0 $和$ \ beta \ left(\ bar {x}，\ lambda d \ right)\ rightarrow 0 $作为$ \ lambda \ rightarrow 0 $

$ \ Rightarrow f \ left(\ bar {x} + \ lambda d \ right)-f \ left(\ bar {x} \ right)= \ lambda ^ 2d ^ TH \ left(\ bar {x} \ right) d $

由于$ \ bar {x} $是局部最小值，因此存在$ \ delta> 0 $使得$ f \ left(x \ right)\ leq f \ left(\ bar {x} + \ lambda d \ right )，\ forall \ lambda \ in \ left(0，\ delta \ right)$

定理

令$ f：S \ rightarrow \ mathbb {R} ^ n $其中$ S \ subset \ mathbb {R} ^ n $是S的两倍。如果$ \ bigtriangledown f \ left(x \ right)= 0 $并且$ H \ left(\ bar {x} \ right)$是正半定数，对于S $中的所有$ x，则$ \ bar {x} $是全局最优解。

证明

由于$ H \ left(\ bar {x} \ right)$是半正定的，因此f是S上的凸函数。由于f是可微的且在$ \ bar {x} $处是凸的

$ \ bigtriangledown f \ left(\ bar {x} \ right)^ T \ left(x- \ bar {x} \ right)\ leq f \ left(x \ right)-f \ left(\ bar {x} \ right)，\ forall x \ in S $

由于$ \ bigtriangledown f \ left(\ bar {x} \ right)= 0，因此f \ left(x \ right)\ geq f \ left(\ bar {x} \ right)$

因此，$ \ bar {x} $是全局最优值。

定理

假设S $中的$ \ bar {x} \ in是问题$ f：S \ rightarrow \ mathbb {R} $的局部最优解，其中S是$ \ mathbb {R} ^ n $的非空子集，并且S是凸的。 $ min \：f \ left(x \ right)$其中$ x \ in S $

然后：

• $ \ bar {x} $是全局最优解。

• 如果$ \ bar {x} $是严格的局部最小值，或者f是严格的凸函数，则$ \ bar {x} $是唯一的全局最优解，也是强局部最小值。

证明

假设$ \ bar {x} $是问题的另一个全局最优解，使得$ x \ neq \ bar {x} $和$ f \ left(\ bar {x} \ right)= f \ left(\ hat { x} \ right)$

由于S $和S中的$ \ hat {x}，\ bar {x} \是凸的，因此S $和f中的$ \ frac {\ hat {x} + \ bar {x}} {2} \严格凸的。

$ \ Rightarrow f \ left(\ frac {\ hat {x} + \ bar {x}} {2} \ right)<\ frac {1} {2} f \ left(\ bar {x} \ right)+ \ frac {1} {2} f \ left(\ hat {x} \ right)= f \ left(\ hat {x} \ right)$

这是矛盾的。

因此，$ \ hat {x} $是唯一的全局最优解。

推论

令$ f：S \ subset \ mathbb {R} ^ n \ rightarrow \ mathbb {R} $是可微凸函数，其中$ \ phi \ neq S \ subset \ mathbb {R} ^ n $是凸集。考虑问题$ min f \ left(x \ right)，x \ in S $，然后$ \ bar {x} $是$ \ bigtriangledown f \ left(\ bar {x} \ right)^ T的最优解\ left(x- \ bar {x} \ right)\ geq 0，\ forall x \ in S. $

证明

令$ \ bar {x} $为最优解，即$ f \ left(\ bar {x} \ right)\ leq f \ left(x \ right)，\ forall x \ in S $

$ \ Rightarrow f \ left(x \ right)= f \ left(\ bar {x} \ right)\ geq 0 $

$ f \ left(x \ right)= f \ left(\ bar {x} \ right)+ \ bigtriangledown f \ left(\ bar {x} \ right)^ T \ left(x- \ bar {x} \右)+ \左\ | x- \ bar {x} \ right \ | \ alpha \ left(\ bar {x}，x- \ bar {x} \ right)$

其中$ \ alpha \ left(\ bar {x}，x- \ bar {x} \ right)\ rightarrow 0 $作为$ x \ rightarrow \ bar {x} $

$ \ Rightarrow f \ left(x \ right)-f \ left(\ bar {x} \ right)= \ bigtriangledown f \ left(\ bar {x} \ right)^ T \ left(x- \ bar {x } \ right)\ geq 0 $

推论

设f是$ \ bar {x} $处的可微凸函数，则$ \ bar {x} $是全局最小值，当$ \ bigtriangledown f \ left(\ bar {x} \ right)= 0 $时

例子

• $ f \ left(x \ right)= \ left(x ^ 2-1 \ right)^ {3}，x \ in \ mathbb {R} $。

  $ \ bigtriangledown f \ left(x \ right)= 0 \ Rightarrow x = -1,0,1 $。

  $ \ bigtriangledown ^ 2f \ left(\ pm 1 \ right)= 0，\ bigtriangledown ^ 2 f \ left(0 \ right)= 6> 0 $。

  $ f \ left(\ pm 1 \ right)= 0，f \ left(0 \ right)=-1 $

  因此，$ f \ left(x \ right)\ geq -1 = f \ left(0 \ right)\ Rightarrow f \ left(0 \ right)\ leq f \ left(x \ right)\ forall x \ in \ mathbb {R} $

• $ f \ left(x \ right)= x \ log x $定义在$ S = \ left \ {x \ in \ mathbb {R}，x> 0 \ right \} $中。

  $ {f}’x = 1 + \ log x $

  $ {f}”x = \ frac {1} {x}> 0 $

  因此，此函数严格是凸的。

• $ f \ left(x \ right)= e ^ {x}，x \ in \ mathbb {R} $是严格凸的。