正交投影

正交集：

一组向量$\left \{ u_1, u_2, ... u_p \right \}$在$\mathbb{R^n}$称为正交集，如果$u_i \cdot u_j =0$ .如果$i \neq j$

正交基

子空间 W 的正交基$\mathbb{R^n}$是 W 的一个基，它也是一个正交集。

让 S = $\left \{ u_1, u_2, ... u_p \right \}$是 W 的正交基$\mathbb{R^n}$是 W 的一个基，它也是一个正交集。我们需要计算$c_1, c_2, ... c_p$这样：

$y = c_1 u_1 + c_2 u_2 + ... c_p u_p$

让我们取 u_1 两边的点积。

$y \cdot u_1 = (c_1 u_1 + c_2 u_2 + ... c_p u_p) \cdot u_1$

$y \cdot u_1 = c_1 (u_1 \cdot u_1) + c_2 (u_2 \cdot u_1) + ... c_p (u_p \cdot u_1)$

因为，这是正交基$u_2 \cdot u_1 = u_3 \cdot u_1 = ... = u_p \cdot u_1 =0$ .这给$c_1$ ：

$c_1 = \frac{y \cdot u_1}{ u_1 \cdot u_1}$

我们可以推广上面的等式

$c_j = \frac{y \cdot u_j}{ u_j \cdot u_j}$

正交投影

假设 {u_1, u_2,… u_n} 是W in 的正交基$\mathbb{R^n}$ .对于W中的每个y ：

$y =\left ( \frac{y \cdot u_1}{u_1 \cdot u_1} \right ) u_1 + ... + \left ( \frac{y \cdot u_p}{u_p \cdot u_p } \right )u_p$

让我们来$\left \{ u_1, u_2, u_3 \right \}$是正交基$\mathbb{R^3}$ W = 跨度$\left \{ u_1, u_2 \right \}$ .让我们试着写一个写 y 的形式$\hat{y}$属于 W 空间，z 与 W 正交。

$y =\left ( \frac{y \cdot u_1}{u_1 \cdot u_1} \right ) u_1 + \left ( \frac{y \cdot u_2}{u_2\cdot u_2 } \right )u_2 + \left ( \frac{y \cdot u_3}{u_3 \cdot u_3} \right ) u_3 \\$

在哪里

$\hat{y} = \left ( \frac{y \cdot u_1}{u_1 \cdot u_1} \right ) u_1 + \left ( \frac{y \cdot u_2}{u_2\cdot u_2 } \right )u_2$

和

$z = \left ( \frac{y \cdot u_3}{u_3 \cdot u_3} \right ) u_3$ [特克斯]y= \hat{y} + z[/特克斯]

现在，我们可以看到z与两者正交$u_1$和$u_2$这样：

$z \cdot u_1 =0 \\ z \cdot u_2 =0$

正交分解定理：

令 W 为$\mathbb{R^n}$ .然后每个 y 在$\mathbb{R^n}$可以用以下形式唯一表示：

$y = \hat{y} + z$

在哪里$\hat{y}$在 W 中，z 在 W^{\perp} 中。如果$\left \{ u_1, u_2, ... u_p \right \}$是 W 的正交基。那么，

$\hat{y} =\left ( \frac{y \cdot u_1}{u_1 \cdot u_1} \right ) u_1 + ... + \left ( \frac{y \cdot u_p}{u_p \cdot u_p } \right )u_p$

因此：

$z = y - \hat{y}$

然后， $\hat{y}$是 y 在 W 中的正交投影。

最佳逼近定理

令 W 是$\mathbb{R^n}$ , y 中的任何向量$\mathbb{R^n}$ .让 v 在 W 中并且不同于$\hat{y}$ .然后$\left \| v-\hat{y} \right \|$也在W。

$z = y - \hat{y}$与 W 正交，也与$v=\hat{y}$ .那么yv可以写成：

$y-v = (y- \hat{y}) + (\hat{y} -v)$

因此：

$\left \| y-v \right \|^{2} = \left \| y- \hat{y} \right \|^{2} + \left \| \hat{y}-v \right \|^{2}$

因此，这可以写成：

$\left \| y-v \right \|^{2} > \left \| y- \hat{y} \right \|^{2}$

和

$\left \| y-v \right \| > \left \| y- \hat{y} \right \|$

参考：

• 休斯顿大学正交集
• 休斯顿大学正交投影