**Copyright © 2024 Simon**
# 6.1 内积、长度和正交性

* 内积  
  内积的英文是 “inner product” 或 “dot product”
> **定理1**  
> 设 $v$，$u$ 和 $w$ 是 $R$<sup>n</sup> 中的向量, $c$ 是一个数,那么  


$a. \ \ \ u \cdot v = v \cdot u$

$b.\ \ \ (u +v) \cdot w = u \cdot w +v \cdot w$

$c. \ \ \ (cu) \cdot v=c(u \cdot v)=u \cdot (cv)$

$d. \ \ \ u \cdot u \geq 0，并且u \cdot u=0 成立的充分必要条件是u=0$


* 向量的长度  

  $$||v|| ^2 = v \cdot v$$

$$dist(u,v)=||u-v||$$
 
* 正交向量  
  正交向量的英文是 “orthogonal vectors” 或 “perpendicular vectors”
  
>定义如果 $u \cdot v  = 0$ ，如 $R$<sup>n</sup> 中的两个向量 $u$ 和 $v$ 是(相互) 正交的.  

>对于一个方阵$A$，Col$A$中的向量与Nul$A$中的向量正交。

>**定理2 (毕达哥拉斯(勾股)定理)**

$$||u+v||^2=||u||^2+||v||^2$$

* 正交补  
  正交补的英文是 “orthogonal complement”
 
>1.向量 $x$ 属于 $W$<sup>⊥</sup> 的充分必要条件是向量 $x$ 与生成空间 $W$ 的任一向量都正交.  
>2. $W$<sup>⊥</sup> 止是 $R$<sup>n</sup> 的一个子空间.

>**定理3**  
$( Row A )$<sup>⊥</sup> = $Nul A$ 且  $( ColA )$<sup>⊥</sup> = $Nul A$<sup>T</sup>

# 6.2 正交集
 * 正交集的英文是 “orthogonal set” 或 “orthonormal set”
>**定理4**  
如果 $S=\{x_1,x_2,\cdots,x_i\}$ 是由 $R$<sup>n</sup> 中非零向量构成的正交集，那么 $S$ 是线性无关集，因此构成 $S$ 所生成的子空间的一组基.

>**定理5**  
假设$\{x_1,x_2,\cdots,x_i\}$是 $R$<sup>n</sup> 中于空间 $W$ 的正文基,对 $W$ 中的每个向量y,线性组合 $y=x_1c_1+\cdots+x_ic_i$ 中的权可以由 $c_j=(y \cdot u_j)/(u_j \cdot u_j)$计算

## 正交投影  **先欠着**  ~~懒得写~~


>**定理6**  
一个 $m \times n$ 矩阵 U 具有单位正交列向量的充分必要条件是 $U$<sup>T</sup> $U$ = $I$.

>**定理7**  
假设 $U$ 是一个具有单位正交列的 $m \times n$ 矩阵，且 $x$ 和 $y$ 是 $R$<sup>n</sup> 中的向量，那么  
a. $||Ux|| = ||x|| .$  
b. $(Ux) \cdot (Uy) =x \cdot y$  
c. $(Ux) \cdot (Uy) = 0$ 的充分必要条件是 $x \cdot y = 0$

>**定理9 (最佳逼近定理)**  
假设 $W$ 是 $R$<sup>n</sup> 的一个子空间，$y$ 是 $R$<sup>n</sup> 中的任意向量， $\widehat{y}$ 是 $y$ 在 $W$ 上的正支投影，那么 $\widehat{y}$ 是 $W$ 中最接近 $y$ 的点，也就是  
$$||y-\widehat{y}||<||y-v||$$
>对所有属于 $W$ 又异于 $\widehat{y}$ 的 $v$ 成立.

# 6.4 格拉姆-施密特方法

## 格拉姆 - 施密特方法

设$\left\{\boldsymbol{v}_{1},\boldsymbol{v}_{2},\cdots,\boldsymbol{v}_{n}\right\}$是内积空间$V$中的一组线性无关向量。  
首先$\boldsymbol{u}_{1}=\boldsymbol{v}_{1}$；对于$k = 2,3,\cdots,n$，
$$\boldsymbol{u}_{k}=\boldsymbol{v}_{k}-\sum_{j = 1}^{k - 1}\frac{\left\langle\boldsymbol{v}_{k},\boldsymbol{u}_{j}\right\rangle}{\left\langle\boldsymbol{u}_{j},\boldsymbol{u}_{j}\right\rangle}\boldsymbol{u}_{j}$$
即从$\boldsymbol{v}_{k}$中减去它在已构造正交向量$\boldsymbol{u}_{1},\boldsymbol{u}_{2},\cdots,\boldsymbol{u}_{k - 1}$上的投影，得到新正交向量$\boldsymbol{u}_{k}$。


# 6.5 最小二乘问题
* 最小二乘的英文是 “least squares” 或 “least square method”；  
最小二乘解的英文是 “least squares solution”。

* **定义**
  $$||b-A\widehat{x}||\leq||b-Ax||$$

>**定理13**  
方程 $Ax=b$ 的最小二乘解集和法方程 $A$<sup>T</sup> $Ax = A$<sup>T</sup> $b$ 的非空解集一致.

>**定理14**  
设 $A$ 是 $m \times n$ 矩阵. 下面的条件是逻辑等价的:  
a.对于 $R$<sup>n</sup> 中的每个 $b$ ， 方程 $Ax =b$ 有唯一最小二乘解.  
b.$A$ 的列是线性无关的.  
c.矩阵 $A$<sup>T</sup> $A$是可逆的.  
当这些条件成立时，最小二乘解￡有下面的表示:
$$\widehat{x}=( A^T A)^{-1}A^Tb$$


# 6.7 内积空间

>**定义**  
向量空间 $V$ 上的内积是一个函数，对每一对属于$V$的向量 $u$ 和 $v$，存在一个实数$\langle u,v \rangle$满足下面公理，其中 $u$，$v$，$w$ 属于$V$，$C$ 为所有数.   
1.$\langle u,v\rangle= \langle v,u \rangle$  
2.$\langle u +v, w\rangle =\langle u, w\rangle +\langle v,w\rangle$  
3.$\langle$c$u,v\rangle=$c$\langle u, v\rangle$  
4.$\langle u,u\rangle \geq 0$且$\langle u,u\rangle =0$ 的充分必要条件是  $u=0$  
一个赋予上面内积的向量空间称为**内积空间**

* 内积空间的英文是 “inner product space” 或 “pre-Hilbert space”


>**定理16 (柯西-施瓦茨不等式)**  
对 $V$ 中任意向量 $u$ 和 $v$，有
$$|\langle u,v \rangle| \leq ||u||\ \  ||v||$$


>**定理17 (三角不等式)**  
对属于$V$ 的所有向量$u$,$v$，有
$$||u-v||\leq||u||+||v||$$