mirror of
https://github.com/handsomezhuzhu/handsomezhuzhu.github.io.git
synced 2026-02-20 20:00:14 +00:00
167 lines
4.7 KiB
Markdown
167 lines
4.7 KiB
Markdown
**Copyright © 2024 Simon**
|
||
# 6.1 内积、长度和正交性
|
||
|
||
* 内积
|
||
内积的英文是 “inner product” 或 “dot product”
|
||
> **定理1**
|
||
> 设 $v$，$u$ 和 $w$ 是 $R$<sup>n</sup> 中的向量, $c$ 是一个数,那么
|
||
|
||
|
||
$a. \ \ \ u \cdot v = v \cdot u$
|
||
|
||
$b.\ \ \ (u +v) \cdot w = u \cdot w +v \cdot w$
|
||
|
||
$c. \ \ \ (cu) \cdot v=c(u \cdot v)=u \cdot (cv)$
|
||
|
||
$d. \ \ \ u \cdot u \geq 0，并且u \cdot u=0 成立的充分必要条件是u=0$
|
||
|
||
|
||
* 向量的长度
|
||
|
||
$$||v|| ^2 = v \cdot v$$
|
||
|
||
$$dist(u,v)=||u-v||$$
|
||
|
||
* 正交向量
|
||
正交向量的英文是 “orthogonal vectors” 或 “perpendicular vectors”
|
||
|
||
>定义如果 $u \cdot v = 0$ ，如 $R$<sup>n</sup> 中的两个向量 $u$ 和 $v$ 是(相互) 正交的.
|
||
|
||
>对于一个方阵$A$，Col$A$中的向量与Nul$A$中的向量正交。
|
||
|
||
>**定理2 (毕达哥拉斯(勾股)定理)**
|
||
|
||
$$||u+v||^2=||u||^2+||v||^2$$
|
||
|
||
* 正交补
|
||
正交补的英文是 “orthogonal complement”
|
||
|
||
>1.向量 $x$ 属于 $W$<sup>⊥</sup> 的充分必要条件是向量 $x$ 与生成空间 $W$ 的任一向量都正交.
|
||
>2. $W$<sup>⊥</sup> 止是 $R$<sup>n</sup> 的一个子空间.
|
||
|
||
>**定理3**
|
||
$( Row A )$<sup>⊥</sup> = $Nul A$ 且 $( ColA )$<sup>⊥</sup> = $Nul A$<sup>T</sup>
|
||
|
||
# 6.2 正交集
|
||
* 正交集的英文是 “orthogonal set” 或 “orthonormal set”
|
||
>**定理4**
|
||
如果 $S=\{x_1,x_2,\cdots,x_i\}$ 是由 $R$<sup>n</sup> 中非零向量构成的正交集，那么 $S$ 是线性无关集，因此构成 $S$ 所生成的子空间的一组基.
|
||
|
||
>**定理5**
|
||
假设$\{x_1,x_2,\cdots,x_i\}$是 $R$<sup>n</sup> 中于空间 $W$ 的正文基,对 $W$ 中的每个向量y,线性组合 $y=x_1c_1+\cdots+x_ic_i$ 中的权可以由 $c_j=(y \cdot u_j)/(u_j \cdot u_j)$计算
|
||
|
||
## 正交投影 **先欠着** ~~懒得写~~
|
||
|
||
|
||
>**定理6**
|
||
一个 $m \times n$ 矩阵 U 具有单位正交列向量的充分必要条件是 $U$<sup>T</sup> $U$ = $I$.
|
||
|
||
>**定理7**
|
||
假设 $U$ 是一个具有单位正交列的 $m \times n$ 矩阵，且 $x$ 和 $y$ 是 $R$<sup>n</sup> 中的向量，那么
|
||
a. $||Ux|| = ||x|| .$
|
||
b. $(Ux) \cdot (Uy) =x \cdot y$
|
||
c. $(Ux) \cdot (Uy) = 0$ 的充分必要条件是 $x \cdot y = 0$
|
||
|
||
>**定理9 (最佳逼近定理)**
|
||
假设 $W$ 是 $R$<sup>n</sup> 的一个子空间，$y$ 是 $R$<sup>n</sup> 中的任意向量， $\widehat{y}$ 是 $y$ 在 $W$ 上的正支投影，那么 $\widehat{y}$ 是 $W$ 中最接近 $y$ 的点，也就是
|
||
$$||y-\widehat{y}||<||y-v||$$
|
||
>对所有属于 $W$ 又异于 $\widehat{y}$ 的 $v$ 成立.
|
||
|
||
# 6.4 格拉姆-施密特方法
|
||
|
||
## 格拉姆 - 施密特方法
|
||
|
||
设$\left\{\boldsymbol{v}_{1},\boldsymbol{v}_{2},\cdots,\boldsymbol{v}_{n}\right\}$是内积空间$V$中的一组线性无关向量。
|
||
首先$\boldsymbol{u}_{1}=\boldsymbol{v}_{1}$；对于$k = 2,3,\cdots,n$，
|
||
$$\boldsymbol{u}_{k}=\boldsymbol{v}_{k}-\sum_{j = 1}^{k - 1}\frac{\left\langle\boldsymbol{v}_{k},\boldsymbol{u}_{j}\right\rangle}{\left\langle\boldsymbol{u}_{j},\boldsymbol{u}_{j}\right\rangle}\boldsymbol{u}_{j}$$
|
||
即从$\boldsymbol{v}_{k}$中减去它在已构造正交向量$\boldsymbol{u}_{1},\boldsymbol{u}_{2},\cdots,\boldsymbol{u}_{k - 1}$上的投影，得到新正交向量$\boldsymbol{u}_{k}$。
|
||
|
||
|
||
# 6.5 最小二乘问题
|
||
* 最小二乘的英文是 “least squares” 或 “least square method”；
|
||
最小二乘解的英文是 “least squares solution”。
|
||
|
||
* **定义**
|
||
$$||b-A\widehat{x}||\leq||b-Ax||$$
|
||
|
||
>**定理13**
|
||
方程 $Ax=b$ 的最小二乘解集和法方程 $A$<sup>T</sup> $Ax = A$<sup>T</sup> $b$ 的非空解集一致.
|
||
|
||
>**定理14**
|
||
设 $A$ 是 $m \times n$ 矩阵. 下面的条件是逻辑等价的:
|
||
a.对于 $R$<sup>n</sup> 中的每个 $b$ ， 方程 $Ax =b$ 有唯一最小二乘解.
|
||
b.$A$ 的列是线性无关的.
|
||
c.矩阵 $A$<sup>T</sup> $A$是可逆的.
|
||
当这些条件成立时，最小二乘解￡有下面的表示:
|
||
$$\widehat{x}=( A^T A)^{-1}A^Tb$$
|
||
|
||
|
||
# 6.7 内积空间
|
||
|
||
>**定义**
|
||
向量空间 $V$ 上的内积是一个函数，对每一对属于$V$的向量 $u$ 和 $v$，存在一个实数$\langle u,v \rangle$满足下面公理，其中 $u$，$v$，$w$ 属于$V$，$C$ 为所有数.
|
||
1.$\langle u,v\rangle= \langle v,u \rangle$
|
||
2.$\langle u +v, w\rangle =\langle u, w\rangle +\langle v,w\rangle$
|
||
3.$\langle$c$u,v\rangle=$c$\langle u, v\rangle$
|
||
4.$\langle u,u\rangle \geq 0$且$\langle u,u\rangle =0$ 的充分必要条件是 $u=0$
|
||
一个赋予上面内积的向量空间称为**内积空间**
|
||
|
||
* 内积空间的英文是 “inner product space” 或 “pre-Hilbert space”
|
||
|
||
|
||
>**定理16 (柯西-施瓦茨不等式)**
|
||
对 $V$ 中任意向量 $u$ 和 $v$，有
|
||
$$|\langle u,v \rangle| \leq ||u||\ \ ||v||$$
|
||
|
||
|
||
>**定理17 (三角不等式)**
|
||
对属于$V$ 的所有向量$u$,$v$，有
|
||
$$||u-v||\leq||u||+||v||$$
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|