4.7 KiB
Copyright © 2024 Simon
6.1 内积、长度和正交性
- 内积
内积的英文是 “inner product” 或 “dot product”
定理1
设 $v$，u和w是 $R$n 中的向量,c是一个数,那么
a. \ \ \ u \cdot v = v \cdot u
b.\ \ \ (u +v) \cdot w = u \cdot w +v \cdot w
c. \ \ \ (cu) \cdot v=c(u \cdot v)=u \cdot (cv)
d. \ \ \ u \cdot u \geq 0，并且u \cdot u=0 成立的充分必要条件是u=0
-
向量的长度
||v|| ^2 = v \cdot v
dist(u,v)=||u-v||
- 正交向量
正交向量的英文是 “orthogonal vectors” 或 “perpendicular vectors”
定义如果
u \cdot v = 0，如 $R$n 中的两个向量u和v是(相互) 正交的.
对于一个方阵$A$，Col$A$中的向量与Nul$A$中的向量正交。
定理2 (毕达哥拉斯(勾股)定理)
||u+v||^2=||u||^2+||v||^2
- 正交补
正交补的英文是 “orthogonal complement”
1.向量
x属于 $W$⊥ 的充分必要条件是向量x与生成空间W的任一向量都正交.
2. $W$⊥ 止是 $R$n 的一个子空间.
定理3
$( Row A )$⊥ =Nul A且 $( ColA )$⊥ = $Nul A$T
6.2 正交集
- 正交集的英文是 “orthogonal set” 或 “orthonormal set”
定理4
如果S=\{x_1,x_2,\cdots,x_i\}是由 $R$n 中非零向量构成的正交集，那么S是线性无关集，因此构成S所生成的子空间的一组基.
定理5
假设${x_1,x_2,\cdots,x_i}$是 $R$n 中于空间W的正文基,对W中的每个向量y,线性组合y=x_1c_1+\cdots+x_ic_i中的权可以由 $c_j=(y \cdot u_j)/(u_j \cdot u_j)$计算
正交投影 先欠着 懒得写
定理6
一个m \times n矩阵 U 具有单位正交列向量的充分必要条件是 $U$TU=I.
定理7
假设U是一个具有单位正交列的m \times n矩阵，且x和y是 $R$n 中的向量，那么
a.||Ux|| = ||x|| .
b.(Ux) \cdot (Uy) =x \cdot y
c.(Ux) \cdot (Uy) = 0的充分必要条件是x \cdot y = 0
定理9 (最佳逼近定理)
假设W是 $R$n 的一个子空间，y是 $R$n 中的任意向量，\widehat{y}是y在W上的正支投影，那么\widehat{y}是W中最接近y的点，也就是
||y-\widehat{y}||<||y-v||
对所有属于
W又异于\widehat{y}的v成立.
6.4 格拉姆-施密特方法
格拉姆 - 施密特方法
设$\left{\boldsymbol{v}{1},\boldsymbol{v}{2},\cdots,\boldsymbol{v}{n}\right}$是内积空间$V$中的一组线性无关向量。
首先$\boldsymbol{u}{1}=\boldsymbol{v}_{1}$；对于$k = 2,3,\cdots,n$，
\boldsymbol{u}_{k}=\boldsymbol{v}_{k}-\sum_{j = 1}^{k - 1}\frac{\left\langle\boldsymbol{v}_{k},\boldsymbol{u}_{j}\right\rangle}{\left\langle\boldsymbol{u}_{j},\boldsymbol{u}_{j}\right\rangle}\boldsymbol{u}_{j}
即从$\boldsymbol{v}{k}$中减去它在已构造正交向量$\boldsymbol{u}{1},\boldsymbol{u}{2},\cdots,\boldsymbol{u}{k - 1}$上的投影，得到新正交向量$\boldsymbol{u}_{k}$。
6.5 最小二乘问题
-
最小二乘的英文是 “least squares” 或 “least square method”；
最小二乘解的英文是 “least squares solution”。 -
定义
||b-A\widehat{x}||\leq||b-Ax||
定理13
方程Ax=b的最小二乘解集和法方程 $A$T $Ax = A$Tb的非空解集一致.
定理14
设A是m \times n矩阵. 下面的条件是逻辑等价的:
a.对于 $R$n 中的每个b， 方程Ax =b有唯一最小二乘解.
b.$A$ 的列是线性无关的.
c.矩阵 $A$T $A$是可逆的.
当这些条件成立时，最小二乘解￡有下面的表示:
\widehat{x}=( A^T A)^{-1}A^Tb
6.7 内积空间
定义
向量空间V上的内积是一个函数，对每一对属于$V$的向量u和 $v$，存在一个实数$\langle u,v \rangle$满足下面公理，其中 $u$，$v$，w属于$V$，C为所有数.
1.$\langle u,v\rangle= \langle v,u \rangle$
2.$\langle u +v, w\rangle =\langle u, w\rangle +\langle v,w\rangle$
3.$\langle$c$u,v\rangle=$c$\langle u, v\rangle$
4.$\langle u,u\rangle \geq 0$且\langle u,u\rangle =0的充分必要条件是u=0
一个赋予上面内积的向量空间称为内积空间
- 内积空间的英文是 “inner product space” 或 “pre-Hilbert space”
定理16 (柯西-施瓦茨不等式)
对V中任意向量u和 $v$，有
|\langle u,v \rangle| \leq ||u||\ \ ||v||
定理17 (三角不等式)
对属于V的所有向量u,$v$，有
||u-v||\leq||u||+||v||