文章目录
前言一、标准正交基二、施密特正交化三、 正交矩阵总结
前言
本文将介绍正交基、正交矩阵、与施密特正交化算法。正交是向量中一种非常好的性质，意味着两个向量互相之间没有冗余，也容易被区分。
一、标准正交基
前面我们学习过，一个向量空间的基是指张成该空间的极大线性无关组。例如
[
1
,
0
,
0
]
,
[
1
,
1
,
0
]
,
[
1
,
1
,
1
]
[1,0,0],[1,1,0],[1,1,1]
[1,0,0],[1,1,0],[1,1,1]便是张成
R
3
R^3
R3空间的一组基，该空间中的任意向量均可由这组向量进行线性表示。
所谓标准正交基，是指满足特殊条件的一组基：
每个基向量均为单位向量，模长为1，即
∣
a
i
∣
=
a
i
T
a
i
=
1
\vert\bm{a}_i\vert=\sqrt{\bm{a}_i^T\bm{a}_i}=1
∣ai∣=aiTai
=1任意两个基向量相互正交，即
a
i
T
a
j
=
0
\bm{a}_i^T\bm{a}_j=0
aiTaj=0
特别的，如果仅满足条件2）则称为正交基，而不是标准正交基。使用标准正交基来进行向量表示具有许多好处，例如，其表示的向量的模长可仅通过线性表示系数计算得到。假设我们有一组标准正交基
a
1
,
…
,
a
i
,
…
,
a
n
\bm{a}_1,\ldots,\bm{a}_i,\ldots,\bm{a}_n
a1,…,ai,…,an，任意该空间中的向量
b
\bm{b}
b可被线性表示为
b
=
x
1
a
1
+
…
+
x
i
a
i
+
x
n
a
n
\bm{b}=x_1\bm{a}_1+\ldots+x_i\bm{a}_i+x_n\bm{a}_n
b=x1a1+…+xiai+xnan
∣
b
∣
2
=
b
T
b
=
(
x
1
a
1
+
…
+
x
i
a
i
+
x
n
a
n
)
T
(
x
1
a
1
+
…
+
x
i
a
i
+
x
n
a
n
)
\vert\bm{b}\vert^2=\bm{b}^T\bm{b}=(x_1\bm{a}_1+\ldots+x_i\bm{a}_i+x_n\bm{a}_n)^T(x_1\bm{a}_1+\ldots+x_i\bm{a}_i+x_n\bm{a}_n)
∣b∣2=bTb=(x1a1+…+xiai+xnan)T(x1a1+…+xiai+xnan) 带入上述标准正交基的性质，可得
∣
b
∣
2
=
∑
i
N
x
i
2
\vert\bm{b}\vert^2=\sum_i^Nx_i^2
∣b∣2=∑iNxi2
二、施密特正交化
R
3
R^3
R3的一组朴素的标准正交基为
[
1
,
0
,
0
]
,
[
0
,
1
,
0
]
,
[
0
,
0
,
1
]
[1,0,0],[0,1,0],[0,0,1]
[1,0,0],[0,1,0],[0,0,1]，不过这并非该空间唯一的标准正交基。那么，能否由任意给定的一组普通的基，来构造一组标准正交基呢？施密特正交化便是做了这样一件事。
假设有一组普通的基
a
1
,
…
,
a
i
,
…
,
a
n
\bm{a}_1,\ldots,\bm{a}_i,\ldots,\bm{a}_n
a1,…,ai,…,an，我们要以其为基础构建一组该空间的标准正交基。下面我们来分析一下应该如何去做：单位化简单，只要将每个基向量除以自身的模长即可；正交化怎么去做呢？
这里就要回想到上文所学的子空间投影了，我们已知：向量与子空间投影的差，正交于该子空间。那么我如果们对该组基向量依次做处理，使得每次当前处理得到的向量，与先前已处理的向量构成的子空间正交，便能保证当前处理得到的向量与先前所有向量的正交性。而先前已处理的向量之间的正交性则可由之前的正交化操作保证。由此，所有向量之间均正交。不断构造投影，做差，找到正交于子空间的向量，这就是施密特正交化的思路。
下面，我们正式阐述施密特正交化的过程，首先我们任选一个向量开始，不妨就以
a
1
\bm{a}_1
a1开始，对其进行单位化：
a
1
∗
=
a
1
/
∣
a
1
∣
\bm{a}_1^*=\bm{a}_1/\vert\bm{a}_1\vert
a1∗=a1/∣a1∣。
然后，我们找到向量
a
2
\bm{a}_2
a2，使其与
a
1
′
\bm{a}_1'
a1′正交，也就是做其与投影之差：
a
2
′
=
a
2
−
P
a
2
\bm{a}_2'=\bm{a}_2-\bm{P}\bm{a_2}
a2′=a2−Pa2
再进行单位化：
a
2
∗
=
a
2
′
/
∣
a
2
′
∣
\bm{a}_2^*=\bm{a}_2'/\vert\bm{a}_2'\vert
a2∗=a2′/∣a2′∣
其中，
P
=
A
T
(
A
A
T
)
−
1
A
\bm{P}=\bm{A}^T(\bm{AA}^T)^{-1}\bm{A}
P=AT(AAT)−1A为投影矩阵，矩阵
A
\bm{A}
A中的行向量为已处理向量
a
1
∗
T
\bm{a}_1^{*T}
a1∗T。
随后继续重复上述操作，只是投影矩阵
P
\bm{P}
P不断加入新处理好的行向量即可。此外，观察投影矩阵的计算，不难发现，
A
A
T
=
I
\bm{AA}^T=\bm{I}
AAT=I总是等于单位阵（行数与已处理向量数目相同），这是由于基向量之间的正交性，非主对角线上的元素都成立0，而主对角线上的元素都是1，因此该投影矩阵可以化简为
P
=
A
T
A
\bm{P}=\bm{A}^T\bm{A}
P=ATA。
也就是说，如果我们找到子空间的一组标准正交基，那么以该组基进行投影计算得到的投影矩阵均可化简为
P
=
A
T
A
\bm{P}=\bm{A}^T\bm{A}
P=ATA。 这也是为什么在施密特正交化的每一步都进行单位化操作，而不是全部正交化以后再进行单位化。
三、 正交矩阵
进一步扩展上述观察，如果我们把一组标准正交基放入矩阵，若该矩阵是一个方阵，则该方阵必然可逆，且其逆矩阵就是它的转置。因此我们有：由标准正交基构成的方阵
A
\bm{A}
A一定是可逆矩阵，我们称之为正交矩阵。
由此，我们可以很方便地找到矩阵的逆，也就可以很轻松的进行
A
x
=
b
\bm{Ax}=\bm{b}
Ax=b的求解了，即
x
=
A
−
1
b
=
A
T
b
\bm{x}=\bm{A}^{-1}\bm{b}=\bm{A}^{T}\bm{b}
x=A−1b=ATb
总结
本文介绍了标准正交基的性质，并给出了构造标准正交基的方法，最后引申出正交矩阵的概念。