第 7 讲 · 内积、正交化、投影与距离

线性空间只能谈加法、数乘和维数；要谈长度、角度、垂直和最短距离，还要给它加上一个内积。有内积的有限维实线性空间叫欧氏空间。

内积把几何带进线性空间

实内积 (x,y)(\boldsymbol x,\boldsymbol y) 满足对称、对每个变量的线性，以及正定性：

(x,x)≥0,(x,x)=0⟺x=0.(\boldsymbol x,\boldsymbol x)\ge0, \qquad (\boldsymbol x,\boldsymbol x)=0 \Longleftrightarrow \boldsymbol x=\boldsymbol0.

标准内积是 xTy\boldsymbol x^T\boldsymbol y，但也可用正定对称矩阵 AA 定义

(x,y)A=xTAy.(\boldsymbol x,\boldsymbol y)_A=\boldsymbol x^TA\boldsymbol y.

正定性保证它真的能定义长度，而不会出现非零向量「长度平方为负数」。

定义

∥x∥=(x,x),cos⁡θ=(x,y)∥x∥∥y∥.\lVert\boldsymbol x\rVert=\sqrt{(\boldsymbol x,\boldsymbol x)}, \qquad \cos\theta= \frac{(\boldsymbol x,\boldsymbol y)} {\lVert\boldsymbol x\rVert\lVert\boldsymbol y\rVert}.

柯西-施瓦茨不等式

∣(x,y)∣≤∥x∥∥y∥|(\boldsymbol x,\boldsymbol y)| \le\lVert\boldsymbol x\rVert\lVert\boldsymbol y\rVert

保证了上式的余弦确实在 [−1,1][-1,1] 中。等号成立当且仅当两向量线性相关。

正交基为什么好用

基 e1,…,en\boldsymbol e_1,\ldots,\boldsymbol e_n 若两两正交且每个长度为 11，就是标准正交基。对任意向量 x\boldsymbol x，坐标可直接由内积读出：

x=∑i=1n(x,ei)ei.\boldsymbol x =\sum_{i=1}^n(\boldsymbol x,\boldsymbol e_i)\boldsymbol e_i.

普通基下要解一个方程组才能找坐标，正交基下却只要做内积。正交性把各个方向彻底解耦了。

Gram-Schmidt 正交化

从线性无关组 a1,…,ak\boldsymbol a_1,\ldots,\boldsymbol a_k 出发，逐个删掉新向量在已有正交方向上的投影：

u1=a1,u2=a2−(a2,u1)(u1,u1)u1,uj=aj−∑i=1j−1(aj,ui)(ui,ui)ui.\begin{aligned} \boldsymbol u_1&=\boldsymbol a_1,\\ \boldsymbol u_2&=\boldsymbol a_2 -\frac{(\boldsymbol a_2,\boldsymbol u_1)} {(\boldsymbol u_1,\boldsymbol u_1)}\boldsymbol u_1,\\ \boldsymbol u_j&=\boldsymbol a_j- \sum_{i=1}^{j-1} \frac{(\boldsymbol a_j,\boldsymbol u_i)} {(\boldsymbol u_i,\boldsymbol u_i)}\boldsymbol u_i. \end{aligned}

最后再归一化 ei=ui/∥ui∥\boldsymbol e_i=\boldsymbol u_i/\lVert\boldsymbol u_i\rVert。这个过程没有改变每一步的张成空间，只是把基换成更容易计算的正交基。

完整算例

对

a1=(110),a2=(101),\boldsymbol a_1=\begin{pmatrix}1\\1\\0\end{pmatrix}, \qquad \boldsymbol a_2=\begin{pmatrix}1\\0\\1\end{pmatrix},

先取 u1=a1\boldsymbol u_1=\boldsymbol a_1，再算

u2=a2−a2Tu1u1Tu1u1=(101)−12(110)=12(1−12).\boldsymbol u_2 =\boldsymbol a_2- \frac{\boldsymbol a_2^T\boldsymbol u_1} {\boldsymbol u_1^T\boldsymbol u_1}\boldsymbol u_1 = \begin{pmatrix}1\\0\\1\end{pmatrix} -\frac12\begin{pmatrix}1\\1\\0\end{pmatrix} =\frac12\begin{pmatrix}1\\-1\\2\end{pmatrix}.

去掉无关的比例因子，归一化得

e1=12(110),e2=16(1−12).\boldsymbol e_1=\frac1{\sqrt2} \begin{pmatrix}1\\1\\0\end{pmatrix}, \qquad \boldsymbol e_2=\frac1{\sqrt6} \begin{pmatrix}1\\-1\\2\end{pmatrix}.

检查 e1Te2=0\boldsymbol e_1^T\boldsymbol e_2=0 且两者长度均为 11。

正交投影与最短距离

若 WW 的一组标准正交基是 e1,…,ek\boldsymbol e_1,\ldots,\boldsymbol e_k，那么 x\boldsymbol x 在 WW 上的正交投影是

proj⁡Wx=∑i=1k(x,ei)ei.\operatorname{proj}_W\boldsymbol x =\sum_{i=1}^k (\boldsymbol x,\boldsymbol e_i)\boldsymbol e_i.

余量

r=x−proj⁡Wx\boldsymbol r= \boldsymbol x-\operatorname{proj}_W\boldsymbol x

与 WW 中每个向量正交，因此 r∈W⊥\boldsymbol r\in W^\perp。对任意 w∈W\boldsymbol w\in W，勾股分解给出

∥x−w∥2=∥r∥2+∥proj⁡Wx−w∥2.\lVert\boldsymbol x-\boldsymbol w\rVert^2 =\lVert\boldsymbol r\rVert^2 +\lVert\operatorname{proj}_W\boldsymbol x- \boldsymbol w\rVert^2.

所以离 x\boldsymbol x 最近的 WW 中向量就是正交投影，最短距离是余量的长度。最小二乘法的几何本质就在这里。

正交补和维数

W⊥={x:(x,w)=0, ∀w∈W}.W^\perp=\{\boldsymbol x:(\boldsymbol x,\boldsymbol w)=0, \ \forall\boldsymbol w\in W\}.

在 nn 维欧氏空间中，

V=W⊕W⊥,dim⁡W+dim⁡W⊥=n.V=W\oplus W^\perp, \qquad \dim W+\dim W^\perp=n.

对矩阵 AA，行空间的正交补是零空间，因为 Ax=0A\boldsymbol x=0 正是说 x\boldsymbol x 与 AA 的每一行正交。

正交矩阵

实方阵 QQ 若满足

QTQ=I,Q^TQ=I,

就是正交矩阵。它的列向量构成标准正交基，Q−1=QTQ^{-1}=Q^T。它保持内积，因而保持长度和夹角：

(Qx)T(Qy)=xTQTQy=xTy.(Q\boldsymbol x)^T(Q\boldsymbol y) =\boldsymbol x^TQ^TQ\boldsymbol y =\boldsymbol x^T\boldsymbol y.

det⁡Q=1\det Q=1 时对应保定向的旋转，det⁡Q=−1\det Q=-1 时包含反射。

易错点

  • 正交只要内积为 00，标准正交还要求每个向量长度为 11。
  • Gram-Schmidt 的每一项投影都要除以 (ui,ui)(\boldsymbol u_i,\boldsymbol u_i)；只有 ui\boldsymbol u_i 已归一化时分母才是 11。
  • 在一般内积 (⋅,⋅)A(\cdot,\cdot)_A 下，「垂直」应用 xTAy=0\boldsymbol x^TA\boldsymbol y=0 判定，不能偷换成标准点积。
  • 正交矩阵是方阵；对非方阵只能说列正交或行正交。

评论