Lecture 14: Orthogonal Vectors and Subspaces

目录 · ← l12 · l14 →

Lecture 14: Orthogonal Vectors and Subspaces

概述

本讲把”垂直”这个几何直觉升级成线性代数的核心工具。先定义正交向量 $v^{\mathsf T}w=0$ 与勾股定理；再证明 $Ax=\mathbf{0}$ 的解自动垂直于 $A$ 的每一行，于是 $N(A)\perp C(A^{\mathsf T})$；然后定义正交子空间与正交补（orthogonal complement），强调”正交”弱于”正交互补”；最后把讲次 10 的四个基本子空间升级为正交分解 $\mathbb R^n=C(A^{\mathsf T})\oplus N(A)$，并证明 $N(A^{\mathsf T}A)=N(A)$、$\operatorname{rank}(A^{\mathsf T}A)=\operatorname{rank}(A)$——这是讲次 16 最小二乘的全部地基。

核心概念的几何直觉

正交向量

• 定义与目的：$v,w\in\mathbb R^n$ 正交，指 $v^{\mathsf T}w=\sum_i v_iw_i=0$。（零向量与任何向量正交，但用”垂直”形容它有点勉强。）
• 几何直觉（它在空间中是什么样子？）：夹角 90°。$\mathbb R^2$ 中 $v^{\mathsf T}w=\vert v\vert \vert w\vert \cos\theta$，故 $v^{\mathsf T}w=0$ 且 $v,w\neq\mathbf{0}$ 等价于 $\theta=90^\circ$。内积是”夹角探测器”，零内积就是”互不干扰”。
• 具体示例：$v=(1,2,2)^{\mathsf T}$，$w=(2,-2,1)^{\mathsf T}$。$v^{\mathsf T}w=2-4+2=0$ ✓，且 $\vert v\vert ^2=9$、$\vert w\vert ^2=9$。

勾股定理的向量形式

• 定义与目的：$v\perp w\iff\vert v+w\vert ^2=\vert v\vert ^2+\vert w\vert ^2$（双向）。一般式 $\vert v+w\vert ^2=\vert v\vert ^2+2v^{\mathsf T}w+\vert w\vert ^2$。
• 几何直觉（它在空间中是什么样子？）：两直角边 $v,w$，斜边 $v+w$。多出来的 $2v^{\mathsf T}w$ 就是”不垂直产生的交叉项”。正交 = 交叉项消失 = 长度可简单相加（能量可加）——这是整个正交理论（投影、最小二乘、SVD）的物理来源。
• 具体示例：上例 $v+w=(3,0,3)$，$\vert v+w\vert ^2=18=9+9$ ✓。反例：$v=(3,1)$，$w=(-1,2)$，$v^{\mathsf T}w=-1$，$v+w=(2,3)$，$\vert v+w\vert ^2=13$ 而 $\vert v\vert ^2+\vert w\vert ^2=15$，差 $2=2v^{\mathsf T}w$ ✓。

正交子空间

• 定义与目的：$V\perp W$ 指每一个 $v\in V$ 与每一个 $w\in W$ 都正交。这是”全对全”的强要求，不是”存在一对正交向量”。
• 几何直觉（它在空间中是什么样子？）：$\mathbb R^3$ 中一条直线与一个平面正交（直线垂直于平面内每条过交点的直线）；但 $\mathbb R^3$ 中两条垂直的直线也彼此正交（虽然都是 1 维）。
• 具体示例：$V=\operatorname{span}\{(1,1,1)\}$，$W=\{x+y+z=0\}$。取 $W$ 的基 $(1,-1,0)$、$(1,1,-2)$：$(1,1,1)\cdot(1,-1,0)=0$ ✓，$(1,1,1)\cdot(1,1,-2)=1+1-2=0$ ✓。

正交补（orthogonal complement）$V^{\perp}$

• 定义与目的：$V^{\perp}=\{w\in\mathbb R^n:\ w^{\mathsf T}v=0\ \text{对一切}\ v\in V\}$。它是”所有与整个 $V$ 正交的向量”，本身是子空间（若干齐次方程的解集，即某矩阵的零空间）。
• 几何直觉（它在空间中是什么样子？）：$V$ 与 $V^{\perp}$ 互补地铺满整个空间：$\dim V+\dim V^{\perp}=n$，且 $V\cap V^{\perp}=\{\mathbf{0}\}$。所以 $V^{\perp}$ 不只是”垂直于 $V$”，而是”垂直于 $V$ 且恰好够大“——刚好补齐到 $n$ 维。
• 具体示例：$V=\operatorname{span}\{(1,1,1)\}\subseteq\mathbb R^3$，$V^{\perp}=\{x+y+z=0\}$，$1+2=3$ ✓。

正交 vs 正交互补（本讲最关键的一次区分）

• 定义与目的：在 $\mathbb R^3$ 取 $V=\operatorname{span}\{(1,0,0)\}$（$x$ 轴）、$W=\operatorname{span}\{(0,1,0)\}$（$y$ 轴）。二者正交，但 $W\neq V^{\perp}$——因为 $V^{\perp}=\{x_1=0\}$ 是整个 $yz$ 平面，含 $(0,0,1)$，而 $(0,0,1)\notin W$。
• 几何直觉（它在空间中是什么样子？）：$V\perp W$ 只说”互相垂直”；$W=V^{\perp}$ 还要求”$W$ 把 $V$ 之外的方向全部装下”。维数是判据：$\dim V+\dim W=1+1=2\neq3=n$，$W$ 太小。
• 具体示例：$(1,0,0)\cdot(0,1,0)=0$ ✓ 故正交；但 $(0,0,1)\in V^{\perp}\setminus W$，故 $W$ 不完整。两条线正交，却不是彼此的正交补——最容易掉进的坑。

计算步骤与手算演示

演示 1：勾股定理的”当且仅当”与内积恒等式

步骤 1：展开恒等式。 对任意 $v,w\in\mathbb R^n$：

（用到 $v^{\mathsf T}w=w^{\mathsf T}v$：标量的转置等于自身。）

步骤 2：正交情形。 $v=(1,2,2)^{\mathsf T}$，$w=(2,-2,1)^{\mathsf T}$：

\(v^{\mathsf T}w=2-4+2=0,\quad \|v\|^2=9,\quad\|w\|^2=9,\quad v+w=(3,0,3)^{\mathsf T}\) \(\|v+w\|^2=9+0+9=18=9+9\ \checkmark\)

步骤 3：不正交情形。 $v=(3,1)^{\mathsf T}$，$w=(-1,2)^{\mathsf T}$：

\(v^{\mathsf T}w=-3+2=-1,\quad v+w=(2,3)^{\mathsf T},\quad \|v+w\|^2=4+9=13\) \(\|v\|^2+\|w\|^2=10+5=15,\qquad 15-13=2=2v^{\mathsf T}w\ \checkmark\)

步骤 4：证”反方向”。 设 $\vert v+w\vert ^2=\vert v\vert ^2+\vert w\vert ^2$。由步骤 1 的恒等式两边相减得 $2v^{\mathsf T}w=0$，即 $v\perp w$。证毕。

【计算机制解说】：为什么”反方向”值得强调？因为 $\vert v+w\vert ^2=\vert v\vert ^2+\vert w\vert ^2$ 是一个关于长度的数值等式，它竟然完整编码了“$v\perp w$”这个纯几何事实。这意味着只要知道四个长度，即使看不到向量也能判断是否垂直——这就是极化恒等式

的来历。在数据科学里，这正是”用距离矩阵恢复内积”（MDS 多维标度），也是核方法（kernel trick）只用内积而永不显式写出向量的根本原因。

演示 2：$Ax=\mathbf{0}\iff x\perp$ 每一行，从而 $N(A)\perp C(A^{\mathsf T})$

步骤 1：取一个 $3\times3$ 矩阵。

步骤 2：用矩阵乘法看 $Ax=\mathbf{0}$。 把 $A$ 按行分块 $A=\begin{bmatrix}\mathbf r_1^{\mathsf T}\\\mathbf r_2^{\mathsf T}\\\mathbf r_3^{\mathsf T}\end{bmatrix}$，则

所以 $Ax=\mathbf{0}\iff \mathbf r_1^{\mathsf T}x=\mathbf r_2^{\mathsf T}x=\mathbf r_3^{\mathsf T}x=0\iff$ $x$ 垂直于 $A$ 的每一行。

步骤 3：具体求解。 行化简（第 2 行 $=2\times$第 1 行被消掉；第 3 行减去第 1 行得 $(0,-1,-1)\to(0,1,1)$）：

方程 $x_1+x_3=0$，$x_2+x_3=0$，$x_3$ 自由。取 $x_3=1$：

步骤 4：验证正交。

\(\mathbf r_1^{\mathsf T}x=1(-1)+2(-1)+3(1)=0\ \checkmark\) \(\mathbf r_2^{\mathsf T}x=2(-1)+4(-1)+6(1)=0\ \checkmark\) \(\mathbf r_3^{\mathsf T}x=1(-1)+1(-1)+2(1)=0\ \checkmark\)

步骤 5：结论。 $x$ 垂直于 $A$ 的每一行，而行空间 $C(A^{\mathsf T})$ 由这些行张成；垂直于每个生成元就垂直于整个子空间，所以 $N(A)\perp C(A^{\mathsf T})$。由 $\dim C(A^{\mathsf T})=2$、$\dim N(A)=1$、$2+1=3=n$，这不只是正交，而是互为正交补。

步骤 6：对偶地验证 $C(A)\perp N(A^{\mathsf T})$。 解 $A^{\mathsf T}y=\mathbf{0}$：

得 $y_1+2y_2=0$、$y_3=0$，取 $y_2=1$：$N(A^{\mathsf T})=\operatorname{span}\{(-2,1,0)^{\mathsf T}\}$。与 $A$ 的三列（即 $C(A)$ 的生成元）逐一内积：

且 $\dim C(A)+\dim N(A^{\mathsf T})=2+1=3=m$ ✓。

【计算机制解说】：为什么 $N(A)\perp C(A^{\mathsf T})$ 必然成立？支点只有一句话：内积对线性组合是线性的。技术动作是按行分块——把 $A$ 分块后，$Ax$ 就是”$x$ 与各行的内积”排成一列，$Ax=\mathbf{0}$ 逐分量读出来就是”$x$ 与每一行正交”。接着对任意 $z\in C(A^{\mathsf T})$ 写成 $z=c_1\mathbf r_1+c_2\mathbf r_2+c_3\mathbf r_3$：

注意：这一步只给出包含关系 $N(A)\subseteq C(A^{\mathsf T})^{\perp}$，要得到相等必须再用维数相加（见演示 4）。

演示 3：$N(A^{\mathsf T}A)=N(A)$ 与 $\operatorname{rank}(A^{\mathsf T}A)=\operatorname{rank}(A)$

步骤 1：容易的一半（$N(A)\subseteq N(A^{\mathsf T}A)$）。 若 $Ax=\mathbf{0}$，两边左乘 $A^{\mathsf T}$ 得 $A^{\mathsf T}Ax=\mathbf{0}$，故 $x\in N(A^{\mathsf T}A)$ ✓。

步骤 2：关键的一半（$N(A^{\mathsf T}A)\subseteq N(A)$）。 设 $A^{\mathsf T}Ax=\mathbf{0}$。两边左乘 $x^{\mathsf T}$：

左边重新结合：$x^{\mathsf T}A^{\mathsf T}Ax=(Ax)^{\mathsf T}(Ax)=\vert Ax\vert ^2$。于是 $\vert Ax\vert ^2=0$，而平方和为零意味着每个分量为零，即 $Ax=\mathbf{0}$ ✓。

所以 $N(A^{\mathsf T}A)=N(A)$，两边维数相同，故秩也相同。（这个技巧对实矩阵必须经由 $\vert Ax\vert ^2$；不能说”$A^{\mathsf T}Ax=0$ 所以 $Ax=0$”——那一步正是需要论证的地方。）

步骤 3：验算——列相关的例子。

• $\operatorname{rank}(C)=1$（第 2 列 $=2\times$第 1 列）。
• $\det(C^{\mathsf T}C)=14\cdot56-28^2=784-784=0$ ⇒ $C^{\mathsf T}C$ 奇异，$\operatorname{rank}(C^{\mathsf T}C)=1$ ✓。
• $N(C)$：三个方程都归结为 $x_1=-2x_2$，$N(C)=\operatorname{span}\{(-2,1)^{\mathsf T}\}$。
• $N(C^{\mathsf T}C)$：$14x_1+28x_2=0$ 与 $28x_1+56x_2=0$ 同解，同样得 $(-2,1)^{\mathsf T}$。

两个零空间完全一样 ✓，两个秩也一样 ✓。

步骤 4：对照——列独立的例子。

$\operatorname{rank}(D)=2$（两列不成比例）；$\det(D^{\mathsf T}D)=42-36=6\neq0$ ⇒ 可逆 ✓；$N(D)=N(D^{\mathsf T}D)=\{\mathbf{0}\}$ ✓。

步骤 5：验证 $x^{\mathsf T}A^{\mathsf T}Ax=\vert Ax\vert ^2$。 取 $x=(2,-1)^{\mathsf T}$：

\(Dx=\begin{bmatrix}2-1\\2-2\\2-3\end{bmatrix}=\begin{bmatrix}1\\0\\-1\end{bmatrix},\qquad \|Dx\|^2=2\) \(D^{\mathsf T}Dx=\begin{bmatrix}3&6\\6&14\end{bmatrix}\begin{bmatrix}2\\-1\end{bmatrix}=\begin{bmatrix}0\\-2\end{bmatrix},\qquad x^{\mathsf T}(D^{\mathsf T}Dx)=2(0)+(-1)(-2)=2\ \checkmark\)

步骤 6：三阶验算。 取演示 2 的 $A$：

$\operatorname{rank}(S^{\mathsf T}S)=2=\operatorname{rank}(S)$ ✓，$N(S^{\mathsf T}S)=\operatorname{span}\{(-1,-1,1)^{\mathsf T}\}=N(S)$ ✓。

【计算机制解说】：为什么 $N(A^{\mathsf T}A)=N(A)$ 如此重要？因为它把”无解”变成”有解”。对任意 $A$（哪怕长方、秩亏），$A^{\mathsf T}b$ 一定落在 $C(A^{\mathsf T})$ 里，而 $C(A^{\mathsf T})=C(A^{\mathsf T}A)$（由刚证的性质），所以方程

永远有解——这就是最小二乘的正规方程。进一步，$A^{\mathsf T}A$ 是 $n\times n$ 对称方阵；当 $A$ 的列线性无关（$\operatorname{rank}(A)=n$）时 $N(A^{\mathsf T}A)=\{\mathbf{0}\}$，$A^{\mathsf T}A$ 可逆，解唯一：$\hat x=(A^{\mathsf T}A)^{-1}A^{\mathsf T}b$。若列相关（$\dim N(A)>0$），$A^{\mathsf T}A$ 奇异，仍有无穷多解（相差一个 $N(A)$ 中向量），我们取范数最小者（伪逆，讲次 33）。另外 $x^{\mathsf T}A^{\mathsf T}Ax=\vert Ax\vert ^2\ge0$ 说明 $A^{\mathsf T}A$ 恒为半正定——这正是图拉普拉斯 $L=A^{\mathsf T}A$（讲次 12）永远半正定、且 $\operatorname{rank}(L)=\operatorname{rank}(A)=n-1$ 的原因。

演示 4：四个基本子空间的正交分解与维数相加

步骤 1：两个包含关系（演示 2 已得）。

（后者把 $A$ 换成 $A^{\mathsf T}$：$A^{\mathsf T}y=\mathbf{0}\iff y\perp A$ 的各列。）

步骤 2：维数相加。 设 $A$ 是 $m\times n$、秩 $r$。则

步骤 3：正交补的维数公式与 $V^{\perp}=N(B)$。 设 $\dim V=d$，取 $V$ 的一组基作为 $d\times n$ 矩阵 $B$ 的行。则

由秩-零化度定理（$\operatorname{rank}(B)=d$，行满秩）：

步骤 4：包含 + 维数 ⇒ 相等。 引用小引理：若 $U\subseteq W$ 且 $\dim U=\dim W$，则 $U=W$。取 $U=N(A)$、$W=C(A^{\mathsf T})^{\perp}$：包含关系来自步骤 1，维数相等来自步骤 2 与 3（$\dim C(A^{\mathsf T})^{\perp}=n-r=\dim N(A)$）。故

步骤 5：得到直和。 $N(A)\cap C(A^{\mathsf T})\subseteq N(A)\cap N(A)^{\perp}=\{\mathbf{0}\}$（正交补中的向量与 $N(A)$ 中每个向量正交；若它自身也属于 $N(A)$，则 $x\perp x$，$\vert x\vert ^2=0$，$x=\mathbf{0}$）。又两者维数之和为 $n$，所以

步骤 6：用一个 $3\times2$ 矩阵全局验算。

• $\dim N(B)=2-2=0$ ⇒ $N(B)=\{\mathbf{0}\}$ ⇒ $\mathbb R^2=C(B^{\mathsf T})\oplus\{\mathbf{0}\}$：两列独立，行空间就是整个 $\mathbb R^2$ ✓。
• $\dim C(B)=2$，$\dim N(B^{\mathsf T})=3-2=1$，$2+1=3=m$ ✓。
• 解 $B^{\mathsf T}y=\mathbf{0}$：$\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix}\begin{bmatrix}y_1\\y_2\\y_3\end{bmatrix}=\mathbf{0}$ 得 $y_2=-y_3$、$y_1=-2y_2=2y_3$；取 $y_3=1$，$y=(2,-1,1)^{\mathsf T}$。
• 验证 $y\perp$ 每一列：$(2,-1,1)\cdot(1,2,0)=0$ ✓；$(2,-1,1)\cdot(0,1,1)=0$ ✓。

完全吻合 $N(B^{\mathsf T})=C(B)^{\perp}$。

步骤 7：再看一个秩亏的 $3\times3$。

（每行都是 $(1,2,3)$ 的倍数。）于是 $C(W^{\mathsf T})=\operatorname{span}\{(1,2,3)^{\mathsf T}\}$（$\dim1$），$N(W)=\{x_1+2x_2+3x_3=0\}$（$\dim2$），基为 $(-2,1,0)^{\mathsf T}$ 与 $(-3,0,1)^{\mathsf T}$。验证正交：$(1,2,3)\cdot(-2,1,0)=-2+2=0$ ✓；$(1,2,3)\cdot(-3,0,1)=-3+3=0$ ✓；$1+2=3=n$ ✓。

这正是下面 ASCII 图的实现：直线（行空间）与平面（零空间）正交地铺满 $\mathbb R^3$。

     R^3 的正交分解:  R^3 = C(A^T) ⊕ N(A)      (以 W 为例, rank = 1)

  ┌────────────────────────────────────────────────────────────┐
  │                                                            │
  │        N(A): 过原点的平面 (dim = 2)                         │
  │        方程  x1 + 2x2 + 3x3 = 0                            │
  │                        x                                   │
  │                       ╱|                                   │
  │                      ╱ |                                   │
  │                     ╱  |  x_null ∈ N(A)  (垂直分量)          │
  │                    ╱   |                                   │
  │   ────────────────●────┼──────────────────►                │
  │     x_row              │      C(A^T): 直线 (dim = 1)        │
  │  = x 在 (1,2,3) 上的分量│      span{ (1,2,3) }              │
  │                        │                                   │
  └────────────────────────────────────────────────────────────┘

   任何 x ∈ R^3 唯一地写成  x = x_row + x_null
        其中 x_row ∈ C(A^T),  x_null ∈ N(A),  且 x_row ⊥ x_null

   维数核对:  dim C(A^T) + dim N(A)   = 1 + 2 = 3 = n
   对偶地:    dim C(A)   + dim N(A^T) = 1 + 2 = 3 = m

【计算机制解说】：为什么必须走”包含 + 维数相等”这条路线？因为正交性是”逐个向量”的局部条件，而相等是”集合整体”的全局断言。从 $Ax=\mathbf{0}$ 出发你只能证明 $N(A)$ 中每一个向量都垂直于 $C(A^{\mathsf T})$——这是包含。要提升为相等，必须排除”$C(A^{\mathsf T})^{\perp}$ 里还有漏网之鱼”。维数相加正好提供了这个计数：维数相同、又互相包含，就只能相等。这是线性代数最标准的”以维数收尾”证明套路（讲次 10 用同一招证明 $\dim C(A)=\dim C(A^{\mathsf T})$）。

演示 5：正交补的构造性使用——Gram-Schmidt 从 $N(A)$ 造出 $C(A^{\mathsf T})$ 的正交基

步骤 1：动机。 演示 4 只说”$C(A^{\mathsf T})$ 与 $N(A)$ 互补且正交”，但没告诉我们怎么具体造出正交基。Gram-Schmidt 就是这台机器。

步骤 2：取一组普通的独立向量。 取

（三者独立。注意它们本身不两两正交：$u_1^{\mathsf T}u_2=2$，$u_1^{\mathsf T}u_3=1$，$u_2^{\mathsf T}u_3=1$。）

步骤 3：第一个向量直接归一化。

步骤 4：第二个向量——减掉它在 $q_1$ 方向上的投影。

投影分量：$\dfrac{2}{\sqrt3}q_1=\dfrac{2}{\sqrt3}\cdot\dfrac{1}{\sqrt3}(1,1,1)^{\mathsf T}=\left(\tfrac23,\tfrac23,\tfrac23\right)^{\mathsf T}$。减去它：

验证 $q_1^{\mathsf T}q_2=\dfrac{1+1-2}{\sqrt{18}}=0$ ✓。

步骤 5：第三个向量——减掉落在 $\{q_1,q_2\}$ 张成平面里的分量。

步骤 6：三个正交性一起验证。

且 $\vert q_1\vert =\vert q_2\vert =\vert q_3\vert =1$ ✓。得到 $\mathbb R^3$ 的一组标准正交基。

步骤 7：写成 $A=QR$。 取 $A=\begin{bmatrix}u_1&u_2&u_3\end{bmatrix}=\begin{bmatrix}1&1&1\\1&1&0\\1&0&0\end{bmatrix}$，$Q=\begin{bmatrix}q_1&q_2&q_3\end{bmatrix}$：

验算 $QR=A$ ✓（$Q$ 的列正交、$R$ 上三角）。数值核对：$\sqrt3\approx1.732051$，$\tfrac{2}{\sqrt3}\approx1.154701$，$\tfrac{\sqrt6}{3}\approx0.816497$，$\tfrac{1}{\sqrt2}\approx0.707107$，全部与程序输出一致 ✓。

【计算机制解说】：Gram-Schmidt 的每一步都在构造正交补。第 $k$ 步做的事是：把 $u_k$ 投影到前面 $k-1$ 个方向张成的子空间 $V_{k-1}$ 上，然后减去投影。剩下的 $e_k=u_k-\operatorname{proj}{V{k-1}}u_k$ 正是 $u_k$ 在 $V_{k-1}^{\perp}$ 里的分量——这就是 $\mathbb R^n=V\oplus V^{\perp}$ 的算法化身，与本讲演示 4 的分解是同一件事，只是把”存在性”换成了”构造法”。另外 $R$ 的对角元 $r_{kk}=\vert e_k\vert $ 一旦出现 $0$，就说明 $u_k$ 落在前面向量张成的空间里（原向量组线性相关）——所以 Gram-Schmidt 顺带给出了独立性检验。最后 $A^{\mathsf T}A=R^{\mathsf T}Q^{\mathsf T}QR=R^{\mathsf T}R$：$Q$ 的列正交把 $A^{\mathsf T}A$ 化简成上三角与其转置之积，这正是 QR 比直接算 $A^{\mathsf T}A$ 数值稳定的原因（讲次 17）。

矩阵分解的核心思想

本讲是正交分解的宣言，直接催生三种分解：

1. $A=QR$（讲次 17）。用 Gram-Schmidt 把 $A$ 的列正交化，得到列正交的 $Q$ 与上三角 $R$。依据正是本讲的投影与正交补：每一步都从当前列里”减掉落在前面列张成子空间中的分量”。
2. $A^{\mathsf T}A$ 的正交化简。当 $A=QR$ 时 $A^{\mathsf T}A=R^{\mathsf T}Q^{\mathsf T}QR=R^{\mathsf T}R$。这把 $A^{\mathsf T}A$ 的条件数问题转成 $R$ 的问题——QR 比直接算 $A^{\mathsf T}A$ 在数值上稳定得多。
3. $S\Lambda S^{-1}$ 正交化与 SVD $A=U\Sigma V^{\mathsf T}$（讲次 22、29）。SVD 的本质就是”为四个基本子空间各找一组标准正交基”：$V$ 的前 $r$ 列是 $C(A^{\mathsf T})$ 的标准正交基、后 $n-r$ 列是 $N(A)$ 的；$U$ 的前 $r$ 列是 $C(A)$ 的、后 $m-r$ 列是 $N(A^{\mathsf T})$ 的。本讲的”正交补”正是 SVD 把 $\mathbb R^n$ 切成两半的理论依据。
4. 最小二乘的正规方程（讲次 16） $A^{\mathsf T}A\hat x=A^{\mathsf T}b$。几何含义：误差 $b-A\hat x$ 落在 $N(A^{\mathsf T})=C(A)^{\perp}$ 中，即”误差垂直于列空间”——本讲 $C(A)\perp N(A^{\mathsf T})$ 的直接应用。

与其他讲次的关联

• 回顾讲次 10（四个基本子空间）：本讲把维数图升级为正交分解图。讲次 10 只说了 $C(A^{\mathsf T})$ 与 $N(A)$ 维数互补，本讲证明它们还互相垂直，因而构成直和。
• 回顾讲次 12（图与关联矩阵）：那里的 $C(A)\perp N(A^{\mathsf T})$ 就是”边电势差正交于回路环流”；本讲给出一般证明。$L=A^{\mathsf T}A$ 的两条性质（$\operatorname{rank}$ 相同、零空间相同）在此得到统一解释。
• 通向讲次 15（投影）：投影就是沿正交补方向分解。$x=x_{\text{row}}+x_{\text{null}}$ 中的 $x_{\text{row}}$ 就是 $x$ 在 $C(A^{\mathsf T})$ 上的投影，公式 $P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 完全建立在”$A^{\mathsf T}A$ 可逆 $\iff$ 列无关”上。
• 通向讲次 16（最小二乘）：$N(A^{\mathsf T}A)=N(A)$ 保证正规方程永远有解。
• 通向讲次 17（QR / Gram-Schmidt）：正交化每一步都在”减掉投影”，是本讲正交补的算法实现。
• 通向讲次 29（SVD）：四个基本子空间的标准正交基就是 SVD 的正交矩阵 $U,V$。

关键要点

1. 正交与勾股：$v^{\mathsf T}w=0$；$\vert v+w\vert ^2=\vert v\vert ^2+\vert w\vert ^2$ 当且仅当 $v\perp w$（一般式含交叉项 $2v^{\mathsf T}w$）。
2. $Ax=\mathbf{0}\iff x$ 与 $A$ 的每一行正交 $\iff x\perp C(A^{\mathsf T})$。 技巧：按行分块，$Ax$ 就是”$x$ 与各行的内积”排成一列。
3. 正交 ≠ 正交补：$V\perp W$ 只要求互相垂直；$W=V^{\perp}$ 还要求 $\dim V+\dim W=n$。$\mathbb R^3$ 中 $x$ 轴与 $y$ 轴正交，但 $y$ 轴 $\neq$ $x$ 轴的正交补（后者是 $yz$ 平面）。
4. 正交补维数公式：$\dim V+\dim V^{\perp}=n$，且 $V^{\perp}=N(B)$（$B$ 的行是 $V$ 的一组基）。
5. 四个基本子空间的正交分解：

1. $A^{\mathsf T}A$ 的两条命根子：$N(A^{\mathsf T}A)=N(A)$，$\operatorname{rank}(A^{\mathsf T}A)=\operatorname{rank}(A)$；特别地 $A^{\mathsf T}A$ 可逆 $\iff A$ 的列线性无关 $\iff \operatorname{rank}(A)=n$。
2. 必背证明技巧：$A^{\mathsf T}Ax=\mathbf{0}\Rightarrow 0=x^{\mathsf T}A^{\mathsf T}Ax=\vert Ax\vert ^2\Rightarrow Ax=\mathbf{0}$。

常见误区与注意事项

1. 把”正交”当成”正交互补”。 最常见的错误是看到两个子空间垂直就写 $W=V^{\perp}$。必须核对维数：只有 $\dim V+\dim W=n$ 才算互补。
2. 证明 $N(A^{\mathsf T}A)=N(A)$ 时跳步。 “$A^{\mathsf T}Ax=0$ 所以 $Ax=0$”不是显然的：$A^{\mathsf T}$ 有非平凡零空间时完全可能把非零向量映到零。正确桥梁是数量恒等式 $\vert Ax\vert ^2=x^{\mathsf T}A^{\mathsf T}Ax$。漏掉这步整个证明就废了。
3. 以为 $A^{\mathsf T}A$ 总是可逆。 只有当 $A$ 的列线性无关（$\operatorname{rank}(A)=n$，$n$ 是列数）时才可逆。反例：$C=\begin{bmatrix}1&2\\2&4\\3&6\end{bmatrix}$，$C^{\mathsf T}C=\begin{bmatrix}14&28\\28&56\end{bmatrix}$，$\det=0$，不可逆。这是最小二乘需要伪逆的根源。
4. 把行空间放在 $\mathbb R^m$ 里。 $C(A^{\mathsf T})\subseteq\mathbb R^n$（$n=$ 列数），$C(A)\subseteq\mathbb R^m$（$m=$ 行数）。位置写错会让”$\dim C(A^{\mathsf T})+\dim N(A)=n$”失去意义。
5. 混淆 $\dim N(A)=n-r$ 与 $\dim N(A^{\mathsf T})=m-r$。 本讲的正交分解两边都用它们，写 $\mathbb R^m=C(A)\oplus N(A^{\mathsf T})$ 时极易把 $m,n$ 用反。
6. 以为”$V\cap W=\{\mathbf{0}\}$ ⇒ $V\perp W$”。 反了！正交 $\Rightarrow$ 交为原点（若 $x$ 同时在两者中，则 $x\perp x$，$x=\mathbf{0}$），但交为原点不蕴含正交。反例：$\mathbb R^3$ 中 $x$ 轴与 $\operatorname{span}\{(1,1,0)\}$ 交为原点，但 $(1,0,0)\cdot(1,1,0)=1\neq0$。
7. 用零向量举例说明正交性。 零向量与一切正交，但 $N(A)\perp C(A^{\mathsf T})$ 的内容是非零向量之间的正交性，举零向量是空洞的。

思考题（带答案）

Q1.（纯计算） 设

（1）求 $\operatorname{rank}(A)$、$N(A)$、$C(A^{\mathsf T})$； （2）求 $N(A^{\mathsf T})$ 的基并验证它垂直于 $C(A)$ 的每一列； （3）计算 $A^{\mathsf T}A$ 与 $\det(A^{\mathsf T}A)$，判断列是否线性无关； （4）取 $b=(1,1,1)^{\mathsf T}$，解正规方程并验证误差落在 $N(A^{\mathsf T})$ 方向上。

Q2.（概念理解） 解释为什么 $\mathbb R^3$ 中两个互相垂直的 1 维子空间不是彼此的正交补；并说明为什么”$\dim V+\dim W=n$”是判断 $W=V^{\perp}$ 的决定性条件。

Q3.（概念 + 计算） 设 $A$ 是 $5\times3$ 矩阵且 $\operatorname{rank}(A)=3$。回答并说明理由： （1）$N(A)=?$（2）$A^{\mathsf T}A$ 是什么规模？是否可逆？（3）$N(A^{\mathsf T})$ 维数是多少？是否非平凡？（4）对 $b=(1,0,1,0,1)^{\mathsf T}$，$A^{\mathsf T}A\hat x=A^{\mathsf T}b$ 是否唯一可解？