Lecture 15: Projections onto Subspaces

目录 · ← l13 · l15 →

Lecture 15: Projections onto Subspaces

概述

本讲要解决的问题非常朴素：当 $A\mathbf{x}=\mathbf{b}$ 无解时，我们该怎么办？ 现实中这种情形才是常态——测量数据多于未知数，方程个数 $m$ 大于未知数个数 $n$。Strang 的答案是：不要放弃，退一步求”最接近的 $\mathbf{b}$”。把 $\mathbf{b}$ 投影到列空间 C(A) 上得到 $\mathbf{p}$，然后解 $A\hat{\mathbf{x}}=\mathbf{p}$——这个方程一定有解，因为 $\mathbf{p}$ 就住在列空间里。

本讲先把投影做穿两条路：一维（投影到一条直线，矩阵 $\mathbf{a}$ 只有一个列）与高维（投影到子空间，矩阵 $A$ 有 $n$ 个列）。两条路给出同一个骨架：误差 $\mathbf{e}$ 必须垂直于投影的子空间，这条正交条件就是投影的全部内容。由此引出整门课最重要的方程之一——正规方程 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$，以及投影矩阵

本讲是”正交”这条主线的第一站：下一讲用它做最小二乘，再下一讲用 Gram-Schmidt 造出更好的 $A=QR$。

核心概念的几何直觉

为什么需要投影

• 定义与目的：给定 $m\times n$ 矩阵 $A$ 与向量 $\mathbf{b}\in\mathbb{R}^m$，我们想解 $A\mathbf{x}=\mathbf{b}$。若 $\mathbf{b}\notin C(A)$，则无解。投影的目的是找出 C(A) 中离 $\mathbf{b}$ 最近的那个向量 $\mathbf{p}$。
• 几何直觉（它在空间中是什么样子？）：C(A) 是 $\mathbb{R}^m$ 中的一张”平面”（或直线、或整个空间）。$\mathbf{b}$ 可能悬在这张平面之外。从 $\mathbf{b}$ 向平面作垂线，垂足就是 $\mathbf{p}$。$\mathbf{b}$ 到平面的最短距离就是这段垂线的长度 $\vert \mathbf{e}\vert =\vert \mathbf{b}-\mathbf{p}\vert $。
• 具体示例：$m=3,n=2$ 时，C(A) 是 $\mathbb{R}^3$ 中过原点的一张平面；$\mathbf{b}$ 一般不在平面上，$\mathbf{p}$ 是它到平面的垂足，$\mathbf{e}=\mathbf{b}-\mathbf{p}$ 是平面的法向量方向。

        b ●
         /|
        / |
   e   /  |       e = b - p  垂直于整个子空间
      /   |
     /    |
    ●-----●-----------------------→
    O     p   ∈  C(A)              C(A)（平面/直线）

一维投影：投影到一条直线

• 定义与目的：设 $\mathbf{a}\in\mathbb{R}^m$ 是非零向量，直线 $L=\{\mathbf{a}x\}$ 是一维子空间。要把 $\mathbf{b}$ 投影到 $L$ 上。投影结果必为 $\mathbf{p}=\hat{x}\mathbf{a}$（只差一个倍数），未知量只有标量 $\hat{x}$。
• 几何直觉（它在空间中是什么样子？）：沿着 $\mathbf{a}$ 的方向走，走到某一点时，$\mathbf{b}$ 与该点的连线恰好与 $\mathbf{a}$ 垂直——那个点就是垂足。垂直意味着 $\mathbf{a}^{\mathsf T}(\mathbf{b}-\hat{x}\mathbf{a})=0$。这是一个关于 $\hat{x}$ 的一元方程，解出来就是 $\hat{x}=\dfrac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\mathbf{a}^{\mathsf T}\mathbf{a}}$。
• 具体示例：$\mathbf{a}=\begin{bmatrix}1\\2\\2\end{bmatrix}$，$\mathbf{b}=\begin{bmatrix}1\\1\\1\end{bmatrix}$：$\mathbf{a}^{\mathsf T}\mathbf{a}=9$，$\mathbf{a}^{\mathsf T}\mathbf{b}=5$，故 $\hat{x}=5/9$，$\mathbf{p}=\frac59\begin{bmatrix}1\\2\\2\end{bmatrix}$。详细验算见下一节。

投影矩阵（一维）

• 定义与目的：把上面的结果写成”矩阵乘 $\mathbf{b}$”的形式：$\mathbf{p}=\mathbf{a}\dfrac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\mathbf{a}^{\mathsf T}\mathbf{a}}=\dfrac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}}\,\mathbf{b}$。于是

• 几何直觉（它在空间中是什么样子？）：$P$ 是一个 $m\times m$ 的矩阵，它作用于任何向量时都”拍扁”到直线 $L$ 上。它的每一列都是 $\mathbf{a}$ 的倍数，所以 C(P) = $L$，秩为 1。
• 具体示例：$\mathbf{a}=\begin{bmatrix}1\\2\\2\end{bmatrix}$，$\mathbf{a}^{\mathsf T}\mathbf{a}=9$，故

注意 $P$ 的两行两列按比例重复——这正是”秩 1”的外观特征。

高维投影：投影到子空间

• 定义与目的：设 $A$ 是 $m\times n$ 且列向量线性无关（因此 $n\le m$，且 C(A) 是 $n$ 维子空间）。要把 $\mathbf{b}$ 投影到 C(A) 上：$\mathbf{p}=A\hat{\mathbf{x}}$，未知量变成向量 $\hat{\mathbf{x}}\in\mathbb{R}^n$。正交条件是”$\mathbf{e}=\mathbf{b}-A\hat{\mathbf{x}}$ 垂直于 C(A) 中每一个向量”，等价于垂直于 $A$ 的每一列，即 $A^{\mathsf T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$。
• 几何直觉（它在空间中是什么样子？）：一维时是”垂线与直线垂直”；高维时是”垂线与整张平面垂直”。垂直条件从 1 个方程变成 $n$ 个方程（$A^{\mathsf T}$ 有 $n$ 行），恰好确定 $\hat{\mathbf{x}}$ 的 $n$ 个分量。
• 具体示例：$A=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}$，$\mathbf{b}=\begin{bmatrix}1\\1\\1\end{bmatrix}$，C(A) 是 $\mathbb{R}^3$ 中由两个列张成的平面。解得 $\hat{\mathbf{x}}=\begin{bmatrix}2/3\\2/3\end{bmatrix}$，$\mathbf{p}=\begin{bmatrix}4/3\\2/3\\2/3\end{bmatrix}$。详细验算见下一节。

正规方程（Normal Equation）

• 定义与目的：把 $A^{\mathsf T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ 展开：

这是 $n\times n$ 的方程组，叫正规方程。”normal” 在这里是”垂直”的意思，因为它的来源就是正交条件。

• 几何直觉（它在空间中是什么样子？）：$A^{\mathsf T}\mathbf{e}=\mathbf{0}$ 说的是：误差 $\mathbf{e}$ 落在 $A^{\mathsf T}$ 的零空间 $\mathrm{N}(A^{\mathsf T})$ 里，而 $\mathrm{N}(A^{\mathsf T})$ 正是与列空间 C(A) 正交的那个子空间（左零空间）。这就是 Lecture 10 的四基本子空间图在投影中的第一次真实应用。

• 具体示例：$A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}$ 时 $A^{\mathsf T}A=\begin{bmatrix}3&6\\6&14\end{bmatrix}$，$A^{\mathsf T}\mathbf{b}=\begin{bmatrix}6\\14\end{bmatrix}$。

子空间投影矩阵

• 定义与目的：把 $\hat{\mathbf{x}}$ 代回：

• 几何直觉（它在空间中是什么样子？）：$P$ 是 $m\times m$ 矩阵，作用在任何向量上都把它拍进 C(A)。$A$ 把 $\mathbb{R}^n$ 送进 C(A)（同构），$(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 把 $\mathbb{R}^m$ 送回 $\mathbb{R}^n$。两头夹起来，落点永远是 C(A)。
• 具体示例：$A=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}$ 时 $P=\frac13\begin{bmatrix}2&1&1\\1&2&-1\\1&-1&2\end{bmatrix}$。它与一维的 $P=\mathbf{a}\mathbf{a}^{\mathsf T}/\mathbf{a}^{\mathsf T}\mathbf{a}$ 是同一个公式：把 $A$ 换成只有一列的 $\mathbf{a}$，$(A^{\mathsf T}A)^{-1}$ 就退化成标量 $1/\mathbf{a}^{\mathsf T}\mathbf{a}$。

正交补与”两半分解”

• 定义与目的：$P$ 把任何 $\mathbf{b}$ 拆成两半：$P\mathbf{b}\in C(A)$ 与 $(I-P)\mathbf{b}\in C(A)^{\perp}=\mathrm{N}(A^{\mathsf T})$。$I-P$ 本身也是一个投影矩阵——它对称（$(I-P)^{\mathsf T}=I-P^{\mathsf T}=I-P$）、幂等（$(I-P)^2=I-2P+P^2=I-P$），投影的目标是 C(A) 的正交补。
• 几何直觉（它在空间中是什么样子？）：把 $\mathbf{b}$ 想成一根斜插进平面的杆子，”平面内的影子”是 $P\mathbf{b}$，”翘起来的部分”是 $(I-P)\mathbf{b}$。两部分互不干扰：影子再投影还是自己（$P^2=P$），影子去正交补那边投影得零（$P(I-P)=P-P^2=0$）。
• 具体示例：示例 2 中 $A=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}$ 给出 $P=\frac13\begin{bmatrix}2&1&1\\1&2&-1\\1&-1&2\end{bmatrix}$，于是 \(I-P=\frac13\begin{bmatrix}1&-1&-1\\-1&1&1\\-1&1&1\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\1\\1\end{bmatrix}\ \Longrightarrow\ P\mathbf{b}=\begin{bmatrix}4/3\\2/3\\2/3\end{bmatrix},\quad (I-P)\mathbf{b}=\begin{bmatrix}-1/3\\1/3\\1/3\end{bmatrix}.\) 注意 $I-P$ 的第二、三行完全相同——这是”秩 1”的外观特征，因为 $\dim C(A)^{\perp}=m-r=3-2=1$。

投影的”另一侧”：投影到行空间

• 定义与目的：同一条正交性原理还有一半。把 $\mathbf{b}\in\mathbb{R}^n$ 投影到行空间 $C(A^{\mathsf T})\subseteq\mathbb{R}^n$，得到 $n\times n$ 矩阵 \(\hat P=A^{\mathsf T}(AA^{\mathsf T})^{-1}A.\) （前提：$A$ 的行线性无关，即 $\operatorname{rank}(A)=m$、$AA^{\mathsf T}$ 可逆。）
• 几何直觉（它在空间中是什么样子？）：$A$ 把 $\mathbb{R}^n$ 压进 C(A)，$\hat P$ 则把 $\mathbb{R}^n$ 压进与 C(A) 正交配对的行空间。两个投影合起来正好覆盖 Lecture 10 的四子空间图：$P$ 管 $\mathbb{R}^m$ 里的 C(A) 与 N(Aᵀ)，$\hat P$ 管 $\mathbb{R}^n$ 里的 C(Aᵀ) 与 N(A)。这也解释了为什么最小二乘的解 $\hat{\mathbf{x}}$ 必然落在行空间里——它本来就是从 $\mathbb{R}^m$ 经 $A^{\mathsf T}$ 拉回来、再经 $AA^{\mathsf T}$ 修正的结果。
• 具体示例：$A=\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix}$（2×3，两行无关）：$AA^{\mathsf T}=\begin{bmatrix}5&2\\2&2\end{bmatrix}$，$\det=6$， \((AA^{\mathsf T})^{-1}=\frac16\begin{bmatrix}2&-2\\-2&5\end{bmatrix}=\begin{bmatrix}1/3&-1/3\\-1/3&5/6\end{bmatrix},\qquad \hat P=A^{\mathsf T}(AA^{\mathsf T})^{-1}A=\begin{bmatrix}1/3&1/3&-1/3\\1/3&5/6&1/6\\-1/3&1/6&5/6\end{bmatrix}.\) 完整手算过程与验证见下一节示例 6。

C(P) 与 N(P)：投影矩阵的两只眼睛

• 定义与目的：像空间 $C(P)=C(A)$，零空间 $\mathrm{N}(P)=\mathrm{N}(A^{\mathsf T})=C(A)^{\perp}$。于是 $\operatorname{rank}(P)=\dim C(A)=r$，$\dim\mathrm{N}(P)=m-r$，且 $\operatorname{rank}(P)+\dim\mathrm{N}(P)=r+(m-r)=m$（秩–零化度定理）。
• 几何直觉（它在空间中是什么样子？）：$P$ “看不见”子空间的正交方向——那些方向喂给它，输出零；而子空间内的向量喂给它，原样返回。投影矩阵的全部信息量就是”它认出了哪个子空间”。
• 具体示例：示例 1 的 $P=\frac19\begin{bmatrix}1&2&2\\2&4&4\\2&4&4\end{bmatrix}$：每一列都是 $\mathbf{a}=[1,2,2]^{\mathsf T}$ 的倍数，故 $C(P)$ 就是那条直线；而 $\mathbf{a}^{\mathsf T}[0,1,-1]^{\mathsf T}=0$，直接算得 \(P\begin{bmatrix}0\\1\\-1\end{bmatrix}=\frac19\begin{bmatrix}2-2\\4-4\\4-4\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix}.\) 即 $[0,1,-1]^{\mathsf T}\in\mathrm{N}(P)$，它正是 $C(A)^{\perp}$ 里的向量。$\checkmark$

一张图看懂两个投影与四个子空间

   R^m （数据空间，m=3）              R^n （参数空间，n=2）
 ┌──────────────────────────────┐   ┌──────────────────────┐
 │                              │   │   N(A)               │
 │   N(A^T) = 与 C(A) 正交       │   │   dim = n - r        │
 │   dim = m - r                │   │                      │
 │        ▲                     │   │   x̂ 住在             │
 │        │ e = (I-P)b          │   │   C(A^T) 行空间里     │
 │        │ （误差，垂直分量）     │   │   dim = r            │
 │        │                     │   │                      │
 │  b ●───┼──────►              │   │                      │
 │        │   p = Pb            │   │                      │
 │        │ （列空间内分量）      │   │                      │
 │   C(A) dim = r               │   │                      │
 └──────────────────────────────┘   └──────────────────────┘
        b  =  P b  +  (I-P) b
            ↑         ↑
         C(A) 内    与 C(A) 正交
     唯一分解，两分量互垂直：||b||² = ||Pb||² + ||(I-P)b||²

   投影矩阵 P = A(A^T A)^{-1} A^T   作用在 R^m 上，落在 C(A)
   行空间投影 P̂ = A^T(A A^T)^{-1} A  作用在 R^n 上，落在 C(A^T)

一维与高维的统一：同一套骨架

把两种情形并排看，会发现它们的逻辑结构完全一样，只是”标量”换成了”矩阵”：

               一维（投影到直线 L = span{a}）      高维（投影到子空间 C(A)）
 ─────────────────────────────────────────────────────────────────────────────
 目标            求 p = x̂a ∈ L                    求 p = A x̂ ∈ C(A)
 未知量          标量 x̂ ∈ R                       向量 x̂ ∈ R^n
 正交条件        a^T(b - x̂a) = 0                  A^T(b - A x̂) = 0
                 （1 个方程）                       （n 个方程）
 方程             (a^T a) x̂ = a^T b                (A^T A) x̂ = A^T b
 系数矩阵        a^T a  （1×1，可逆）               A^T A  （n×n，列无关时可逆）
 解              x̂ = a^T b / a^T a                x̂ = (A^T A)^{-1} A^T b
 投影            p = a(a^T b)/(a^T a)              p = A(A^T A)^{-1} A^T b
 投影矩阵        P = a a^T / a^T a                 P = A (A^T A)^{-1} A^T
 秩              rank(P) = 1                       rank(P) = n = dim C(A)
 迹              trace(P) = 1                      trace(P) = n
 特征值          1（沿 a）、0（垂直 a）             1（n 重，在 C(A) 上）、0（m-n 重）

统一公式的记忆法：一维是高维在 $n=1$ 时的特例。只要把 $\mathbf{a}^{\mathsf T}\mathbf{a}$ 看成 $1\times1$ 矩阵 $A^{\mathsf T}A$、把 $\frac{1}{\mathbf{a}^{\mathsf T}\mathbf{a}}$ 看成 $(A^{\mathsf T}A)^{-1}$，两个公式一模一样。不要分别死记两个公式——记住一个，另一个是特例。

投影长度与夹角：把投影写成”几何量”

一维情形还能读出一个漂亮的几何公式。设 $\theta$ 是 $\mathbf{a}$ 与 $\mathbf{b}$ 的夹角，则 \(\hat{x}=\frac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\mathbf{a}^{\mathsf T}\mathbf{a}}=\frac{\vert \mathbf{a}\vert \vert \mathbf{b}\vert \cos\theta}{\vert \mathbf{a}\vert ^2}=\frac{\vert \mathbf{b}\vert \cos\theta}{\vert \mathbf{a}\vert },\) \(\mathbf{p}=\hat{x}\mathbf{a}=\left(\vert \mathbf{b}\vert \cos\theta\right)\frac{\mathbf{a}}{\vert \mathbf{a}\vert }=\left(\vert \mathbf{b}\vert \cos\theta\right)\mathbf{u},\qquad \mathbf{u}=\frac{\mathbf{a}}{\vert \mathbf{a}\vert }\ \text{（单位方向）}.\) 也就是说：投影长度 $=\vert \mathbf{b}\vert \cos\theta$（$\mathbf{b}$ 在 $\mathbf{a}$ 方向上的”影子长度”），投影向量 $=$ 该长度 $\times$ 单位方向。误差长度则是 \(\vert \mathbf{e}\vert =\vert \mathbf{b}\vert \sin\theta,\) 于是勾股关系 $\vert \mathbf{b}\vert ^2=\vert \mathbf{p}\vert ^2+\vert \mathbf{e}\vert ^2=\vert \mathbf{b}\vert ^2\cos^2\theta+\vert \mathbf{b}\vert ^2\sin^2\theta$ 退化成三角恒等式。用示例 1 验证：$\mathbf{a}=[1,2,2]^{\mathsf T}$、$\mathbf{b}=[1,1,1]^{\mathsf T}$，$\mathbf{a}^{\mathsf T}\mathbf{b}=5$、$\vert \mathbf{a}\vert =3$、$\vert \mathbf{b}\vert =\sqrt3$，故 $\cos\theta=\frac{5}{3\sqrt3}$， \(\|\mathbf{p}\|=\|\mathbf{b}\|\cos\theta=\sqrt3\cdot\frac{5}{3\sqrt3}=\frac53,\qquad \|\mathbf{e}\|=\|\mathbf{b}\|\sin\theta=\sqrt3\sqrt{1-\frac{25}{27}}=\sqrt3\cdot\sqrt{\frac{2}{27}}=\sqrt{\frac{6}{27}}=\sqrt{\frac29}=\frac{\sqrt2}{3}.\) 与直接的 $\vert \mathbf{p}\vert ^2=\frac{25}{9}\Rightarrow\vert \mathbf{p}\vert =\frac53$ $\checkmark$、$\vert \mathbf{e}\vert ^2=\frac29\Rightarrow\vert \mathbf{e}\vert =\frac{\sqrt2}{3}$ $\checkmark$ 完全一致。

这个公式的实用价值：$\cos\theta=\frac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\vert \mathbf{a}\vert \vert \mathbf{b}\vert }$ 就是相关系数（cosine similarity）。所以”投影”在数据分析里就是”计算两个向量的相似度”——这正是推荐系统、文本检索（TF-IDF 余弦相似度）、图像匹配中天天在用的东西。$P\mathbf{b}$ 是 $\mathbf{b}$ 落在 $\mathbf{a}$ 方向上的部分，$\cos\theta$ 衡量”$\mathbf{b}$ 有多像 $\mathbf{a}$”。

计算步骤与手算演示

示例 1（一维）：把 $\mathbf{b}$ 投影到 $\mathbf{a}=[1,2,2]^{\mathsf T}$ 张成的直线上

取 \(\mathbf{a}=\begin{bmatrix}1\\2\\2\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\1\\1\end{bmatrix}.\)

步骤 1：算两个标量。 \(\mathbf{a}^{\mathsf T}\mathbf{a}=1^2+2^2+2^2=1+4+4=9,\qquad \mathbf{a}^{\mathsf T}\mathbf{b}=1\cdot1+2\cdot1+2\cdot1=1+2+2=5.\)

步骤 2：解 $\hat{x}$。 由 $\mathbf{a}^{\mathsf T}(\mathbf{b}-\hat{x}\mathbf{a})=0$，即 $\mathbf{a}^{\mathsf T}\mathbf{b}-\hat{x}\,\mathbf{a}^{\mathsf T}\mathbf{a}=0$： \(\hat{x}=\frac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\mathbf{a}^{\mathsf T}\mathbf{a}}=\frac{5}{9}.\)

步骤 3：算投影 $\mathbf{p}$。 \(\mathbf{p}=\hat{x}\mathbf{a}=\frac59\begin{bmatrix}1\\2\\2\end{bmatrix}=\begin{bmatrix}5/9\\10/9\\10/9\end{bmatrix}\approx\begin{bmatrix}0.5556\\1.1111\\1.1111\end{bmatrix}.\)

步骤 4：算误差 $\mathbf{e}$。 \(\mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}1\\1\\1\end{bmatrix}-\begin{bmatrix}5/9\\10/9\\10/9\end{bmatrix}=\begin{bmatrix}4/9\\-1/9\\-1/9\end{bmatrix}\approx\begin{bmatrix}0.4444\\-0.1111\\-0.1111\end{bmatrix}.\)

步骤 5：验证正交。 \(\mathbf{a}^{\mathsf T}\mathbf{e}=1\cdot\frac49+2\cdot\left(-\frac19\right)+2\cdot\left(-\frac19\right)=\frac49-\frac29-\frac29=0.\quad\checkmark\)

步骤 6：验证 Pythagorean 关系。 因为 $\mathbf{p}\perp\mathbf{e}$， \(\vert \mathbf{b}\vert ^2=3,\qquad \vert \mathbf{p}\vert ^2=\frac{25}{81}\cdot 9=\frac{25}{9},\qquad \vert \mathbf{e}\vert ^2=\frac{16+1+1}{81}=\frac{18}{81}=\frac29,\) \(\vert \mathbf{p}\vert ^2+\vert \mathbf{e}\vert ^2=\frac{25}{9}+\frac29=\frac{27}{9}=3=\vert \mathbf{b}\vert ^2.\quad\checkmark\)

步骤 7：写出投影矩阵并验证 $P^{\mathsf T}=P$、$P^2=P$、$\operatorname{rank}(P)=1$。 \(P=\frac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}} =\frac19\begin{bmatrix}1&2&2\\2&4&4\\2&4&4\end{bmatrix} =\begin{bmatrix}1/9&2/9&2/9\\2/9&4/9&4/9\\2/9&4/9&4/9\end{bmatrix}.\)

• 对称性 $P^{\mathsf T}=P$：矩阵关于主对角线对称，第 2、3 行完全一样，第 2、3 列完全一样。$\checkmark$
• 幂等性 $P^2=P$：$\dfrac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}}\cdot\dfrac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}}=\dfrac{\mathbf{a}(\mathbf{a}^{\mathsf T}\mathbf{a})\mathbf{a}^{\mathsf T}}{(\mathbf{a}^{\mathsf T}\mathbf{a})^2}=\dfrac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}}=P$。$\checkmark$
• 秩为 1：每一列都是 $\mathbf{a}$ 的倍数，C(P) $=L$ 是一维的，故 $\operatorname{rank}(P)=1$。迹也是 $1/9+4/9+4/9=1$，与秩一致。$\checkmark$
• 作用验证：$P\mathbf{b}=\frac19\begin{bmatrix}1+2+2\\2+4+4\\2+4+4\end{bmatrix}=\frac19\begin{bmatrix}5\\10\\10\end{bmatrix}=\begin{bmatrix}5/9\\10/9\\10/9\end{bmatrix}=\mathbf{p}$。$\checkmark$

【计算机制解说】：为什么”沿着 $\mathbf{a}$ 走，直到 $\mathbf{b}-\hat{x}\mathbf{a}\perp\mathbf{a}$”就得到最近点？设任何别的倍数为 $x$，则 $\mathbf{b}-x\mathbf{a}=(\mathbf{b}-\hat{x}\mathbf{a})+(\hat{x}-x)\mathbf{a}$。由于 $\mathbf{b}-\hat{x}\mathbf{a}\perp\mathbf{a}$，两项正交，勾股定理给出 \(\vert \mathbf{b}-x\mathbf{a}\vert ^2=\vert \mathbf{b}-\hat{x}\mathbf{a}\vert ^2+(\hat{x}-x)^2\vert \mathbf{a}\vert ^2\ \ge\ \vert \mathbf{b}-\hat{x}\mathbf{a}\vert ^2.\) 右边第二项非负，只在 $x=\hat{x}$ 时取到 0。这证明了垂足确实是唯一的最近点——”正交”不是额外条件，而是极小化的必然结果。另外注意 $P$ 之所以对任何 $\mathbf{b}$ 都成立，是因为公式里 $\mathbf{b}$ 从左边的 $\mathbf{a}^{\mathsf T}\mathbf{b}$ 中”提”了出来，剩下 $\mathbf{a}\mathbf{a}^{\mathsf T}/\mathbf{a}^{\mathsf T}\mathbf{a}$ 与 $\mathbf{b}$ 无关。

示例 2（高维）：把 $\mathbf{b}$ 投影到 $A$ 的列空间

取 3×2 的列无关矩阵 \(A=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\1\\1\end{bmatrix}.\)

记列 $\mathbf{a}_1=\begin{bmatrix}1\\1\\0\end{bmatrix}$，$\mathbf{a}_2=\begin{bmatrix}1\\0\\1\end{bmatrix}$，C(A) 是 $\mathbb{R}^3$ 中过原点的一张平面。

步骤 1：算 $A^{\mathsf T}A$。 \(A^{\mathsf T}A=\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix}\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix} =\begin{bmatrix}1\cdot1+1\cdot1+0\cdot0 & 1\cdot1+1\cdot0+0\cdot1\\ 1\cdot1+0\cdot1+1\cdot0 & 1\cdot1+0\cdot0+1\cdot1\end{bmatrix} =\begin{bmatrix}2&1\\1&2\end{bmatrix}.\)

注意 $\mathbf{a}_1^{\mathsf T}\mathbf{a}_1=2$，$\mathbf{a}_1^{\mathsf T}\mathbf{a}_2=1$（不是 0！这两列并不正交），$\mathbf{a}_2^{\mathsf T}\mathbf{a}_2=2$。

步骤 2：算 $A^{\mathsf T}\mathbf{b}$。 \(A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}2\\2\end{bmatrix}.\)

步骤 3：求逆。 $\det(A^{\mathsf T}A)=2\cdot2-1\cdot1=3$，故 \((A^{\mathsf T}A)^{-1}=\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}.\)

步骤 4：解正规方程。 \(\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}=\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}2\\2\end{bmatrix} =\frac13\begin{bmatrix}2\\2\end{bmatrix}=\begin{bmatrix}2/3\\2/3\end{bmatrix}.\)

步骤 5：算投影与误差。 \(\mathbf{p}=A\hat{\mathbf{x}}=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}\begin{bmatrix}2/3\\2/3\end{bmatrix}=\begin{bmatrix}4/3\\2/3\\2/3\end{bmatrix}\approx\begin{bmatrix}1.3333\\0.6667\\0.6667\end{bmatrix},\) \(\mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}1\\1\\1\end{bmatrix}-\begin{bmatrix}4/3\\2/3\\2/3\end{bmatrix}=\begin{bmatrix}-1/3\\1/3\\1/3\end{bmatrix}\approx\begin{bmatrix}-0.3333\\0.3333\\0.3333\end{bmatrix}.\)

步骤 6：验证 $\mathbf{e}$ 垂直于 C(A) 里的每个方向。 \(A^{\mathsf T}\mathbf{e}=\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix}\begin{bmatrix}-1/3\\1/3\\1/3\end{bmatrix} =\begin{bmatrix}-1/3+1/3\\-1/3+1/3\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}.\quad\checkmark\) 更直接地：$\mathbf{a}_1^{\mathsf T}\mathbf{e}=-\frac13+\frac13+0=0$，$\mathbf{a}_2^{\mathsf T}\mathbf{e}=-\frac13+0+\frac13=0$。$\checkmark$

顺带检查 $\vert \mathbf{e}\vert ^2=\frac19+\frac19+\frac19=\frac13$，而 $\mathbf{b}$ 到平面 C(A) 的最短距离是 $1/\sqrt3$。

步骤 7：写出投影矩阵。 \(P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T} =\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}\cdot\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\cdot\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix}.\)

先算 $A(A^{\mathsf T}A)^{-1}$： \(\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}=\frac13\begin{bmatrix}1&1\\2&-1\\-1&2\end{bmatrix}.\) 再乘 $A^{\mathsf T}$： \(P=\frac13\begin{bmatrix}1&1\\2&-1\\-1&2\end{bmatrix}\begin{bmatrix}1&1&0\\1&0&1\end{bmatrix} =\frac13\begin{bmatrix}2&1&1\\1&2&-1\\1&-1&2\end{bmatrix} =\begin{bmatrix}2/3&1/3&1/3\\1/3&2/3&-1/3\\1/3&-1/3&2/3\end{bmatrix}.\)

步骤 8：验证三条性质。

• $P^{\mathsf T}=P$：矩阵对称。$\checkmark$
• $P^2=P$：直接算第一行乘第一列：$\frac19(4+1+1)=\frac69=\frac23$，等于 $P_{11}$；第一行乘第二列：$\frac19(2+2-1)=\frac39=\frac13=P_{12}$；第一行乘第三列：$\frac19(2-1+2)=\frac39=\frac13=P_{13}$。其余同理。$\checkmark$
• $\operatorname{rank}(P)=\operatorname{trace}(P)=\frac23+\frac23+\frac23=2$，恰好等于 $\dim C(A)=2$。$\checkmark$
• $P\mathbf{b}=\frac13\begin{bmatrix}2+1+1\\1+2-1\\1-1+2\end{bmatrix}=\frac13\begin{bmatrix}4\\2\\2\end{bmatrix}=\begin{bmatrix}4/3\\2/3\\2/3\end{bmatrix}=\mathbf{p}$。$\checkmark$

步骤 9：$I-P$ 是投影到正交补的矩阵。 \(I-P=\frac13\begin{bmatrix}1&-1&-1\\-1&1&1\\-1&1&1\end{bmatrix},\qquad (I-P)\mathbf{b}=\frac13\begin{bmatrix}1-1-1\\-1+1+1\\-1+1+1\end{bmatrix}=\frac13\begin{bmatrix}-1\\1\\1\end{bmatrix}=\mathbf{e}.\ \checkmark\) 并且 $(I-P)P=P-P^2=0$，说明”$\mathbf{p}$ 再投影到 $C(A)^\perp$ 上是零向量”。

【计算机制解说】：$A^{\mathsf T}A$ 为什么可逆？本讲前提是 $A$ 的列线性无关。要证明 $A^{\mathsf T}A$ 可逆，只需证明 $\mathrm{N}(A^{\mathsf T}A)=\{\mathbf{0}\}$（因为 $A^{\mathsf T}A$ 是 $n\times n$ 方阵）。若 $A^{\mathsf T}A\mathbf{x}=\mathbf{0}$，左乘 $\mathbf{x}^{\mathsf T}$ 得 $\mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x}=\vert A\mathbf{x}\vert ^2=0$，故 $A\mathbf{x}=\mathbf{0}$；由列无关得 $\mathbf{x}=\mathbf{0}$。所以 $\mathrm{N}(A^{\mathsf T}A)=\mathrm{N}(A)=\{\mathbf{0}\}$，$A^{\mathsf T}A$ 可逆。这也解释了 Lecture 14 的结论：$\operatorname{rank}(A^{\mathsf T}A)=\operatorname{rank}(A)=n$。反过来若列相关，$\mathrm{N}(A)\neq\{\mathbf{0}\}$，$A^{\mathsf T}A$ 奇异，正规方程有无穷多解（但投影 $\mathbf{p}$ 仍然唯一，见 Lecture 16 的伪逆部分）。

示例 3（退化对照）：当 $\mathbf{b}$ 本来就在列空间里

取 \(A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\2\\3\end{bmatrix}.\) 这里 $A$ 的两列是 $\begin{bmatrix}1\\1\\1\end{bmatrix}$ 与 $\begin{bmatrix}1\\2\\3\end{bmatrix}$，而 $\mathbf{b}=\begin{bmatrix}1\\2\\3\end{bmatrix}$ 恰好就是第二列，所以 $\mathbf{b}\in C(A)$，投影应该是 $\mathbf{p}=\mathbf{b}$、$\mathbf{e}=\mathbf{0}$。让我们验证公式给出同样结论。

\(A^{\mathsf T}A=\begin{bmatrix}3&6\\6&14\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1+2+3\\1+4+9\end{bmatrix}=\begin{bmatrix}6\\14\end{bmatrix}.\) \(\det(A^{\mathsf T}A)=3\cdot14-6\cdot6=42-36=6,\qquad (A^{\mathsf T}A)^{-1}=\frac16\begin{bmatrix}14&-6\\-6&3\end{bmatrix}=\begin{bmatrix}7/3&-1\\-1&1/2\end{bmatrix}.\) \(\hat{\mathbf{x}}=\begin{bmatrix}7/3&-1\\-1&1/2\end{bmatrix}\begin{bmatrix}6\\14\end{bmatrix} =\begin{bmatrix}14-14\\-6+7\end{bmatrix}=\begin{bmatrix}0\\1\end{bmatrix}.\) （真的解：$\mathbf{b}=0\cdot\mathbf{a}_1+1\cdot\mathbf{a}_2$，完全正确。）于是 \(\mathbf{p}=A\begin{bmatrix}0\\1\end{bmatrix}=\begin{bmatrix}1\\2\\3\end{bmatrix}=\mathbf{b},\qquad \mathbf{e}=\mathbf{0}.\quad\checkmark\)

投影矩阵为 \(P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=\frac16\begin{bmatrix}5&2&-1\\2&2&2\\-1&2&5\end{bmatrix},\qquad \operatorname{trace}(P)=2,\ \operatorname{rank}(P)=2.\) $P\mathbf{b}=\mathbf{b}$ 也直接印证了”子空间内的向量投影后不动”这一关键性质。

【计算机制解说】：这个例子揭示了投影矩阵的两个极端：若 $\mathbf{b}\in C(A)$，则 $P\mathbf{b}=\mathbf{b}$（$P$ 在 C(A) 上就是恒等）；若 $\mathbf{b}\perp C(A)$，则 $P\mathbf{b}=\mathbf{0}$。一般情形 $\mathbf{b}$ 介于两者之间，$P$ 只保留”子空间内那一半”。事实上任何 $\mathbf{b}$ 都被 $P$ 与 $I-P$ 唯一拆成

这两个分量正交，所以 $\vert \mathbf{b}\vert ^2=\vert P\mathbf{b}\vert ^2+\vert (I-P)\mathbf{b}\vert ^2$。这就是”把 $\mathbb{R}^m$ 直和分解成 C(A) $\oplus$ $\mathrm{N}(A^{\mathsf T})$”的矩阵表达，与 Lecture 10 的四子空间图严丝合缝。

示例 4（2×2 的极简对照，可心算）

\(\mathbf{a}=\begin{bmatrix}1\\2\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}3\\4\end{bmatrix}.\) \(\mathbf{a}^{\mathsf T}\mathbf{a}=5,\quad\mathbf{a}^{\mathsf T}\mathbf{b}=3+8=11,\quad\hat{x}=\frac{11}{5},\quad \mathbf{p}=\frac{11}{5}\begin{bmatrix}1\\2\end{bmatrix}=\begin{bmatrix}11/5\\22/5\end{bmatrix}=\begin{bmatrix}2.2\\4.4\end{bmatrix},\) \(\mathbf{e}=\begin{bmatrix}3\\4\end{bmatrix}-\begin{bmatrix}11/5\\22/5\end{bmatrix}=\begin{bmatrix}4/5\\-2/5\end{bmatrix}=\begin{bmatrix}0.8\\-0.4\end{bmatrix},\qquad \mathbf{a}^{\mathsf T}\mathbf{e}=1\cdot\frac45+2\cdot\left(-\frac25\right)=0.\ \checkmark\) \(P=\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix},\qquad P^2=\frac{1}{25}\begin{bmatrix}1&2\\2&4\end{bmatrix}\begin{bmatrix}1&2\\2&4\end{bmatrix}=\frac{1}{25}\begin{bmatrix}5&10\\10&20\end{bmatrix}=P.\ \checkmark\) 注意 $P$ 的两个特征值是 $1$（方向 $\mathbf{a}$）与 $0$（方向 $\perp\mathbf{a}$）——投影矩阵的特征值只能取 $0$ 或 $1$，这是下一讲的伏笔。

示例 5（换一组列：验证”投影矩阵只认子空间，不认基”）

取另一个 3×2 列无关矩阵与另一个右端项： \(A=\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\2\\3\end{bmatrix}.\) 列是 $\mathbf{a}_1=[1,1,0]^{\mathsf T}$、$\mathbf{a}_2=[0,1,1]^{\mathsf T}$。

步骤 1：$A^{\mathsf T}A$ 与 $A^{\mathsf T}\mathbf{b}$。 \(A^{\mathsf T}A=\begin{bmatrix}1&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix}=\begin{bmatrix}1+1&0+1\\0+1&1+1\end{bmatrix}=\begin{bmatrix}2&1\\1&2\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1+2\\2+3\end{bmatrix}=\begin{bmatrix}3\\5\end{bmatrix}.\) （巧合：$A^{\mathsf T}A$ 与示例 2 相同，都是 $\begin{bmatrix}2&1\\1&2\end{bmatrix}$，因为两列长度都是 $\sqrt2$、夹角余弦都是 $1/2$。但 $A^{\mathsf T}\mathbf{b}$ 不同，所以投影不同。）

步骤 2：解正规方程。 $\det=3$， \(\hat{\mathbf{x}}=\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}3\\5\end{bmatrix}=\frac13\begin{bmatrix}6-5\\-3+10\end{bmatrix}=\frac13\begin{bmatrix}1\\7\end{bmatrix}=\begin{bmatrix}1/3\\7/3\end{bmatrix}.\)

步骤 3：投影与误差。 \(\mathbf{p}=A\hat{\mathbf{x}}=\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix}\begin{bmatrix}1/3\\7/3\end{bmatrix} =\begin{bmatrix}1/3\\1/3+7/3\\7/3\end{bmatrix}=\begin{bmatrix}1/3\\8/3\\7/3\end{bmatrix}\approx\begin{bmatrix}0.3333\\2.6667\\2.3333\end{bmatrix},\) \(\mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}1-1/3\\2-8/3\\3-7/3\end{bmatrix}=\begin{bmatrix}2/3\\-2/3\\2/3\end{bmatrix}=\frac23\begin{bmatrix}1\\-1\\1\end{bmatrix}.\)

步骤 4：验证正交。 \(\mathbf{a}_1^{\mathsf T}\mathbf{e}=\frac23-\frac23+0=0,\qquad \mathbf{a}_2^{\mathsf T}\mathbf{e}=0-\frac23+\frac23=0.\ \checkmark\) \(\vert \mathbf{e}\vert ^2=\frac49+\frac49+\frac49=\frac43,\qquad\vert \mathbf{p}\vert ^2=\frac19+\frac{64}{9}+\frac{49}{9}=\frac{114}{9}=\frac{38}{3},\qquad\vert \mathbf{b}\vert ^2=1+4+9=14,\) \(\frac{38}{3}+\frac43=\frac{42}{3}=14.\ \checkmark\)

步骤 5：投影矩阵。 \(P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=\frac13\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix}\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}1&1&0\\0&1&1\end{bmatrix}.\) 先算 $A(A^{\mathsf T}A)^{-1}=\frac13\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix}\begin{bmatrix}2&-1\\-1&2\end{bmatrix}=\frac13\begin{bmatrix}2&-1\\1&1\\-1&2\end{bmatrix}$，再乘 $A^{\mathsf T}$： \(P=\frac13\begin{bmatrix}2&-1\\1&1\\-1&2\end{bmatrix}\begin{bmatrix}1&1&0\\0&1&1\end{bmatrix} =\frac13\begin{bmatrix}2&1&-1\\1&2&1\\-1&1&2\end{bmatrix} =\begin{bmatrix}2/3&1/3&-1/3\\1/3&2/3&1/3\\-1/3&1/3&2/3\end{bmatrix}.\)

• 对称 $\checkmark$；幂等：第 1 行乘第 1 列 $=\frac{4+1+1}{9}=\frac69=\frac23=P_{11}$，第 1 行乘第 2 列 $=\frac{2+2-1}{9}=\frac39=\frac13=P_{12}$，第 1 行乘第 3 列 $=\frac{-2+1-2}{9}=-\frac39=-\frac13=P_{13}$。$\checkmark$
• $\operatorname{trace}(P)=\frac23+\frac23+\frac23=2=\operatorname{rank}(P)$。$\checkmark$
• $P\mathbf{b}=\frac13\begin{bmatrix}2+2-3\\1+4+3\\-1+2+6\end{bmatrix}=\frac13\begin{bmatrix}1\\8\\7\end{bmatrix}=\mathbf{p}$。$\checkmark$

步骤 6：$I-P$ 直接给出误差。 \(I-P=\frac13\begin{bmatrix}1&-1&1\\-1&1&-1\\1&-1&1\end{bmatrix},\qquad (I-P)\mathbf{b}=\frac13\begin{bmatrix}1-2+3\\-1+2-3\\1-2+3\end{bmatrix}=\frac13\begin{bmatrix}2\\-2\\2\end{bmatrix}=\mathbf{e}.\ \checkmark\) $(I-P)$ 的三行依次只差符号，再次印证它是秩 1 矩阵——$\dim C(A)^{\perp}=3-2=1$。

【计算机制解说】：把示例 2 与示例 5 并排看，会发现一件重要的事：投影矩阵 $P$ 由 $C(A)$ 唯一决定，与选哪组基无关。两者的 $A$ 不同、$\hat{\mathbf{x}}$ 不同、$\mathbf{b}$ 也不同，但都遵循同一套机制。更严格地说：若 $A$ 与 $A^{\prime}$ 的列张成同一个子空间 $S$，则 $C(A)=C(A^{\prime})=S$，于是 $P_A=P_{A^{\prime}}$。这是因为正交投影点是几何唯一的存在（Lecture 15 前面用勾股定理证明过），而 $P\mathbf{b}$ 就是这个唯一的点，所以两个矩阵对一切 $\mathbf{b}$ 的作用相同，只能是同一个矩阵。Lecture 17 会利用这一点：用 Gram-Schmidt 把 $A$ 换成列空间相同的 $Q$ 后，$P$ 不变，但计算从 $A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 变成 $QQ^{\mathsf T}$——同一个几何，两种算法，后者便宜得多。

示例 6（另一侧）：投影到行空间

用示例 5 的同一矩阵 $A=\begin{bmatrix}1&0\\1&1\\0&1\end{bmatrix}$（现在是 3×2，行数 3 > 列数 2，行必然相关，故 $AA^{\mathsf T}$ 奇异），改用一个”宽”矩阵： \(A=\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix}\qquad(2\times3,\ \text{两行线性无关}).\) 它的行空间 $C(A^{\mathsf T})$ 是 $\mathbb{R}^3$ 中的一张平面，由 $\mathbf{r}_1=[1,2,0]^{\mathsf T}$ 与 $\mathbf{r}_2=[0,1,1]^{\mathsf T}$ 张成。要投影的向量取 $\mathbf{b}=\begin{bmatrix}1\\2\\3\end{bmatrix}$。

步骤 1：算 $AA^{\mathsf T}$（注意是左乘 $A$、右乘 $A^{\mathsf T}$，得到 2×2）。 \(AA^{\mathsf T}=\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix}\begin{bmatrix}1&0\\2&1\\0&1\end{bmatrix} =\begin{bmatrix}1+4+0&0+2+0\\0+2+0&0+1+1\end{bmatrix}=\begin{bmatrix}5&2\\2&2\end{bmatrix}.\) $\det(AA^{\mathsf T})=10-4=6\neq0$（因为两行无关）。$\checkmark$

步骤 2：求逆。 \((AA^{\mathsf T})^{-1}=\frac16\begin{bmatrix}2&-2\\-2&5\end{bmatrix}=\begin{bmatrix}1/3&-1/3\\-1/3&5/6\end{bmatrix}.\)

步骤 3：组装 $\hat P$。 先算 $A^{\mathsf T}(AA^{\mathsf T})^{-1}$： \(\begin{bmatrix}1&0\\2&1\\0&1\end{bmatrix}\begin{bmatrix}1/3&-1/3\\-1/3&5/6\end{bmatrix} =\begin{bmatrix}1/3&-1/3\\ 2/3-1/3&-2/3+5/6\\ -1/3&5/6\end{bmatrix} =\begin{bmatrix}1/3&-1/3\\ 1/3&1/6\\ -1/3&5/6\end{bmatrix}.\) 再右乘 $A$： \(\hat P=\begin{bmatrix}1/3&-1/3\\ 1/3&1/6\\ -1/3&5/6\end{bmatrix}\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix} =\begin{bmatrix}1/3&2/3-1/3&-1/3\\ 1/3&2/3+1/6&1/6\\ -1/3&-2/3+5/6&5/6\end{bmatrix} =\begin{bmatrix}1/3&1/3&-1/3\\ 1/3&5/6&1/6\\ -1/3&1/6&5/6\end{bmatrix}.\)

步骤 4：验证 $\hat P^{\mathsf T}=\hat P$、$\hat P^2=\hat P$、$\operatorname{trace}=2$。 对称显然。第 1 行乘第 1 列 $=\frac19+\frac19+\frac19=\frac13=\hat P_{11}$ $\checkmark$；第 1 行乘第 2 列 $=\frac19+\frac5{18}-\frac1{18}=\frac{2+5-1}{18}=\frac6{18}=\frac13=\hat P_{12}$ $\checkmark$；第 2 行乘第 2 列 $=\frac19+\frac{25}{36}+\frac1{36}=\frac{4+25+1}{36}=\frac{30}{36}=\frac56=\hat P_{22}$ $\checkmark$。$\operatorname{trace}(\hat P)=\frac13+\frac56+\frac56=\frac{2+5+5}{6}=2=\operatorname{rank}(A)$。$\checkmark$

步骤 5：投影与误差。 \(\hat P\mathbf{b}=\begin{bmatrix}1/3+2/3-1\\ 1/3+5/3+1/2\\ -1/3+1/3+5/2\end{bmatrix} =\begin{bmatrix}0\\ 5/2\\ 5/2\end{bmatrix}=\begin{bmatrix}0\\2.5\\2.5\end{bmatrix},\) \(\mathbf{e}=\mathbf{b}-\hat P\mathbf{b}=\begin{bmatrix}1\\2-2.5\\3-2.5\end{bmatrix}=\begin{bmatrix}1\\-1/2\\1/2\end{bmatrix}.\) 验证 $\mathbf{e}$ 与两行都正交（这是”垂直于行空间”的正确检查方式）： \(A\mathbf{e}=\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix}\begin{bmatrix}1\\-1/2\\1/2\end{bmatrix} =\begin{bmatrix}1-1\\-1/2+1/2\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}.\ \checkmark\) （关键：对行空间投影，正交条件是 $A\mathbf{e}=\mathbf{0}$，即 $\mathbf{e}\in\mathrm{N}(A)$；对列空间投影，正交条件是 $A^{\mathsf T}\mathbf{e}=\mathbf{0}$，即 $\mathbf{e}\in\mathrm{N}(A^{\mathsf T})$。别搞反。）

步骤 6：这个投影有什么几何意义？ $\hat P\mathbf{b}=[0,\frac52,\frac52]^{\mathsf T}$ 是 $\mathbf{b}=[1,2,3]^{\mathsf T}$ 到平面 $\operatorname{span}\{[1,2,0]^{\mathsf T},[0,1,1]^{\mathsf T}\}$ 的垂足。验证 $\hat P\mathbf{b}$ 确实在平面里：$\hat P\mathbf{b}=0\cdot\mathbf{r}_1+\frac52\mathbf{r}_2$，因为 $\frac52[0,1,1]^{\mathsf T}=[0,\frac52,\frac52]^{\mathsf T}$。$\checkmark$ 于是 $\hat P$ 在这组（非正交！）基下把坐标”拍”到了 $\mathbf{r}_2$ 方向——这又一次说明：投影矩阵只取决于子空间，$\hat P\mathbf{b}$ 是唯一的垂足，但它在非正交基下的坐标表示不唯一。

【计算机制解说】：为什么投影到行空间要用 $A^{\mathsf T}(AA^{\mathsf T})^{-1}A$ 而不是 $A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$？根源在于”谁能提供可逆的方阵”。投影到 C(A) 时，正交条件 $A^{\mathsf T}\mathbf{e}=\mathbf{0}$ 引出 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$，需要 $A^{\mathsf T}A$（$n\times n$）可逆，即 $A$ 的列无关。投影到 C(Aᵀ) 时，我们要找 $\hat P\mathbf{b}=A^{\mathsf T}\mathbf{y}$，正交条件变成”$\mathbf{b}-A^{\mathsf T}\mathbf{y}$ 垂直于行空间的每一行”，即 $A(\mathbf{b}-A^{\mathsf T}\mathbf{y})=\mathbf{0}$，引出 $AA^{\mathsf T}\mathbf{y}=A\mathbf{b}$，需要 $AA^{\mathsf T}$（$m\times m$）可逆，即 $A$ 的行无关。两个公式是同一枚硬币的两面：把 $A$ 换成 $A^{\mathsf T}$，两者互相转换。这也解释了 Lecture 33 中 $A^{+}$ 的双重身份：$AA^{+}$ 是投影到 C(A)，$A^{+}A$ 是投影到 C(Aᵀ)。

示例 7（伪逆的预告）：当两个公式都失效时——用 $A^{+}$ 兜底

前面所有示例都要求”列无关”或”行无关”。如果 $A$ 既列相关又行相关（$r<\min(m,n)$），$A^{\mathsf T}A$ 与 $AA^{\mathsf T}$ 双双击穿，两个投影公式都写成 $0^{-1}$ 的形式。这时要靠伪逆 $A^{+}$： \(P=AA^{+},\qquad \hat P=A^{+}A.\) 伪逆对任何矩阵都存在（包括零矩阵），并满足四条 Penrose 条件： \(AA^{+}A=A,\qquad A^{+}AA^{+}=A^{+},\qquad (AA^{+})^{\mathsf T}=AA^{+},\qquad (A^{+}A)^{\mathsf T}=A^{+}A.\) 后两条说的正是”$AA^{+}$ 与 $A^{+}A$ 都是对称投影矩阵”。

数值示例：$A=\begin{bmatrix}1&2\\2&4\end{bmatrix}$（秩 1，Lecture 16 示例 7 用过），$\mathbf{b}=\begin{bmatrix}3\\4\end{bmatrix}$。$A^{\mathsf T}A=\begin{bmatrix}5&10\\10&20\end{bmatrix}$ 奇异，但伪逆仍可写出。一般公式：对秩 1 矩阵 $A=\mathbf{u}\mathbf{v}^{\mathsf T}$ 有 $A^{+}=\dfrac{\mathbf{v}\mathbf{u}^{\mathsf T}}{\vert \mathbf{u}\vert ^2\vert \mathbf{v}\vert ^2}$。本例 $A=\mathbf{a}\mathbf{a}^{\mathsf T}$（$\mathbf{a}=[1,2]^{\mathsf T}$，$\mathbf{a}^{\mathsf T}\mathbf{a}=5$），故 \(A^{+}=\frac{\mathbf{a}\mathbf{a}^{\mathsf T}}{(\mathbf{a}^{\mathsf T}\mathbf{a})^2}=\frac{1}{25}A^{\mathsf T}=\frac{1}{25}\begin{bmatrix}1&2\\2&4\end{bmatrix}=\begin{bmatrix}0.04&0.08\\0.08&0.16\end{bmatrix}.\) \(AA^{+}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix},\qquad A^{+}A=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}.\) 注意 $AA^{+}$ 与 $A^{+}A$ 数值上恰好相同——因为 $A$ 对称且 $C(A)=C(A^{\mathsf T})$（两个”投影到 $C(A)$ 与 $C(A^{\mathsf T})$”在这里是同一个子空间）。验证 $P=AA^{+}$ 满足两条公理：$P^{\mathsf T}=P$ $\checkmark$； \(P^2=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}^2=\begin{bmatrix}0.04+0.16&0.08+0.32\\0.08+0.32&0.16+0.64\end{bmatrix}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}=P.\ \checkmark\) 投影：$P\mathbf{b}=\begin{bmatrix}0.2\cdot3+0.4\cdot4\\0.4\cdot3+0.8\cdot4\end{bmatrix}=\begin{bmatrix}0.6+1.6\\1.2+3.2\end{bmatrix}=\begin{bmatrix}2.2\\4.4\end{bmatrix}$，与 Lecture 16 用无穷多解算出的垂足完全相同 $\checkmark$，也与 Lecture 15 示例 4 的 $P=\frac15\mathbf{a}\mathbf{a}^{\mathsf T}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}$ 一致 $\checkmark$。残差 $\mathbf{e}=\begin{bmatrix}0.8\\-0.4\end{bmatrix}$，$\mathbf{a}^{\mathsf T}\mathbf{e}=0.8-0.8=0$ $\checkmark$，$\vert \mathbf{e}\vert ^2=0.8$。

【计算机制解说】：伪逆的构造思路可以用 Lecture 29 的 SVD 提前说清。若 $A=U\Sigma V^{\mathsf T}$（$\Sigma$ 是 $m\times n$、含 $r$ 个正奇异值 $\sigma_1\ge\dots\ge\sigma_r>0$），则 \(A^{+}=V\Sigma^{+}U^{\mathsf T},\qquad \Sigma^{+}\ \text{把每个}\ \sigma_i\ \text{换成}\ 1/\sigma_i\ \text{（其余为 0，并按转置形状摆放）}.\) 于是 \(AA^{+}=U\begin{bmatrix}I_r&0\\0&0\end{bmatrix}U^{\mathsf T}\) 是一个”保留前 $r$ 个左奇异方向、杀掉其余”的投影矩阵——它的 $P^{\mathsf T}=P$、$P^2=P$ 一目了然，秩恰为 $r$。这就把”投影”与”奇异值分解”直接焊在了一起：投影 = 保留部分奇异方向的滤波器。本讲的所有细节（$P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$、秩、迹、特征值 0/1）都是这个观点在”列无关”（$r=n$）时的特例。最后回到”最小范数解”：因为 $A^{+}\mathbf{b}$ 被强制关在行空间 $C(A^{\mathsf T})$ 里（$A^{+}$ 的像空间就是 $C(A^{\mathsf T})$，这从 $A^{+}=V\Sigma^{+}U^{\mathsf T}$ 中 $V$ 的列即 $A$ 的右奇异向量可见），而正规方程的通解 = 行空间特解 + 零空间任意向量，行空间分量与零空间分量正交，故 $A^{+}\mathbf{b}$ 是通解中长度最小的（勾股定理）。

矩阵分解的核心思想

本讲的主体是投影矩阵这一”算子”，而不是严格意义的因式分解，但它是几个大分解的共同源头。

1. 投影本身就”几乎”是分解： $I=P+(I-P)$ 把单位矩阵拆成两个正交投影之和，对应空间的直和分解 $\mathbb{R}^m=C(A)\oplus\mathrm{N}(A^{\mathsf T})$。这与 Lecture 10 的四子空间结构是同一件事的两种说法。

2. 通向正规方程 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$： 这是本讲最实用的”化简机器”。原来 $m\times n$ 的超定系统被替换成 $n\times n$ 的方阵系统。$A^{\mathsf T}A$ 是对称且（列无关时）正定的，所以 Lecture 27 的 Cholesky 分解 $A^{\mathsf T}A=R^{\mathsf T}R$ 可以直接用在这里。更漂亮的做法来自 Lecture 17：把 $A$ 换成 $QR$，则

因为 $Q^{\mathsf T}Q=I$。$R$ 是上三角，回代即可——既省去求逆，数值上也更稳。

3. 秩与迹的对应： $\operatorname{rank}(P)=\operatorname{trace}(P)=\dim$ (投影目标子空间) $=r$。一维例子给出秩 1、迹 1；二维例子给出秩 2、迹 2。这一”迹 = 秩”的现象对幂等矩阵普遍成立，是 Lecture 21 特征值理论的漂亮应用（幂等矩阵特征值只有 0、1，迹 = 特征值之和 = 1 的个数 = 秩）。

4. 投影矩阵的特征值只能是 0 或 1（预告）。 设 $P\mathbf{x}=\lambda\mathbf{x}$（$\mathbf{x}\neq\mathbf{0}$），两边再乘 $P$：$P^2\mathbf{x}=\lambda P\mathbf{x}=\lambda^2\mathbf{x}$；但 $P^2=P$，所以 $\lambda\mathbf{x}=\lambda^2\mathbf{x}$，即 $(\lambda^2-\lambda)\mathbf{x}=\mathbf{0}$，故 $\lambda\in\{0,1\}$。几何解读：$\lambda=1$ 的特征向量住在子空间内（投影后原样不动），$\lambda=0$ 的特征向量住在正交补里（投影后归零）。特征值 1 的重数 $=r=$ 秩，特征值 0 的重数 $=m-r$。示例 2 的 $P$（$r=2,m=3$）必有特征值 $1,1,0$，迹 $=1+1+0=2$ $\checkmark$；示例 1 的 $P$（$r=1,m=3$）必有特征值 $1,0,0$，迹 $=1$ $\checkmark$。这条推理只用了 $P^2=P$，所以对任何幂等矩阵都成立；Lecture 21 会给出它的完全版本。

5. 为什么”投影”出现在整门课的核心位置？ 因为它是”用已知方向表示未知向量“这一普遍需求的最优答案。解 $A\mathbf{x}=\mathbf{b}$ 是问”$\mathbf{b}$ 是列的什么组合”；投影是问”$\mathbf{b}$ 最接近什么样的组合”。一旦允许误差，问题就从”是否有解”变成”如何最优逼近”——后者永远有唯一答案（只要子空间给定），这就是投影理论的价值。从最小二乘（Lecture 16）到 SVD 最佳低秩逼近（Lecture 29）再到伪逆（Lecture 33），全是这条主线的延伸。

与其他讲次的关联

• Lecture 10（四基本子空间）：本讲的正交条件 $A^{\mathsf T}\mathbf{e}=\mathbf{0}$ 正是 $\mathbf{e}\in\mathrm{N}(A^{\mathsf T})$。四子空间图中的正交对 (C(A), N(Aᵀ)) 与 (C(Aᵀ), N(A)) 第一次被”用起来”。
• Lecture 14（正交向量与子空间）：那里证明了 $\mathrm{N}(A^{\mathsf T}A)=\mathrm{N}(A)$ 与 $\operatorname{rank}(A^{\mathsf T}A)=\operatorname{rank}(A)$，本讲用它论证 $A^{\mathsf T}A$ 可逆（列无关时）。
• Lecture 16（投影矩阵与最小二乘）：直接续写本讲的 $P$，把投影解释成”数据拟合”，并处理列相关时的伪逆。
• Lecture 17（正交矩阵与 Gram-Schmidt）：把 $A$ 的列正交化得到 $Q$，投影公式立刻退化成 $\hat{\mathbf{x}}=Q^{\mathsf T}\mathbf{b}$、$P=QQ^{\mathsf T}$，数值稳定性大幅提高。
• Lecture 21-25（特征值）：$P$ 的特征值只可能是 0 和 1；对称矩阵 $P^{\mathsf T}=P$ 一定可以正交对角化 $P=Q\Lambda Q^{\mathsf T}$，投影就是它的特例。
• Lecture 33（伪逆）：当 $A$ 列相关、$(A^{\mathsf T}A)^{-1}$ 不存在时，投影 $\mathbf{p}$ 依然唯一，由 $A^{+}\mathbf{b}$ 给出。

关键要点

1. 投影的本质是一条正交条件：$\mathbf{e}=\mathbf{b}-\mathbf{p}$ 必须垂直于目标子空间。一维是 $\mathbf{a}^{\mathsf T}\mathbf{e}=0$，高维是 $A^{\mathsf T}\mathbf{e}=\mathbf{0}$。
2. 一维公式：$\hat{x}=\dfrac{\mathbf{a}^{\mathsf T}\mathbf{b}}{\mathbf{a}^{\mathsf T}\mathbf{a}}$，$\mathbf{p}=\hat{x}\mathbf{a}$，$P=\dfrac{\mathbf{a}\mathbf{a}^{\mathsf T}}{\mathbf{a}^{\mathsf T}\mathbf{a}}$（秩 1、对称、幂等）。
3. 高维公式：正规方程 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$，$\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$，$P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$。
4. 投影矩阵的两条公理：$P^{\mathsf T}=P$ 与 $P^2=P$；由此推出 $\operatorname{rank}(P)=\operatorname{trace}(P)=r$，$I-P$ 是投影到正交补的矩阵。
5. $A^{\mathsf T}A$ 可逆 $\iff A$ 的列线性无关（等价于 $\mathrm{N}(A^{\mathsf T}A)=\mathrm{N}(A)=\{\mathbf{0}\}$）；列相关时必须换用伪逆。

常见误区与注意事项

1. 把 $A^{\mathsf T}A$ 的可逆性当成自动成立。$A^{\mathsf T}A$ 是 $n\times n$ 方阵，但它可逆的充分必要条件是 $A$ 的列无关。例如 $A=\begin{bmatrix}1&2\\2&4\end{bmatrix}$ 时 $A^{\mathsf T}A=\begin{bmatrix}5&10\\10&20\end{bmatrix}$，$\det=0$，直接套 $(A^{\mathsf T}A)^{-1}$ 就会出错。
2. 误以为 $A$ 的列必须两两正交才能用投影公式。完全不必。示例 2 中 $\mathbf{a}_1^{\mathsf T}\mathbf{a}_2=1\neq0$，公式照样精确工作；正交化只是让计算变得更简单（$A^{\mathsf T}A$ 变成对角阵），不是公式成立的前提。
3. 把 $P$ 的维度搞错。投影到 C(A) 的矩阵是 $m\times m$（示例 2 中是 3×3），不是 $n\times n$。相应地，$\hat{\mathbf{x}}$ 是 $n$ 维，$\mathbf{p}$ 与 $\mathbf{e}$ 是 $m$ 维。另有一个”另一侧”的投影 $\hat{P}=A^{\mathsf T}(AA^{\mathsf T})^{-1}A$ 是 $n\times n$ 的，它投影到行空间 C(Aᵀ)——不要与 $P$ 混淆。
4. 混淆 $P^2=P$ 与 $P^{-1}=P$。两者都能从 $P^2=P$ 在形式上”错误推导”，但只有当 $P=I$（投影到全空间）时才同时成立。一般 $P$ 不可逆：它把 $\mathbb{R}^m$ 压到 $r$ 维子空间，$\mathrm{N}(P)=\mathrm{N}(A^{\mathsf T})\neq\{\mathbf{0}\}$（当 $r<m$ 时）。
5. 忘记 $\mathbf{e}$ 与 $\mathbf{b}$ 的方向关系。$\mathbf{e}=\mathbf{b}-\mathbf{p}$ 是 $\mathbf{b}$ 到子空间的”垂直分量”，长度 $=\mathbf{b}$ 到子空间的距离，符号由 $\mathbf{b}$ 在子空间哪一侧决定；它既不平行 $\mathbf{b}$，也一般不过原点——示例 2 中 $\mathbf{e}=\begin{bmatrix}-1/3\\1/3\\1/3\end{bmatrix}$ 就不与 $\mathbf{b}$ 平行。

思考题（带答案）

Q1. 设 $\mathbf{a}=\begin{bmatrix}1\\1\\1\\1\end{bmatrix}\in\mathbb{R}^4$，$\mathbf{b}=\begin{bmatrix}1\\2\\3\\4\end{bmatrix}$。求 $\mathbf{b}$ 在 $\mathbf{a}$ 上的投影 $\mathbf{p}$、误差 $\mathbf{e}$，写出 $P$，并验证 $P^{\mathsf T}=P$、$P^2=P$、$\operatorname{trace}(P)=1$。

Q2. 对 $A=\begin{bmatrix}1&0\\0&1\\2&0\end{bmatrix}$ 与 $\mathbf{b}\in\mathbb{R}^3$，求投影矩阵 $P$。它的秩是多少？$\mathbf{b}=\begin{bmatrix}1\\1\\2\end{bmatrix}$ 时投影与误差各是多少？

Q3.（概念题）判断真假并说明理由：

(a) 若 $P$ 是投影矩阵，则 $P$ 一定可逆。 (b) 若 $P^2=P$ 且 $P^{\mathsf T}=P$，则 $\mathbf{p}=P\mathbf{b}$ 是 $\mathbf{b}$ 到 C(P) 的投影。 (c) 若 $\mathbf{b}\perp C(A)$，则 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$ 的解是 $\hat{\mathbf{x}}=\mathbf{0}$。

Q4.（计算题）设 $\mathbf{a}=\begin{bmatrix}1\\2\\2\end{bmatrix}$，$\mathbf{b}=\begin{bmatrix}3\\0\\0\end{bmatrix}$。$\hat{x}$ 是多少？$\vert \mathbf{e}\vert $ 是多少？若把 $\mathbf{b}$ 换成 $2\mathbf{b}$，$\mathbf{p}$、$\mathbf{e}$、$P$ 各如何变化？