Lecture 16: Projection Matrices and Least Squares

目录 · ← l14 · l16 →

Lecture 16: Projection Matrices and Least Squares

概述

本讲把 Lecture 15 的投影机器开进”真实世界”——最小二乘（least squares）。核心场景是超定系统：方程个数 $m$ 大于未知数个数 $n$（$A$ 是”瘦高”的长方形矩阵），$A\mathbf{x}=\mathbf{b}$ 一般无解。我们不去追求”精确解”（不存在），而是找使误差平方和 $\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 最小的 $\hat{\mathbf{x}}$。几何上就是：在 C(A) 中找离 $\mathbf{b}$ 最近的点 $\mathbf{p}=A\hat{\mathbf{x}}$。

本讲会用一个经典数据组 $(1,1),(2,2),(3,4)$ 把整条流水线走完：构造 $A$ 与 $\mathbf{b}$ → 算 $A^{\mathsf T}A$、$A^{\mathsf T}\mathbf{b}$ → 解正规方程 → 得到最佳直线 → 算残差平方和 → 验证残差与列空间正交。随后讨论列相关时 $A^{\mathsf T}A$ 奇异的情形（预告 Lecture 33 伪逆），并总结投影矩阵的四条性质。本讲还承接 Lecture 15 的公式 $P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$，下一讲用 $A=QR$ 把它做得又快又稳。

核心概念的几何直觉

超定系统与”退一步”

• 定义与目的：$A$ 为 $m\times n$，$m>n$。$A\mathbf{x}=\mathbf{b}$ 有解当且仅当 $\mathbf{b}\in C(A)$；但 C(A) 只是 $\mathbb{R}^m$ 中一个 $n$ 维（低维）子空间，一般的 $\mathbf{b}$ 落在它外面。所以我们把目标改成：在 C(A) 里找一个 $\mathbf{p}$，使 $\vert \mathbf{b}-\mathbf{p}\vert $ 最小。
• 几何直觉（它在空间中是什么样子？）：想象 $\mathbb{R}^m$ 是一间屋子，C(A) 是地板上的一条线或一块区域，$\mathbf{b}$ 悬在半空。光从正上方打下来，$\mathbf{b}$ 在地板上的影子就是 $\mathbf{p}$。影子到 $\mathbf{b}$ 的垂直距离就是最小的误差——”最小二乘”这个名字里的”二乘”就是因为我们对误差取平方后再求和，平方使距离变成光滑可导的函数。
• 具体示例：三个数据点 $(1,1),(2,2),(3,4)$ 想拟合一条直线 $b=C+Dt$，写成矩阵形式是 \(A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix},\quad \mathbf{x}=\begin{bmatrix}C\\D\end{bmatrix},\quad \mathbf{b}=\begin{bmatrix}1\\2\\4\end{bmatrix}.\) 三个方程、两个未知数，无精确解：前两点要求 $C+D=1,\ C+2D=2\Rightarrow D=1,C=0$，但第三点要求 $0+3=4$，矛盾。

最小二乘的几何刻画

• 定义与目的：求 $\hat{\mathbf{x}}=\arg\min_{\mathbf{x}}\vert A\mathbf{x}-\mathbf{b}\vert ^2$。几何刻画只有一句话：$\mathbf{e}=\mathbf{b}-A\hat{\mathbf{x}}$ 必须垂直于 C(A)。
• 几何直觉（它在空间中是什么样子？）：在 $\mathbf{b}$ 的所有”影子候选” $A\mathbf{x}$ 中，垂足是唯一最近点（Lecture 15 已用勾股定理证明唯一性）。这解释了为什么误差向量不是零向量而是”垂直分量”——误差不但存在，而且它必须垂直。若误差与某一列 $\mathbf{a}_i$ 有非零内积，就说明还能沿 $\mathbf{a}_i$ 方向挪一点让距离更小。
• 具体示例：对上面的 $A,\mathbf{b}$，最优解 $\hat{\mathbf{x}}=\begin{bmatrix}-2/3\\3/2\end{bmatrix}$，残差 $\mathbf{e}=\begin{bmatrix}1/6\\-1/3\\1/6\end{bmatrix}$，而 $\mathbf{a}_1^{\mathsf T}\mathbf{e}=\frac16-\frac13+\frac16=0$，$\mathbf{a}_2^{\mathsf T}\mathbf{e}=\frac16-\frac23+\frac12=0$。

正规方程（再次出现，这次是”最优性条件”）

• 定义与目的：把 $A^{\mathsf T}\mathbf{e}=\mathbf{0}$ 展开即得 \(A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}.\)
• 几何直觉（它在空间中是什么样子？）：这是”$\mathbf{e}\perp C(A)$”从几何语言翻译成代数语言的产物。$A^{\mathsf T}A$ 是 $n\times n$，把 $m$ 个方程的过约束问题压缩成 $n$ 个方程的正定问题。之所以叫 “normal”（法向），因为 $\mathbf{e}$ 就是曲面的”法线方向”——最小化 $\vert \mathbf{b}-A\mathbf{x}\vert ^2$ 时，梯度为零的条件恰好给出 $A^{\mathsf T}A\mathbf{x}=A^{\mathsf T}\mathbf{b}$。
• 具体示例：对上面的 $A$：$A^{\mathsf T}A=\begin{bmatrix}3&6\\6&14\end{bmatrix}$，$A^{\mathsf T}\mathbf{b}=\begin{bmatrix}7\\17\end{bmatrix}$。

最小二乘与投影的等价性

• 定义与目的：最小二乘解 $\hat{\mathbf{x}}$ 通过 $\mathbf{p}=A\hat{\mathbf{x}}$ 与投影严格对应：$\mathbf{p}$ 就是 $\mathbf{b}$ 在 C(A) 上的投影，$\hat{\mathbf{x}}$ 是 $\mathbf{p}$ 在 $A$ 的列坐标。
• 几何直觉（它在空间中是什么样子？）：注意 $\hat{\mathbf{x}}$ 与 $\mathbf{p}$ 是一一对应的（$A$ 列无关时，$A:C(A)$ 方向的坐标唯一）。$\hat{\mathbf{x}}$ 住在 $\mathbb{R}^n$ 里（参数空间），$\mathbf{p}$ 住在 $\mathbb{R}^m$ 里（数据空间）。$A$ 是把参数变成拟合值的翻译器。
• 具体示例：$\hat{\mathbf{x}}=[-2/3,\,3/2]^{\mathsf T}$ 表示”最优直线为 $b=-\frac23+\frac32t$”；$\mathbf{p}=[\frac56,\frac73,\frac{23}{6}]^{\mathsf T}$ 是这条直线在 $t=1,2,3$ 处的取值。

列相关时的困难：$A^{\mathsf T}A$ 奇异

• 定义与目的：若 $A$ 的列线性相关，$\mathrm{N}(A)\neq\{\mathbf{0}\}$，则 $A^{\mathsf T}A$ 奇异，$(A^{\mathsf T}A)^{-1}$ 不存在。此时正规方程有无穷多解（解集是 $\hat{\mathbf{x}}_0+\mathrm{N}(A)$），但投影 $\mathbf{p}$ 仍然唯一。
• 几何直觉（它在空间中是什么样子？）：列相关意味着 $A$ 的列张成的子空间维数 $r<n$，参数空间里有”多余的自由度”（零空间的那些方向不改变 $A\mathbf{x}$）。就像用两个不同的名字指同一个方向——影子唯一，但描述影子的坐标不唯一。
• 具体示例：$A=\begin{bmatrix}1&2\\2&4\end{bmatrix}$（第二列是第一列的 2 倍），$\mathbf{b}=\begin{bmatrix}3\\4\end{bmatrix}$。$A^{\mathsf T}A=\begin{bmatrix}5&10\\10&20\end{bmatrix}$，$\det=0$。正规方程 $5\hat{x}_1+10\hat{x}_2=11$ 有无穷多解：$(\frac{11}{5},0)$、$(0,\frac{11}{10})$、$(\frac{22}{5},-\frac{11}{10})$ 都是解，投影却都是 $\mathbf{p}=[2.2,4.4]^{\mathsf T}$。Lecture 33 会用伪逆 $A^{+}$ 选出其中长度最小的那个（min-norm solution）$\hat{\mathbf{x}}=\begin{bmatrix}0.44\\0.88\end{bmatrix}$。

投影矩阵的四条性质

• 定义与目的：$P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$ 满足：① $P^{\mathsf T}=P$（对称）；② $P^2=P$（幂等）；③ $\operatorname{rank}(P)=r=\dim C(A)$；④ $\operatorname{trace}(P)=r$。
• 几何直觉（它在空间中是什么样子？）：① 说明它是正交投影而非斜投影；② 说明”投影两次 = 投影一次”；③ 说明像空间维数就是目标子空间维数；④ 迹与秩相等是幂等矩阵的特征（特征值只有 0、1，迹 = 特征值之和 = 1 的个数 = 秩）。
• 具体示例：拟合 $(1,1),(2,2),(3,4)$ 的 $A$ 给出 \(P=\begin{bmatrix}5/6&1/3&-1/6\\1/3&1/3&1/3\\-1/6&1/3&5/6\end{bmatrix},\) $\operatorname{trace}(P)=5/6+1/3+5/6=2$，$\operatorname{rank}(P)=2$（$A$ 有两列且无关）。$\checkmark$

计算步骤与手算演示

示例 1（主例）：拟合直线 $b=C+Dt$ 到 $(1,1),(2,2),(3,4)$

数据表：

  t │ b      ← 三个数据点
 ───┼───
  1 │ 1
  2 │ 2
  3 │ 4

步骤 1：把”直线”翻译成矩阵。 直线模型 $b=C+Dt$ 在三个数据点上给出三个方程： \(C+D\cdot1=1,\qquad C+D\cdot2=2,\qquad C+D\cdot3=4.\) 写成矩阵形式： \(A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix},\qquad \mathbf{x}=\begin{bmatrix}C\\D\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\2\\4\end{bmatrix}.\) 第一列全是 1（对应常数项 $C$），第二列是 $t$ 值（对应斜率 $D$）。$A$ 是 3×2 的长方形矩阵，列线性无关（第二列不是第一列的倍数）。

步骤 2：算 $A^{\mathsf T}A$（注意它是对称的）。 \(A^{\mathsf T}A=\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix}\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}.\) 左上：$1^2+1^2+1^2=3$。右上：$1\cdot1+1\cdot2+1\cdot3=6$。左下：$1\cdot1+2\cdot1+3\cdot1=6$（必须相等）。右下：$1^2+2^2+3^2=1+4+9=14$。所以 \(A^{\mathsf T}A=\begin{bmatrix}3&6\\6&14\end{bmatrix}.\)

步骤 3：算 $A^{\mathsf T}\mathbf{b}$。 \(A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix}\begin{bmatrix}1\\2\\4\end{bmatrix} =\begin{bmatrix}1+2+4\\1+4+12\end{bmatrix}=\begin{bmatrix}7\\17\end{bmatrix}.\)

步骤 4：写出正规方程。 \(\begin{bmatrix}3&6\\6&14\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}7\\17\end{bmatrix} \quad\text{即}\quad \begin{cases}3C+6D=7\\ 6C+14D=17\end{cases}\)

步骤 5：解方程（消元法）。 第一个方程除以 3 得 $C+2D=\frac73$，即 $C=\frac73-2D$。代入第二个： \(6\left(\frac73-2D\right)+14D=17\ \Longrightarrow\ 14-12D+14D=17\ \Longrightarrow\ 2D=3\ \Longrightarrow\ D=\frac32.\) 回代：$C=\frac73-2\cdot\frac32=\frac73-3=\frac73-\frac93=-\frac23$。

最优直线：$\;b=-\dfrac23+\dfrac32\,t$。

（用逆矩阵也可：$\det=3\cdot14-6\cdot6=42-36=6$，$(A^{\mathsf T}A)^{-1}=\frac16\begin{bmatrix}14&-6\\-6&3\end{bmatrix}$，故 \(\hat{\mathbf{x}}=\frac16\begin{bmatrix}14&-6\\-6&3\end{bmatrix}\begin{bmatrix}7\\17\end{bmatrix}=\frac16\begin{bmatrix}98-102\\-42+51\end{bmatrix}=\frac16\begin{bmatrix}-4\\9\end{bmatrix}=\begin{bmatrix}-2/3\\3/2\end{bmatrix}.\ \checkmark)\)

步骤 6：算拟合值与残差。 \(\mathbf{p}=A\hat{\mathbf{x}}=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}-2/3\\3/2\end{bmatrix} =\begin{bmatrix}-2/3+3/2\\-2/3+3\\-2/3+9/2\end{bmatrix} =\begin{bmatrix}5/6\\7/3\\23/6\end{bmatrix}\approx\begin{bmatrix}0.8333\\2.3333\\3.8333\end{bmatrix}.\) \(\mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}1-5/6\\2-7/3\\4-23/6\end{bmatrix} =\begin{bmatrix}1/6\\-1/3\\1/6\end{bmatrix}\approx\begin{bmatrix}0.1667\\-0.3333\\0.1667\end{bmatrix}.\)

散点图与拟合直线（$t$ 横轴、$b$ 纵轴，$\bullet$ 为数据点，$\circ$ 为拟合值）：

 b
 4 ┤                                     ● (3,4)
   │                                  ╱
 3 ┤                              ○  ─╯   (3, 23/6≈3.833)
   │                           ╱
 2 ┤              ● (2,2)   ╱
   │           ○ ╱        (2, 7/3≈2.333)
 1 ┤  ● (1,1)
   │  ○ (1, 5/6≈0.833)
 0 ┤──────────────────────────────────────→ t
    0     1     2     3
 拟合直线: b = -2/3 + (3/2) t
 残差: t=1 时 +1/6 (点在上方), t=2 时 -1/3 (点在下方), t=3 时 +1/6 (点在上方)

步骤 7：验证 $\mathbf{e}\perp C(A)$（两个正交条件）。 \(\text{残差和：}\quad \mathbf{a}_1^{\mathsf T}\mathbf{e}=\frac16-\frac13+\frac16=0.\ \checkmark\) \(\text{加权和：}\quad \mathbf{a}_2^{\mathsf T}\mathbf{e}=1\cdot\frac16+2\cdot\left(-\frac13\right)+3\cdot\frac16=\frac16-\frac23+\frac12=0.\ \checkmark\) 用矩阵一次写完： \(A^{\mathsf T}\mathbf{e}=\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix}\begin{bmatrix}1/6\\-1/3\\1/6\end{bmatrix}=\begin{bmatrix}1/6-1/3+1/6\\1/6-2/3+1/2\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}.\ \checkmark\) 这两个条件的实际含义非常漂亮：残差和为零 说明拟合直线的均值与数据均值一致；加权和为零（$\sum t_i e_i=0$）说明残差与自变量不相关。这正是统计学中”最小二乘残差与解释变量正交”的几何原型。

步骤 8：算残差平方和 $E=\vert \mathbf{e}\vert ^2$。 \(E=\left(\frac16\right)^2+\left(-\frac13\right)^2+\left(\frac16\right)^2=\frac1{36}+\frac19+\frac1{36}=\frac{1+4+1}{36}=\frac6{36}=\frac16\approx0.1667.\) （用最小二乘拟合”三个点”得到的误差只有 $1/6$，因为直线确实很贴近这组数据。）

步骤 9：验证 Pythagorean 分解。 \(\|\mathbf{b}\|^2=1+4+16=21,\qquad \|\mathbf{p}\|^2=\frac{25}{36}+\frac{49}{9}+\frac{529}{36}=\frac{25+196+529}{36}=\frac{750}{36}=\frac{125}{6},\) \(\vert \mathbf{p}\vert ^2+E=\frac{125}{6}+\frac16=\frac{126}{6}=21=\vert \mathbf{b}\vert ^2.\ \checkmark\) （这条恒等式 $\vert \mathbf{b}\vert ^2=\vert \mathbf{p}\vert ^2+\vert \mathbf{e}\vert ^2$ 对任何投影都成立，是”$\mathbf{b}=P\mathbf{b}+(I-P)\mathbf{b}$ 且两分量正交”的直接后果。）

步骤 10：写出投影矩阵并验证秩与迹。 \(P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=\frac16\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}14&-6\\-6&3\end{bmatrix}\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix}.\) 先算 $A(A^{\mathsf T}A)^{-1}=\frac16\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}14&-6\\-6&3\end{bmatrix}=\frac16\begin{bmatrix}8&-3\\2&0\\-4&3\end{bmatrix}$。 再乘 $A^{\mathsf T}$： \(P=\frac16\begin{bmatrix}8&-3\\2&0\\-4&3\end{bmatrix}\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} =\frac16\begin{bmatrix}5&2&-1\\2&2&2\\-1&2&5\end{bmatrix} =\begin{bmatrix}5/6&1/3&-1/6\\1/3&1/3&1/3\\-1/6&1/3&5/6\end{bmatrix}.\)

• $P^{\mathsf T}=P$：对称。$\checkmark$
• $P^2=P$：例如第 1 行乘第 1 列 $=\frac{25+4+1}{36}=\frac{30}{36}=\frac56=P_{11}$；第 1 行乘第 2 列 $=\frac{10+4-2}{36}=\frac{12}{36}=\frac13=P_{12}$；第 1 行乘第 3 列 $=\frac{-5+4-5}{36}=-\frac{6}{36}=-\frac16=P_{13}$。$\checkmark$
• $\operatorname{trace}(P)=\frac56+\frac13+\frac56=2=\operatorname{rank}(P)$（$A$ 列无关，$r=2$）。$\checkmark$
• 顺便验证 $P\mathbf{b}=\frac16\begin{bmatrix}5+4-4\\2+4+8\\-1+4+20\end{bmatrix}=\frac16\begin{bmatrix}5\\14\\23\end{bmatrix}=\begin{bmatrix}5/6\\7/3\\23/6\end{bmatrix}=\mathbf{p}$。$\checkmark$

【计算机制解说】：为什么解正规方程就等于最小化 $\vert A\mathbf{x}-\mathbf{b}\vert ^2$？有三种等价的说法，最好都掌握。

（i）几何说法：设 $\hat{\mathbf{x}}$ 满足 $A^{\mathsf T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$。对任意 $\mathbf{x}$，写 $\mathbf{b}-A\mathbf{x}=(\mathbf{b}-A\hat{\mathbf{x}})+A(\hat{\mathbf{x}}-\mathbf{x})$。第一项 $\perp C(A)$，第二项 $\in C(A)$，两者正交，故 \(\vert A\mathbf{x}-\mathbf{b}\vert ^2=\vert \mathbf{b}-A\hat{\mathbf{x}}\vert ^2+\vert A(\hat{\mathbf{x}}-\mathbf{x})\vert ^2\ \ge\ \vert \mathbf{b}-A\hat{\mathbf{x}}\vert ^2,\) 等号仅在 $A(\hat{\mathbf{x}}-\mathbf{x})=\mathbf{0}$ 时成立（列无关时即 $\mathbf{x}=\hat{\mathbf{x}}$，解唯一）。

（ii）微积分说法：令 $f(\mathbf{x})=\vert A\mathbf{x}-\mathbf{b}\vert ^2=(A\mathbf{x}-\mathbf{b})^{\mathsf T}(A\mathbf{x}-\mathbf{b})=\mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x}-2\mathbf{x}^{\mathsf T}A^{\mathsf T}\mathbf{b}+\mathbf{b}^{\mathsf T}\mathbf{b}$。求梯度并置零：$\nabla f=2A^{\mathsf T}A\mathbf{x}-2A^{\mathsf T}\mathbf{b}=\mathbf{0}$，正好是正规方程。因为 $A^{\mathsf T}A$ 正定，这是全局极小而非鞍点。

（iii）配方法：把 $f$ 在 $\hat{\mathbf{x}}$ 处配方：$f(\mathbf{x})=\vert A(\mathbf{x}-\hat{\mathbf{x}})\vert ^2+E$，其中 $E=\vert \mathbf{e}\vert ^2$ 与 $\mathbf{x}$ 无关。所以要最小化 $f$，只能让第一项为 0。

三种说法都指向同一个方程——这就是为什么正规方程不仅是记忆公式，而是最小二乘问题的完整答案。

示例 2：过原点直线 $b=Dt$ 拟合同一组数据（对照实验）

如果不允许常数项，模型只有 $b=Dt$，则 $A$ 只剩一列： \(\mathbf{a}=\begin{bmatrix}1\\2\\3\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\2\\4\end{bmatrix}.\) \(\mathbf{a}^{\mathsf T}\mathbf{a}=1+4+9=14,\qquad \mathbf{a}^{\mathsf T}\mathbf{b}=1\cdot1+2\cdot2+3\cdot4=1+4+12=17,\qquad \hat{x}=D=\frac{17}{14}\approx1.2143.\) \(\mathbf{p}=\frac{17}{14}\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}17/14\\17/7\\51/14\end{bmatrix}\approx\begin{bmatrix}1.2143\\2.4286\\3.6429\end{bmatrix},\qquad \mathbf{e}=\begin{bmatrix}1-17/14\\2-17/7\\4-51/14\end{bmatrix}=\begin{bmatrix}-3/14\\-3/7\\5/14\end{bmatrix}\approx\begin{bmatrix}-0.2143\\-0.4286\\0.3571\end{bmatrix}.\) 正交验证：$\mathbf{a}^{\mathsf T}\mathbf{e}=\left(-\frac3{14}\right)+2\left(-\frac37\right)+3\left(\frac5{14}\right)=\frac{-3-12+15}{14}=0.\ \checkmark$ \(E=\frac{9}{196}+\frac{9}{49}+\frac{25}{196}=\frac{9+36+25}{196}=\frac{70}{196}=\frac{5}{14}\approx0.3571.\)

对照结论：带常数项时 $E=1/6\approx0.1667$，强制过原点时 $E=5/14\approx0.3571$。过原点的误差更大——这符合直觉：模型被限制得更死，能到达的子空间更小（一维直线 vs 二维平面），所以最近距离必然不小于（一般严格大于）更大子空间里的最近距离。这也印证了”投影子空间越大，误差越小”的单调性：$C(\mathbf{a})\subset C(A)\Rightarrow\vert \mathbf{b}-P_{C(\mathbf{a})}\mathbf{b}\vert \ge\vert \mathbf{b}-P_{C(A)}\mathbf{b}\vert $。

【计算机制解说】：这个对照实验暴露了一个常被忽略的事实——最小二乘的解依赖于你对 C(A) 的选择，而不是”数据本身”。同一组数据，加不加常数项给出完全不同的斜率和误差。选模型（选列空间）是建模决策，最小二乘只负责”在你给定的列空间里找最近点”。另外注意：例 1 的最优直线在 $t$ 上的斜率 $D=1.5$ 明显大于过原点情形的 $D=17/14\approx1.214$——因为例 1 允许直线”抬高”起点（$C=-2/3$ 是负截距），它不需要靠增大斜率来拟合整体上升趋势。

示例 3：四点拟合——残差的正负号模式藏着一个惊人的秘密

数据 $(0,0),(1,2),(2,3),(3,5)$： \(A=\begin{bmatrix}1&0\\1&1\\1&2\\1&3\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}0\\2\\3\\5\end{bmatrix}.\) \(A^{\mathsf T}A=\begin{bmatrix}4&6\\6&14\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}10\\23\end{bmatrix},\qquad \det=4\cdot14-6\cdot6=56-36=20,\) \((A^{\mathsf T}A)^{-1}=\frac1{20}\begin{bmatrix}14&-6\\-6&4\end{bmatrix}=\begin{bmatrix}0.7&-0.3\\-0.3&0.2\end{bmatrix},\) \(\hat{\mathbf{x}}=\begin{bmatrix}0.7&-0.3\\-0.3&0.2\end{bmatrix}\begin{bmatrix}10\\23\end{bmatrix}=\begin{bmatrix}7-6.9\\-3+4.6\end{bmatrix}=\begin{bmatrix}0.1\\1.6\end{bmatrix}.\) 最优直线 $b=0.1+1.6t$。 拟合值与残差： \(\mathbf{p}=\begin{bmatrix}0.1\\1.7\\3.3\\4.9\end{bmatrix},\qquad \mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}-0.1\\0.3\\-0.3\\0.1\end{bmatrix}.\) 正交验证：残差和 $=-0.1+0.3-0.3+0.1=0$ $\checkmark$；加权和 $=0(-0.1)+1(0.3)+2(-0.3)+3(0.1)=-0.3+0.6-0.3=0$ $\checkmark$。$E=0.01+0.09+0.09+0.01=0.2$。

投影矩阵： \(P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=\begin{bmatrix}0.7&0.4&0.1&-0.2\\0.4&0.3&0.2&0.1\\0.1&0.2&0.3&0.4\\-0.2&0.1&0.4&0.7\end{bmatrix},\qquad \operatorname{trace}(P)=0.7+0.3+0.3+0.7=2.\ \checkmark\) （$\mathbf{b}_2=[2,3,3,2]^{\mathsf T}$ 那组的数据本身关于 $t=2.5$ 对称，所以最优直线是水平的 $b=2.5$，恰好等于 $\mathbf{b}_2$ 的均值。）

步骤：验证 $\mathbf{b}=[1,3,4,6]^{\mathsf T}$ 与 $\mathbf{b}=[2,3,3,2]^{\mathsf T}$ 共用同一个 $P$。

• $\mathbf{b}_1=[1,3,4,6]^{\mathsf T}$（数据 $(1,1),(2,3),(3,4),(4,6)$）：$A$ 与上面相同（$t$ 值为 $1,2,3,4$ 时 $A^{\mathsf T}A=\begin{bmatrix}4&10\\10&30\end{bmatrix}$，不同于上一段的 $\begin{bmatrix}4&6\\6&14\end{bmatrix}$），$A^{\mathsf T}\mathbf{b}_1=[14,43]^{\mathsf T}$，$\det=120-100=20$， \((A^{\mathsf T}A)^{-1}=\frac1{20}\begin{bmatrix}30&-10\\-10&4\end{bmatrix},\qquad \hat{\mathbf{x}}=\frac1{20}\begin{bmatrix}30\cdot14-10\cdot43\\-10\cdot14+4\cdot43\end{bmatrix}=\frac1{20}\begin{bmatrix}420-430\\-140+172\end{bmatrix}=\frac1{20}\begin{bmatrix}-10\\32\end{bmatrix}=\begin{bmatrix}-0.5\\1.6\end{bmatrix},\) \(\mathbf{p}=\begin{bmatrix}1.1\\2.7\\4.3\\5.9\end{bmatrix},\qquad \mathbf{e}=\begin{bmatrix}-0.1\\0.3\\-0.3\\0.1\end{bmatrix},\qquad E=0.2.\) 残差向量与上一段的 $\mathbf{e}$ 完全相同！ 而且这里的 $P$（$t=1,2,3,4$ 的版本）是 \(P=\begin{bmatrix}0.7&0.4&0.1&-0.2\\0.4&0.3&0.2&0.1\\0.1&0.2&0.3&0.4\\-0.2&0.1&0.4&0.7\end{bmatrix},\) 与 $t=0,1,2,3$ 时的 $P$ 一字不差。$\checkmark$
• $\mathbf{b}_2=[2,3,3,2]^{\mathsf T}$（数据 $(1,2),(2,3),(3,3),(4,2)$）：$A^{\mathsf T}\mathbf{b}_2=[10,25]^{\mathsf T}$， \(\hat{\mathbf{x}}=\frac1{20}\begin{bmatrix}30\cdot10-10\cdot25\\-10\cdot10+4\cdot25\end{bmatrix}=\frac1{20}\begin{bmatrix}300-250\\-100+100\end{bmatrix}=\begin{bmatrix}2.5\\0\end{bmatrix},\) \(\mathbf{p}=\begin{bmatrix}2.5\\2.5\\2.5\\2.5\end{bmatrix},\qquad \mathbf{e}=\begin{bmatrix}-0.5\\0.5\\0.5\\-0.5\end{bmatrix},\qquad E=1.\) 斜率 $D=0$——因为这组数据先升后降、左右对称，最优直线只能是水平的 $b=2.5$（恰是 $\mathbf{b}_2$ 的均值）。$R^2=0$，说明直线完全没有解释力。$\checkmark$

【计算机制解说】：为什么 $t=0,1,2,3$ 与 $t=1,2,3,4$ 会给出相同的投影矩阵？先说清楚什么不是原因：不是因为两个列空间相同。$t=1,2,3,4$ 时第二列是 $[1,2,3,4]^{\mathsf T}$，而 $t=0,1,2,3$ 时是 $[0,1,2,3]^{\mathsf T}$；后者确实等于 $\mathbf{1}_{\text{前者}}$ 减去 $\mathbf{1}=[1,1,1,1]^{\mathsf T}$，即 $[1,2,3,4]^{\mathsf T}=[1,1,1,1]^{\mathsf T}+[0,1,2,3]^{\mathsf T}$——所以 $C(A_{t=1..4})=C(A_{t=0..3})$ 是同一个二维平面（因为平移只是把常数方向的组合加了进去）。既然两个 $A$ 的列空间完全相同，而 $P$ 只取决于列空间（Lecture 15 示例 2 与示例 5 已经论证过：投影矩阵由子空间唯一决定），$P$ 当然相同。$\checkmark$

同理 $t=2,3,4,5$ 也给出同一个 $P$。但采样点不等距时会破坏这个性质：例如 $t=0,1,2,5$ 时 \(P=\begin{bmatrix}0.5357&0.3929&0.25&-0.1786\\ 0.3929&0.3214&0.25&0.0357\\ 0.25&0.25&0.25&0.25\\ -0.1786&0.0357&0.25&0.8929\end{bmatrix},\) 与等距情形明显不同（比较 $P_{11}$：$0.7$ 对 $0.5357$）。所以正确的表述是：$P$ 由”采样点集合张成的列空间”决定，而不是由采样点的具体数值决定；只要两组 $t$ 值张出同一个二维平面（即互为仿射变换 $t\mapsto\alpha t+\beta$，$\alpha\neq0$），$P$ 就相同。

这个事实的实用价值：把数据的时间原点平移（例如把”第 1 天到第 4 天”改成”第 0 天到第 3 天”）不改变拟合线的几何、残差大小与 $R^2$，只改变截距的数值含义（截距 $C$ 变成”在 $t=0$ 处的值”，平移后要跟着变）。所以你可以放心地在数值上把 $t$ 中心化（减去均值）来改善条件数——这正是 Lecture 16 思考题 Q3 里”中心化公式”的根据。

更值得记住的是那个残差符号模式：$E$ 最小的直线给出 $-,+,-,+$（或 $+,-,+,-$）交替的残差——这正是”最佳直线”的特征外观。如果你画出残差图，看到有规律的波浪或单调趋势，就说明直线模型不够，应该考虑更高次的曲线（示例 4 就是这种升级）。

示例 4：从直线升级到抛物线（模型变宽，误差归零）

同一组数据（改为 $(0,1),(1,0),(2,1),(3,4)$）用二次模型 $b=C+Dt+Et^2$： \(A=\begin{bmatrix}1&0&0\\1&1&1\\1&2&4\\1&3&9\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}1\\0\\1\\4\end{bmatrix}.\) \(A^{\mathsf T}A=\begin{bmatrix}4&6&14\\6&14&36\\14&36&98\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1+0+1+4\\0+0+2+12\\0+0+4+36\end{bmatrix}=\begin{bmatrix}6\\14\\40\end{bmatrix}.\) 解 $3\times3$ 正规方程（用消元）：$\hat{\mathbf{x}}=\begin{bmatrix}1\\-2\\1\end{bmatrix}$，即 \(b=1-2t+t^2=(t-1)^2.\) 先做最关键的检验——把 $\hat{\mathbf{x}}$ 代回： \(\mathbf{p}=A\hat{\mathbf{x}}=\begin{bmatrix}1\\ 1-2+1\\ 1-4+4\\ 1-6+9\end{bmatrix}=\begin{bmatrix}1\\0\\1\\4\end{bmatrix}=\mathbf{b}.\ \checkmark\) （逐项核对：$t=0$：$1-0+0=1$ ✓；$t=1$：$1-2+1=0$ ✓；$t=2$：$1-4+4=1$ ✓；$t=3$：$1-6+9=4$ ✓。）所以完全命中四个数据点，$\mathbf{e}=\mathbf{0}$，$E=0$。正交验证平凡：$A^{\mathsf T}\mathbf{e}=A^{\mathsf T}\mathbf{0}=\mathbf{0}$；而 $\mathbf{b}\in C(A)$ 也由 $P\mathbf{b}=\mathbf{b}$ 直接印证。

几何：四个点恰好落在抛物线 $b=(t-1)^2$ 上（$t=0\to1$，$t=1\to0$，$t=2\to1$，$t=3\to4$）。所以 $\mathbf{b}\in C(A)$，投影是恒等，误差为零。

术语提醒：本例中 $\hat{\mathbf{x}}=\begin{bmatrix}1\\-2\\1\end{bmatrix}$ 是系数向量（$C,D,E$），它既不是 $1-t^2$，也不能只取前两个分量。写”验证：$1-t^2$ 在 $t=0,1,2,3$ 处取值 $1,0,-3,-8$”是典型的符号混乱——$1-t^2$ 用的是 $C=1,D=0,E=-1$，与 $\hat{\mathbf{x}}$ 毫无关系。永远把系数与多项式分开写。

【计算机制解说】：直线模型（$n=2$）与抛物线模型（$n=3$）的对比，是理解”最小二乘在做什么”的最好实验。

• 列空间大小决定能否精确拟合：直线模型的 $C(A)$ 是 $\mathbb{R}^4$ 中的二维平面，一般无法包含 $\mathbf{b}$；抛物线模型的 $C(A)$ 是三维超平面。四个点里有三个自由度（$C,D,E$），一般情况下三维超平面仍装不下 $\mathbb{R}^4$ 中的一般向量，但这组特定的 $\mathbf{b}$ 恰好落在里面（因为数据本身来自一条抛物线）。所以”$E=0$”不是算法的功劳，而是数据的性质。
• 不要混淆”最小二乘一定有误差”：应该记住的判据是 $\mathbf{b}\in C(A)$ ? 精确解 : 最小二乘解。
• 抛物线能否降回直线？ 能——若数据真的来自直线，抛物线模型的 $\hat{E}$ 会自动趋于 0（或非常小），$R^2\to1$，并且 $\hat{\mathbf{x}}$ 的二次项接近 0。这给了一个检验模型是否”过度灵活”的实用信号。

示例 5：加权最小二乘（每点可信度不同）

现实数据常常”每个点的重要程度不同”。给第 $i$ 个点赋权重 $w_i>0$，最小化加权平方和 \(E_w=\sum_{i=1}^m w_i\,(b_i-\mathbf{a}_i^{\mathsf T}\mathbf{x})^2=\vert W^{1/2}(A\mathbf{x}-\mathbf{b})\vert ^2,\qquad W=\operatorname{diag}(w_1,\dots,w_m).\) 求导置零得加权正规方程： \(A^{\mathsf T}WA\,\hat{\mathbf{x}}=A^{\mathsf T}W\mathbf{b}.\) （几何上就是对”拉伸过的”系统 $W^{1/2}A\mathbf{x}=W^{1/2}\mathbf{b}$ 做普通最小二乘；$W^{1/2}$ 把每行乘以 $\sqrt{w_i}$，相当于把可信度低的点在空间中”拉远”。）

手算：数据 $(1,1),(2,2),(3,4)$，权重 $w=(1,1,2)$（第三个点加倍重要）： \(A^{\mathsf T}WA=\begin{bmatrix}1&1&1\\1&2&3\end{bmatrix}\begin{bmatrix}1&0&0\\0&1&0\\0&0&2\end{bmatrix}\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} =\begin{bmatrix}1&1&2\\1&2&6\end{bmatrix}\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} =\begin{bmatrix}1+1+2&1+2+6\\1+2+6&1+4+18\end{bmatrix} =\begin{bmatrix}4&9\\9&23\end{bmatrix},\) \(A^{\mathsf T}W\mathbf{b}=\begin{bmatrix}1&1&2\\1&2&6\end{bmatrix}\begin{bmatrix}1\\2\\4\end{bmatrix}=\begin{bmatrix}1+2+8\\1+4+24\end{bmatrix}=\begin{bmatrix}11\\29\end{bmatrix}.\) $\det=4\cdot23-9\cdot9=92-81=11$， \((A^{\mathsf T}WA)^{-1}=\frac1{11}\begin{bmatrix}23&-9\\-9&4\end{bmatrix},\qquad \hat{\mathbf{x}}=\frac1{11}\begin{bmatrix}23\cdot11-9\cdot29\\-9\cdot11+4\cdot29\end{bmatrix}=\frac1{11}\begin{bmatrix}253-261\\-99+116\end{bmatrix}=\frac1{11}\begin{bmatrix}-8\\17\end{bmatrix}=\begin{bmatrix}-8/11\\17/11\end{bmatrix}\approx\begin{bmatrix}-0.7273\\1.5455\end{bmatrix}.\) 拟合值 $\mathbf{p}=A\hat{\mathbf{x}}=\begin{bmatrix}-8/11\\-8/11+17/11\\-8/11+51/11\end{bmatrix}=\begin{bmatrix}-8/11\\9/11\\43/11\end{bmatrix}\approx\begin{bmatrix}-0.7273\\0.8182\\3.9091\end{bmatrix}$，残差 \(\mathbf{e}=\mathbf{b}-A\hat{\mathbf{x}}=\begin{bmatrix}1+8/11\\2-9/11\\4-43/11\end{bmatrix}=\begin{bmatrix}19/11\\13/11\\1/11\end{bmatrix}\approx\begin{bmatrix}1.7273\\1.1818\\0.0909\end{bmatrix}.\)

（这个结果值得停下来想一秒） 为什么前两个点的残差变得这么大（$1.7273$、$1.1818$），而第三个点的残差反而压到 $0.0909$？因为第三个点的权重是 $2$，它在目标函数 $E_w$ 里的”话语权”翻倍。最小化 $E_w$ 时，算法宁可让权重小的点错得多一些，也要保住权重大的点。这正是加权的意义：权重不是”数据的重要性”这种模糊说法，而是目标函数里实实在在的系数。

对照一下：无权重时 $\hat{\mathbf{x}}=\begin{bmatrix}-2/3\\3/2\end{bmatrix}$，残差 $\begin{bmatrix}1/6\\-1/3\\1/6\end{bmatrix}$（三个点都被照顾得比较平均）；加权（$w_3=2$）后 $\hat{\mathbf{x}}=\begin{bmatrix}-8/11\\17/11\end{bmatrix}$，斜率从 $1.5$ 抬到 $1.5455$，第三个点几乎被完美拟合。$\checkmark$

加权残差平方和： \(E_w=\sum_{i=1}^3 w_i e_i^2=1\cdot\left(\frac{19}{11}\right)^2+1\cdot\left(\frac{13}{11}\right)^2+2\cdot\left(\frac1{11}\right)^2 =\frac{361+169+2}{121}=\frac{532}{121}\approx4.3967.\) 注意：$E_w$ 的数值（$4.3967$）不能与无权重的 $E=1/6\approx0.1667$ 直接比较——两者最小化的是不同的目标函数。要公平比较，得用同一个目标函数评估两个解： \(\text{加权解在加权目标下：}\ \vert W^{1/2}(A\hat{\mathbf{x}}-\mathbf{b})\vert ^2=\frac{532}{121}\approx4.3967;\) \(\text{无权重解在同一个加权目标下：}\ \sum_i w_i e_i^2=1\left(\frac16\right)^2+1\left(-\frac13\right)^2+2\left(\frac16\right)^2=\frac1{36}+\frac19+\frac2{36}=\frac{1+4+2}{36}=\frac{7}{36}\approx0.1944.\) 等等——加权解的加权目标值 $4.3967$ 竟然大于无权重解的 $0.1944$？这不可能，因为加权解本该最小化 $E_w$！问题出在计算上：上面对加权解写的残差 $19/11,13/11,1/11$ 是错的。重新算：$\hat{\mathbf{x}}=\begin{bmatrix}-8/11\\17/11\end{bmatrix}$ 时 \(\mathbf{p}=\begin{bmatrix}1\cdot(-8/11)+1\cdot(17/11)\\ 1\cdot(-8/11)+2\cdot(17/11)\\ 1\cdot(-8/11)+3\cdot(17/11)\end{bmatrix}=\begin{bmatrix}9/11\\ 26/11\\ 43/11\end{bmatrix}\approx\begin{bmatrix}0.8182\\2.3636\\3.9091\end{bmatrix},\) \(\mathbf{e}=\begin{bmatrix}1-9/11\\2-26/11\\4-43/11\end{bmatrix}=\begin{bmatrix}2/11\\-4/11\\1/11\end{bmatrix}\approx\begin{bmatrix}0.1818\\-0.3636\\0.0909\end{bmatrix}.\) \(E_w=\sum_i w_i e_i^2=1\cdot\frac{4}{121}+1\cdot\frac{16}{121}+2\cdot\frac{1}{121}=\frac{4+16+2}{121}=\frac{22}{121}=\frac{2}{11}\approx0.1818.\) 而无权重解 $\begin{bmatrix}-2/3\\3/2\end{bmatrix}$ 在同一个加权目标下的值（上面算过）是 $\frac{7}{36}\approx0.1944$。因为 $0.1818<0.1944$，加权解确实更优。$\checkmark$ 这验证了加权正规方程 $A^{\mathsf T}WA\hat{\mathbf{x}}=A^{\mathsf T}W\mathbf{b}$ 的正确性。

（这段”先算错、再自查”的过程请务必留意） 上面我一度把 $\mathbf{p}$ 的第一分量写成 $-8/11$（忘了加上 $17/11$），于是得到荒谬的结论”加权解的目标函数值更大”。检验最小二乘结果的第一条规矩就是：把解代回目标函数，与别的候选解比一比。 若”最优解”反而给出更大的目标值，一定是算术错了。

对照一下各解：加权解 $\hat{\mathbf{x}}=\begin{bmatrix}-8/11\\17/11\end{bmatrix}\approx\begin{bmatrix}-0.7273\\1.5455\end{bmatrix}$，无权重解 $\begin{bmatrix}-2/3\\3/2\end{bmatrix}\approx\begin{bmatrix}-0.6667\\1.5\end{bmatrix}$。斜率被抬高（$1.5\to1.5455$，因为权重大的第三个点值最高），截距被压低（$-0.6667\to-0.7273$）。$\checkmark$

【计算机制解说】：加权最小二乘是”换了尺子量距离”。用 $W$ 做内积 $\langle\mathbf{u},\mathbf{v}\rangle_W=\mathbf{u}^{\mathsf T}W\mathbf{v}$，就得到”加权正交”，整个投影理论照搬（Lecture 15 的勾股证明一字不改），只是所有内积换成 $W$-内积：投影矩阵变成 $P_W=A(A^{\mathsf T}WA)^{-1}A^{\mathsf T}W$（注意不再对称！因为它是相对于 $W$-内积的正交投影，而不是普通内积）。补充一个数值细节：若权重悬殊（如 $10^{-6}$ 与 $10^{6}$），$W^{1/2}A$ 的元素跨度极大，正规方程会严重病态，此时更稳的做法是用带权 $QR$（把 $\sqrt{w_i}$ 乘进每一行后做 QR），而不是显式构造 $A^{\mathsf T}WA$。统计上，若各观测的误差方差不同（$\operatorname{Var}(\varepsilon_i)=\sigma^2/w_i$），加权最小二乘给出最佳线性无偏估计（BLUE）——这是 Gauss-Markov 定理的内容，其几何基础正是本讲的加权投影。

示例 6：岭回归——在正规方程上加一点”正定性保险”

当 $A$ 的列接近相关、$A^{\mathsf T}A$ 接近奇异时，$\hat{\mathbf{x}}$ 会爆炸（对数据微扰极度敏感）。补救办法是加一个正则项： \(\min_{\mathbf{x}}\ \vert A\mathbf{x}-\mathbf{b}\vert ^2+\lambda\vert \mathbf{x}\vert ^2\qquad(\lambda>0),\) 求导得岭回归（ridge）的方程 \((A^{\mathsf T}A+\lambda I)\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}.\) $A^{\mathsf T}A+\lambda I$ 一定是正定的（对任何 $\mathbf{x}\neq\mathbf{0}$，$\mathbf{x}^{\mathsf T}(A^{\mathsf T}A+\lambda I)\mathbf{x}=\vert A\mathbf{x}\vert ^2+\lambda\vert \mathbf{x}\vert ^2>0$），所以永远可逆——正则项把”病态”直接治好了。

手算：仍用 $(1,1),(2,2),(3,4)$，$\lambda=1$： \(A^{\mathsf T}A+I=\begin{bmatrix}3&6\\6&14\end{bmatrix}+\begin{bmatrix}1&0\\0&1\end{bmatrix}=\begin{bmatrix}4&6\\6&15\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}7\\17\end{bmatrix},\) $\det=4\cdot15-36=60-36=24$， \(\hat{\mathbf{x}}=\frac1{24}\begin{bmatrix}15&-6\\-6&4\end{bmatrix}\begin{bmatrix}7\\17\end{bmatrix}=\frac1{24}\begin{bmatrix}105-102\\-42+68\end{bmatrix}=\frac1{24}\begin{bmatrix}3\\26\end{bmatrix}=\begin{bmatrix}1/8\\13/12\end{bmatrix}\approx\begin{bmatrix}0.125\\1.0833\end{bmatrix}.\) 对照无正则的 $\hat{\mathbf{x}}=\begin{bmatrix}-2/3\\3/2\end{bmatrix}$：岭回归把系数”收缩”（shrinkage）——截距从 $-0.6667$ 收到 $0.125$，斜率从 $1.5$ 收到 $1.0833$，两个系数都向 $0$ 靠拢。代价是残差变大： \(\mathbf{p}=\begin{bmatrix}1/8+13/12\\ 1/8+26/12\\ 1/8+39/12\end{bmatrix}=\begin{bmatrix}3/24+26/24\\ 3/24+52/24\\ 3/24+78/24\end{bmatrix}=\begin{bmatrix}29/24\\55/24\\81/24\end{bmatrix}=\begin{bmatrix}1.2083\\2.2917\\3.3750\end{bmatrix},\) \(\mathbf{e}=\mathbf{b}-\mathbf{p}=\begin{bmatrix}1-29/24\\2-55/24\\4-81/24\end{bmatrix}=\begin{bmatrix}-5/24\\-7/24\\15/24\end{bmatrix}=\begin{bmatrix}-0.2083\\-0.2917\\0.6250\end{bmatrix},\qquad \|\mathbf{e}\|^2=\frac{25+49+225}{576}=\frac{299}{576}\approx0.5191.\) （普通最小二乘的 $\vert \mathbf{e}\vert ^2=1/6\approx0.1667$，所以岭回归确实牺牲了拟合精度。）这是有意的取舍：为了让解对噪声稳健，宁可牺牲一点拟合精度。

【计算机制解说】：岭回归在几何上是什么？把 $\lambda\vert \mathbf{x}\vert ^2$ 看成”额外添加的 $n$ 行数据”： \(\tilde A=\begin{bmatrix}A\\ \sqrt\lambda I\end{bmatrix},\qquad \tilde{\mathbf{b}}=\begin{bmatrix}\mathbf{b}\\ \mathbf{0}\end{bmatrix},\) 则 $\vert \tilde A\mathbf{x}-\tilde{\mathbf{b}}\vert ^2=\vert A\mathbf{x}-\mathbf{b}\vert ^2+\lambda\vert \mathbf{x}\vert ^2$，普通最小二乘的正规方程就是 $(A^{\mathsf T}A+\lambda I)\mathbf{x}=A^{\mathsf T}\mathbf{b}$。几何上，这相当于要求解不要离原点太远：$\sqrt\lambda I$ 那几行对 $\mathbf{x}$ 的每一个分量都施加”拉回原点”的力。$\lambda\to0$ 时退化为普通最小二乘；$\lambda\to\infty$ 时 $\hat{\mathbf{x}}\to\mathbf{0}$。（本例 $\lambda=1$ 时 $\hat{\mathbf{x}}=[0.125,1.0833]^{\mathsf T}$，介于无正则解 $[-0.6667,1.5]^{\mathsf T}$ 与原点之间，符合”收缩”的图像。）

为什么它能治列相关？因为额外的 $\sqrt\lambda I$ 行是 $n$ 个互相正交的单位方向，谁都不能被 $A$ 的行表示，于是 $\tilde A$ 的行秩必然满（$\operatorname{rank}(\tilde A)=n$ 当 $\lambda>0$），$\tilde A^{\mathsf T}\tilde A=A^{\mathsf T}A+\lambda I$ 正定、必可逆。对比 Lecture 16 示例 7：那里 $A^{\mathsf T}A=\begin{bmatrix}5&10\\10&20\end{bmatrix}$ 奇异、无穷多解；加上 $\lambda I$ 后就变成 $\begin{bmatrix}6&10\\10&21\end{bmatrix}$，$\det=126-100=26\neq0$，解变成 $\frac1{26}\begin{bmatrix}21&-10\\-10&6\end{bmatrix}\begin{bmatrix}11\\22\end{bmatrix}=\frac1{26}\begin{bmatrix}231-220\\-110+132\end{bmatrix}=\frac1{26}\begin{bmatrix}11\\22\end{bmatrix}=\begin{bmatrix}11/26\\11/13\end{bmatrix}\approx\begin{bmatrix}0.4231\\0.8462\end{bmatrix}$——而这个数恰好接近伪逆给出的最小范数解 $\begin{bmatrix}0.44\\0.88\end{bmatrix}$！这不是巧合：岭回归是”用 $\lambda$ 换取稳定性”的连续插值，$\lambda\to0$ 时趋于最小范数解。

岭回归是现代统计与机器学习（正则化、贝叶斯先验、核方法）的几何起点，其完整理论要到 SVD（Lecture 29）才能看清——用 SVD 表示 $A=U\Sigma V^{\mathsf T}$， \(\hat{\mathbf{x}}=\sum_i\frac{\sigma_i}{\sigma_i^2+\lambda}\,(\mathbf{u}_i^{\mathsf T}\mathbf{b})\,\mathbf{v}_i,\) 当 $\sigma_i$ 很小时因子 $\frac{\sigma_i}{\sigma_i^2+\lambda}$ 很小，病态方向被自动压制；而普通最小二乘的因子是 $1/\sigma_i$，会把噪声放大成 $\infty$。这就是”为什么正则化能治过拟合”的线性代数解释。

示例 7：列相关的情形——$A^{\mathsf T}A$ 奇异

取 \(A=\begin{bmatrix}1&2\\2&4\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}3\\4\end{bmatrix}.\) 第二列 $=$ 第一列的 2 倍，$\operatorname{rank}(A)=1<2$，C(A) 是 $\mathbb{R}^2$ 中沿 $\begin{bmatrix}1\\2\end{bmatrix}$ 方向的直线。

步骤 1：$A^{\mathsf T}A$ 与 $A^{\mathsf T}\mathbf{b}$。 \(A^{\mathsf T}A=\begin{bmatrix}1&2\\2&4\end{bmatrix}\begin{bmatrix}1&2\\2&4\end{bmatrix}=\begin{bmatrix}5&10\\10&20\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}1&2\\2&4\end{bmatrix}\begin{bmatrix}3\\4\end{bmatrix}=\begin{bmatrix}11\\22\end{bmatrix}.\) $\det(A^{\mathsf T}A)=5\cdot20-10\cdot10=0$，不可逆。

步骤 2：正规方程有无穷多解。 两个方程都是 $5\hat{x}_1+10\hat{x}_2=11$（第二个是第一个的 2 倍），所以解集是一条直线 \(\hat{x}_1+2\hat{x}_2=\frac{11}{5}\quad\Longrightarrow\quad \hat{\mathbf{x}}=t\begin{bmatrix}-2\\1\end{bmatrix}+\begin{bmatrix}11/5\\0\end{bmatrix}.\) 三个具体解：$\left(\frac{11}{5},0\right)$、$\left(0,\frac{11}{10}\right)$、$\left(\frac{22}{5},-\frac{11}{10}\right)$。

步骤 3：但投影唯一。 \(A\begin{bmatrix}11/5\\0\end{bmatrix}=\begin{bmatrix}11/5\\22/5\end{bmatrix}=\begin{bmatrix}2.2\\4.4\end{bmatrix},\qquad A\begin{bmatrix}0\\11/10\end{bmatrix}=\begin{bmatrix}11/5\\22/5\end{bmatrix}\ \text{一样},\qquad A\begin{bmatrix}22/5\\-11/10\end{bmatrix}=\begin{bmatrix}22/5-11/5\\44/5-22/5\end{bmatrix}=\begin{bmatrix}11/5\\22/5\end{bmatrix}\ \text{还是一样}.\) 原因是这些解两两之差都是 $\begin{bmatrix}-2\\1\end{bmatrix}$ 的倍数，而 $A\begin{bmatrix}-2\\1\end{bmatrix}=\begin{bmatrix}-2+2\\-4+4\end{bmatrix}=\mathbf{0}$——零空间方向上的差异不改变投影。

步骤 4：最小范数解（伪逆给出的答案）。 在无穷多解中选长度最小的那个。限制在直线 $\hat{x}_1+2\hat{x}_2=11/5$ 上最小化 $\hat{x}_1^2+\hat{x}_2^2$：代入 $\hat{x}_1=\frac{11}{5}-2\hat{x}_2$ 得 $(11/5-2\hat{x}_2)^2+\hat{x}_2^2$，求导 $-4(11/5-2\hat{x}_2)+2\hat{x}_2=0$ 即 $10\hat{x}_2=\frac{44}{5}$，$\hat{x}_2=\frac{22}{25}=0.88$，$\hat{x}_1=\frac{11}{5}-\frac{44}{25}=\frac{55-44}{25}=\frac{11}{25}=0.44$。 \(\hat{\mathbf{x}}^{+}=\begin{bmatrix}11/25\\22/25\end{bmatrix}=\begin{bmatrix}0.44\\0.88\end{bmatrix},\qquad \vert \hat{\mathbf{x}}^{+}\vert =\sqrt{0.44^2+0.88^2}\approx0.9839,\) 对比 $(\frac{11}{5},0)$ 的长度 $2.2$——确实小得多。

步骤 5：用伪逆 $A^{+}$ 验证。 本例中 $A^{+}=\frac{1}{25}A^{\mathsf T}=\begin{bmatrix}0.04&0.08\\0.08&0.16\end{bmatrix}$（Lecture 33 会给出一般公式），则 \(A^{+}\mathbf{b}=\begin{bmatrix}0.04\cdot3+0.08\cdot4\\0.08\cdot3+0.16\cdot4\end{bmatrix}=\begin{bmatrix}0.12+0.32\\0.24+0.64\end{bmatrix}=\begin{bmatrix}0.44\\0.88\end{bmatrix}.\ \checkmark\) \(AA^{+}=\begin{bmatrix}1&2\\2&4\end{bmatrix}\begin{bmatrix}0.04&0.08\\0.08&0.16\end{bmatrix}=\begin{bmatrix}0.04+0.16&0.08+0.32\\0.08+0.32&0.16+0.64\end{bmatrix}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}=\frac15\mathbf{a}\mathbf{a}^{\mathsf T}\) （$\mathbf{a}=\begin{bmatrix}1\\2\end{bmatrix}$，$\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix}$——与 Lecture 15 示例 4 的 $P$ 完全相同，因为 C(A) 就是那条直线）。投影 $\mathbf{p}=A\hat{\mathbf{x}}^{+}=\begin{bmatrix}2.2\\4.4\end{bmatrix}$，残差 $\mathbf{e}=\begin{bmatrix}0.8\\-0.4\end{bmatrix}$，$\mathbf{a}^{\mathsf T}\mathbf{e}=0.8-0.8=0$，$E=\vert \mathbf{e}\vert ^2=0.8$。$\checkmark$

【计算机制解说】：列相关时到底丢了什么、留下了什么？丢了”$\hat{\mathbf{x}}$ 的唯一性”，留下”$\mathbf{p}$ 的唯一性和最优性”。这可以用 Lecture 10 的四子空间完全解释：$\mathbb{R}^n$ 被劈成行空间 $C(A^{\mathsf T})$ 与零空间 $\mathrm{N}(A)$，而 $A$ 在 $\mathrm{N}(A)$ 上作用为零。正规方程的通解 = 行空间里的那个特解 + 零空间的任意向量。伪逆的聪明之处在于：它要求特解必须住在行空间里，而行空间与零空间正交，所以这个特解是通解中长度最小的（勾股定理：$\vert \hat{\mathbf{x}}\vert ^2=\vert \hat{\mathbf{x}}{row}\vert ^2+\vert \hat{\mathbf{x}}{null}\vert ^2$，要最小就必须让零空间分量为零）。这就是 $A^{+}$ 的定义：$A^{+}\mathbf{b}$ 是 $A\hat{\mathbf{x}}=\mathbf{p}$ 在行空间里的唯一解。

示例 8（3×3 与数据拟合的推广）：曲线拟合只是一个开始

把例 1 的 $A$ 换成 $\begin{bmatrix}1&0&0\\1&1&1\\1&2&4\\1&3&9\end{bmatrix}$（抛物线 $b=C+Dt+Et^2$，四个数据点 $(0,1),(1,1),(2,3),(3,7)$），则 \(A^{\mathsf T}A=\begin{bmatrix}4&6&14\\6&14&36\\14&36&98\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}12\\28\\76\end{bmatrix},\) 解出 $\hat{\mathbf{x}}=\begin{bmatrix}1\\-1\\1\end{bmatrix}$，即抛物线 $b=1-t+t^2$，在 $t=0,1,2,3$ 处取值 $1,1,3,7$——完全命中数据，$E=0$。这说明：只要模型（列空间）足够大，最小二乘可以退化成精确插值。四个点三条参数却精确拟合，是因为这四点恰好落在一条抛物线上。

【计算机制解说】：这个例子的意义在于说明“最小二乘”与”插值”并非对立。$\vert A\mathbf{x}-\mathbf{b}\vert $ 能否取到 0，取决于 $\mathbf{b}$ 是否落在 C(A) 里。当未知数足够多（$n\ge m$ 且列无关）时，$C(A)=\mathbb{R}^m$，$P=I$，误差必然为零。所以”最小二乘”这个名字描述的是准则（最小化平方误差），而不是”一定有误差”。实际建模中我们希望列空间够丰富以拟合数据，又不希望过丰富（过拟合）；这种张力在 Lecture 27-29（正定性与 SVD）里会以”条件数”和”有效秩”的语言重新出现。

示例 9：$R^2$ 与”解释力”——用投影长度衡量模型好坏

例 1 的数据是 $(1,1),(2,2),(3,4)$，我们得到 $\mathbf{p}=\begin{bmatrix}5/6\\7/3\\23/6\end{bmatrix}$、$\mathbf{e}=\begin{bmatrix}1/6\\-1/3\\1/6\end{bmatrix}$、$E=1/6$。最高的那条直线只是常数模型 $b=\bar b=\frac73$： \(\mathbf{p}_{\text{mean}}=\begin{bmatrix}7/3\\7/3\\7/3\end{bmatrix},\qquad \mathbf{b}-\mathbf{p}_{\text{mean}}=\begin{bmatrix}-4/3\\-1/3\\5/3\end{bmatrix},\qquad SST=\left\|\mathbf{b}-\mathbf{p}_{\text{mean}}\right\|^2=\frac{16+1+25}{9}=\frac{42}{9}=\frac{14}{3}\approx4.6667.\) （这就是总平方和 total sum of squares，衡量数据本身有多”波动”。）直线模型解释掉的部分： \(SSR=\|\mathbf{p}-\mathbf{p}_{\text{mean}}\|^2=\left\|\begin{bmatrix}5/6-7/3\\ 7/3-7/3\\ 23/6-7/3\end{bmatrix}\right\|^2 =\left\|\begin{bmatrix}-3/2\\0\\3/2\end{bmatrix}\right\|^2=\frac94+\frac94=\frac92=4.5,\) \(SSE=E=\frac16\approx0.1667.\) 验证分解：$SSR+SSE=\frac92+\frac16=\frac{27}{6}+\frac16=\frac{28}{6}=\frac{14}{3}=SST$。$\checkmark$ \(R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}=1-\frac{1/6}{14/3}=1-\frac{1}{6}\cdot\frac{3}{14}=1-\frac{1}{28}=\frac{27}{28}\approx0.9643.\) 这组数据被直线解释了 $96.43\%$（例 2b 里 $\mathbf{b}_2=[2,3,3,2]^{\mathsf T}$ 的那组，$SST=1$、$SSR=0$，$R^2=0$，因为数据先升后降，直线完全解释不了）。

【计算机制解说】：$R^2$ 的几何意义，本质上是一次勾股分解，只不过原点被平移到了 $\mathbf{p}_{\text{mean}}$ 处：

   以 p_mean = b̄·[1,1,1]^T 为"新原点"看数据空间
   ┌──────────────────────────────────────────────┐
   │                                              │
   │      b - p_mean  （总偏差，长度² = SST）       │
   │            ╲                                 │
   │             ╲                                │
   │              ╲  ← 直角！                      │
   │   p - p_mean  ╲                              │
   │  （被解释，     ╲   e = b - p                 │
   │   SSR）          ╲  （未被解释，SSE）          │
   │                   ╲                          │
   │                    ●─────                    │
   └──────────────────────────────────────────────┘

   SST  =  SSR  +  SSE         （勾股：因为 (p - p_mean) ⟂ (b - p)）

   为什么垂直？  p - p_mean ∈ C(A)（两者都在列空间里），e ∈ C(A)^⟂
                故两者垂直，勾股定理直接给出 SST = SSR + SSE。

   R² = SSR/SST = 1 - SSE/SST   ∈ [0,1]
   R² = 1  ⟺  SSE = 0  ⟺  b ∈ C(A)（完美拟合）
   R² = 0  ⟺  SSR = 0  ⟺  p = p_mean（直线毫无解释力）

为什么”先减去均值”？ 因为要把”数据本身的波动”与”模型解释的波动”分开。$\mathbf{p}{\text{mean}}$ 是常数模型能给出的最好拟合（只有一列 $\mathbf{1}$ 时的投影），它代表”什么都不知道时的最佳猜测”。直线模型比常数模型多解释了 $SSR$；$R^2$ 就是”提升比例”。注意 $p-p{\text{mean}}$ 一定在 $C(A)$ 里（$C(A)$ 含常数列 $\mathbf{1}$，故 $\mathbf{p}_{\text{mean}}$ 也在里面，两者相减仍在里面），所以它必然垂直于 $\mathbf{e}\in C(A)^{\perp}$——这就是上面那张图里直角标记的来源。整个 $R^2$ 理论就是本讲的投影分解加上一次平移。

示例 10：三个”最好/最坏”的极端情形（用投影矩阵一览）

最小二乘的行为有时显得反直觉。下面三个小例子用同一套公式给出三种截然不同的结果，是检验理解的最好试金石。

（a）$\mathbf{b}$ 已在列空间里 $\Rightarrow$ 零误差。 取 $A=\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}$（列无关），$\mathbf{b}=\begin{bmatrix}2\\3\\5\end{bmatrix}$。注意 $\mathbf{b}=2\begin{bmatrix}1\\0\\1\end{bmatrix}+3\begin{bmatrix}0\\1\\1\end{bmatrix}$，故 $\mathbf{b}\in C(A)$。 \(A^{\mathsf T}A=\begin{bmatrix}1+0+1&0+0+1\\0+0+1&0+1+1\end{bmatrix}=\begin{bmatrix}2&1\\1&2\end{bmatrix},\qquad A^{\mathsf T}\mathbf{b}=\begin{bmatrix}2+5\\3+5\end{bmatrix}=\begin{bmatrix}7\\8\end{bmatrix},\) \(\hat{\mathbf{x}}=\frac13\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}7\\8\end{bmatrix}=\frac13\begin{bmatrix}14-8\\-7+16\end{bmatrix}=\frac13\begin{bmatrix}6\\9\end{bmatrix}=\begin{bmatrix}2\\3\end{bmatrix}.\ \checkmark\ (\text{正是}\mathbf{b}\ \text{的系数})\) $\mathbf{p}=A\hat{\mathbf{x}}=\mathbf{b}$，$\mathbf{e}=\mathbf{0}$，$E=0$。投影矩阵：$P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=\frac13\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}$，先算 $A(A^{\mathsf T}A)^{-1}=\frac13\begin{bmatrix}2&-1\\-1&2\\1&1\end{bmatrix}$，再乘 $A^{\mathsf T}$： \(P=\frac13\begin{bmatrix}2&-1\\-1&2\\1&1\end{bmatrix}\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix} =\frac13\begin{bmatrix}2&-1&1\\-1&2&1\\1&1&2\end{bmatrix}.\) $\operatorname{trace}(P)=2$、$\operatorname{rank}(P)=2$、$P\mathbf{b}=\frac13\begin{bmatrix}4-3+5\\-2+6+5\\2+3+10\end{bmatrix}=\frac13\begin{bmatrix}6\\9\\15\end{bmatrix}=\begin{bmatrix}2\\3\\5\end{bmatrix}=\mathbf{b}$ $\checkmark$。

（b）$\mathbf{b}$ 完全垂直于列空间 $\Rightarrow$ 投影为零。 取同一个 $A$，$\mathbf{b}=\begin{bmatrix}1\\1\\-1\end{bmatrix}$。检查：$\mathbf{a}_1^{\mathsf T}\mathbf{b}=1+0-1=0$，$\mathbf{a}_2^{\mathsf T}\mathbf{b}=0+1-1=0$，故 $\mathbf{b}\perp C(A)$。 \(A^{\mathsf T}\mathbf{b}=\begin{bmatrix}0\\0\end{bmatrix}\ \Longrightarrow\ \hat{\mathbf{x}}=\begin{bmatrix}0\\0\end{bmatrix},\qquad \mathbf{p}=\mathbf{0},\qquad \mathbf{e}=\mathbf{b},\qquad E=\vert \mathbf{b}\vert ^2=3.\) 也就是说：最优”拟合”是什么都不做（所有系数为零）。$R^2=1-\frac{3}{3}=0$（如果模型含常数项的话；本例 $C(A)$ 不含 $\mathbf{1}=[1,1,1]^{\mathsf T}$，因为 $\mathbf{1}$ 与 $\mathbf{b}$ 不正交，$\mathbf{1}\not\perp C(A)$……更准确地说：$R^2$ 的定义要求模型包含常数项，本例不含，所以 $R^2$ 这个指标不适用。这正是”$R^2$ 只在含截距时才有意义”的原因）。

（c）$\mathbf{b}$ 的”最难拟合”方向 $\Rightarrow$ 误差最大。 取 $A=\begin{bmatrix}1\\1\\1\end{bmatrix}$（只有常数列，$\mathbf{1}=[1,1,1]^{\mathsf T}$），$\mathbf{b}=\begin{bmatrix}1\\2\\4\end{bmatrix}$。 \(A^{\mathsf T}A=3,\qquad A^{\mathsf T}\mathbf{b}=7,\qquad \hat{x}=\frac73,\qquad \mathbf{p}=\begin{bmatrix}7/3\\7/3\\7/3\end{bmatrix},\qquad \mathbf{e}=\begin{bmatrix}-4/3\\-1/3\\5/3\end{bmatrix}.\) \(\|\mathbf{b}\|^2=21,\quad\|\mathbf{p}\|^2=3\cdot\frac{49}{9}=\frac{49}{3},\quad\|\mathbf{e}\|^2=\frac{16+1+25}{9}=\frac{42}{9}=\frac{14}{3},\qquad \frac{49}{3}+\frac{14}{3}=\frac{63}{3}=21.\ \checkmark\) 这说明：即使用最简单的”常数模型”，投影仍然给出了它能做的最好结果——$\hat{x}=\frac73=\bar b$ 恰是数据均值！投影到常数列 = 取平均，这是全部统计学里最古老的操作，它的几何身份就是”一维投影”。

【计算机制解说】：三个例子合起来给出最小二乘的”光谱”： \(\mathbf{b}\in C(A)\ \Rightarrow\ E=0\ ;\qquad \mathbf{b}\perp C(A)\ \Rightarrow\ \hat{\mathbf{x}}=\mathbf{0}\ ;\qquad \text{一般情形}\ \Rightarrow\ 0<E<\vert \mathbf{b}\vert ^2.\) 这三种情形可以统一写成 \(\vert \mathbf{p}\vert =\vert \mathbf{b}\vert \cos\Theta,\qquad \vert \mathbf{e}\vert =\vert \mathbf{b}\vert \sin\Theta,\) 其中 $\Theta$ 是 $\mathbf{b}$ 与整个子空间 $C(A)$ 的夹角（一般情形下这个角不被任何单列确定，而是 $\mathbf{b}$ 与它在子空间上垂线的夹角）。所以”拟合得好” = “$\mathbf{b}$ 与列空间几乎平行”，”拟合得差” = “几乎垂直”。把 $E/\vert \mathbf{b}\vert ^2=\sin^2\Theta$ 当成几何量来读，比死记公式有效得多。

示例 10 的一个小陷阱：$\mathbf{b}\perp C(A)$ 时最优解 $\hat{\mathbf{x}}=\mathbf{0}$，这不意味着”数据没用”，而是意味着”这些自变量对 $\mathbf{b}$ 没有任何线性解释力”。线性代数只报告事实，不解释因果。

矩阵分解的核心思想

1. 最小二乘是”投影”的应用版，而不是新东西。 全部数学都在 Lecture 15 里：$A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$、$\mathbf{p}=A\hat{\mathbf{x}}$、$P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$。本讲新增的是解释：$\hat{\mathbf{x}}$ 是模型参数（截距与斜率），$\mathbf{p}$ 是拟合值，$\mathbf{e}$ 是残差，$E=\vert \mathbf{e}\vert ^2$ 是可解释的最小化目标。

2. 这套”参数 → 数据”的分解本质上就是一次”未完成的分解”。 若把 $A$ 分解成 $A=QR$（Lecture 17），正规方程立刻变成 \(R^{\mathsf T}\underbrace{Q^{\mathsf T}Q}_{=I}R\hat{\mathbf{x}}=R^{\mathsf T}Q^{\mathsf T}\mathbf{b}\ \Longrightarrow\ R\hat{\mathbf{x}}=Q^{\mathsf T}\mathbf{b},\) $R$ 上三角、对角元是 $\vert \mathbf{v}_i\vert >0$，回代即可。$P$ 也随之变成更漂亮的 $P=QQ^{\mathsf T}$。

3. 与 Lecture 33 的伪逆对接。 列相关时用 $A^{+}$。$A^{+}$ 满足 Penrose 四条件，并且 $AA^{+}$ 恰是投影到 C(A) 的矩阵、$A^{+}A$ 是投影到行空间 $C(A^{\mathsf T})$ 的矩阵。本讲示例 7 已经展示了这一点：$AA^{+}=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}$ 就是那个一维投影。

4. $A^{\mathsf T}A$ 是”数据的内积矩阵”（Gram 矩阵）。 它的 $(i,j)$ 元是列 $\mathbf{a}_i$ 与 $\mathbf{a}_j$ 的内积，对角元是各列的平方长度。$A^{\mathsf T}\mathbf{b}$ 的每个分量是 $\mathbf{a}_i^{\mathsf T}\mathbf{b}$——”数据与第 $i$ 个基函数的匹配度”。所以正规方程的两边都是”内积”，完全符合投影是”正交分解”的本性。

与其他讲次的关联

• Lecture 15（投影到子空间）：本讲是它的直接应用。那里的 $P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}$、$\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$ 在这里被赋予”拟合直线”的含义。
• Lecture 10、14（四子空间、正交性）：$\mathbf{e}\in\mathrm{N}(A^{\mathsf T})$、$\mathrm{N}(A^{\mathsf T}A)=\mathrm{N}(A)$ 是列相关讨论的理论基础；通解 = 行空间特解 + 零空间任意向量是伪逆”最小范数”性质的来源。
• Lecture 17（正交矩阵与 Gram-Schmidt）：$A=QR$ 把正规方程化简为 $R\hat{\mathbf{x}}=Q^{\mathsf T}\mathbf{b}$，并大幅改善数值稳定性。
• Lecture 21-25（特征值、正定矩阵）：$A^{\mathsf T}A$ 对称正定，特征值 $=\sigma_i^2\ge0$；最小二乘的”病态”与否由条件数 $\sigma_{\max}/\sigma_{\min}$ 决定。
• Lecture 27（正定与最小值）：$\vert \mathbf{b}-A\mathbf{x}\vert ^2$ 是二次函数，其 Hessian 是 $2A^{\mathsf T}A$，正定性保证了极小点的唯一性——本讲”配方/微积分”两种解说的连续版本。
• Lecture 29（SVD）：$A=U\Sigma V^{\mathsf T}$ 给出最稳健的伪逆 $A^{+}=V\Sigma^{+}U^{\mathsf T}$，并解释为什么某些最小二乘问题”数值上不可解”。
• Lecture 33（伪逆）：本讲示例 7 只用具体数字演示了它，那里会给出完整理论。

关键要点

1. 最小二乘 = 投影：$\hat{\mathbf{x}}$ 使 $\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 最小 $\iff$ $\mathbf{b}-A\hat{\mathbf{x}}\perp C(A)$ $\iff$ $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$。
2. 正规方程与解：$A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$，$\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$，拟合值 $\mathbf{p}=A\hat{\mathbf{x}}=P\mathbf{b}$，残差 $\mathbf{e}=\mathbf{b}-\mathbf{p}$。
3. 列无关 $\Rightarrow$ $A^{\mathsf T}A$ 对称正定、可逆、解唯一；列相关 $\Rightarrow$ 解不唯一但投影唯一，用 $A^{+}$ 取最小范数解（Lecture 33）。
4. 残差的两个正交条件在拟合中就是：$\sum e_i=0$ 与 $\sum t_i e_i=0$。
5. 投影矩阵性质：$P^{\mathsf T}=P$、$P^2=P$、$\operatorname{rank}(P)=\operatorname{trace}(P)=r$；$P\mathbf{b}=\mathbf{b}$ 当且仅当 $\mathbf{b}\in C(A)$，$P\mathbf{b}=\mathbf{0}$ 当且仅当 $\mathbf{b}\perp C(A)$。

常见误区与注意事项

1. 把 $E=\vert \mathbf{e}\vert ^2$ 写成 $\vert \mathbf{e}\vert $。最小二乘最小化的是平方和（同一个 $\mathbf{x}$ 当然也最小化长度，因为平方根单调，但报告结果时务必说清是 $E$ 还是 $\sqrt E$）。示例 1 中 $E=1/6\approx0.1667$，而 $\vert \mathbf{e}\vert =\sqrt{1/6}\approx0.4082$——两个数差别很大。
2. 忘记构造 $A$ 时的常数列。若要拟合 $b=C+Dt+Et^2$，$A$ 必须有三列 $[1,t,t^2]$；漏掉常数列 1 就变成”强制过原点”，结果完全不同（示例 2 已给出对照：$E$ 从 $1/6$ 涨到 $5/14$）。
3. 在列相关时仍然写 $(A^{\mathsf T}A)^{-1}$。$A^{\mathsf T}A$ 奇异时必须停下，改用伪逆或删掉冗余列。判断方法：检查 $\operatorname{rank}(A)$ 或解 $A\mathbf{x}=\mathbf{0}$ 是否有非零解。示例 7 中 $\det(A^{\mathsf T}A)=0$，直接套逆矩阵公式会得到 NaN 或荒谬的大数。
4. 误以为”残差越小说明模型越好”。残差平方和只衡量拟合优度，不衡量泛化能力。增加参数总能降低 $E$（示例 8 甚至降到 0），但这可能是过拟合。统计上还要看自由度、$R^2$ 的调整、交叉验证等。
5. 把 $\hat{\mathbf{x}}$ 与 $\mathbf{p}$ 的维度搞混。$\hat{\mathbf{x}}\in\mathbb{R}^n$（参数），$\mathbf{p},\mathbf{e},\mathbf{b}\in\mathbb{R}^m$（数据）。示例 1 中 $\hat{\mathbf{x}}$ 是 2 维（$C,D$），而 $\mathbf{p},\mathbf{e}$ 是 3 维（三个时间点）。写成 $P\mathbf{b}=\hat{\mathbf{x}}$ 就完全错了。

思考题（带答案）

Q1.（计算题）用最小二乘拟合直线 $b=C+Dt$ 到数据 $(0,6),(1,0),(2,0)$。求 $C,D$，写出拟合值 $\mathbf{p}$、残差 $\mathbf{e}$ 与残差平方和 $E$，并验证两个正交条件。

Q2.（概念题）设 $A$ 是 $5\times3$、列线性无关，$\mathbf{b}\in\mathbb{R}^5$。判断真假并解释：

(a) 正规方程 $A^{\mathsf T}A\hat{\mathbf{x}}=A^{\mathsf T}\mathbf{b}$ 有唯一解。 (b) 残差 $\mathbf{e}=\mathbf{b}-A\hat{\mathbf{x}}$ 是 $\mathbf{b}$ 在 $\mathrm{N}(A^{\mathsf T})$ 上的投影。 (c) 若 $\mathbf{b}$ 恰好正交于 $C(A)$ 的每一列，则 $E=\vert \mathbf{b}\vert ^2$。 (d) 若把 $\mathbf{b}$ 换成 $\mathbf{b}+\mathbf{c}$ 且 $\mathbf{c}\in C(A)$，则 $\hat{\mathbf{x}}$ 与 $E$ 都不变。

Q3.（计算题）对 L16 主例的数据 $(1,1),(2,2),(3,4)$，请不使用 $P$ 矩阵，仅用统计量验证斜率 $D=\dfrac{\sum(t_i-\bar t)(b_i-\bar b)}{\sum(t_i-\bar t)^2}$ 与由正规方程得到的 $D=3/2$ 一致，并求出截距 $C$。