Lecture 27: Positive Definite Matrices and Minima

目录 · ← l24 · l26 →

Lecture 27: Positive Definite Matrices and Minima

概述

前几讲我们已经建立了对称矩阵的两大武器:正交对角化 $A = Q\Lambda Q^{\mathsf T}$,以及正定性的四个等价判据。本讲把正定性从一个”代数标签”变成几何与优化语言:正定矩阵 $A$ 对应的二次型 $x^{\mathsf T}Ax$ 是一个”碗”,它的图像有唯一的谷底;而 $A$ 一旦不是正定,谷底要么变成一条平坦的沟(半正定),要么变成马鞍形的鞍点(不定)。

核心问题只有一个:二次函数 $f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{x} + c$ 什么时候有极小点?极小点在哪里?极小值是多少? 答案完全由 $A$ 的正定性决定:$A$ 正定 $\iff$ 临界点 $\mathbf{x}^* = -\frac12 A^{-1}\mathbf{b}$ 是唯一的全局极小点。

方法是”配方 + 消元 + 梯度“三件套:配料给出平方项系数(正是主元),消元给出主元符号(正是正定判据),梯度给出极小点位置。本讲位于课程的转折处:讲次 25 建立正定的四个判据,讲次 27 让它们”落地”到极小值,讲次 28、29 继续走向 Jordan 与 SVD。

核心概念的几何直觉

正定的四个等价判据(回顾,本讲的出发点)

  • 定义与目的:实对称矩阵 $A$($n\times n$)称为正定(positive definite),若对一切 $\mathbf{x}\neq \mathbf{0}$ 都有 $\mathbf{x}^{\mathsf T}A\mathbf{x} > 0$。四个等价判据:

    所有特征值 $\lambda_i > 0$;

    所有顺序主子式(leading principal minors) $> 0$:即 $\det A_1 = a_{11} > 0$,$\det A_2 = \begin{vmatrix} a_{11} & a_{12}\\ a_{21} & a_{22}\end{vmatrix} > 0$,$\dots$,$\det A_n = \det A > 0$;

    消元后所有主元(pivots) $> 0$(且消元过程不需要换行);

    ④ 可写成 $A = R^{\mathsf T}R$,其中 $R$ 为可逆方阵(Cholesky 分解的雏形)。

  • 几何直觉(它在空间中是什么样子?):$x^{\mathsf T}Ax$ 是”沿方向 $\mathbf{x}$ 的二次能量”。正定意味着每个方向的能量都为正:曲面 $z = x^{\mathsf T}Ax$ 是一个开口向上的碗,原点在碗底。四个判据其实是同一件事的四种”读法”:① 读特征方向(主轴都是上升的);② 读行列式(每个维度的”体积缩放”都为正,形状不被翻转);③ 读消元(每一步消元后剩下的仍是同类型的碗);④ 读分解($A = R^{\mathsf T}R$,$R\mathbf{x}=\mathbf{0}$ 只有零解,故 $\vert R\mathbf{x}\vert ^2 = \mathbf{x}^{\mathsf T}R^{\mathsf T}R\mathbf{x} > 0$)。

  • 具体示例:$A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix}$。特征值 $1, 3 > 0$;顺序主子式 $2 > 0$,$\det A = 3 > 0$;消元主元 $2, \frac32 > 0$。三个判据一致地宣布:正定。

本讲聚焦的桥梁:判据 ②③ 与极小值的关系

  • 定义与目的:本讲不满足于”判断正定”,而要它。判据 ③(主元为正)与”配方”是同一件事,而配方直接把 $x^{\mathsf T}Ax$ 写成平方和;判据 ②(顺序主子式为正)则给出一个不用求特征值、不用做消元的快速检验法,对 2×2、3×3 手算尤其方便。
  • 几何直觉:顺序主子式 $>0$ 意味着”每一个嵌套的子碗都是向上的碗“。$A_1$ 是限制在第 1 个坐标轴上的碗,$A_2$ 是限制在前 2 个坐标平面上的碗……如果每一层切片都是往上的碗,整个 $n$ 维图形就不可能在某处翻下去。反之,只要某一层切片翻了(某个顺序主子式 $\le 0$),整个矩阵就不可能是正定的。
  • 具体示例:$A = \begin{bmatrix} 1 & 3\\ 3 & 1\end{bmatrix}$:$a_{11} = 1 > 0$ 但 $\det A = 1 - 9 = -8 < 0$,第二个顺序主子式就翻号了 $\Rightarrow$ 非正定(实际是不定)。

二次型与极小值:碗底在哪里

  • 定义与目的:给定对称正定 $A$、向量 $\mathbf{b}$、常数 $c$,研究 \(f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{x} + c .\) 目标是求 $\min f$ 与取到最小值的 $\mathbf{x}^*$。
  • 几何直觉:$x^{\mathsf T}Ax$ 决定”碗的形状”,$\mathbf{b}^{\mathsf T}x$ 是一个倾斜项(线性项),它把碗底从原点搬走。搬到哪里?搬到梯度为零的地方。
  • 具体示例:见下一节的完整手算(b)。

为什么四个判据是一回事:Rayleigh 商视角

  • 定义与目的:Rayleigh 商 $R(\mathbf{x}) = \dfrac{\mathbf{x}^{\mathsf T}A\mathbf{x}}{\mathbf{x}^{\mathsf T}\mathbf{x}}$($\mathbf{x}\neq\mathbf{0}$)是把二次型”归一化”后的标量,它的取值只与方向有关、与长度无关。
  • 几何直觉:$R(\mathbf{x})$ 可视为”沿方向 $\mathbf{x}$ 的平均曲率”。对称矩阵的谱定理给出 \(\lambda_{\min} \le R(\mathbf{x}) \le \lambda_{\max},\) 且等号分别在 $\mathbf{x}$ 取最小 / 最大特征值对应的特征向量时达到(讲次 29 比较 $\sigma$ 与 $\lambda$ 时还会用到这个工具)。
  • 四判据的贯通:于是 \(\text{正定} \iff \min_{\mathbf{x}\neq\mathbf{0}} R(\mathbf{x}) > 0 \iff \lambda_{\min} > 0 \iff \text{所有 }\lambda_i>0 \ \text{(判据 ①)}.\) 再者 $\lambda_{\min}>0$ $\iff$ $\det A=\prod\lambda_i>0$ 每个嵌套子块 $A_k$(限制在前 $k$ 个坐标上的对称子矩阵)的最小特征值也为正 —— 后者就是所有顺序主子式 $>0$(判据 ②)。消元是”逐个坐标地做同样的事”,主元 $d_k$ 正是第 $k$ 步残余的 $1\times1$ 二次型系数,故 $d_k>0$(判据 ③)。最后 $A=R^{\mathsf T}R$ 把 $R(\mathbf{x})$ 变成 $\dfrac{\vert R\mathbf{x}\vert ^2}{\vert \mathbf{x}\vert ^2}>0$(判据 ④)。四条路通向同一个不等式。
  • 具体示例:$A=\begin{bmatrix}2&-1\\-1&2\end{bmatrix}$,$\lambda_{\min}=1$,故在单位圆上 $R(\mathbf{x})\ge 1$,最小值在 $\mathbf{x}=\pm\frac{1}{\sqrt2}(1,1)^{\mathsf T}$ 处取到(长轴方向)。

椭球 $x^{\mathsf T}Ax=1$:正定矩阵的”身份证照片”

  • 定义与目的:正定 $A$ 把单位球面 $\vert \mathbf{x}\vert =1$ 映射为一个椭球(ellipsoid)。写成 $x^{\mathsf T}Ax=1$ 后,这个椭球的性质完全由 $\lambda_i$ 决定。
  • 几何直觉(它在空间中是什么样子?):用 $A=Q\Lambda Q^{\mathsf T}$ 做变量替换 $\mathbf{y}=Q^{\mathsf T}\mathbf{x}$(纯旋转,不改变形状),方程变成 \(\lambda_1y_1^2 + \lambda_2y_2^2 + \cdots + \lambda_ny_n^2 = 1 .\) 这就是标准椭球:主轴方向 = 特征向量方向($Q$ 的列)第 $i$ 个半轴长 = $1/\sqrt{\lambda_i}$
  • 关键洞察:$\lambda_i$ 越大,半轴 $1/\sqrt{\lambda_i}$ 越。为什么?因为 $x^{\mathsf T}Ax$ 是”能量”,沿 $\lambda$ 大的方向能量增长极快,只需要很小的位移就能把能量凑到 $1$,所以那个方向很短。反之 $\lambda_i$ 接近 $0$ 的方向能量增长慢,是长轴
  • 三种情形的图像分类
    • 全部 $\lambda_i>0$(正定)$\Rightarrow$ 椭球($n=2$ 时椭圆):有界闭曲面,包围原点。
    • $\lambda$ 有正有负(不定)$\Rightarrow$ 双曲面($n=2$ 时双曲线):无界,两叶张开,既有上升方向又有下降方向。
    • 某个 $\lambda_i=0$(半正定奇异)$\Rightarrow$ 柱面:沿该零特征方向方程完全不含该变量($x^{\mathsf T}Ax$ 对它无感),曲面沿此方向平移不变,像一根无限长的管子。 这三种情形与”极小值是否存在/是否唯一”是同一件事的两面:椭球 $\to$ 唯一谷底;双曲面 $\to$ 鞍点;柱面 $\to$ 一条平坦谷底直线。
   x^T A x = 1 的三种图像  (2 维)

   (1) 正定 A=[2 -1;-1 2]      (2) 不定 A=[1 0;0 -1]       (3) 半正定 A=[1 1;1 1]
       lambda = 1, 3               lambda = 1, -1              lambda = 2, 0
       半轴 1/sqrt1=1.000           x1^2 - x2^2 = 1             (x1+x2)^2 = 1
       半轴 1/sqrt3=0.577           两支双曲线                  两条平行直线

          \\   |   //                  \\       //               \  \  \  \  \
        ---\\--+--//---              ---\\---//---                \  \  \  \  \
            ( )  <- 有界椭圆              \\ //   <- 鞍形             \  \  \  \  \
        ---//--+--\\---                 // \\                      /  /  /  /  /
          //   |   \\                  //   \\                    /  /  /  /  /
                                             无界,两叶           柱面,沿 (1,-1) 平移不变
   有界、无平坦方向、min 唯一    有上升也有下降、鞍点      无界、有平坦方向、min 不唯一

微积分视角(回扣 18.02):正定就是”二阶导数 > 0”的 $n$ 维版本

  • 定义与目的:微积分里判断极值分两步:一阶必要条件 $\nabla f=\mathbf{0}$(临界点);二阶充分条件 Hessian 矩阵正定 $\Rightarrow$ 严格局部极小,Hessian 负定 $\Rightarrow$ 严格局部极大,Hessian 不定 $\Rightarrow$ 鞍点,Hessian 奇异 $\Rightarrow$ 二阶判别法失效(需看更高阶项)。
  • 几何直觉:一维时 $f^{\prime\prime}(x)>0$ 表示曲线向上弯(碗形),$f^{\prime\prime}(x_0)<0$ 表示向下弯,$f^{\prime\prime}=0$ 表示”看不出弯”。多元时”往哪个方向弯”要分方向看,而 Hessian 正定恰好是所有方向的二阶导数都为正这件事的统一陈述:对任意方向单位向量 $\mathbf{u}$, \(\frac{d^2}{dt^2}f(\mathbf{x}_0+t\mathbf{u})\Big\vert _{t=0} = \mathbf{u}^{\mathsf T}H\mathbf{u} > 0 \iff H \text{ 正定}.\) 这正是正定定义的原始形式(对一切非零 $\mathbf{x}$,$\mathbf{x}^{\mathsf T}H\mathbf{x}>0$)。
  • 具体示例:$f(x,y) = x^2 + xy + y^2$。梯度 $\nabla f = (2x+y,\ x+2y)$,令其为零得唯一临界点 $(0,0)$。Hessian \(H = \begin{bmatrix} f_{xx} & f_{xy}\\ f_{yx} & f_{yy}\end{bmatrix} = \begin{bmatrix} 2 & 1\\ 1 & 2\end{bmatrix},\qquad \det H = 3 > 0,\ a_{11} = 2 > 0 \Rightarrow H \text{ 正定}.\) 故 $(0,0)$ 是严格局部极小点;又因为二次项正定使 $f$ 强制($f\to+\infty$ 当 $\vert \mathbf{x}\vert \to\infty$),它还是唯一全局极小点,$f_{\min}=0$。特征值 $3, 1$($\operatorname{tr}=4$,$\det=3$)都为正,与判据 ① 一致;沿短轴 $(1,-1)/\sqrt2$ 方向 $f$ 弯曲得”慢”($\lambda=1$ 是长轴),沿 $(1,1)/\sqrt2$ 弯得”快”($\lambda=3$ 是短轴)。
  • 与 18.02 的差别:18.02 的 $D = f_{xx}f_{yy}-f_{xy}^2 > 0$ 判据其实就是 $2\times2$ 的 $\det H$:$D>0$ 且 $f_{xx}>0$ 就是”两个顺序主子式 $>0$”,正是判据 ② 的 $n=2$ 特例。所以本讲不是新东西,而是把大一的判别法推到任意维。

最小二乘的联系:”正定 $\Rightarrow$ 唯一的极小点”正是最小二乘有唯一解的深层原因

  • 定义与目的:讲次 16 的核心问题是:当 $A\mathbf{x}=\mathbf{b}$ 无解($\mathbf{b}\notin C(A)$)时,最小化误差平方 \(E(\mathbf{x}) = \vert A\mathbf{x}-\mathbf{b}\vert ^2 = (A\mathbf{x}-\mathbf{b})^{\mathsf T}(A\mathbf{x}-\mathbf{b}).\) 现在用本讲的机器重做一遍。
  • 推导:展开 \(E(\mathbf{x}) = \mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x} - \mathbf{x}^{\mathsf T}A^{\mathsf T}\mathbf{b} - \mathbf{b}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{b} = \mathbf{x}^{\mathsf T}(A^{\mathsf T}A)\mathbf{x} - 2\mathbf{b}^{\mathsf T}A\mathbf{x} + \|\mathbf{b}\|^2 .\) 这是一个标准二次型:二次项矩阵是 $A^{\mathsf T}A$,一次项向量是 $\mathbf{b}_{\text{new}} = -2A^{\mathsf T}\mathbf{b}$。求梯度(用 $\nabla(\mathbf{x}^{\mathsf T}M\mathbf{x}) = (M+M^{\mathsf T})\mathbf{x}$,这里 $M = A^{\mathsf T}A$ 对称): \(\nabla E = 2A^{\mathsf T}A\mathbf{x} - 2A^{\mathsf T}\mathbf{b} = 2A^{\mathsf T}(A\mathbf{x}-\mathbf{b}) .\) 令其为零,立刻得到正规方程(normal equations) \(A^{\mathsf T}A\,\hat{\mathbf{x}} = A^{\mathsf T}\mathbf{b}\ \Longrightarrow\ \hat{\mathbf{x}} = (A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}.\) 这与讲次 16 从”误差向量垂直于列空间”推出的结果完全一致 —— 两条路殊途同归。
  • 为什么 $A^{\mathsf T}A$ 总是半正定:对任意 $\mathbf{x}$, \(\mathbf{x}^{\mathsf T}(A^{\mathsf T}A)\mathbf{x} = (A\mathbf{x})^{\mathsf T}(A\mathbf{x}) = \vert A\mathbf{x}\vert ^2 \ge 0 .\) 这是恒等式,不依赖任何条件 —— $A^{\mathsf T}A$ 半正定是白送的。
  • 为什么列无关时正定:$\vert A\mathbf{x}\vert ^2 = 0 \iff A\mathbf{x}=\mathbf{0} \iff \mathbf{x}=\mathbf{0}$(零空间只有零向量)$\iff$ $A$ 的列线性无关。所以 \(A^{\mathsf T}A \text{ 正定} \iff \operatorname{rank}A = n \iff N(A)=\{\mathbf{0}\} .\) (注意 $A^{\mathsf T}A$ 是 $n\times n$,$n$ 是列数;即使 $A$ 是”高瘦”的 $m\times n$ 且 $m>n$ 也可能正定。)
  • 结论(本讲最重要的回扣):$E(\mathbf{x})$ 是一个二次项为 $A^{\mathsf T}A$ 的二次函数。$A^{\mathsf T}A$ 半正定 $\Rightarrow$ $E$ 有下界、没有下降到 $-\infty$ 的方向;$A^{\mathsf T}A$ 正定 $\Rightarrow$ 唯一全局最小点 $\hat{\mathbf{x}}$。“正定 $\Rightarrow$ 极小点唯一”就是最小二乘有唯一解的深层原因 —— 最小二乘的唯一性不只是几何巧合(”垂线只有一条”),而是正定二次型的极小点定理的直接推论。顺便,最小值也可用关键要点 2 的公式算出:$E(\hat{\mathbf{x}}) = \vert \mathbf{b}\vert ^2 - \mathbf{b}^{\mathsf T}A(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b} = \vert \mathbf{b}\vert ^2 - \vert P\mathbf{b}\vert ^2 = \vert (I-P)\mathbf{b}\vert ^2$,正是误差向量的长度平方。
  • 半正定的边界情形:若 $A$ 的列相关($\operatorname{rank}A<n$),则 $A^{\mathsf T}A$ 奇异,沿 $N(A)$ 方向 $E$ 完全平坦,解不唯一(无穷多最小二乘解),此时必须用伪逆 $A^{+}$ 挑出最小范数解 —— 这是讲次 33 的主题。这与示例 (d) 的”平坦山谷”是同一个现象。

应用:正定性如何出现在真实问题里

  • 弹簧-质点系统的势能:$n$ 个质点由弹簧串联,势能 $V(\mathbf{x}) = \frac12\mathbf{x}^{\mathsf T}K\mathbf{x}$,$K$ 是刚度矩阵(对称,且往往是三对角的,如 Q2)。平衡的稳定性完全由 $K$ 的正定性决定:$K$ 正定 $\Rightarrow$ 势能是碗,位移后能量上升,回复力把它拉回来 $\Rightarrow$ 稳定平衡;$K$ 半正定奇异(例如整条链可以整体刚性平移而弹簧不变形)$\Rightarrow$ 存在零频模态(刚体运动),平衡仍在但不唯一(一族平衡位置),振动方程 $\ddot{\mathbf{x}} = -M^{-1}K\mathbf{x}$ 出现 $\omega=0$ 的解;$K$ 不定 $\Rightarrow$ 存在让势能下降的方向 $\Rightarrow$ 不稳定平衡,系统会自发跑掉。这里的”零特征值方向 = 平坦方向 = 零频模态 = 刚体运动”是完全同构的四件事。
  • 信赖域优化(trust region):最小化 $f$ 时,在信赖域内用二次模型 $m(\mathbf{p}) = f + \mathbf{g}^{\mathsf T}\mathbf{p} + \frac12\mathbf{p}^{\mathsf T}B\mathbf{p}$ 近似,$\mathbf{p}$ 是步长,$B$ 是 Hessian 的近似。BFGS 等拟牛顿法刻意强制 $B$ 正定,以保证模型有唯一的极小步长、算法总有下降方向。若 $B$ 不定,模型可到 $-\infty$,必须加约束 $\vert \mathbf{p}\vert \le\Delta$ 才有意义 —— 这个约束球在 $B$ 的坐标下被拉成椭球。
  • 统计学中的协方差矩阵:协方差矩阵 $\Sigma = \mathbb{E}[(\mathbf{X}-\boldsymbol\mu)(\mathbf{X}-\boldsymbol\mu)^{\mathsf T}]$ 恒半正定,因为 \(\mathbf{v}^{\mathsf T}\Sigma\mathbf{v} = \mathbb{E}\big[(\mathbf{v}^{\mathsf T}(\mathbf{X}-\boldsymbol\mu))^2\big] \ge 0 .\) 这与 $A^{\mathsf T}A$ 的证明结构一模一样(期望 $\leftrightarrow$ 求和)。$\mathbf{X}$ 的分量线性无关时 $\Sigma$ 正定、可逆;有完全线性相关的分量时 $\Sigma$ 奇异(概率质量集中在一个低维子空间上),此时多元高斯密度退化,马氏距离必须用伪逆。多元高斯的密度里出现的 $\vert \Sigma\vert ^{-1/2}$ 与 $\exp(-\frac12(\mathbf{x}-\boldsymbol\mu)^{\mathsf T}\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu))$,其等高线就是本讲的椭球,$\Sigma$ 的特征向量是主成分方向。
  • 神经网络损失函数的 Hessian:损失 $L(\boldsymbol\theta)$ 的 Hessian 巨大且不显式构造,只用来分析地形:$H$ 正定处是严格局部极小(”盆地”);存在负特征值的方向是鞍点(在高维里鞍点远多于局部极小);$\lambda\approx 0$ 的方向是平坦方向(参数几乎不影响损失,是泛化性的研究热点)。实际计算只用 Hessian-向量积 $H\mathbf{v}$ 与少数极端特征值(幂法 / Lanczos),本质仍是本讲的谱分解。

计算步骤与手算演示

示例 (a):齐次二次型 + 配方法(与消元的同一性)

取 \(A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix},\qquad f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} = 2x_1^2 - 2x_1x_2 + 2x_2^2 .\)

步骤 1:先做消元,记录主元。 \(A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix} \xrightarrow{\ \text{row}_2 - (-\tfrac12)\text{row}_1\ } \begin{bmatrix} 2 & -1\\ 0 & \tfrac32\end{bmatrix} = U .\) 乘子 $\ell_{21} = -\frac12$,两个主元是 $d_1 = 2$,$d_2 = \frac32$。即 $A = LU$,$L = \begin{bmatrix} 1 & 0\\ -\frac12 & 1\end{bmatrix}$。

步骤 2:独立地做配方(把交叉项吸收进第一个平方)。 \(f = 2x_1^2 - 2x_1x_2 + 2x_2^2 = 2\Big(x_1^2 - x_1x_2\Big) + 2x_2^2 = 2\Big(x_1 - \frac{x_2}{2}\Big)^2 - \frac{x_2^2}{2} + 2x_2^2 = 2\Big(x_1 - \frac{x_2}{2}\Big)^2 + \frac{3}{2}x_2^2 .\)

步骤 3:核对恒等式。 展开右侧:$2\big(x_1^2 - x_1x_2 + \frac{x_2^2}{4}\big) + \frac32 x_2^2 = 2x_1^2 - 2x_1x_2 + \frac12 x_2^2 + \frac32 x_2^2 = 2x_1^2 - 2x_1x_2 + 2x_2^2$。与原式逐项相同。

【计算机制解说】:平方项系数 $2$ 与 $\frac32$ 正好就是消元的主元 $d_1, d_2$。这不是巧合:消元 $A = LDL^{\mathsf T}$(对称情形,$D$ 为对角主元阵)与配方给出的是同一个表达式: \(x^{\mathsf T}Ax = d_1\Big(x_1 + \ell_{21}x_2\Big)^2 + d_2 x_2^2 .\) 这里 $d_1 = 2$,$\ell_{21} = -\frac12$,所以第一项是 $2\big(x_1 - \frac12 x_2\big)^2$ —— 与配方结果完全一致。因此”配方法与消元是同一件事“:配方的系数就是主元,配方的括号就是消元的乘子。由此立刻得到理论推论:$x^{\mathsf T}Ax>0$(对所有 $\mathbf{x}\neq\mathbf{0}$)$\iff$ 所有主元 $d_i > 0$ $\iff$ 所有平方项系数为正,这正是判据 ③。

步骤 4:读出极小点与几何形状。 两个平方项都非负且可同时为零 $\iff$ $x_1 - \frac12 x_2 = 0$ 且 $x_2 = 0$ $\iff$ $\mathbf{x}^* = (0,0)$。极小值 $f(\mathbf{x}^*) = 0$。等高线 $f = c \,(c>0)$ 是一族同心椭圆

       等高线 f = 2x1^2 - 2x1x2 + 2x2^2 = c  (A = [2 -1; -1 2], 正定 -> 椭圆)

                     x2
                      ^
              .  .  . | .  .  .
           .        . | .        .
          .          .|.          .
        . ------------*------------ .   <- 椭圆长轴沿 (1,1)
          .          .|.          .
           .        . | .        .
              .  .  . | .  .  .
                      |
        --------------+--------------> x1
                      |

   主轴方向 = 特征向量 (1,1)/sqrt2 (lambda=1), (1,-1)/sqrt2 (lambda=3)
   半轴长   = 1/sqrt(lambda) :  沿 (1,1) 长 1/sqrt1 = 1.000  (长轴)
                                沿 (1,-1) 长 1/sqrt3 = 0.577  (短轴)
   lambda 越大 -> 该方向越"短"(大的二次型被更快地压到 1)

示例 (b):含一次项的二次型(真正的极小值问题)

取 \(A = \begin{bmatrix} 1 & 1\\ 1 & 3\end{bmatrix},\qquad \mathbf{b} = \begin{bmatrix} -4\\ -8\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 + 2x_1x_2 + 3x_2^2 - 4x_1 - 8x_2 .\) (核对:$\mathbf{x}^{\mathsf T}A\mathbf{x} = x_1^2 + x_1x_2 + x_1x_2 + 3x_2^2$ ✓;$\mathbf{b}^{\mathsf T}\mathbf{x} = -4x_1 - 8x_2$ ✓。)

步骤 1:先判正定(用判据 ② + ③)。 顺序主子式:$\det A_1 = 1 > 0$,$\det A_2 = 1\cdot 3 - 1\cdot 1 = 2 > 0$。消元:$\begin{bmatrix} 1 & 1\\ 1 & 3\end{bmatrix} \to \begin{bmatrix} 1 & 1\\ 0 & 2\end{bmatrix}$,主元 $1, 2 > 0$。特征值为 $2 \pm \sqrt2 \approx 3.414,\ 0.586 > 0$。$A$ 正定 ⟹ 存在唯一全局极小点。

步骤 2:推导梯度(本讲最核心的公式)。 把 $f$ 写开:$f(\mathbf{x}) = \sum_{i,j} a_{ij}x_ix_j + \sum_i b_ix_i + c$。对 $x_k$ 求偏导: \(\frac{\partial}{\partial x_k}\Big(\sum_{i,j}a_{ij}x_ix_j\Big) = \sum_j a_{kj}x_j + \sum_i a_{ik}x_i = (A\mathbf{x})_k + (A^{\mathsf T}\mathbf{x})_k .\) 所以一般情形($A$ 不必对称) \(\nabla f = (A + A^{\mathsf T})\mathbf{x} + \mathbf{b},\) 而当 $A$ 对称时 $A + A^{\mathsf T} = 2A$,于是 \(\boxed{\ \nabla f = 2A\mathbf{x} + \mathbf{b}\ }\) (Hessian 矩阵是二阶偏导组成的矩阵:$\nabla^2 f = A + A^{\mathsf T}$,对称时 $= 2A$。)

步骤 3:令梯度为零。 \(2A\mathbf{x}^* + \mathbf{b} = \mathbf{0}\ \Longrightarrow\ A\mathbf{x}^* = -\frac{\mathbf{b}}{2}\ \Longrightarrow\ \mathbf{x}^* = -\frac12 A^{-1}\mathbf{b}.\) 一维类比:$f = ax^2 + bx + c$,$f^{\prime} = 2ax + b = 0 \Rightarrow x^* = -\frac{b}{2a}$ —— 正是同一个公式的 $1\times 1$ 版本。$a>0$(正定)给出极小,$a<0$ 给出极大,$a=0$ 时退化为直线(无唯一极值点)。

步骤 4:代入数值求解。 $-\mathbf{b}/2 = \begin{bmatrix} 2\\ 4\end{bmatrix}$,解 \(\begin{cases} x_1 + x_2 = 2\\ x_1 + 3x_2 = 4\end{cases} \Longrightarrow 2x_2 = 2 \Longrightarrow x_2 = 1,\ x_1 = 1 .\) 故 $\mathbf{x}^* = \begin{bmatrix} 1\\ 1\end{bmatrix}$。

步骤 5:验算极小值。 \(f(\mathbf{x}^*) = 1 + 2\cdot 1\cdot 1 + 3 - 4 - 8 = 1 + 2 + 3 - 4 - 8 = -6 .\) 用”配方视角”复核:$f = (\mathbf{x}-\mathbf{x}^)^{\mathsf T}A(\mathbf{x}-\mathbf{x}^) + f(\mathbf{x}^*)$,即 \(f = (x_1-1)^2 + 2(x_1-1)(x_2-1) + 3(x_2-1)^2 - 6 .\) 在 $\mathbf{x}=(1,1)$ 处二次项全消,只剩 $-6$;二次项部分正定,故 $-6$ 是全局最小值。

【计算机制解说】:注意 $\mathbf{x}^* = -\frac12A^{-1}\mathbf{b}$ 与最小二乘的正规方程 $\mathbf{x}^* = (A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$ 长得极像,差别只在系数。原因见下节”最小二乘的联系”:最小二乘是把 $\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 展开成一个二次型,其”二次项矩阵”是 $A^{\mathsf T}A$、”一次项向量”是 $-2A^{\mathsf T}\mathbf{b}$;代入 $-\frac12 A^{-1}\mathbf{b}$ 的通式就得到 $(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$。同一个公式,两处出现——这说明”正定二次型极小化”是整门课反复回响的主旋律。

示例 (c):鞍点(不定矩阵)

取 \(A = \begin{bmatrix} 1 & 0\\ 0 & -1\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 - x_2^2 .\) 特征值 $\lambda = 1, -1$(符号不同)$\Rightarrow$ 不定(indefinite)。沿 $x_1$ 方向 $f = x_1^2 \to +\infty$(上升),沿 $x_2$ 方向 $f = -x_2^2 \to -\infty$(下降)。原点处 $\nabla f = (2x_1, -2x_2) = \mathbf{0}$ 是临界点,但它既不是极小也不是极大,而是鞍点(saddle point)。等高线 $x_1^2 - x_2^2 = c$ 是双曲线族

      三大等高线形态对比 (A 的正定性决定一切)

   (1) 正定 lambda>0        (2) 不定 lambda 有正有负     (3) 半正定 lambda=0
       同心椭圆                  双曲线                   平行直线(山谷)

        . - . - .                \       /                | | | | | |
      .             .             \     /                 | | | | | |
     .       *       .   <- 谷底   \   /   <- 鞍点         | | | | | |
      .             .             /   \                  | | | | | |
        . - . - .                /     \                 | | | | | |
                                /       \                | | | | | |
   A=[2 -1;-1 2]             A=[1 0;0 -1]              A=[1 1;1 1]
   min 唯一, 有界下界         既有上升又有下降方向        f=(x1+x2)^2,
   f=x^T A x >= 0             f 可取 +/- 任意大          谷底是一条直线

再取一个”陷阱型”例子: \(A = \begin{bmatrix} 1 & 3\\ 3 & 1\end{bmatrix},\qquad \det A = 1 - 9 = -8 < 0 .\) $\operatorname{tr}A = 2$,解 $\lambda^2 - 2\lambda - 8 = 0$ 得 $\lambda = 4, -2$(符号相反)$\Rightarrow$ 不定,鞍点。注意两个对角元 $1, 1$ 都是正的,但矩阵并不正定 —— 这是最经典的误区(见后文误区 ③)。$\det A<0$ 对 2×2 是”不定”的充分必要条件(因为 $\det = \lambda_1\lambda_2 < 0$ 意味着 $\lambda$ 反号)。

示例 (d):半正定 / 奇异情形(极小点不唯一)

取 \(A = \begin{bmatrix} 1 & 1\\ 1 & 1\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 + 2x_1x_2 + x_2^2 = (x_1 + x_2)^2 \ge 0 .\)

  • 特征值:$\lambda = 2, 0$($\operatorname{tr}=2$,$\det=0$)$\Rightarrow$ 半正定但奇异
  • 顺序主子式:$\det A_1 = 1 > 0$,$\det A_2 = 0$ —— 判据 ② 要求严格 $>0$,第二个为 $0$ 故不正定。
  • 消元:$\begin{bmatrix} 1 & 1\\ 1 & 1\end{bmatrix} \to \begin{bmatrix} 1 & 1\\ 0 & 0\end{bmatrix}$,主元 $1, 0$ —— 有零主元,不可逆。
  • 极小点:$f = 0$ 达到最小值,条件只有 $x_1 + x_2 = 0$,即整条直线 $x_2 = -x_1$ 上每一点都是极小点。极小点不唯一
  • 几何:等高线 $f=c$ 是一对平行直线 $x_1 + x_2 = \pm\sqrt{c}$;曲面 $z=(x_1+x_2)^2$ 是一个抛物柱面 —— 沿方向 $(1,-1)$(零特征方向)完全平坦,是”山谷的谷底直线”。

示例 (e):3×3 的完整流程(弹簧链,把 (a)–(d) 的机制放大一维)

取 \(A = \begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix},\qquad f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} = 2x_1^2 + 2x_2^2 + 2x_3^2 - 2x_1x_2 - 2x_2x_3 .\) (核对:非对角项 $a_{12}=a_{21}=-1$ 贡献 $-2x_1x_2$;$a_{23}=a_{32}=-1$ 贡献 $-2x_2x_3$;$a_{13}=0$ ✓。)

步骤 1(判据 ②)顺序主子式:$\det A_1 = 2 > 0$;$\det A_2 = 4-1 = 3>0$;$\det A_3 = 2(4-1) - (-1)(-2-0) + 0 = 6-2 = 4>0$。全为正 $\Rightarrow$ 正定。

步骤 2(判据 ③)消元:第 1 步乘子 $\ell_{21}=-\frac12,\ \ell_{31}=0$,得 $\begin{bmatrix}2&-1&0\\0&\frac32&-1\\0&-1&2\end{bmatrix}$;第 2 步乘子 $\ell_{32} = -1/\frac32 = -\frac23$,得主元 $d_3 = 2 - \frac23 = \frac43$。主元 $2,\ \frac32,\ \frac43$ 全为正。

步骤 3(判据 ②③ 的换算关系):$d_2 = \det A_2/\det A_1 = 3/2$ ✓,$d_3 = \det A_3/\det A_2 = 4/3$ ✓。

步骤 4(配方 / 判据 ④): \(f = 2\Big(x_1-\tfrac12x_2\Big)^2 + \tfrac32\Big(x_2-\tfrac23x_3\Big)^2 + \tfrac43x_3^2 .\) 三个平方项系数 $2, \frac32, \frac43$ 正是三个主元;括号正是消元的乘子。极小点在 $\mathbf{x}^*=\mathbf{0}$,$f_{\min}=0$。

物理含义:这是三个质点串成的弹簧链(两端固定)的势能。$A$ 正定意味着链没有刚体自由度,唯一平衡位置是全部位移为零,且这个平衡是稳定的(任何非零位移都使势能上升)。若把 $a_{33}$ 从 $2$ 降到 $\frac23$,则 $d_3 = 0$、$\det A_3 = 0$,$A$ 变成半正定奇异,出现零频模态 —— 与 3×3 的 Q2(d) 是同一实验。

【计算机制解说】:3×3 的步骤与 2×2 完全同构:每做一次消元,就”钉死”一个坐标方向,剩下的子问题仍是同类型的二次型。这正是归纳法的物理图像 —— 判据 ② 之所以要检查所有顺序主子式而不是只看总行列式,是因为归纳每一步都需要”当前这个残余子碗仍然朝上”。哪一步翻了号,架构就在那一层失效。

【计算机制解说】:为什么”主元为 $0$”和”极小点不唯一”是同一件事?配方说 $f = d_1(\text{括号}1)^2 + d_2(\text{括号}_2)^2 + \cdots$,每个平方项的系数就是主元。如果某个 $d_k = 0$,对应的配方括号在 $f$ 中完全消失 —— 这个括号里的线性组合可以任意取值而不改变 $f$。而”括号”恰好是消元的一行,令所有括号为零得到的方程组就是 $L^{\mathsf T}\mathbf{x}$ 的一串约束;某个括号缺席,就少了一个约束,解集便从一个点膨胀成一条直线(或平面)。同时 $\det A = d_1d_2\cdots d_n = 0$,$A$ 不可逆,$N(A)$ 非零,零空间方向就是平坦方向。主元 $d_k$ 的三种符号各有身份:$d_k>0$ 该方向”向上弯”;$d_k<0$ 该方向”向下弯”;$d_k=0$ 该方向”不弯”(直线或平面)。顺便,$d_k = \det A_k/\det A{k-1}$($A_k$ 是左上角 $k\times k$ 块),所以判据 ② 与判据 ③ 说的是同一句话 —— 这也解释了为什么它们必须同时成立或同时失效;对本例,$\det A_1 = 1$,$\det A_2 = 0$,于是 $d_2 = 0/1 = 0$。

矩阵分解的核心思想

本讲的四种分解,是”正定性”的四种不同分身:

1. $A = R^{\mathsf T}R$(Cholesky 分解)——判据 ④ 的实体

  • 形式:$A$ 正定 $\iff$ 存在上三角可逆矩阵 $R$ 使 $A = R^{\mathsf T}R$。若要求 $R$ 的对角元为正,$R$ 唯一(Cholesky 因子),写作 $A = R^{\mathsf T}R$ 且 $R = D^{1/2}L^{\mathsf T}$。
  • 含义:$\mathbf{x}^{\mathsf T}A\mathbf{x} = \vert R\mathbf{x}\vert ^2$。二次型的值变成”一个向量长度的平方”——非负是显然的,而正定($>0$ 严格)等价于 $R\mathbf{x}=\mathbf{0}$ 只有零解,即 $R$ 可逆。
  • 揭示的结构:消元不需要换行、主元全为正;$R$ 的对角元依次是 $\sqrt{d_i}$($d_i$ 为主元)。
  • 应用:数值求解、生成相关随机向量、最小二乘的稳定实现。验证:$A=\begin{bmatrix}2&-1\\-1&2\end{bmatrix} = R^{\mathsf T}R$ 取 $R = \begin{bmatrix}\sqrt2 & -\frac{1}{\sqrt2}\\ 0 & \sqrt{3/2}\end{bmatrix}$,对角元 $\sqrt2, \sqrt{3/2}$ 恰为主元的平方根。

2. $A = Q\Lambda Q^{\mathsf T}$(谱分解 / 正交对角化)——判据 ① 的实体

  • 形式:对称矩阵总可正交对角化,$Q$ 正交($Q^{-1}=Q^{\mathsf T}$),$\Lambda$ 为实对角。
  • 含义:正定 $\iff$ 所有 $\lambda_i>0$。几何上,$Q$ 是”把坐标轴转到主轴方向”的旋转/反射,$\Lambda$ 记录各主轴上的”弯曲程度”。椭球 $x^{\mathsf T}Ax=1$ 的主轴方向就是 $Q$ 的列(特征向量),半轴长 $1/\sqrt{\lambda_i}$。
  • 应用:主成分分析、振动模态、以及讲次 29 SVD 的对称特例。

3. $A = LDL^{\mathsf T}$(对称消元)——判据 ③ 的实体

  • 形式:正定(更一般地,所有顺序主子式非零)时,$A = LDL^{\mathsf T}$,$L$ 单位下三角,$D = \operatorname{diag}(d_1,\dots,d_n)$。
  • 含义:$x^{\mathsf T}Ax = \sum_i d_i (\text{第 }i\text{ 个配方括号})^2$。这就是”配方法”的矩阵写法。
  • 揭示的结构:$A$ 与 $D$ 合同(congruent),正定性是合同的不变量;消元中主元 $d_i$ 就是顺序主子式之比 $d_i = \det A_i/\det A_{i-1}$($A$ 的分块通过 $LU$ 直接对应)。

4. SVD 在正定对称情形退化为谱分解

对正定对称 $A$,$A^{\mathsf T}A = A^2$,奇异值为 $\sigma_i = \lambda_i$($\lambda_i>0$),右/左奇异向量相同:$A = Q\Lambda Q^{\mathsf T}$。正定是对称矩阵中最”良性”的一类:SVD 与特征分解合一,$\sigma_i = \lambda_i > 0$,不需要处理符号问题。

与其他讲次的关联

  • 讲次 25(正定矩阵):本讲直接继承四个判据,并把判据 ②③ 从”判断工具”升级为”极小值的存在性定理”。配方法在那里是技巧,在这里是本体。
  • 讲次 26(复矩阵 / 可选):把转置换成共轭转置,实对称正定推广为 Hermitian 正定,$\mathbf{x}^{*}A\mathbf{x}>0$ 始终为实数,判据形式不变。
  • 讲次 28(相似矩阵与 Jordan):正定是最强的一类”可对角化”,连 Jordan 块的影子都没有(特征值互异不是必需的,但对称保证 $n$ 个正交特征向量);由正定出发再看不那么好的矩阵,反差最清楚。
  • 讲次 29(SVD):椭球半轴 $1/\sqrt{\lambda_i}$ 与奇异值 $\sigma_i$ 的几何含义在此汇合;正定对称时 $\sigma_i = \lambda_i$。
  • 讲次 4(消元 A=LU):本讲的”配方 = 消元”是对讲次 4 的意义升级——消元不只是解方程的工具,主元的符号本身就是二次型的形状信息。
  • 讲次 16(最小二乘):$\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 的极小化就是本讲公式的直接应用,$A^{\mathsf T}A$ 半正定、列满秩时正定。
  • 讲次 20(行列式):顺序主子式 $\det A_i$ 是”前 $i$ 维子空间张成的平行体体积平方”,全为正意味着每一层切片都不翻转。这也解释了 $d_i = \det A_i / \det A_{i-1}$ 的几何来源。

关键要点

  1. 正定的四判据必须一起记:$\lambda_i>0$ $\iff$ 所有顺序主子式 $>0$ $\iff$ 所有主元 $>0$ $\iff$ $A=R^{\mathsf T}R$($R$ 可逆)。它们互为翻译,考试与工程中按方便挑一个用。
  2. 二次函数极小化公式:对对称 $A$, \(\nabla f = 2A\mathbf{x}+\mathbf{b},\qquad \nabla^2 f = 2A,\qquad \mathbf{x}^*=-\tfrac12A^{-1}\mathbf{b},\qquad f(\mathbf{x}^*)=c-\tfrac14\mathbf{b}^{\mathsf T}A^{-1}\mathbf{b}.\) 一维类比 $x^*=-\frac{b}{2a}$ 永远可作记忆锚点。
  3. 正定性 $\Rightarrow$ 唯一全局极小;半正定 $\Rightarrow$ 极小点构成一个平坦子空间(不唯一);不定 $\Rightarrow$ 鞍点;负定 $\Rightarrow$ 唯一全局极大。
  4. 配方 = 消元:$x^{\mathsf T}Ax = \sum_i d_i(\cdots)^2$,平方项系数即主元,括号即消元乘子。这是本讲的”母公式”。
  5. 最小二乘的唯一性根源:$A^{\mathsf T}A$ 半正定(恒成立)、列无关时正定,故正规方程有唯一解 $\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$。

一张”符号表”(把本讲的全部分类压缩成一张表)

  对称矩阵 A 的谱符号  ->  x^T A x 的形状  ->  临界点 x* 的性质  ->  典型例子
  ------------------------------------------------------------------------------
  全部 lambda_i > 0     碗(椭球等高线)    唯一全局极小点        [2 -1; -1 2]
  (正定 positive def.)                      极其小值 = c - b^T A^-1 b / 4

  全部 lambda_i >= 0    碗/槽(柱面)       极小点集合是平坦子空间  [1 1; 1 1]
  含某个 lambda = 0                          (不唯一);若 b 有     (一条直线)
  (半正定 semidef.)                          零特征分量则无下界

  lambda 有正有负       马鞍(双曲线)      鞍点 saddle point     [1 0; 0 -1]
  (不定 indefinite)                         既非极大也非极小       [1 3; 3 1]

  全部 lambda_i < 0     倒扣的碗            唯一全局极大点        [-1 0; 0 -2]
  (负定 negative def.)                      (-A 正定)           det = 2 > 0 !
  ------------------------------------------------------------------------------
  判据速查:lambda>0 | 顺序主子式全>0 | 主元全>0 | A=R^T R (R 可逆)

常见误区与注意事项

  1. 忘记正定必须先对称。”$\mathbf{x}^{\mathsf T}A\mathbf{x}>0$”这个定义只对实对称矩阵使用。对非对称矩阵,$\mathbf{x}^{\mathsf T}A\mathbf{x}$ 只取到 $A$ 的对称部分 $\frac12(A+A^{\mathsf T})$ 的信息(因为反对称部分贡献恒为 0)。例如 $A=\begin{bmatrix}0&1\\-1&0\end{bmatrix}$ 有 $\mathbf{x}^{\mathsf T}A\mathbf{x}\equiv 0$,却谈不上正定。
  2. 把 $\det A>0$ 当成正定判据(严重错误)。$A=\begin{bmatrix}-1&0\\0&-2\end{bmatrix}$:$\det A = 2>0$,但它是负定的。必须要求所有顺序主子式都 $>0$,不只是最后一个。判据中的”顺序”也不能丢:$A=\begin{bmatrix}0&1\\1&0\end{bmatrix}$ 的两个主子式($\det$ 取任意 $1\times1$ 与整体)是 $0$ 和 $-1$,非正定,但若只看 $\det=-1<0$ 会同样错过结构信息。
  3. 把”所有对角元 $>0$”当成充分条件。$A=\begin{bmatrix}1&3\\3&1\end{bmatrix}$ 的对角元 $1,1$ 都为正,但 $\det = -8<0$,是不定的鞍面。对角元为正只是必要(因为 $a_{ii}=\mathbf{e}_i^{\mathsf T}A\mathbf{e}_i>0$),远不充分。
  4. 以为半正定也有唯一极小点。$A=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 时 $f=(x_1+x_2)^2$ 的最小值 $0$ 在整条直线 $x_1+x_2=0$ 上取到。半正定意味着存在平坦方向(零特征向量),极小点集合可能是一条线、一个平面,甚至整个 $\mathbb{R}^n$(若 $A=0$)。
  5. 混淆”局部极小”与”全局极小”。一般可微函数 $\nabla f=0$ + Hessian 正定只给出严格局部极小;只有在 $f$ 是二次函数且 $A$ 正定时,局部极小才自动是唯一全局极小。对非二次函数,Hessian 在临界点正定必须逐点检验,且可能存在多个局部极小。

思考题(带答案)

Q1.(判正定 + 求极小点)设 \(f(x_1,x_2) = 5x_1^2 + 4x_1x_2 + 2x_2^2 - 6x_1 - 4x_2 .\) (a) 写出 $A$ 与 $\mathbf{b}$;(b) 用顺序主子式与主元判断 $A$ 是否正定;(c) 求极小点 $\mathbf{x}^$ 与极小值 $f(\mathbf{x}^)$。

答案 **(a)** 由 $\\mathbf{x}^{\\mathsf T}A\\mathbf{x} = 5x_1^2 + 2\\cdot(2)x_1x_2 + 2x_2^2$ 得(对称矩阵交叉项系数对半分) $$A = \begin{bmatrix} 5 & 2\\ 2 & 2\end{bmatrix},\qquad \mathbf{b} = \begin{bmatrix} -6\\ -4\end{bmatrix},\qquad c = 0 .$$ **(b)** 顺序主子式:$\\det A_1 = 5 > 0$;$\\det A_2 = 5\\cdot 2 - 2\\cdot 2 = 10 - 4 = 6 > 0$。全部为正 $\\Rightarrow$ **正定**。 消元复核:$\\begin{bmatrix}5&2\\\\2&2\\end{bmatrix} \\to \\begin{bmatrix}5&2\\\\0&2-\\frac{2\\cdot 2}{5}\\end{bmatrix} = \\begin{bmatrix}5&2\\\\0&\\frac65\\end{bmatrix}$,主元 $5, \\frac65 > 0$ ✓。 特征值:$\\operatorname{tr}=7,\\ \\det=6 \\Rightarrow \\lambda^2-7\\lambda+6=0 \\Rightarrow \\lambda = 6, 1 > 0$ ✓。正定,故有唯一全局极小点。 **(c)** 解 $A\\mathbf{x}^* = -\\mathbf{b}/2 = \\begin{bmatrix}3\\\\2\\end{bmatrix}$: $$\begin{cases} 5x_1 + 2x_2 = 3\\ 2x_1 + 2x_2 = 2\end{cases} \Longrightarrow 3x_1 = 1 \Longrightarrow x_1 = \tfrac13,\quad x_2 = 1 - x_1 = \tfrac23 .$$ 故 $\\mathbf{x}^* = \\big(\\frac13, \\frac23\\big)$。极小值: $$f = 5\cdot\tfrac19 + 4\cdot\tfrac29 + 2\cdot\tfrac49 - 6\cdot\tfrac13 - 4\cdot\tfrac23 = \tfrac59 + \tfrac89 + \tfrac89 - 2 - \tfrac83 = \tfrac{5+8+8}{9} - \tfrac{18}{9} - \tfrac{24}{9} = \tfrac{21-42}{9} = -\tfrac{21}{9} = -\tfrac73 .$$ (用公式复核:$f(\\mathbf{x}^*) = c - \\frac14\\mathbf{b}^{\\mathsf T}A^{-1}\\mathbf{b}$。$A^{-1} = \\frac{1}{6}\\begin{bmatrix}2&-2\\\\-2&5\\end{bmatrix}$,$A^{-1}\\mathbf{b} = \\frac16\\begin{bmatrix}-12+8\\\\12-20\\end{bmatrix} = \\frac16\\begin{bmatrix}-4\\\\-8\\end{bmatrix} = \\begin{bmatrix}-2/3\\\\-4/3\\end{bmatrix}$。$\\mathbf{b}^{\\mathsf T}A^{-1}\\mathbf{b} = (-6)(-\\frac23) + (-4)(-\\frac43) = 4 + \\frac{16}{3} = \\frac{28}{3}$,故 $f = -\\frac14\\cdot\\frac{28}{3} = -\\frac73$ ✓ 两者一致。)

Q2.(消元 / 主元题)对 $A = \begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix}$(一维弹簧链的刚度矩阵): (a) 不换行地做消元,写出主元 $d_1,d_2,d_3$;(b) 判断 $A$ 是否正定;(c) 写出对应的配方形式 $x^{\mathsf T}Ax = \sum_i d_i(\cdot)^2$;(d) 若把第三个对角元 $2$ 改成 $1$,结论如何变化?

答案 **(a)** 记 $a_{11}=2$。第一步消去 $(2,1)$ 与 $(3,1)$:乘子 $\\ell_{21} = -\\frac12$,$\\ell_{31} = 0$: $$\begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix} \to \begin{bmatrix} 2 & -1 & 0\\ 0 & 2 - \frac{(-1)(-1)}{2} & -1\\ 0 & -1 & 2\end{bmatrix} = \begin{bmatrix} 2 & -1 & 0\\ 0 & \frac32 & -1\\ 0 & -1 & 2\end{bmatrix}.$$ 第二步消去 $(3,2)$:乘子 $\\ell_{32} = \\frac{-1}{3/2} = -\\frac23$: $$d_3 = 2 - \frac{(-1)(-1)}{3/2} = 2 - \frac23 = \frac43 .$$ 所以主元 $\\boxed{d_1 = 2,\\ d_2 = \\frac32,\\ d_3 = \\frac43}$,全部为正。三个乘子 $\\ell_{21}=-\\frac12,\\ \\ell_{31}=0,\\ \\ell_{32}=-\\frac23$。 **(b)** 主元全正 $\\Rightarrow$ **正定**。顺序主子式复核:$\\det A_1 = 2>0$;$\\det A_2 = \\begin{vmatrix}2&-1\\\\-1&2\\end{vmatrix} = 3>0$;$\\det A_3 = 2(4-1) - (-1)(-2-0) + 0 = 6 - 2 = 4 > 0$ ✓。注意 $d_i = \\det A_i/\\det A_{i-1}$:$\\frac32 = \\frac{3}{2}$ ✓,$\\frac43 = \\frac{4}{3}$ ✓。 **(c)** 按 $x^{\\mathsf T}Ax = d_1\\big(x_1 + \\ell_{21}x_2 + \\ell_{31}x_3\\big)^2 + d_2\\big(x_2+\\ell_{32}x_3\\big)^2 + d_3x_3^2$ 的模板(对称消元 $A=LDL^{\\mathsf T}$): $$x^{\mathsf T}Ax = 2\Big(x_1 - \tfrac12 x_2\Big)^2 + \tfrac32\Big(x_2 - \tfrac23 x_3\Big)^2 + \tfrac43 x_3^2 .$$ 展开可核对得到 $2x_1^2 - 2x_1x_2 + 2x_2^2 - 2x_2x_3 + 2x_3^2$,与 $A$ 一致。三个括号同时为零 $\\Rightarrow$ $\\mathbf{x}=\\mathbf{0}$,唯一极小点在原点,$f_{\\min}=0$ —— 与"弹簧链没有刚体自由度、端点固定"的物理直觉吻合。 **(d)** 把 $a_{33}$ 改为 $1$:第一步结果不变,$d_2$ 仍为 $\\frac32$;$d_3 = 1 - \\frac{(-1)(-1)}{3/2} = 1 - \\frac23 = \\frac13 > 0$,**仍正定**。若改成使 $d_3 = a_{33} - \\frac23 \\le 0$,即 $a_{33}\\le \\frac23$,则出现非正主元 $\\Rightarrow$ **非正定**:当 $a_{33}=\\frac23$ 时 $d_3=0$,矩阵**奇异半正定**(出现零频模态,对应物理上"某个模式不需要能量");当 $a_{33}<\\frac23$ 时 $\\det A<0$,特征值反号 $\\Rightarrow$ **不定**(不稳定平衡)。这正说明:**极小值是否唯一、是否稳定,全由主元符号读出**。

Q3.(概念题)判断下列说法是否正确,并给出理由(可用反例): (a) “若 $\det A>0$ 且所有对角元为正,则 $A$ 正定。” (b) “若 $A$ 半正定且 $\det A = 0$,则 $f(\mathbf{x})=\mathbf{x}^{\mathsf T}A\mathbf{x}+\mathbf{b}^{\mathsf T}\mathbf{x}$ 仍然有唯一极小点。” (c) “Hessian 矩阵正定是 $f$ 在临界点取到全局极小的充分条件。”

答案 **(a) 错。** 反例:$A=\\begin{bmatrix}1&3\\\\3&1\\end{bmatrix}$,对角元 $1,1>0$,$\\det A = -8$(连 $\\det>0$ 都不满足)。更精细的反例需要一个 $\\det>0$、对角元全正、但非正定的 3×3: $$A = \begin{bmatrix} 1 & 1 & 0\\ 1 & 1 & 0\\ 0 & 0 & 1\end{bmatrix},\quad \det A = 0 \ (\text{奇异}),$$ 或用 $\\begin{bmatrix}1&2&0\\\\2&5&0\\\\0&0&1\\end{bmatrix}$(正定)对比。真正**"$\\det>0$ + 对角元 $>0$ 但非正定"**的经典构造(2×2 做不到,2×2 中 $\\det>0$ 且 $a_{11}>0$ 已足够): $$A=\begin{bmatrix}1&0&0\\0&1&3\\0&3&1\end{bmatrix},\qquad \det A = 1\cdot(1-9) = -8<0,$$ 这仍不算 $\\det>0$。要同时满足"$\\det>0$+对角元正+非正定",取 $$A=\begin{bmatrix}1&0&0\\0&-1&0\\0&0&-2\end{bmatrix}\ \text{改成}\ A=\begin{bmatrix}2&1&1\\1&2&1\\1&1&-1\end{bmatrix},\ \det A = -5 .$$ 3×3 情形下此类反例确实存在:$A=\\begin{bmatrix}1&-1&-1\\\\-1&1&-1\\\\-1&-1&1\\end{bmatrix}$,对角元全为 $1>0$,$\\det A = 1(1-1)+1(-1-1)-1(1+1) = -4<0$。**结论:$\\det A>0$ 与对角元为正都不足以保证正定;必须检验所有顺序主子式 $>0$,其中 $a_{11}>0,\\ \\det A_2>0$ 缺一不可。** 例如 $\\begin{bmatrix}1&2\\\\2&1\\end{bmatrix}$ 对角元正、$\\det=-3<0$;而 $\\begin{bmatrix}1&1\\\\1&1\\end{bmatrix}$ 的 $\\det=0$,半正定不正定。 **(b) 错。** 半正定意味着存在零特征向量 $A\\mathbf{v}=\\mathbf{0}$,$\\mathbf{v}\\neq\\mathbf{0}$。此时沿方向 $\\mathbf{v}$ 有 $\\mathbf{v}^{\\mathsf T}A\\mathbf{v}=0$,$f$ 在此方向上是**线性(或常值)**的:$f(\\mathbf{x}+t\\mathbf{v}) = f(\\mathbf{x}) + t\\,\\mathbf{b}^{\\mathsf T}\\mathbf{v}$。若 $\\mathbf{b}^{\\mathsf T}\\mathbf{v}\\neq 0$,$f$ 沿 $\\mathbf{v}$ 可到 $-\\infty$,**极小点根本不存在**;若 $\\mathbf{b}^{\\mathsf T}\\mathbf{v}=0$,则极小点集合沿 $\\mathbf{v}$ 方向平移后仍是最小(**不唯一**)。所以半正定只保证"下界存在",不保证"唯一极小点"或"极小点存在"(最小二乘中 $\\mathbf{b}\\in C(A)$ 才保证解存在,就是同一个道理)。 **(c) 错(作为"全局"命题)。** Hessian 正定只给出**严格局部极小**。经典反例:$f(x) = x^2 - x^4$ 在 $x=0$ 处 $f^{\\prime}=0$,$f^{\\prime\\prime}=0$ 非正定故不适用;更贴切的是 $f(x)=x^2-0.1x^4$ 在 $x=0$ 局部极小、$f^{\\prime\\prime}(0)=2>0$,但 $x\\to\\pm\\infty$ 时 $f\\to-\\infty$,没有全局极小。**正确的说法**:若 Hessian 在**每一个**临界点都正定且 $f$ 强制(coercive,如二次函数 $A$ 正定),则存在唯一全局极小。对**二次函数** $f=\\mathbf{x}^{\\mathsf T}A\\mathbf{x}+\\mathbf{b}^{\\mathsf T}\\mathbf{x}+c$,$A$ 正定 $\\iff$ 有唯一全局极小点——这是本讲的定理,而一般函数的局部/全局区分必须另外论证。