Lecture 27: Positive Definite Matrices and Minima
Lecture 27: Positive Definite Matrices and Minima
概述
前几讲我们已经建立了对称矩阵的两大武器:正交对角化 $A = Q\Lambda Q^{\mathsf T}$,以及正定性的四个等价判据。本讲把正定性从一个”代数标签”变成几何与优化语言:正定矩阵 $A$ 对应的二次型 $x^{\mathsf T}Ax$ 是一个”碗”,它的图像有唯一的谷底;而 $A$ 一旦不是正定,谷底要么变成一条平坦的沟(半正定),要么变成马鞍形的鞍点(不定)。
核心问题只有一个:二次函数 $f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{x} + c$ 什么时候有极小点?极小点在哪里?极小值是多少? 答案完全由 $A$ 的正定性决定:$A$ 正定 $\iff$ 临界点 $\mathbf{x}^* = -\frac12 A^{-1}\mathbf{b}$ 是唯一的全局极小点。
方法是”配方 + 消元 + 梯度“三件套:配料给出平方项系数(正是主元),消元给出主元符号(正是正定判据),梯度给出极小点位置。本讲位于课程的转折处:讲次 25 建立正定的四个判据,讲次 27 让它们”落地”到极小值,讲次 28、29 继续走向 Jordan 与 SVD。
核心概念的几何直觉
正定的四个等价判据(回顾,本讲的出发点)
定义与目的:实对称矩阵 $A$($n\times n$)称为正定(positive definite),若对一切 $\mathbf{x}\neq \mathbf{0}$ 都有 $\mathbf{x}^{\mathsf T}A\mathbf{x} > 0$。四个等价判据:
① 所有特征值 $\lambda_i > 0$;
② 所有顺序主子式(leading principal minors) $> 0$:即 $\det A_1 = a_{11} > 0$,$\det A_2 = \begin{vmatrix} a_{11} & a_{12}\\ a_{21} & a_{22}\end{vmatrix} > 0$,$\dots$,$\det A_n = \det A > 0$;
③ 消元后所有主元(pivots) $> 0$(且消元过程不需要换行);
④ 可写成 $A = R^{\mathsf T}R$,其中 $R$ 为可逆方阵(Cholesky 分解的雏形)。
几何直觉(它在空间中是什么样子?):$x^{\mathsf T}Ax$ 是”沿方向 $\mathbf{x}$ 的二次能量”。正定意味着每个方向的能量都为正:曲面 $z = x^{\mathsf T}Ax$ 是一个开口向上的碗,原点在碗底。四个判据其实是同一件事的四种”读法”:① 读特征方向(主轴都是上升的);② 读行列式(每个维度的”体积缩放”都为正,形状不被翻转);③ 读消元(每一步消元后剩下的仍是同类型的碗);④ 读分解($A = R^{\mathsf T}R$,$R\mathbf{x}=\mathbf{0}$ 只有零解,故 $\vert R\mathbf{x}\vert ^2 = \mathbf{x}^{\mathsf T}R^{\mathsf T}R\mathbf{x} > 0$)。
具体示例:$A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix}$。特征值 $1, 3 > 0$;顺序主子式 $2 > 0$,$\det A = 3 > 0$;消元主元 $2, \frac32 > 0$。三个判据一致地宣布:正定。
本讲聚焦的桥梁:判据 ②③ 与极小值的关系
- 定义与目的:本讲不满足于”判断正定”,而要用它。判据 ③(主元为正)与”配方”是同一件事,而配方直接把 $x^{\mathsf T}Ax$ 写成平方和;判据 ②(顺序主子式为正)则给出一个不用求特征值、不用做消元的快速检验法,对 2×2、3×3 手算尤其方便。
- 几何直觉:顺序主子式 $>0$ 意味着”每一个嵌套的子碗都是向上的碗“。$A_1$ 是限制在第 1 个坐标轴上的碗,$A_2$ 是限制在前 2 个坐标平面上的碗……如果每一层切片都是往上的碗,整个 $n$ 维图形就不可能在某处翻下去。反之,只要某一层切片翻了(某个顺序主子式 $\le 0$),整个矩阵就不可能是正定的。
- 具体示例:$A = \begin{bmatrix} 1 & 3\\ 3 & 1\end{bmatrix}$:$a_{11} = 1 > 0$ 但 $\det A = 1 - 9 = -8 < 0$,第二个顺序主子式就翻号了 $\Rightarrow$ 非正定(实际是不定)。
二次型与极小值:碗底在哪里
- 定义与目的:给定对称正定 $A$、向量 $\mathbf{b}$、常数 $c$,研究 \(f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{x} + c .\) 目标是求 $\min f$ 与取到最小值的 $\mathbf{x}^*$。
- 几何直觉:$x^{\mathsf T}Ax$ 决定”碗的形状”,$\mathbf{b}^{\mathsf T}x$ 是一个倾斜项(线性项),它把碗底从原点搬走。搬到哪里?搬到梯度为零的地方。
- 具体示例:见下一节的完整手算(b)。
为什么四个判据是一回事:Rayleigh 商视角
- 定义与目的:Rayleigh 商 $R(\mathbf{x}) = \dfrac{\mathbf{x}^{\mathsf T}A\mathbf{x}}{\mathbf{x}^{\mathsf T}\mathbf{x}}$($\mathbf{x}\neq\mathbf{0}$)是把二次型”归一化”后的标量,它的取值只与方向有关、与长度无关。
- 几何直觉:$R(\mathbf{x})$ 可视为”沿方向 $\mathbf{x}$ 的平均曲率”。对称矩阵的谱定理给出 \(\lambda_{\min} \le R(\mathbf{x}) \le \lambda_{\max},\) 且等号分别在 $\mathbf{x}$ 取最小 / 最大特征值对应的特征向量时达到(讲次 29 比较 $\sigma$ 与 $\lambda$ 时还会用到这个工具)。
- 四判据的贯通:于是 \(\text{正定} \iff \min_{\mathbf{x}\neq\mathbf{0}} R(\mathbf{x}) > 0 \iff \lambda_{\min} > 0 \iff \text{所有 }\lambda_i>0 \ \text{(判据 ①)}.\) 再者 $\lambda_{\min}>0$ $\iff$ $\det A=\prod\lambda_i>0$ 且每个嵌套子块 $A_k$(限制在前 $k$ 个坐标上的对称子矩阵)的最小特征值也为正 —— 后者就是所有顺序主子式 $>0$(判据 ②)。消元是”逐个坐标地做同样的事”,主元 $d_k$ 正是第 $k$ 步残余的 $1\times1$ 二次型系数,故 $d_k>0$(判据 ③)。最后 $A=R^{\mathsf T}R$ 把 $R(\mathbf{x})$ 变成 $\dfrac{\vert R\mathbf{x}\vert ^2}{\vert \mathbf{x}\vert ^2}>0$(判据 ④)。四条路通向同一个不等式。
- 具体示例:$A=\begin{bmatrix}2&-1\\-1&2\end{bmatrix}$,$\lambda_{\min}=1$,故在单位圆上 $R(\mathbf{x})\ge 1$,最小值在 $\mathbf{x}=\pm\frac{1}{\sqrt2}(1,1)^{\mathsf T}$ 处取到(长轴方向)。
椭球 $x^{\mathsf T}Ax=1$:正定矩阵的”身份证照片”
- 定义与目的:正定 $A$ 把单位球面 $\vert \mathbf{x}\vert =1$ 映射为一个椭球(ellipsoid)。写成 $x^{\mathsf T}Ax=1$ 后,这个椭球的性质完全由 $\lambda_i$ 决定。
- 几何直觉(它在空间中是什么样子?):用 $A=Q\Lambda Q^{\mathsf T}$ 做变量替换 $\mathbf{y}=Q^{\mathsf T}\mathbf{x}$(纯旋转,不改变形状),方程变成 \(\lambda_1y_1^2 + \lambda_2y_2^2 + \cdots + \lambda_ny_n^2 = 1 .\) 这就是标准椭球:主轴方向 = 特征向量方向($Q$ 的列),第 $i$ 个半轴长 = $1/\sqrt{\lambda_i}$。
- 关键洞察:$\lambda_i$ 越大,半轴 $1/\sqrt{\lambda_i}$ 越短。为什么?因为 $x^{\mathsf T}Ax$ 是”能量”,沿 $\lambda$ 大的方向能量增长极快,只需要很小的位移就能把能量凑到 $1$,所以那个方向很短。反之 $\lambda_i$ 接近 $0$ 的方向能量增长慢,是长轴。
- 三种情形的图像分类:
- 全部 $\lambda_i>0$(正定)$\Rightarrow$ 椭球($n=2$ 时椭圆):有界闭曲面,包围原点。
- $\lambda$ 有正有负(不定)$\Rightarrow$ 双曲面($n=2$ 时双曲线):无界,两叶张开,既有上升方向又有下降方向。
- 某个 $\lambda_i=0$(半正定奇异)$\Rightarrow$ 柱面:沿该零特征方向方程完全不含该变量($x^{\mathsf T}Ax$ 对它无感),曲面沿此方向平移不变,像一根无限长的管子。 这三种情形与”极小值是否存在/是否唯一”是同一件事的两面:椭球 $\to$ 唯一谷底;双曲面 $\to$ 鞍点;柱面 $\to$ 一条平坦谷底直线。
x^T A x = 1 的三种图像 (2 维)
(1) 正定 A=[2 -1;-1 2] (2) 不定 A=[1 0;0 -1] (3) 半正定 A=[1 1;1 1]
lambda = 1, 3 lambda = 1, -1 lambda = 2, 0
半轴 1/sqrt1=1.000 x1^2 - x2^2 = 1 (x1+x2)^2 = 1
半轴 1/sqrt3=0.577 两支双曲线 两条平行直线
\\ | // \\ // \ \ \ \ \
---\\--+--//--- ---\\---//--- \ \ \ \ \
( ) <- 有界椭圆 \\ // <- 鞍形 \ \ \ \ \
---//--+--\\--- // \\ / / / / /
// | \\ // \\ / / / / /
无界,两叶 柱面,沿 (1,-1) 平移不变
有界、无平坦方向、min 唯一 有上升也有下降、鞍点 无界、有平坦方向、min 不唯一
微积分视角(回扣 18.02):正定就是”二阶导数 > 0”的 $n$ 维版本
- 定义与目的:微积分里判断极值分两步:一阶必要条件 $\nabla f=\mathbf{0}$(临界点);二阶充分条件 Hessian 矩阵正定 $\Rightarrow$ 严格局部极小,Hessian 负定 $\Rightarrow$ 严格局部极大,Hessian 不定 $\Rightarrow$ 鞍点,Hessian 奇异 $\Rightarrow$ 二阶判别法失效(需看更高阶项)。
- 几何直觉:一维时 $f^{\prime\prime}(x)>0$ 表示曲线向上弯(碗形),$f^{\prime\prime}(x_0)<0$ 表示向下弯,$f^{\prime\prime}=0$ 表示”看不出弯”。多元时”往哪个方向弯”要分方向看,而 Hessian 正定恰好是所有方向的二阶导数都为正这件事的统一陈述:对任意方向单位向量 $\mathbf{u}$, \(\frac{d^2}{dt^2}f(\mathbf{x}_0+t\mathbf{u})\Big\vert _{t=0} = \mathbf{u}^{\mathsf T}H\mathbf{u} > 0 \iff H \text{ 正定}.\) 这正是正定定义的原始形式(对一切非零 $\mathbf{x}$,$\mathbf{x}^{\mathsf T}H\mathbf{x}>0$)。
- 具体示例:$f(x,y) = x^2 + xy + y^2$。梯度 $\nabla f = (2x+y,\ x+2y)$,令其为零得唯一临界点 $(0,0)$。Hessian \(H = \begin{bmatrix} f_{xx} & f_{xy}\\ f_{yx} & f_{yy}\end{bmatrix} = \begin{bmatrix} 2 & 1\\ 1 & 2\end{bmatrix},\qquad \det H = 3 > 0,\ a_{11} = 2 > 0 \Rightarrow H \text{ 正定}.\) 故 $(0,0)$ 是严格局部极小点;又因为二次项正定使 $f$ 强制($f\to+\infty$ 当 $\vert \mathbf{x}\vert \to\infty$),它还是唯一全局极小点,$f_{\min}=0$。特征值 $3, 1$($\operatorname{tr}=4$,$\det=3$)都为正,与判据 ① 一致;沿短轴 $(1,-1)/\sqrt2$ 方向 $f$ 弯曲得”慢”($\lambda=1$ 是长轴),沿 $(1,1)/\sqrt2$ 弯得”快”($\lambda=3$ 是短轴)。
- 与 18.02 的差别:18.02 的 $D = f_{xx}f_{yy}-f_{xy}^2 > 0$ 判据其实就是 $2\times2$ 的 $\det H$:$D>0$ 且 $f_{xx}>0$ 就是”两个顺序主子式 $>0$”,正是判据 ② 的 $n=2$ 特例。所以本讲不是新东西,而是把大一的判别法推到任意维。
最小二乘的联系:”正定 $\Rightarrow$ 唯一的极小点”正是最小二乘有唯一解的深层原因
- 定义与目的:讲次 16 的核心问题是:当 $A\mathbf{x}=\mathbf{b}$ 无解($\mathbf{b}\notin C(A)$)时,最小化误差平方 \(E(\mathbf{x}) = \vert A\mathbf{x}-\mathbf{b}\vert ^2 = (A\mathbf{x}-\mathbf{b})^{\mathsf T}(A\mathbf{x}-\mathbf{b}).\) 现在用本讲的机器重做一遍。
- 推导:展开 \(E(\mathbf{x}) = \mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x} - \mathbf{x}^{\mathsf T}A^{\mathsf T}\mathbf{b} - \mathbf{b}^{\mathsf T}A\mathbf{x} + \mathbf{b}^{\mathsf T}\mathbf{b} = \mathbf{x}^{\mathsf T}(A^{\mathsf T}A)\mathbf{x} - 2\mathbf{b}^{\mathsf T}A\mathbf{x} + \|\mathbf{b}\|^2 .\) 这是一个标准二次型:二次项矩阵是 $A^{\mathsf T}A$,一次项向量是 $\mathbf{b}_{\text{new}} = -2A^{\mathsf T}\mathbf{b}$。求梯度(用 $\nabla(\mathbf{x}^{\mathsf T}M\mathbf{x}) = (M+M^{\mathsf T})\mathbf{x}$,这里 $M = A^{\mathsf T}A$ 对称): \(\nabla E = 2A^{\mathsf T}A\mathbf{x} - 2A^{\mathsf T}\mathbf{b} = 2A^{\mathsf T}(A\mathbf{x}-\mathbf{b}) .\) 令其为零,立刻得到正规方程(normal equations) \(A^{\mathsf T}A\,\hat{\mathbf{x}} = A^{\mathsf T}\mathbf{b}\ \Longrightarrow\ \hat{\mathbf{x}} = (A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}.\) 这与讲次 16 从”误差向量垂直于列空间”推出的结果完全一致 —— 两条路殊途同归。
- 为什么 $A^{\mathsf T}A$ 总是半正定:对任意 $\mathbf{x}$, \(\mathbf{x}^{\mathsf T}(A^{\mathsf T}A)\mathbf{x} = (A\mathbf{x})^{\mathsf T}(A\mathbf{x}) = \vert A\mathbf{x}\vert ^2 \ge 0 .\) 这是恒等式,不依赖任何条件 —— $A^{\mathsf T}A$ 半正定是白送的。
- 为什么列无关时正定:$\vert A\mathbf{x}\vert ^2 = 0 \iff A\mathbf{x}=\mathbf{0} \iff \mathbf{x}=\mathbf{0}$(零空间只有零向量)$\iff$ $A$ 的列线性无关。所以 \(A^{\mathsf T}A \text{ 正定} \iff \operatorname{rank}A = n \iff N(A)=\{\mathbf{0}\} .\) (注意 $A^{\mathsf T}A$ 是 $n\times n$,$n$ 是列数;即使 $A$ 是”高瘦”的 $m\times n$ 且 $m>n$ 也可能正定。)
- 结论(本讲最重要的回扣):$E(\mathbf{x})$ 是一个二次项为 $A^{\mathsf T}A$ 的二次函数。$A^{\mathsf T}A$ 半正定 $\Rightarrow$ $E$ 有下界、没有下降到 $-\infty$ 的方向;$A^{\mathsf T}A$ 正定 $\Rightarrow$ 唯一全局最小点 $\hat{\mathbf{x}}$。“正定 $\Rightarrow$ 极小点唯一”就是最小二乘有唯一解的深层原因 —— 最小二乘的唯一性不只是几何巧合(”垂线只有一条”),而是正定二次型的极小点定理的直接推论。顺便,最小值也可用关键要点 2 的公式算出:$E(\hat{\mathbf{x}}) = \vert \mathbf{b}\vert ^2 - \mathbf{b}^{\mathsf T}A(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b} = \vert \mathbf{b}\vert ^2 - \vert P\mathbf{b}\vert ^2 = \vert (I-P)\mathbf{b}\vert ^2$,正是误差向量的长度平方。
- 半正定的边界情形:若 $A$ 的列相关($\operatorname{rank}A<n$),则 $A^{\mathsf T}A$ 奇异,沿 $N(A)$ 方向 $E$ 完全平坦,解不唯一(无穷多最小二乘解),此时必须用伪逆 $A^{+}$ 挑出最小范数解 —— 这是讲次 33 的主题。这与示例 (d) 的”平坦山谷”是同一个现象。
应用:正定性如何出现在真实问题里
- 弹簧-质点系统的势能:$n$ 个质点由弹簧串联,势能 $V(\mathbf{x}) = \frac12\mathbf{x}^{\mathsf T}K\mathbf{x}$,$K$ 是刚度矩阵(对称,且往往是三对角的,如 Q2)。平衡的稳定性完全由 $K$ 的正定性决定:$K$ 正定 $\Rightarrow$ 势能是碗,位移后能量上升,回复力把它拉回来 $\Rightarrow$ 稳定平衡;$K$ 半正定奇异(例如整条链可以整体刚性平移而弹簧不变形)$\Rightarrow$ 存在零频模态(刚体运动),平衡仍在但不唯一(一族平衡位置),振动方程 $\ddot{\mathbf{x}} = -M^{-1}K\mathbf{x}$ 出现 $\omega=0$ 的解;$K$ 不定 $\Rightarrow$ 存在让势能下降的方向 $\Rightarrow$ 不稳定平衡,系统会自发跑掉。这里的”零特征值方向 = 平坦方向 = 零频模态 = 刚体运动”是完全同构的四件事。
- 信赖域优化(trust region):最小化 $f$ 时,在信赖域内用二次模型 $m(\mathbf{p}) = f + \mathbf{g}^{\mathsf T}\mathbf{p} + \frac12\mathbf{p}^{\mathsf T}B\mathbf{p}$ 近似,$\mathbf{p}$ 是步长,$B$ 是 Hessian 的近似。BFGS 等拟牛顿法刻意强制 $B$ 正定,以保证模型有唯一的极小步长、算法总有下降方向。若 $B$ 不定,模型可到 $-\infty$,必须加约束 $\vert \mathbf{p}\vert \le\Delta$ 才有意义 —— 这个约束球在 $B$ 的坐标下被拉成椭球。
- 统计学中的协方差矩阵:协方差矩阵 $\Sigma = \mathbb{E}[(\mathbf{X}-\boldsymbol\mu)(\mathbf{X}-\boldsymbol\mu)^{\mathsf T}]$ 恒半正定,因为 \(\mathbf{v}^{\mathsf T}\Sigma\mathbf{v} = \mathbb{E}\big[(\mathbf{v}^{\mathsf T}(\mathbf{X}-\boldsymbol\mu))^2\big] \ge 0 .\) 这与 $A^{\mathsf T}A$ 的证明结构一模一样(期望 $\leftrightarrow$ 求和)。$\mathbf{X}$ 的分量线性无关时 $\Sigma$ 正定、可逆;有完全线性相关的分量时 $\Sigma$ 奇异(概率质量集中在一个低维子空间上),此时多元高斯密度退化,马氏距离必须用伪逆。多元高斯的密度里出现的 $\vert \Sigma\vert ^{-1/2}$ 与 $\exp(-\frac12(\mathbf{x}-\boldsymbol\mu)^{\mathsf T}\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu))$,其等高线就是本讲的椭球,$\Sigma$ 的特征向量是主成分方向。
- 神经网络损失函数的 Hessian:损失 $L(\boldsymbol\theta)$ 的 Hessian 巨大且不显式构造,只用来分析地形:$H$ 正定处是严格局部极小(”盆地”);存在负特征值的方向是鞍点(在高维里鞍点远多于局部极小);$\lambda\approx 0$ 的方向是平坦方向(参数几乎不影响损失,是泛化性的研究热点)。实际计算只用 Hessian-向量积 $H\mathbf{v}$ 与少数极端特征值(幂法 / Lanczos),本质仍是本讲的谱分解。
计算步骤与手算演示
示例 (a):齐次二次型 + 配方法(与消元的同一性)
取 \(A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix},\qquad f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} = 2x_1^2 - 2x_1x_2 + 2x_2^2 .\)
步骤 1:先做消元,记录主元。 \(A = \begin{bmatrix} 2 & -1\\ -1 & 2\end{bmatrix} \xrightarrow{\ \text{row}_2 - (-\tfrac12)\text{row}_1\ } \begin{bmatrix} 2 & -1\\ 0 & \tfrac32\end{bmatrix} = U .\) 乘子 $\ell_{21} = -\frac12$,两个主元是 $d_1 = 2$,$d_2 = \frac32$。即 $A = LU$,$L = \begin{bmatrix} 1 & 0\\ -\frac12 & 1\end{bmatrix}$。
步骤 2:独立地做配方(把交叉项吸收进第一个平方)。 \(f = 2x_1^2 - 2x_1x_2 + 2x_2^2 = 2\Big(x_1^2 - x_1x_2\Big) + 2x_2^2 = 2\Big(x_1 - \frac{x_2}{2}\Big)^2 - \frac{x_2^2}{2} + 2x_2^2 = 2\Big(x_1 - \frac{x_2}{2}\Big)^2 + \frac{3}{2}x_2^2 .\)
步骤 3:核对恒等式。 展开右侧:$2\big(x_1^2 - x_1x_2 + \frac{x_2^2}{4}\big) + \frac32 x_2^2 = 2x_1^2 - 2x_1x_2 + \frac12 x_2^2 + \frac32 x_2^2 = 2x_1^2 - 2x_1x_2 + 2x_2^2$。与原式逐项相同。
【计算机制解说】:平方项系数 $2$ 与 $\frac32$ 正好就是消元的主元 $d_1, d_2$。这不是巧合:消元 $A = LDL^{\mathsf T}$(对称情形,$D$ 为对角主元阵)与配方给出的是同一个表达式: \(x^{\mathsf T}Ax = d_1\Big(x_1 + \ell_{21}x_2\Big)^2 + d_2 x_2^2 .\) 这里 $d_1 = 2$,$\ell_{21} = -\frac12$,所以第一项是 $2\big(x_1 - \frac12 x_2\big)^2$ —— 与配方结果完全一致。因此”配方法与消元是同一件事“:配方的系数就是主元,配方的括号就是消元的乘子。由此立刻得到理论推论:$x^{\mathsf T}Ax>0$(对所有 $\mathbf{x}\neq\mathbf{0}$)$\iff$ 所有主元 $d_i > 0$ $\iff$ 所有平方项系数为正,这正是判据 ③。
步骤 4:读出极小点与几何形状。 两个平方项都非负且可同时为零 $\iff$ $x_1 - \frac12 x_2 = 0$ 且 $x_2 = 0$ $\iff$ $\mathbf{x}^* = (0,0)$。极小值 $f(\mathbf{x}^*) = 0$。等高线 $f = c \,(c>0)$ 是一族同心椭圆:
等高线 f = 2x1^2 - 2x1x2 + 2x2^2 = c (A = [2 -1; -1 2], 正定 -> 椭圆)
x2
^
. . . | . . .
. . | . .
. .|. .
. ------------*------------ . <- 椭圆长轴沿 (1,1)
. .|. .
. . | . .
. . . | . . .
|
--------------+--------------> x1
|
主轴方向 = 特征向量 (1,1)/sqrt2 (lambda=1), (1,-1)/sqrt2 (lambda=3)
半轴长 = 1/sqrt(lambda) : 沿 (1,1) 长 1/sqrt1 = 1.000 (长轴)
沿 (1,-1) 长 1/sqrt3 = 0.577 (短轴)
lambda 越大 -> 该方向越"短"(大的二次型被更快地压到 1)
示例 (b):含一次项的二次型(真正的极小值问题)
取 \(A = \begin{bmatrix} 1 & 1\\ 1 & 3\end{bmatrix},\qquad \mathbf{b} = \begin{bmatrix} -4\\ -8\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 + 2x_1x_2 + 3x_2^2 - 4x_1 - 8x_2 .\) (核对:$\mathbf{x}^{\mathsf T}A\mathbf{x} = x_1^2 + x_1x_2 + x_1x_2 + 3x_2^2$ ✓;$\mathbf{b}^{\mathsf T}\mathbf{x} = -4x_1 - 8x_2$ ✓。)
步骤 1:先判正定(用判据 ② + ③)。 顺序主子式:$\det A_1 = 1 > 0$,$\det A_2 = 1\cdot 3 - 1\cdot 1 = 2 > 0$。消元:$\begin{bmatrix} 1 & 1\\ 1 & 3\end{bmatrix} \to \begin{bmatrix} 1 & 1\\ 0 & 2\end{bmatrix}$,主元 $1, 2 > 0$。特征值为 $2 \pm \sqrt2 \approx 3.414,\ 0.586 > 0$。$A$ 正定 ⟹ 存在唯一全局极小点。
步骤 2:推导梯度(本讲最核心的公式)。 把 $f$ 写开:$f(\mathbf{x}) = \sum_{i,j} a_{ij}x_ix_j + \sum_i b_ix_i + c$。对 $x_k$ 求偏导: \(\frac{\partial}{\partial x_k}\Big(\sum_{i,j}a_{ij}x_ix_j\Big) = \sum_j a_{kj}x_j + \sum_i a_{ik}x_i = (A\mathbf{x})_k + (A^{\mathsf T}\mathbf{x})_k .\) 所以一般情形($A$ 不必对称) \(\nabla f = (A + A^{\mathsf T})\mathbf{x} + \mathbf{b},\) 而当 $A$ 对称时 $A + A^{\mathsf T} = 2A$,于是 \(\boxed{\ \nabla f = 2A\mathbf{x} + \mathbf{b}\ }\) (Hessian 矩阵是二阶偏导组成的矩阵:$\nabla^2 f = A + A^{\mathsf T}$,对称时 $= 2A$。)
步骤 3:令梯度为零。 \(2A\mathbf{x}^* + \mathbf{b} = \mathbf{0}\ \Longrightarrow\ A\mathbf{x}^* = -\frac{\mathbf{b}}{2}\ \Longrightarrow\ \mathbf{x}^* = -\frac12 A^{-1}\mathbf{b}.\) 一维类比:$f = ax^2 + bx + c$,$f^{\prime} = 2ax + b = 0 \Rightarrow x^* = -\frac{b}{2a}$ —— 正是同一个公式的 $1\times 1$ 版本。$a>0$(正定)给出极小,$a<0$ 给出极大,$a=0$ 时退化为直线(无唯一极值点)。
步骤 4:代入数值求解。 $-\mathbf{b}/2 = \begin{bmatrix} 2\\ 4\end{bmatrix}$,解 \(\begin{cases} x_1 + x_2 = 2\\ x_1 + 3x_2 = 4\end{cases} \Longrightarrow 2x_2 = 2 \Longrightarrow x_2 = 1,\ x_1 = 1 .\) 故 $\mathbf{x}^* = \begin{bmatrix} 1\\ 1\end{bmatrix}$。
步骤 5:验算极小值。 \(f(\mathbf{x}^*) = 1 + 2\cdot 1\cdot 1 + 3 - 4 - 8 = 1 + 2 + 3 - 4 - 8 = -6 .\) 用”配方视角”复核:$f = (\mathbf{x}-\mathbf{x}^)^{\mathsf T}A(\mathbf{x}-\mathbf{x}^) + f(\mathbf{x}^*)$,即 \(f = (x_1-1)^2 + 2(x_1-1)(x_2-1) + 3(x_2-1)^2 - 6 .\) 在 $\mathbf{x}=(1,1)$ 处二次项全消,只剩 $-6$;二次项部分正定,故 $-6$ 是全局最小值。
【计算机制解说】:注意 $\mathbf{x}^* = -\frac12A^{-1}\mathbf{b}$ 与最小二乘的正规方程 $\mathbf{x}^* = (A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$ 长得极像,差别只在系数。原因见下节”最小二乘的联系”:最小二乘是把 $\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 展开成一个二次型,其”二次项矩阵”是 $A^{\mathsf T}A$、”一次项向量”是 $-2A^{\mathsf T}\mathbf{b}$;代入 $-\frac12 A^{-1}\mathbf{b}$ 的通式就得到 $(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$。同一个公式,两处出现——这说明”正定二次型极小化”是整门课反复回响的主旋律。
示例 (c):鞍点(不定矩阵)
取 \(A = \begin{bmatrix} 1 & 0\\ 0 & -1\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 - x_2^2 .\) 特征值 $\lambda = 1, -1$(符号不同)$\Rightarrow$ 不定(indefinite)。沿 $x_1$ 方向 $f = x_1^2 \to +\infty$(上升),沿 $x_2$ 方向 $f = -x_2^2 \to -\infty$(下降)。原点处 $\nabla f = (2x_1, -2x_2) = \mathbf{0}$ 是临界点,但它既不是极小也不是极大,而是鞍点(saddle point)。等高线 $x_1^2 - x_2^2 = c$ 是双曲线族:
三大等高线形态对比 (A 的正定性决定一切)
(1) 正定 lambda>0 (2) 不定 lambda 有正有负 (3) 半正定 lambda=0
同心椭圆 双曲线 平行直线(山谷)
. - . - . \ / | | | | | |
. . \ / | | | | | |
. * . <- 谷底 \ / <- 鞍点 | | | | | |
. . / \ | | | | | |
. - . - . / \ | | | | | |
/ \ | | | | | |
A=[2 -1;-1 2] A=[1 0;0 -1] A=[1 1;1 1]
min 唯一, 有界下界 既有上升又有下降方向 f=(x1+x2)^2,
f=x^T A x >= 0 f 可取 +/- 任意大 谷底是一条直线
再取一个”陷阱型”例子: \(A = \begin{bmatrix} 1 & 3\\ 3 & 1\end{bmatrix},\qquad \det A = 1 - 9 = -8 < 0 .\) $\operatorname{tr}A = 2$,解 $\lambda^2 - 2\lambda - 8 = 0$ 得 $\lambda = 4, -2$(符号相反)$\Rightarrow$ 不定,鞍点。注意两个对角元 $1, 1$ 都是正的,但矩阵并不正定 —— 这是最经典的误区(见后文误区 ③)。$\det A<0$ 对 2×2 是”不定”的充分必要条件(因为 $\det = \lambda_1\lambda_2 < 0$ 意味着 $\lambda$ 反号)。
示例 (d):半正定 / 奇异情形(极小点不唯一)
取 \(A = \begin{bmatrix} 1 & 1\\ 1 & 1\end{bmatrix},\qquad f(\mathbf{x}) = x_1^2 + 2x_1x_2 + x_2^2 = (x_1 + x_2)^2 \ge 0 .\)
- 特征值:$\lambda = 2, 0$($\operatorname{tr}=2$,$\det=0$)$\Rightarrow$ 半正定但奇异。
- 顺序主子式:$\det A_1 = 1 > 0$,$\det A_2 = 0$ —— 判据 ② 要求严格 $>0$,第二个为 $0$ 故不正定。
- 消元:$\begin{bmatrix} 1 & 1\\ 1 & 1\end{bmatrix} \to \begin{bmatrix} 1 & 1\\ 0 & 0\end{bmatrix}$,主元 $1, 0$ —— 有零主元,不可逆。
- 极小点:$f = 0$ 达到最小值,条件只有 $x_1 + x_2 = 0$,即整条直线 $x_2 = -x_1$ 上每一点都是极小点。极小点不唯一。
- 几何:等高线 $f=c$ 是一对平行直线 $x_1 + x_2 = \pm\sqrt{c}$;曲面 $z=(x_1+x_2)^2$ 是一个抛物柱面 —— 沿方向 $(1,-1)$(零特征方向)完全平坦,是”山谷的谷底直线”。
示例 (e):3×3 的完整流程(弹簧链,把 (a)–(d) 的机制放大一维)
取 \(A = \begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix},\qquad f(\mathbf{x}) = \mathbf{x}^{\mathsf T}A\mathbf{x} = 2x_1^2 + 2x_2^2 + 2x_3^2 - 2x_1x_2 - 2x_2x_3 .\) (核对:非对角项 $a_{12}=a_{21}=-1$ 贡献 $-2x_1x_2$;$a_{23}=a_{32}=-1$ 贡献 $-2x_2x_3$;$a_{13}=0$ ✓。)
步骤 1(判据 ②)顺序主子式:$\det A_1 = 2 > 0$;$\det A_2 = 4-1 = 3>0$;$\det A_3 = 2(4-1) - (-1)(-2-0) + 0 = 6-2 = 4>0$。全为正 $\Rightarrow$ 正定。
步骤 2(判据 ③)消元:第 1 步乘子 $\ell_{21}=-\frac12,\ \ell_{31}=0$,得 $\begin{bmatrix}2&-1&0\\0&\frac32&-1\\0&-1&2\end{bmatrix}$;第 2 步乘子 $\ell_{32} = -1/\frac32 = -\frac23$,得主元 $d_3 = 2 - \frac23 = \frac43$。主元 $2,\ \frac32,\ \frac43$ 全为正。
步骤 3(判据 ②③ 的换算关系):$d_2 = \det A_2/\det A_1 = 3/2$ ✓,$d_3 = \det A_3/\det A_2 = 4/3$ ✓。
步骤 4(配方 / 判据 ④): \(f = 2\Big(x_1-\tfrac12x_2\Big)^2 + \tfrac32\Big(x_2-\tfrac23x_3\Big)^2 + \tfrac43x_3^2 .\) 三个平方项系数 $2, \frac32, \frac43$ 正是三个主元;括号正是消元的乘子。极小点在 $\mathbf{x}^*=\mathbf{0}$,$f_{\min}=0$。
物理含义:这是三个质点串成的弹簧链(两端固定)的势能。$A$ 正定意味着链没有刚体自由度,唯一平衡位置是全部位移为零,且这个平衡是稳定的(任何非零位移都使势能上升)。若把 $a_{33}$ 从 $2$ 降到 $\frac23$,则 $d_3 = 0$、$\det A_3 = 0$,$A$ 变成半正定奇异,出现零频模态 —— 与 3×3 的 Q2(d) 是同一实验。
【计算机制解说】:3×3 的步骤与 2×2 完全同构:每做一次消元,就”钉死”一个坐标方向,剩下的子问题仍是同类型的二次型。这正是归纳法的物理图像 —— 判据 ② 之所以要检查所有顺序主子式而不是只看总行列式,是因为归纳每一步都需要”当前这个残余子碗仍然朝上”。哪一步翻了号,架构就在那一层失效。
【计算机制解说】:为什么”主元为 $0$”和”极小点不唯一”是同一件事?配方说 $f = d_1(\text{括号}1)^2 + d_2(\text{括号}_2)^2 + \cdots$,每个平方项的系数就是主元。如果某个 $d_k = 0$,对应的配方括号在 $f$ 中完全消失 —— 这个括号里的线性组合可以任意取值而不改变 $f$。而”括号”恰好是消元的一行,令所有括号为零得到的方程组就是 $L^{\mathsf T}\mathbf{x}$ 的一串约束;某个括号缺席,就少了一个约束,解集便从一个点膨胀成一条直线(或平面)。同时 $\det A = d_1d_2\cdots d_n = 0$,$A$ 不可逆,$N(A)$ 非零,零空间方向就是平坦方向。主元 $d_k$ 的三种符号各有身份:$d_k>0$ 该方向”向上弯”;$d_k<0$ 该方向”向下弯”;$d_k=0$ 该方向”不弯”(直线或平面)。顺便,$d_k = \det A_k/\det A{k-1}$($A_k$ 是左上角 $k\times k$ 块),所以判据 ② 与判据 ③ 说的是同一句话 —— 这也解释了为什么它们必须同时成立或同时失效;对本例,$\det A_1 = 1$,$\det A_2 = 0$,于是 $d_2 = 0/1 = 0$。
矩阵分解的核心思想
本讲的四种分解,是”正定性”的四种不同分身:
1. $A = R^{\mathsf T}R$(Cholesky 分解)——判据 ④ 的实体
- 形式:$A$ 正定 $\iff$ 存在上三角可逆矩阵 $R$ 使 $A = R^{\mathsf T}R$。若要求 $R$ 的对角元为正,$R$ 唯一(Cholesky 因子),写作 $A = R^{\mathsf T}R$ 且 $R = D^{1/2}L^{\mathsf T}$。
- 含义:$\mathbf{x}^{\mathsf T}A\mathbf{x} = \vert R\mathbf{x}\vert ^2$。二次型的值变成”一个向量长度的平方”——非负是显然的,而正定($>0$ 严格)等价于 $R\mathbf{x}=\mathbf{0}$ 只有零解,即 $R$ 可逆。
- 揭示的结构:消元不需要换行、主元全为正;$R$ 的对角元依次是 $\sqrt{d_i}$($d_i$ 为主元)。
- 应用:数值求解、生成相关随机向量、最小二乘的稳定实现。验证:$A=\begin{bmatrix}2&-1\\-1&2\end{bmatrix} = R^{\mathsf T}R$ 取 $R = \begin{bmatrix}\sqrt2 & -\frac{1}{\sqrt2}\\ 0 & \sqrt{3/2}\end{bmatrix}$,对角元 $\sqrt2, \sqrt{3/2}$ 恰为主元的平方根。
2. $A = Q\Lambda Q^{\mathsf T}$(谱分解 / 正交对角化)——判据 ① 的实体
- 形式:对称矩阵总可正交对角化,$Q$ 正交($Q^{-1}=Q^{\mathsf T}$),$\Lambda$ 为实对角。
- 含义:正定 $\iff$ 所有 $\lambda_i>0$。几何上,$Q$ 是”把坐标轴转到主轴方向”的旋转/反射,$\Lambda$ 记录各主轴上的”弯曲程度”。椭球 $x^{\mathsf T}Ax=1$ 的主轴方向就是 $Q$ 的列(特征向量),半轴长 $1/\sqrt{\lambda_i}$。
- 应用:主成分分析、振动模态、以及讲次 29 SVD 的对称特例。
3. $A = LDL^{\mathsf T}$(对称消元)——判据 ③ 的实体
- 形式:正定(更一般地,所有顺序主子式非零)时,$A = LDL^{\mathsf T}$,$L$ 单位下三角,$D = \operatorname{diag}(d_1,\dots,d_n)$。
- 含义:$x^{\mathsf T}Ax = \sum_i d_i (\text{第 }i\text{ 个配方括号})^2$。这就是”配方法”的矩阵写法。
- 揭示的结构:$A$ 与 $D$ 合同(congruent),正定性是合同的不变量;消元中主元 $d_i$ 就是顺序主子式之比 $d_i = \det A_i/\det A_{i-1}$($A$ 的分块通过 $LU$ 直接对应)。
4. SVD 在正定对称情形退化为谱分解
对正定对称 $A$,$A^{\mathsf T}A = A^2$,奇异值为 $\sigma_i = \lambda_i$($\lambda_i>0$),右/左奇异向量相同:$A = Q\Lambda Q^{\mathsf T}$。正定是对称矩阵中最”良性”的一类:SVD 与特征分解合一,$\sigma_i = \lambda_i > 0$,不需要处理符号问题。
与其他讲次的关联
- 讲次 25(正定矩阵):本讲直接继承四个判据,并把判据 ②③ 从”判断工具”升级为”极小值的存在性定理”。配方法在那里是技巧,在这里是本体。
- 讲次 26(复矩阵 / 可选):把转置换成共轭转置,实对称正定推广为 Hermitian 正定,$\mathbf{x}^{*}A\mathbf{x}>0$ 始终为实数,判据形式不变。
- 讲次 28(相似矩阵与 Jordan):正定是最强的一类”可对角化”,连 Jordan 块的影子都没有(特征值互异不是必需的,但对称保证 $n$ 个正交特征向量);由正定出发再看不那么好的矩阵,反差最清楚。
- 讲次 29(SVD):椭球半轴 $1/\sqrt{\lambda_i}$ 与奇异值 $\sigma_i$ 的几何含义在此汇合;正定对称时 $\sigma_i = \lambda_i$。
- 讲次 4(消元 A=LU):本讲的”配方 = 消元”是对讲次 4 的意义升级——消元不只是解方程的工具,主元的符号本身就是二次型的形状信息。
- 讲次 16(最小二乘):$\vert A\mathbf{x}-\mathbf{b}\vert ^2$ 的极小化就是本讲公式的直接应用,$A^{\mathsf T}A$ 半正定、列满秩时正定。
- 讲次 20(行列式):顺序主子式 $\det A_i$ 是”前 $i$ 维子空间张成的平行体体积平方”,全为正意味着每一层切片都不翻转。这也解释了 $d_i = \det A_i / \det A_{i-1}$ 的几何来源。
关键要点
- 正定的四判据必须一起记:$\lambda_i>0$ $\iff$ 所有顺序主子式 $>0$ $\iff$ 所有主元 $>0$ $\iff$ $A=R^{\mathsf T}R$($R$ 可逆)。它们互为翻译,考试与工程中按方便挑一个用。
- 二次函数极小化公式:对对称 $A$, \(\nabla f = 2A\mathbf{x}+\mathbf{b},\qquad \nabla^2 f = 2A,\qquad \mathbf{x}^*=-\tfrac12A^{-1}\mathbf{b},\qquad f(\mathbf{x}^*)=c-\tfrac14\mathbf{b}^{\mathsf T}A^{-1}\mathbf{b}.\) 一维类比 $x^*=-\frac{b}{2a}$ 永远可作记忆锚点。
- 正定性 $\Rightarrow$ 唯一全局极小;半正定 $\Rightarrow$ 极小点构成一个平坦子空间(不唯一);不定 $\Rightarrow$ 鞍点;负定 $\Rightarrow$ 唯一全局极大。
- 配方 = 消元:$x^{\mathsf T}Ax = \sum_i d_i(\cdots)^2$,平方项系数即主元,括号即消元乘子。这是本讲的”母公式”。
- 最小二乘的唯一性根源:$A^{\mathsf T}A$ 半正定(恒成立)、列无关时正定,故正规方程有唯一解 $\hat{\mathbf{x}}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf{b}$。
一张”符号表”(把本讲的全部分类压缩成一张表)
对称矩阵 A 的谱符号 -> x^T A x 的形状 -> 临界点 x* 的性质 -> 典型例子
------------------------------------------------------------------------------
全部 lambda_i > 0 碗(椭球等高线) 唯一全局极小点 [2 -1; -1 2]
(正定 positive def.) 极其小值 = c - b^T A^-1 b / 4
全部 lambda_i >= 0 碗/槽(柱面) 极小点集合是平坦子空间 [1 1; 1 1]
含某个 lambda = 0 (不唯一);若 b 有 (一条直线)
(半正定 semidef.) 零特征分量则无下界
lambda 有正有负 马鞍(双曲线) 鞍点 saddle point [1 0; 0 -1]
(不定 indefinite) 既非极大也非极小 [1 3; 3 1]
全部 lambda_i < 0 倒扣的碗 唯一全局极大点 [-1 0; 0 -2]
(负定 negative def.) (-A 正定) det = 2 > 0 !
------------------------------------------------------------------------------
判据速查:lambda>0 | 顺序主子式全>0 | 主元全>0 | A=R^T R (R 可逆)
常见误区与注意事项
- 忘记正定必须先对称。”$\mathbf{x}^{\mathsf T}A\mathbf{x}>0$”这个定义只对实对称矩阵使用。对非对称矩阵,$\mathbf{x}^{\mathsf T}A\mathbf{x}$ 只取到 $A$ 的对称部分 $\frac12(A+A^{\mathsf T})$ 的信息(因为反对称部分贡献恒为 0)。例如 $A=\begin{bmatrix}0&1\\-1&0\end{bmatrix}$ 有 $\mathbf{x}^{\mathsf T}A\mathbf{x}\equiv 0$,却谈不上正定。
- 把 $\det A>0$ 当成正定判据(严重错误)。$A=\begin{bmatrix}-1&0\\0&-2\end{bmatrix}$:$\det A = 2>0$,但它是负定的。必须要求所有顺序主子式都 $>0$,不只是最后一个。判据中的”顺序”也不能丢:$A=\begin{bmatrix}0&1\\1&0\end{bmatrix}$ 的两个主子式($\det$ 取任意 $1\times1$ 与整体)是 $0$ 和 $-1$,非正定,但若只看 $\det=-1<0$ 会同样错过结构信息。
- 把”所有对角元 $>0$”当成充分条件。$A=\begin{bmatrix}1&3\\3&1\end{bmatrix}$ 的对角元 $1,1$ 都为正,但 $\det = -8<0$,是不定的鞍面。对角元为正只是必要(因为 $a_{ii}=\mathbf{e}_i^{\mathsf T}A\mathbf{e}_i>0$),远不充分。
- 以为半正定也有唯一极小点。$A=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 时 $f=(x_1+x_2)^2$ 的最小值 $0$ 在整条直线 $x_1+x_2=0$ 上取到。半正定意味着存在平坦方向(零特征向量),极小点集合可能是一条线、一个平面,甚至整个 $\mathbb{R}^n$(若 $A=0$)。
- 混淆”局部极小”与”全局极小”。一般可微函数 $\nabla f=0$ + Hessian 正定只给出严格局部极小;只有在 $f$ 是二次函数且 $A$ 正定时,局部极小才自动是唯一全局极小。对非二次函数,Hessian 在临界点正定必须逐点检验,且可能存在多个局部极小。
思考题(带答案)
Q1.(判正定 + 求极小点)设 \(f(x_1,x_2) = 5x_1^2 + 4x_1x_2 + 2x_2^2 - 6x_1 - 4x_2 .\) (a) 写出 $A$ 与 $\mathbf{b}$;(b) 用顺序主子式与主元判断 $A$ 是否正定;(c) 求极小点 $\mathbf{x}^$ 与极小值 $f(\mathbf{x}^)$。
答案
**(a)** 由 $\\mathbf{x}^{\\mathsf T}A\\mathbf{x} = 5x_1^2 + 2\\cdot(2)x_1x_2 + 2x_2^2$ 得(对称矩阵交叉项系数对半分) $$A = \begin{bmatrix} 5 & 2\\ 2 & 2\end{bmatrix},\qquad \mathbf{b} = \begin{bmatrix} -6\\ -4\end{bmatrix},\qquad c = 0 .$$ **(b)** 顺序主子式:$\\det A_1 = 5 > 0$;$\\det A_2 = 5\\cdot 2 - 2\\cdot 2 = 10 - 4 = 6 > 0$。全部为正 $\\Rightarrow$ **正定**。 消元复核:$\\begin{bmatrix}5&2\\\\2&2\\end{bmatrix} \\to \\begin{bmatrix}5&2\\\\0&2-\\frac{2\\cdot 2}{5}\\end{bmatrix} = \\begin{bmatrix}5&2\\\\0&\\frac65\\end{bmatrix}$,主元 $5, \\frac65 > 0$ ✓。 特征值:$\\operatorname{tr}=7,\\ \\det=6 \\Rightarrow \\lambda^2-7\\lambda+6=0 \\Rightarrow \\lambda = 6, 1 > 0$ ✓。正定,故有唯一全局极小点。 **(c)** 解 $A\\mathbf{x}^* = -\\mathbf{b}/2 = \\begin{bmatrix}3\\\\2\\end{bmatrix}$: $$\begin{cases} 5x_1 + 2x_2 = 3\\ 2x_1 + 2x_2 = 2\end{cases} \Longrightarrow 3x_1 = 1 \Longrightarrow x_1 = \tfrac13,\quad x_2 = 1 - x_1 = \tfrac23 .$$ 故 $\\mathbf{x}^* = \\big(\\frac13, \\frac23\\big)$。极小值: $$f = 5\cdot\tfrac19 + 4\cdot\tfrac29 + 2\cdot\tfrac49 - 6\cdot\tfrac13 - 4\cdot\tfrac23 = \tfrac59 + \tfrac89 + \tfrac89 - 2 - \tfrac83 = \tfrac{5+8+8}{9} - \tfrac{18}{9} - \tfrac{24}{9} = \tfrac{21-42}{9} = -\tfrac{21}{9} = -\tfrac73 .$$ (用公式复核:$f(\\mathbf{x}^*) = c - \\frac14\\mathbf{b}^{\\mathsf T}A^{-1}\\mathbf{b}$。$A^{-1} = \\frac{1}{6}\\begin{bmatrix}2&-2\\\\-2&5\\end{bmatrix}$,$A^{-1}\\mathbf{b} = \\frac16\\begin{bmatrix}-12+8\\\\12-20\\end{bmatrix} = \\frac16\\begin{bmatrix}-4\\\\-8\\end{bmatrix} = \\begin{bmatrix}-2/3\\\\-4/3\\end{bmatrix}$。$\\mathbf{b}^{\\mathsf T}A^{-1}\\mathbf{b} = (-6)(-\\frac23) + (-4)(-\\frac43) = 4 + \\frac{16}{3} = \\frac{28}{3}$,故 $f = -\\frac14\\cdot\\frac{28}{3} = -\\frac73$ ✓ 两者一致。)Q2.(消元 / 主元题)对 $A = \begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix}$(一维弹簧链的刚度矩阵): (a) 不换行地做消元,写出主元 $d_1,d_2,d_3$;(b) 判断 $A$ 是否正定;(c) 写出对应的配方形式 $x^{\mathsf T}Ax = \sum_i d_i(\cdot)^2$;(d) 若把第三个对角元 $2$ 改成 $1$,结论如何变化?
答案
**(a)** 记 $a_{11}=2$。第一步消去 $(2,1)$ 与 $(3,1)$:乘子 $\\ell_{21} = -\\frac12$,$\\ell_{31} = 0$: $$\begin{bmatrix} 2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix} \to \begin{bmatrix} 2 & -1 & 0\\ 0 & 2 - \frac{(-1)(-1)}{2} & -1\\ 0 & -1 & 2\end{bmatrix} = \begin{bmatrix} 2 & -1 & 0\\ 0 & \frac32 & -1\\ 0 & -1 & 2\end{bmatrix}.$$ 第二步消去 $(3,2)$:乘子 $\\ell_{32} = \\frac{-1}{3/2} = -\\frac23$: $$d_3 = 2 - \frac{(-1)(-1)}{3/2} = 2 - \frac23 = \frac43 .$$ 所以主元 $\\boxed{d_1 = 2,\\ d_2 = \\frac32,\\ d_3 = \\frac43}$,全部为正。三个乘子 $\\ell_{21}=-\\frac12,\\ \\ell_{31}=0,\\ \\ell_{32}=-\\frac23$。 **(b)** 主元全正 $\\Rightarrow$ **正定**。顺序主子式复核:$\\det A_1 = 2>0$;$\\det A_2 = \\begin{vmatrix}2&-1\\\\-1&2\\end{vmatrix} = 3>0$;$\\det A_3 = 2(4-1) - (-1)(-2-0) + 0 = 6 - 2 = 4 > 0$ ✓。注意 $d_i = \\det A_i/\\det A_{i-1}$:$\\frac32 = \\frac{3}{2}$ ✓,$\\frac43 = \\frac{4}{3}$ ✓。 **(c)** 按 $x^{\\mathsf T}Ax = d_1\\big(x_1 + \\ell_{21}x_2 + \\ell_{31}x_3\\big)^2 + d_2\\big(x_2+\\ell_{32}x_3\\big)^2 + d_3x_3^2$ 的模板(对称消元 $A=LDL^{\\mathsf T}$): $$x^{\mathsf T}Ax = 2\Big(x_1 - \tfrac12 x_2\Big)^2 + \tfrac32\Big(x_2 - \tfrac23 x_3\Big)^2 + \tfrac43 x_3^2 .$$ 展开可核对得到 $2x_1^2 - 2x_1x_2 + 2x_2^2 - 2x_2x_3 + 2x_3^2$,与 $A$ 一致。三个括号同时为零 $\\Rightarrow$ $\\mathbf{x}=\\mathbf{0}$,唯一极小点在原点,$f_{\\min}=0$ —— 与"弹簧链没有刚体自由度、端点固定"的物理直觉吻合。 **(d)** 把 $a_{33}$ 改为 $1$:第一步结果不变,$d_2$ 仍为 $\\frac32$;$d_3 = 1 - \\frac{(-1)(-1)}{3/2} = 1 - \\frac23 = \\frac13 > 0$,**仍正定**。若改成使 $d_3 = a_{33} - \\frac23 \\le 0$,即 $a_{33}\\le \\frac23$,则出现非正主元 $\\Rightarrow$ **非正定**:当 $a_{33}=\\frac23$ 时 $d_3=0$,矩阵**奇异半正定**(出现零频模态,对应物理上"某个模式不需要能量");当 $a_{33}<\\frac23$ 时 $\\det A<0$,特征值反号 $\\Rightarrow$ **不定**(不稳定平衡)。这正说明:**极小值是否唯一、是否稳定,全由主元符号读出**。Q3.(概念题)判断下列说法是否正确,并给出理由(可用反例): (a) “若 $\det A>0$ 且所有对角元为正,则 $A$ 正定。” (b) “若 $A$ 半正定且 $\det A = 0$,则 $f(\mathbf{x})=\mathbf{x}^{\mathsf T}A\mathbf{x}+\mathbf{b}^{\mathsf T}\mathbf{x}$ 仍然有唯一极小点。” (c) “Hessian 矩阵正定是 $f$ 在临界点取到全局极小的充分条件。”
