Lecture 22: Variance & Covariance（方差与协方差）

目录 · ← l22 · l24 →

Lecture 22: Variance & Covariance（方差与协方差）

概述

L20 我们学会了期望 (Expectation)，并反复使用它的线性性 (Linearity of Expectation)：无论随机变量是否独立，$\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$ 总成立。但期望只回答”分布的重心在哪”，对”分布有多散”一言不发。本讲补上第二个数字特征——方差 (Variance)，它度量随机变量到均值的平均平方距离；再补上第三个——协方差 (Covariance)，它度量两个随机变量同向/反向变化的程度。

本讲的核心技术是：把”到均值的平方距离”展开、用期望线性性逐项处理。这条工具链会给出一个关键结论——独立随机变量之和的方差等于方差之和。请特别留意它与 L20 的对照：期望的可加性不需要独立，方差的可加性需要独立。这是本讲最重要的教学点，也是概率论里最常被误用的一条。

方差还是下一讲 L23 的燃料：切比雪夫不等式、弱大数定律都要靠 $\operatorname{Var}$ 才能写出来；而”独立和的方差线性增长、标准差只按 $\sqrt{n}$ 增长”这一事实，正是”分布向均值集中”的最初迹象。

核心概念的直观解释

概念一：为什么期望不够——”重心”与”散度”是两个独立的信息

• 定义（问题陈述）：设 $X$ 是随机变量。$\mathbb{E}[X]$ 只给出分布的位置 (location)，不给出尺度/散布 (spread)。
• 直观解释（”它是什么意思？”）：两个人平均月薪都是 1 万元，但一个人每月固定 1 万，另一个人 11 个月拿 0 元、12 月拿 12 万——平均一样，风险完全不同。金融、算法分析、物理里都关心”波动有多大”，而不只是”平均水平是多少”。期望是分布的重心（平衡点），方差是分布的转动惯量（对波动的抵抗力）。
• 具体示例（必须用分布表对比）：

$X$ 是”恒为 0”的退化变量（确定型），$Y$ 是”以 $1/2$ 概率取 $\pm 100$”的变量（脚本验算）：

两者期望完全相同（都是 0），但分布天差地别：$X$ 永远不动，$Y$ 有一半时间跑到 $\pm 100$。如果只报告”期望为 0”，你完全无法区分这两种情况。再看一例：$Z$ 以 $1/2$ 取 $\pm 1$，也有 $\mathbb{E}[Z]=0$，但”波动”明显比 $Y$ 小两个数量级。所以我们需要一个把”偏离均值多少”量化出来的数字。

同一个均值 0 下的三种”形状”（柱状图：柱子长度正比于取值概率）：

   概率
   1.0 |  ####
       |  ####
   0.8 |  ####
       |  ####
   0.6 |  ####
       |  ####
   0.5 |  ####                    ####          ####
   0.4 |  ####                    ####          ####
       |  ####                    ####          ####
   0.25|  ####                    ####          ####
       |  ####                    ####          ####
   0.0 +--####----+----+----+-----####----+-----####----> x
          -100   -1    0    +1    +100        (示意)
          \______X______/   \_Z_/   \____Y____/
          Var = 0           Var=1    Var=7500
           sigma=0           sigma=1  sigma=86.6

   读法：三个分布的"重心"都在 x=0（虚线处平衡），
        但 X 是一根针，Z 是一个窄峰，Y 是两根伸到 ±100 的长条。
        期望看到的是"平衡点"，方差看到的是"张开的宽度"。

方差按定义算出的三个值（$0$、$1$、$7500$）恰好把”针 / 窄峰 / 长条”这三种形状严格区分开了。

概念二：方差 (Variance)

• 定义：设随机变量 $X$ 的期望为 $\mu=\mathbb{E}[X]$，则

  \[\operatorname{Var}(X) = \mathbb{E}\left[(X-\mu)^2\right].\]

  等价地（定理 22.1）$\operatorname{Var}(X) = \mathbb{E}[X^2] - \mu^2 = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$。

• 直观解释：”到均值的平均平方距离“。先算每个取值离均值多远（$X-\mu$），平方掉正负号，再按概率加权平均。为什么平方而不用绝对值 $\vert X-\mu\vert $？三个理由：
  1. 可微：$x^2$ 处处可导，$\vert x\vert $ 在 0 处有尖角，后面做优化（例如 L25 的最小二乘/CLT 的矩计算）时会碍事；
  2. 与内积结构一致：$\mathbb{E}[XY]$ 是随机变量空间上的内积，平方距离 $\mathbb{E}[(X-Y)^2]$ 就是内积诱导的范数平方，于是协方差、相关系数、Cauchy–Schwarz 全都自然出现；
  3. 代数可展开：$(X-\mu)^2 = X^2-2\mu X+\mu^2$，能直接用期望线性性逐项拆开，而 $\vert X-\mu\vert $ 不能。

• 具体示例：上面的分布表。对 $X$（恒为 0）：$\operatorname{Var}(X)=\mathbb{E}[(0-0)^2]=0$。对 $Y$：

  \[\operatorname{Var}(Y) = \tfrac12(100-0)^2+\tfrac14(-100-0)^2+\tfrac14(0-0)^2 = \tfrac12\cdot 10000+\tfrac14\cdot 10000+\tfrac14\cdot 0 = 7500.\]

  对 $Z$（$\pm1$ 各 $1/2$）：$\operatorname{Var}(Z)=1$。三个变量期望都是 0，方差依次为 $0,1,7500$——方差成功地区分了它们。

概念三：标准差 (Standard Deviation)

• 定义：$\sigma(X) = \sqrt{\operatorname{Var}(X)}$。注意 $\sigma\ge 0$。
• 直观解释（”它是什么意思？”）：方差把量纲平方了。若 $X$ 的单位是”米”，则 $\operatorname{Var}(X)$ 的单位是”平方米”，说”波动的平方米是 7500”很别扭。开平方后方差的单位回到”米”，与 $X$ 同量纲，可以直接和 $X$ 的数值比较——这正是不等式 $\mathbb{E}[\vert S_n\vert ]\le\sqrt{\mathbb{E}[S_n^2]}$ 那类”把平方距离翻译回距离”的做法的动机。
• 具体示例：上例中 $\sigma(Y)=\sqrt{7500}\approx 86.6$。这意味着 $Y$ 的典型偏离在 $\pm 86.6$ 量级——比 $\pm 100$ 略小（因为有时取 0）。而 $\sigma(Z)=1$，$\sigma(X)=0$。
• 命名记号：本笔记统一用 $\mu_X=\mathbb{E}[X]$、$\sigma_X=\sigma(X)=\sqrt{\operatorname{Var}(X)}$。当只有一个变量时简写为 $\mu,\sigma$。

概念四：协方差 (Covariance)

• 定义：$\operatorname{Cov}(X,Y) = \mathbb{E}\left[(X-\mu_X)(Y-\mu_Y)\right] = \mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$。
• 直观解释（”它是什么意思？”）：把两个变量各自的”偏离量”乘起来。若 $X$ 偏大时 $Y$ 也倾向偏大，则 $(X-\mu_X)(Y-\mu_Y)$ 多为正，期望为正；若 $X$ 偏大时 $Y$ 倾向偏小（”跷跷板关系”），乘积多为负，协方差为负；若两者没有系统的同向/反向关系，正负项互相抵消，协方差接近 0。协方差就是”同向变化”的量化。
• 具体示例：设 $X$ 均匀取 $\{-1,0,1\}$，令 $Y=X$。则同向完全同步，$\operatorname{Cov}(X,X)=\operatorname{Var}(X)=2/3>0$（脚本验算：$\mathbb{E}[X]=0$，$\mathbb{E}[X^2]=2/3$）。再令 $Y=-X$，则 $\operatorname{Cov}(X,-X)=-2/3<0$。最后令 $Y=X^2$，我们会精确算出 $\operatorname{Cov}(X,Y)=0$——尽管 $Y$ 由 $X$ 完全决定！这个反例是本讲的重点，见后文。

概念五：相关系数 (Correlation)

• 定义：$\rho_{X,Y} = \operatorname{Corr}(X,Y) = \dfrac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}$（要求 $\sigma_X>0,\sigma_Y>0$）。
• 直观解释：协方差受量纲影响——把 $X$ 的单位从”米”换成”厘米”，协方差放大 100 倍，但”关联强度”根本没变。除以两个标准差正好把量纲消掉，得到一个无量纲的、恒在 $[-1,1]$ 内的数。它度量的是两个变量的线性 (linear) 关联程度，不是任意关联程度。

完整证明与推导（核心）

一、方差的两种形式等价

定理 22.1（方差的计算公式）：对任意随机变量 $X$（期望存在），记 $\mu=\mathbb{E}[X]$，则

证明策略：直接证明 + 代数展开。这是最典型的”展开平方、用期望线性性逐项处理”的套路。之所以能把期望”拆进去”，是因为 $\mu$ 是常数（不是随机变量），所以 $\mathbb{E}[\mu X]=\mu\mathbb{E}[X]$、$\mathbb{E}[\mu^2]=\mu^2$ 都对。

逐步推导：

1. 从定义出发：$\operatorname{Var}(X)=\mathbb{E}\left[(X-\mu)^2\right]$。（依据：定义）
2. 展开括号内的平方：$(X-\mu)^2 = X^2-2\mu X+\mu^2$。（依据：代数恒等式）

3. 代入并利用期望线性性拆成三项：

   \[\operatorname{Var}(X)=\mathbb{E}\left[X^2-2\mu X+\mu^2\right]=\mathbb{E}[X^2]-2\mu\,\mathbb{E}[X]+\mathbb{E}[\mu^2].\]

   （依据：期望线性性 $\mathbb{E}[aU+bV+c]=a\mathbb{E}[U]+b\mathbb{E}[V]+c$）

4. 处理后两项。因为 $\mu$ 是常数：$\mathbb{E}[\mu X] = \mu\mathbb{E}[X]$，且 $\mathbb{E}[\mu^2]=\mu^2$。又 $\mathbb{E}[X]=\mu$，故 $-2\mu\mathbb{E}[X] = -2\mu^2$，于是

   \[\operatorname{Var}(X)=\mathbb{E}[X^2]-2\mu^2+\mu^2.\]
5. 合并：$\operatorname{Var}(X)=\mathbb{E}[X^2]-\mu^2 = \mathbb{E}[X^2]-(\mathbb{E}[X])^2$。$\blacksquare$

【证明机制解说】：整个证明的”灵光一现”只有一处——注意到 $\mu$ 是常数。一旦把 $\mu$ 当成常数而不是随机变量，期望线性性就可以毫无顾虑地穿过它，三项分别处理。这也是本讲所有方差/协方差代数运算的通用套路：凡是只含单个变量的期望的表达式，全部当常数处理。

两种形式的取舍：定义形式 $\mathbb{E}[(X-\mu)^2]$ 直观但要在知道 $\mu$ 之后再算一遍加权和；公式形式 $\mathbb{E}[X^2]-\mu^2$ 只需算两个原始矩 $\mathbb{E}[X]$ 与 $\mathbb{E}[X^2]$。注意高频错误：$\mathbb{E}[X^2]$ 与 $(\mathbb{E}[X])^2$ 完全不同——例如 $X\sim\mathrm{Ber}(1/2)$ 时 $\mathbb{E}[X^2]=1/2$ 而 $(\mathbb{E}[X])^2=1/4$。

二、方差非负，且为 0 当且仅当变量几乎必然为常数

定理 22.2（方差为零的刻画）：对任意随机变量 $X$，$\operatorname{Var}(X)\ge 0$；且 $\operatorname{Var}(X)=0$ 当且仅当存在常数 $c$ 使得 $\Pr[X=c]=1$。

证明策略：直接证明 + 非负项求和。关键观察是：$(X(\omega)-\mu)^2$ 对每一个样本点 $\omega$ 都 $\ge 0$，而期望是这些非负数以非负概率 $P(\omega)$ 加权求和，故必然 $\ge 0$。至于反向，”加权非负数之和为 0”意味着每个正项前面的权重必须是 0。

逐步推导：

1. 对任意 $\omega\in\Omega$，实数的平方非负，故 $(X(\omega)-\mu)^2\ge 0$。
2. 期望的定义是 $\mathbb{E}[(X-\mu)^2]=\sum_{\omega\in\Omega}(X(\omega)-\mu)^2\,P(\omega)$。这是有限个（或可数个）非负项乘非负权重之和，故 $\ge 0$。这就证明了 $\operatorname{Var}(X)\ge 0$。（依据：定义 + 每项非负）
3. 反向（$\Leftarrow$）：若 $\Pr[X=c]=1$，则 $\mu=\mathbb{E}[X]=c$，于是对每个 $\omega$ 都有 $(X(\omega)-c)^2=0$（在概率为 1 的集合上），故 $\operatorname{Var}(X)=0$。
4. 反向（$\Rightarrow$）：设 $\operatorname{Var}(X)=0$。第 2 步的和式中每项 $(X(\omega)-\mu)^2P(\omega)\ge 0$，总和为 0 迫使每一项都为 0。因此对每个满足 $P(\omega)>0$ 的 $\omega$，都有 $(X(\omega)-\mu)^2=0$，即 $X(\omega)=\mu$。也就是说，概率为 1 的集合上 $X$ 恒等于 $\mu$，取 $c=\mu$ 即得。$\blacksquare$

【证明机制解说】：这条定理看似”显然”，但它的证明模式非常重要——“非负随机变量期望为 0 ⟹ 该随机变量几乎必然为 0”。这个模式在后面反复出现：它是 Markov 不等式的基础，也是证明”两个随机变量几乎必然相等”（比如 $\operatorname{Corr}=1$ 时 $Y=aX+b$）的标准手法。

术语说明：”几乎必然 (almost surely / with probability 1)”表示命题在一个概率为 1 的集合上成立，允许在一个概率为 0 的集合上失效。CS70 的样本空间通常有限，此时”$\Pr[X=c]=1$”就等价于”所有正概率的样本点都取 $c$”。

三、缩放与平移：$\operatorname{Var}(cX)=c^2\operatorname{Var}(X)$ 与 $\operatorname{Var}(X+c)=\operatorname{Var}(X)$

定理 22.3（方差的缩放与平移法则）：对任意随机变量 $X$ 与常数 $a,b\in\mathbb{R}$，

特别地：$\operatorname{Var}(cX)=c^2\operatorname{Var}(X)$（注意平方，不是 $c$）与 $\operatorname{Var}(X+b)=\operatorname{Var}(X)$（平移不变）。

证明策略：直接证明 + 定理 22.1 的公式形式。想法是：先算出 $aX+b$ 的期望，再用 $\mathbb{E}[(aX+b)^2]-(\mathbb{E}[aX+b])^2$ 展开。选择公式形式而非定义形式，是因为 $aX+b$ 的分布要在知道 $X$ 分布之后才能写出来，而公式形式只需要两个矩。

逐步推导：

1. 由期望线性性，$\mu_{aX+b}=\mathbb{E}[aX+b]=a\mathbb{E}[X]+b=a\mu_X+b$。（依据：期望线性性；注意 $a,b$ 是常数，方向与缩放无关）

2. 计算二阶矩：

   \[\mathbb{E}\left[(aX+b)^2\right]=\mathbb{E}\left[a^2X^2+2abX+b^2\right]=a^2\mathbb{E}[X^2]+2ab\,\mathbb{E}[X]+b^2.\]

   （依据：代数展开 + 期望线性性）

3. 代入 $\operatorname{Var}(aX+b)=\mathbb{E}\left[(aX+b)^2\right]-\left(\mathbb{E}[aX+b]\right)^2$：

   \[\operatorname{Var}(aX+b)=a^2\mathbb{E}[X^2]+2ab\mu_X+b^2-\left(a\mu_X+b\right)^2.\]
4. 展开右边括号：$(a\mu_X+b)^2=a^2\mu_X^2+2ab\mu_X+b^2$。

5. 相减，$2ab\mu_X$ 与 $b^2$ 恰好抵消：

   \[\operatorname{Var}(aX+b)=a^2\mathbb{E}[X^2]-a^2\mu_X^2=a^2\left(\mathbb{E}[X^2]-\mu_X^2\right)=a^2\operatorname{Var}(X).\ \blacksquare\]
6. 取 $b=0$ 得 $\operatorname{Var}(cX)=c^2\operatorname{Var}(X)$；取 $a=1$ 得 $\operatorname{Var}(X+b)=\operatorname{Var}(X)$。

【证明机制解说】：这里最妙的不是代数，而是抵消的必然性。平移 $+b$ 把整个分布搬走，各点到新均值的距离当然不变；缩放 $\times a$ 把每个偏离量放大 $\vert a\vert $ 倍，平方后就是 $a^2$ 倍。所以 $\operatorname{Var}$ 对平移”免疫”、对缩放”平方响应”，这两条其实可以先由直觉猜出来，再用代数验证。

反例（高频错误必须亲眼看到）：$\operatorname{Var}(cX)\ne c\operatorname{Var}(X)$——除非 $c\in\{0,1\}$。脚本验算：$X$ 为公平骰子点数，$\operatorname{Var}(X)=35/12\approx2.9167$。取 $c=3$：正确的 $\operatorname{Var}(3X)=9\cdot2.9167=26.25$，而错误的 $3\cdot2.9167=8.75$ 差了三倍。直觉上：把分布拉宽 3 倍，波动不是变 3 倍，而是（按平方度量）变 9 倍；按标准差度量才是变 3 倍（$\sigma(3X)=3\sigma(X)$，标准差是”线性缩放”的，方差是”平方缩放”的）。

四、独立随机变量之积的期望（引理）

定理 22.4（独立变量的乘积期望）：若 $X,Y$ 独立，则 $\mathbb{E}[XY]=\mathbb{E}[X]\,\mathbb{E}[Y]$。

证明策略：直接证明 + 二重和拆项（分离变量）。独立性的定义就是 $\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$，把这个等式代进 $\mathbb{E}[XY]$ 的联合和式，再把二重和因式分解成两个单重和之积。

逐步推导：

1. 由期望的定义（对联合分布求和）：

   \[\mathbb{E}[XY]=\sum_{a}\sum_{b}ab\,\Pr[X=a,Y=b].\]

   （依据：LOTUS 的两变量版本，或 $\mathbb{E}[XY]$ 的联合定义——见 L21）

2. 用独立性把联合概率换成乘积：$\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$。这是整个证明唯一用到独立性的地方。

3. 于是

   \[\mathbb{E}[XY]=\sum_a\sum_b ab\,\Pr[X=a]\Pr[Y=b].\]

4. 分离变量：$ab\,\Pr[X=a]\Pr[Y=b]=\big(a\Pr[X=a]\big)\big(b\Pr[Y=b]\big)$。注意这是”关于 $a$ 的因子”乘”关于 $b$ 的因子”，所以二重和可以拆成两个单重和的乘积：

   \[\mathbb{E}[XY]=\left(\sum_a a\,\Pr[X=a]\right)\left(\sum_b b\,\Pr[Y=b]\right)=\mathbb{E}[X]\,\mathbb{E}[Y].\ \blacksquare\]

【证明机制解说】：关键一步是因式分解。二重和 $\sum_a\sum_b f(a)g(b)$ 只有在被加项能完整拆成”只含 $a$”与”只含 $b$”两部分之积时才能分离；而独立性恰好提供了这个拆分。一旦不独立，$\Pr[X=a,Y=b]$ 里 $a$ 与 $b$ 纠缠在一起，因式分解就崩了——这就是”方差可加需要独立”的根源。

反例（条件不可省）：取 $X\sim\mathrm{Ber}(1/2)$，$Y=X$（完全不独立）。则 $\mathbb{E}[XY]=\mathbb{E}[X^2]=\mathbb{E}[X]=1/2$，而 $\mathbb{E}[X]\mathbb{E}[Y]=1/4$。两者不等。这就是官方 Note 强调的一点：$X$ 与 $X$ 不独立，所以 $\mathbb{E}[X^2]\ne(\mathbb{E}[X])^2$。

五、独立随机变量之和的方差可加

定理 22.5（方差的可加性）：若 $X,Y$ 独立，则

证明策略：直接证明 + 公式形式 + 定理 22.4。展开 $\mathbb{E}[(X+Y)^2]-(\mathbb{E}[X+Y])^2$，把交叉项 $2(\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y])$ 单独拎出来，再用独立性把它判为 0。

逐步推导：

1. 记 $\mu_X=\mathbb{E}[X]$，$\mu_Y=\mathbb{E}[Y]$。由期望线性性，$\mathbb{E}[X+Y]=\mu_X+\mu_Y$。

2. 用定理 22.1 的公式形式（取 $X+Y$ 为新变量）：

   \[\operatorname{Var}(X+Y)=\mathbb{E}\left[(X+Y)^2\right]-\left(\mathbb{E}[X+Y]\right)^2.\]
3. 展开二阶矩：$(X+Y)^2=X^2+2XY+Y^2$，故 $\mathbb{E}[(X+Y)^2]=\mathbb{E}[X^2]+2\mathbb{E}[XY]+\mathbb{E}[Y^2]$。（依据：期望线性性）
4. 展开均值的平方：$(\mu_X+\mu_Y)^2=\mu_X^2+2\mu_X\mu_Y+\mu_Y^2$。

5. 相减并按变量归组：

   \[\operatorname{Var}(X+Y)=\underbrace{\left(\mathbb{E}[X^2]-\mu_X^2\right)}_{=\,\operatorname{Var}(X)}+\underbrace{\left(\mathbb{E}[Y^2]-\mu_Y^2\right)}_{=\,\operatorname{Var}(Y)}+\underbrace{2\left(\mathbb{E}[XY]-\mu_X\mu_Y\right)}_{=\,2\operatorname{Cov}(X,Y)}.\]
6. 由独立性（定理 22.4），$\mathbb{E}[XY]=\mu_X\mu_Y$，所以最后一项 $2\operatorname{Cov}(X,Y)=0$。
7. 于是 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。$\blacksquare$

推论 22.5.1（$n$ 个独立变量）：若 $X_1,\dots,X_n$ 两两独立（或整体独立），则

特别地，若它们独立同分布 (i.i.d.)，则 $\operatorname{Var}\left(\sum X_i\right)=n\operatorname{Var}(X_1)$，从而 $\sigma\left(\sum X_i\right)=\sqrt{n}\,\sigma(X_1)$。

【证明机制解说】：整个证明的结构是”展开 → 分组 → 用独立性杀掉交叉项”。请记住第 5 步的分组结果——它其实已经给出了一般形式的方差公式（定理 22.9），独立只是让交叉项消失的特例。这就是为什么后文要引入协方差：它把”不独立时的修正量”显式命名出来了。

⚠️ 本讲最核心的教学点：期望线性性 vs. 方差可加性的对比

这两条性质看起来很像，条件却完全不同，混用会直接导致错误答案。

为什么期望这么”强”？因为期望线性性是逐项求和的重新排列，纯粹是分配律，与各项之间的概率关联毫无关系。为什么方差这么”弱”？因为方差本质上是二阶量，展开后必然出现 $XY$ 这样的交叉项，而交叉项处理不了两个变量一起取值时的相关性。用一句可背的话总结：“期望永远可加；方差要独立才可加；标准差不满足任何可加性。”

反例（不独立时方差可加性失效）：取 $X\sim\mathrm{Ber}(1/2)$，$Y=X$，则 $X+Y=2X$，$\operatorname{Var}(X+Y)=\operatorname{Var}(2X)=4\operatorname{Var}(X)=4\cdot 1/4=1$。但 $\operatorname{Var}(X)+\operatorname{Var}(Y)=1/4+1/4=1/2\ne 1$。（脚本验算：$\mathbb{E}[(2X)^2]=4\cdot 1/2=2$，$\mathbb{E}[2X]=1$，故 $\operatorname{Var}=2-1=1$ ✓）注意：这里 $\operatorname{Cov}(X,X)=\operatorname{Var}(X)=1/4$，代入一般公式得 $1/4+1/4+2\cdot1/4=1$，完全吻合。

六、协方差的定义、等价形式与双线性

定理 22.6（协方差两形式等价）：对随机变量 $X,Y$，

证明策略：与定理 22.1 完全同构——展开乘积、用期望线性性。

逐步推导：

1. 从定义出发，展开括号内的乘积：

   \[(X-\mu_X)(Y-\mu_Y)=XY-\mu_Y X-\mu_X Y+\mu_X\mu_Y.\]

2. 取期望，对四项分别用线性性（$\mu_X,\mu_Y$ 是常数）：

   \[\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mu_Y\mathbb{E}[X]-\mu_X\mathbb{E}[Y]+\mu_X\mu_Y.\]

3. 代入 $\mathbb{E}[X]=\mu_X$、$\mathbb{E}[Y]=\mu_Y$：

   \[\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mu_Y\mu_X-\mu_X\mu_Y+\mu_X\mu_Y=\mathbb{E}[XY]-\mu_X\mu_Y.\ \blacksquare\]

推论 22.6.1（三条基本性质）：

1. $\operatorname{Cov}(X,X)=\mathbb{E}[X^2]-\mathbb{E}[X]^2=\operatorname{Var}(X)$。（把 $Y=X$ 代入）
2. $\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X)$。（两形式都是对称的）
3. $\operatorname{Cov}(X,c)=0$ 对任意常数 $c$ 成立。（$\mathbb{E}[Xc]-\mathbb{E}[X]\mathbb{E}[c]=c\mathbb{E}[X]-c\mathbb{E}[X]=0$）——常数与任何变量”不相关”。

定理 22.7（协方差的双线性 / Bilinearity）：对任意随机变量 $X_1,\dots,X_n$ 与 $Y_1,\dots,Y_m$，以及常数 $a_1,\dots,a_n$ 与 $b_1,\dots,b_m$，

证明策略：直接证明 + 期望线性性。注意这里不需要任何独立性假设！双线性是协方差最强的代数性质，也是它比方差好用的原因。

逐步推导：

1. 先化简两个线性组合的期望。由期望线性性，$\mathbb{E}\left[\sum_i a_iX_i\right]=\sum_i a_i\mu_{X_i}$，同理对右边。

2. 用公式形式展开：

   \[\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right)=\mathbb{E}\left[\left(\sum_i a_iX_i\right)\left(\sum_j b_jY_j\right)\right]-\left(\sum_i a_i\mu_{X_i}\right)\left(\sum_j b_j\mu_{Y_j}\right).\]

3. 把两个和式相乘展开成二重和（分配律）：

   \[\left(\sum_i a_iX_i\right)\left(\sum_j b_jY_j\right)=\sum_i\sum_j a_ib_jX_iY_j,\qquad \left(\sum_i a_i\mu_{X_i}\right)\left(\sum_j b_j\mu_{Y_j}\right)=\sum_i\sum_j a_ib_j\mu_{X_i}\mu_{Y_j}.\]

4. 取期望（线性性），两项的差就是每个 $(i,j)$ 配对的差之和：

   \[\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right)=\sum_i\sum_j a_ib_j\left(\mathbb{E}[X_iY_j]-\mu_{X_i}\mu_{Y_j}\right).\]
5. 括号内正是 $\operatorname{Cov}(X_i,Y_j)$，故结论成立。$\blacksquare$

【证明机制解说】：双线性之所以”免费”，是因为协方差的定义本身就是期望这个线性泛函作用在乘积上。期望线性性允许我们把 $\sum$ 自由拖进拖出，于是协方差对每个参数都是线性的。作为特例，取 $n=2,m=1,X_1=X,X_2=Y,Y_1=Z,a_1=a,a_2=b$，得到课堂上最常用的形式：

与内积的类比：$\operatorname{Cov}$ 在随机变量空间上扮演的角色完全类似内积：对称（性质 2）、双线性（定理 22.7）、”自内积”是 $\operatorname{Var}(\cdot)\ge 0$（性质 1 + 定理 22.2）。唯一不同的是 $\operatorname{Cov}(X,X)=0$ 只说明 $X$ 几乎必然是常数，而不是说 $X=0$——所以严格来说它是半内积 (semi-inner product)。这个类比直接解释了相关系数为什么天然落在 $[-1,1]$（内积的 Cauchy–Schwarz 不等式）。

七、独立 ⟹ 协方差为 0，但反之不成立（本讲最重要的反例）

定理 22.8（独立推出零协方差）：若 $X,Y$ 独立，则 $\operatorname{Cov}(X,Y)=0$。

证明：把定理 22.4（$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$）代入 $\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$ 即得。$\blacksquare$

定理 22.8 的逆不成立——完整反例

反例构造：设 $X$ 在 $\{-1,0,1\}$ 上均匀分布（每个取值概率 $1/3$），令 $Y=X^2$。则 $\operatorname{Cov}(X,Y)=0$，但 $X,Y$ 不独立——因为 $Y$ 完全由 $X$ 决定，$X$ 也几乎完全由 $Y$ 决定。

逐步推导：

1. 写出 $X$ 的分布：$\Pr[X=-1]=\Pr[X=0]=\Pr[X=1]=1/3$。

2. 由 $Y=X^2$ 得到 $Y$ 的分布：$X=\pm1$ 时 $Y=1$，$X=0$ 时 $Y=0$。故

   \[\Pr[Y=1]=\Pr[X=1]+\Pr[X=-1]=\tfrac13+\tfrac13=\tfrac23,\qquad \Pr[Y=0]=\Pr[X=0]=\tfrac13.\]

3. 算三个矩：

   \(\mathbb{E}[X]=\tfrac13(-1)+\tfrac13(0)+\tfrac13(1)=0,\) \(\mathbb{E}[Y]=\tfrac23(1)+\tfrac13(0)=\tfrac23,\) \(\mathbb{E}[XY]=\mathbb{E}[X\cdot X^2]=\mathbb{E}[X^3]=\tfrac13(-1)^3+\tfrac13(0)^3+\tfrac13(1)^3=0.\)

4. 代入：$\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]=0-0\cdot\tfrac23=0$。协方差确实为 0。（脚本验算通过）
5. 检验独立性。列出联合分布表：

若独立，则每格都应有 $\Pr[X=x]\Pr[Y=y]$。但例如

两者相差 3 倍。故 $X,Y$ 不独立。 $\blacksquare$

1. 更直观的检验：独立要求”知道 $X$ 的取值后 $Y$ 的分布不变”。但这里一旦知道 $X=0$，就必然有 $Y=0$（$\Pr[Y=0\mid X=0]=1$）；而事先 $\Pr[Y=0]=1/3$。条件分布被彻底改变了，这正是不独立的定义性特征。

直觉解释（为什么会有这种”幽灵”）：协方差捕捉的是线性同向性。$Y=X^2$ 中 $X$ 与 $Y$ 的关系是抛物线形的、完全确定的但非线性的：$X=-1$ 与 $X=+1$ 都给出同一个 $Y=1$，两侧的贡献 $(X-\mu_X)(Y-\mu_Y)$ 分别为 $(-1)(1/3)$ 与 $(+1)(1/3)$，一正一负完美抵消。所以”关联很强”和”协方差很大”是两件事——协方差为 0 只说”没有线性关联”，绝不说”没有关联”。

术语：$\operatorname{Cov}(X,Y)=0$ 时称 $X,Y$ 不相关 (uncorrelated)。上面的反例精确说明了：不相关 $\ne$ 独立。反方向（独立 $\Rightarrow$ 不相关）则由定理 22.8 保证成立。

协方差正负的散点示意（每点代表一个等概率样本，虚线为各自均值）：

  (a) Cov > 0 正相关        (b) Cov < 0 负相关       (c) Cov = 0 但强关联
      Y                          Y                        Y=X^2
      |        ..                |  ..                      |   *     *
      |      ..                  |    ..                    |  *       *
      |    ..                    |      ..                  | *         *
   ---+--..---------- Ybar    ---+--------..----- Ybar   ---+------------- Ybar
      |..                        |          ..              |  *       *
      |                          |            ..            |   *     *
      |                          |              ..          |
   ---+-------------- X       ---+-------------- X      ---+-------------- X
      Xbar                       Xbar                     Xbar

  点云沿"左下→右上"         点云沿"左上→右下"         完美抛物线，左右对称
  一条带子铺开              一条带子铺开              正负贡献精确抵消 → Cov=0
  Cov = +sigma_X sigma_Y     Cov = -sigma_X sigma_Y    但 Y 由 X 完全决定 → 不独立
  (Xi-Xbar)(Yi-Ybar) 多为正  (Xi-Xbar)(Yi-Ybar) 多为负  （"没有线性关系 ≠ 没有关系"）

读法：协方差只看”点云沿哪条斜线铺开”，看不到抛物线这类弯曲的规律。(c) 图是本讲最重要的图景——它解释了为什么 $\operatorname{Cov}=0$ 不能推出独立。

八、一般形式的方差：含协方差项的完整公式

定理 22.9（方差的一般公式）：对任意随机变量 $X_1,\dots,X_n$（不需要独立），

证明策略：直接证明 + 双线性。把 $\operatorname{Var}\left(\sum X_i\right)$ 写成 $\operatorname{Cov}\left(\sum_i X_i,\sum_j X_j\right)$，然后直接套用定理 22.7 的双线性把二重和展开，最后把 $i=j$ 的对角项与 $i\ne j$ 的交叉项分开。

逐步推导：

1. 关键改写：$\operatorname{Var}(U)=\operatorname{Cov}(U,U)$（定理 22.6.1 性质 1）。取 $U=\sum_{i=1}^n X_i$：

   \[\operatorname{Var}\left(\sum_{i=1}^n X_i\right)=\operatorname{Cov}\left(\sum_{i=1}^n X_i,\ \sum_{j=1}^n X_j\right).\]

2. 取全部系数为 1，由双线性（定理 22.7）：

   \[=\sum_{i=1}^n\sum_{j=1}^n \operatorname{Cov}(X_i,X_j).\]

3. 把二重和按 $i=j$ 与 $i\ne j$ 拆开：

   \[=\underbrace{\sum_{i=1}^n\operatorname{Cov}(X_i,X_i)}_{\text{对角项}}+\underbrace{\sum_{i\ne j}\operatorname{Cov}(X_i,X_j)}_{\text{交叉项}}.\]
4. 对角项：$\operatorname{Cov}(X_i,X_i)=\operatorname{Var}(X_i)$。（依据：定理 22.6.1 性质 1）

5. 交叉项：由对称性 $\operatorname{Cov}(X_i,X_j)=\operatorname{Cov}(X_j,X_i)$，故 $\sum_{i\ne j}$ 中每一对无序对 $\{i,j\}$（$i<j$）都出现两次，贡献 $2\operatorname{Cov}(X_i,X_j)$：

   \[\sum_{i\ne j}\operatorname{Cov}(X_i,X_j)=2\sum_{1\le i<j\le n}\operatorname{Cov}(X_i,X_j).\]
6. 合并即得结论。$\blacksquare$

推论 22.9.1（两变量情形）：$\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y)$。当 $X,Y$ 独立时 $\operatorname{Cov}(X,Y)=0$，退化为定理 22.5。

推论 22.9.2（独立时交叉项全部消失）：若 $X_1,\dots,X_n$ 两两独立，则所有 $i\ne j$ 的 $\operatorname{Cov}(X_i,X_j)=0$（定理 22.8），于是

【证明机制解说】：定理 22.9 是本讲的”总纲”——它把前面所有结论统一了。方差的”可加性”从来不是无条件成立的，而是交叉项恰好为零这一特殊情形。独立性只是保证交叉项为零的充分条件之一（另一个更弱的充分条件是”两两不相关”）。记住这个层级关系：

  一般情形:  Var(sum Xi) = sum Var(Xi) + 2 * sum_{i<j} Cov(Xi,Xj)
                              |
                              | 若所有 Cov(Xi,Xj)=0（两两不相关）
                              v
  不相关情形: Var(sum Xi) = sum Var(Xi)
                              |
                              | 若 Xi 两两独立（更强，蕴含不相关）
                              v
  独立情形:   Var(sum Xi) = sum Var(Xi)      <-- 最常用，但条件最强

反向的箭头不存在：不相关推不出独立（本节反例），所以”交叉项为零”是个比独立更弱的条件。工程上常直接验证不相关（只需算 $\mathbb{E}[XY]$），比验证独立（要算整个联合分布）容易得多。

九、必算的分布方差（含完整推导）

1. 伯努利分布 $\mathrm{Ber}(p)$：$\operatorname{Var}(X)=p(1-p)$

设 $X\in\{0,1\}$ 且 $\Pr[X=1]=p$。则 $\mathbb{E}[X]=p$。

关键观察：因为 $X$ 只取 $0$ 和 $1$，所以 $X^2=X$——对每一个样本点都成立（$0^2=0$，$1^2=1$）。于是

代入公式形式：

验算：$p=0.5$ 时 $\operatorname{Var}=0.25$；$p=0.3$ 时 $0.21$；$p=0.1$ 时 $0.09$。（脚本验算通过）注意 $p(1-p)$ 在 $p=1/2$ 处取最大值 $1/4$——这个事实在 L23 估计硬币偏差时会直接决定样本量上界。

⚠️ 高频错误：$\mathbb{E}[X^2]=\mathbb{E}[X]=p$ 只对 $0/1$ 变量成立。一般地 $\mathbb{E}[X^2]\ne\mathbb{E}[X]$（例如公平骰子 $\mathbb{E}[X]=3.5$ 而 $\mathbb{E}[X^2]=91/6\approx15.17$）。

2. 二项分布 $\mathrm{Bin}(n,p)$：$\operatorname{Var}(X)=np(1-p)$

设 $X$ 为 $n$ 次独立抛硬币（正面概率 $p$）中的正面数。写成指示变量之和：

逐步推导：

1. 每个 $I_i$ 是 $\mathrm{Ber}(p)$，故 $\mathbb{E}[I_i]=p$，$\operatorname{Var}(I_i)=p(1-p)$。（依据：上一条）
2. 由期望线性性（不需要独立），$\mathbb{E}[X]=\sum_{i=1}^n\mathbb{E}[I_i]=np$。（依据：L20 期望线性性）

3. $I_1,\dots,I_n$ 相互独立，因为它们分别由 $n$ 次互相独立的抛硬币决定。于是由推论 22.5.1：

   \[\operatorname{Var}(X)=\sum_{i=1}^n\operatorname{Var}(I_i)=\sum_{i=1}^n p(1-p)=np(1-p).\ \blacksquare\]

验算：$n=10$：$p=0.5\to2.5$；$p=0.3\to2.1$；$p=0.1\to0.9$。脚本用二项分布直接枚举 $k=0..n$ 算 $\mathbb{E}[X^2]-\mathbb{E}[X]^2$，三个值全部吻合。

对比：最大可能值 vs. 标准差。$X$ 最大能到 $n$，而 $\sigma(X)=\sqrt{np(1-p)}\le\sqrt{n}/2$。当 $p=1/2$ 时 $\sigma=\sqrt{n}/2$，即”典型波动”只有 $n$ 的 $\frac{1}{2\sqrt n}$ 倍——$n$ 越大，相对波动越小。这正是”分布向均值集中”的定量表达。

3. 几何分布 $\mathrm{Geo}(p)$：$\operatorname{Var}(X)=\dfrac{1-p}{p^2}$

设 $X$ 为”首次成功所需的试验次数”（每次成功概率 $p$），即 $\Pr[X=k]=(1-p)^{k-1}p$，$k=1,2,3,\dots$。已知 $\mathbb{E}[X]=1/p$。

推导思路一（官方 Note 的”拆一个再递归”法）：设 $G$ 为”首次成功前的失败次数”，则 $G\sim\mathrm{Geo}_0$ 且 $X=G+1$。

1. 先算 $G$ 的一阶矩。对 $G$ 用全期望（对第一次试验分情形）：
   • 第一次就成功（概率 $p$）：$G=0$；
   • 第一次失败（概率 $1-p$）：浪费一次，此后”重新开始”，故 $G=1+G^{\prime}$，其中 $G^{\prime}$ 与 $G$ 同分布。 因此 $\mathbb{E}[G]=p\cdot0+(1-p)\left(1+\mathbb{E}[G]\right)=(1-p)+(1-p)\mathbb{E}[G]$，解得 $\mathbb{E}[G]=\frac{1-p}{p}$，故 $\mathbb{E}[X]=1+\frac{1-p}{p}=\frac1p$ ✓。

2. 再算二阶矩。同样分情形，但这次 $G^2$ 在”重来”时要展开 $(1+G^{\prime})^2=1+2G^{\prime}+G^{\prime}^2$：

   \[\mathbb{E}[G^2]=p\cdot0+(1-p)\left(\mathbb{E}[1+2G^{\prime}+G^{\prime}^2]\right)=(1-p)\left(1+2\mathbb{E}[G]+\mathbb{E}[G^2]\right).\]

3. 移项：$\mathbb{E}[G^2]-(1-p)\mathbb{E}[G^2]=(1-p)\left(1+2\mathbb{E}[G]\right)$，即

   \[p\,\mathbb{E}[G^2]=(1-p)\left(1+\frac{2(1-p)}{p}\right)=(1-p)\cdot\frac{p+2-2p}{p}=\frac{(1-p)(2-p)}{p}.\]

4. 故 $\mathbb{E}[G^2]=\frac{(1-p)(2-p)}{p^2}$，于是

   \[\operatorname{Var}(G)=\frac{(1-p)(2-p)}{p^2}-\left(\frac{1-p}{p}\right)^2=\frac{(1-p)(2-p)-(1-p)^2}{p^2}=\frac{(1-p)\big[(2-p)-(1-p)\big]}{p^2}=\frac{1-p}{p^2}.\]
5. 因为 $X=G+1$ 只是平移，由定理 22.3 的平移不变性，$\operatorname{Var}(X)=\operatorname{Var}(G)=\dfrac{1-p}{p^2}$。$\blacksquare$

推导思路二（直接求和）：也可以用 $\mathbb{E}[X^2]=\sum_{k\ge1}k^2(1-p)^{k-1}p$，对几何级数 $\sum_{k\ge1}k^2r^{k-1}=\frac{1+r}{(1-r)^3}$（$\vert r\vert <1$，两次求导得到）代入 $r=1-p$：

两条路结果一致。

验算：$p=0.5\to\operatorname{Var}=2$（$\mathbb{E}[X]=2$）；$p=0.25\to12$（$\mathbb{E}=4$）；$p=0.3\to7.7778$；$p=0.1\to90$（$\mathbb{E}=10$）。脚本对 $k=1..2\times10^5$ 暴力求和，全部吻合。

注意：注意 $\mathbb{E}[X]=1/p$ 而 $\operatorname{Var}(X)\approx1/p^2$，故 $\sigma(X)\approx1/p=\mathbb{E}[X]$——几何分布的标准差与均值同量级，这是典型的”重尾/高离散”分布。对比伯努利：$\sigma\le0.5$ 而 $\mu\le1$，也是同量级。相反，二项分布在 $n$ 大时 $\sigma=\Theta(\sqrt{n})$ 远小于 $\mu=\Theta(n)$。

4. 泊松分布 $\mathrm{Pois}(\lambda)$：$\operatorname{Var}(X)=\lambda$

设 $\Pr[X=k]=e^{-\lambda}\dfrac{\lambda^k}{k!}$，$k=0,1,2,\dots$，已知 $\mathbb{E}[X]=\lambda$。

逐步推导（用递归/微分技巧）：

1. 计算 $\mathbb{E}[X(X-1)]$。注意 $k(k-1)$ 在 $k=0,1$ 时为 0，故求和可从 $k=2$ 开始：

   \(\mathbb{E}[X(X-1)]=\sum_{k=2}^{\infty}k(k-1)\,e^{-\lambda}\frac{\lambda^k}{k!}=\lambda^2e^{-\lambda}\sum_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!}.\) （依据：$\frac{k(k-1)}{k!}=\frac{1}{(k-2)!}$，并抽出两个 $\lambda$ 因子）

2. 令 $j=k-2$，内层和变成 $\sum_{j\ge0}\frac{\lambda^j}{j!}=e^{\lambda}$（指数函数的泰勒级数）。
3. 于是 $\mathbb{E}[X(X-1)]=\lambda^2e^{-\lambda}e^{\lambda}=\lambda^2$。

4. 由 $\mathbb{E}[X(X-1)]=\mathbb{E}[X^2]-\mathbb{E}[X]$ 得

   \[\mathbb{E}[X^2]=\lambda^2+\lambda.\]

5. 代入公式形式：

   \[\operatorname{Var}(X)=\mathbb{E}[X^2]-\left(\mathbb{E}[X]\right)^2=(\lambda^2+\lambda)-\lambda^2=\lambda.\ \blacksquare\]

验算：$\lambda=1\to\operatorname{Var}=1$；$\lambda=3\to3$；$\lambda=7\to7$。脚本对 $k=0..60$ 求和完全吻合。

标志性特征：泊松分布的期望与方差相等，都等于 $\lambda$。这是识别泊松分布的”指纹”——若实测数据算出样本均值与样本方差差很多，就说明泊松模型不合适（这在排队论、保险索赔次数建模中是标准的检验手法）。注意不要混淆方向：$\mathbb{E}[X]=\operatorname{Var}(X)$ 是泊松的必要特征而非充分特征，别的分布也可能碰巧相等。

5. 有限均匀分布 $\mathrm{Uniform}\{1,\dots,n\}$：$\operatorname{Var}(X)=\dfrac{n^2-1}{12}$

设 $X$ 在 $\{1,2,\dots,n\}$ 上均匀，$\Pr[X=i]=1/n$。已知 $\mathbb{E}[X]=\frac{n+1}{2}$。

逐步推导：

1. 先算二阶矩：

   \[\mathbb{E}[X^2]=\sum_{i=1}^n i^2\cdot\frac1n=\frac{1}{n}\sum_{i=1}^n i^2.\]

2. 使用平方和公式（本课程 L03 归纳法的经典练习）：

   \[\sum_{i=1}^n i^2=\frac{n(n+1)(2n+1)}{6}.\]

3. 代入：

   \[\mathbb{E}[X^2]=\frac{(n+1)(2n+1)}{6}.\]

4. 用公式形式：

   \[\operatorname{Var}(X)=\frac{(n+1)(2n+1)}{6}-\left(\frac{n+1}{2}\right)^2=\frac{(n+1)(2n+1)}{6}-\frac{(n+1)^2}{4}.\]

5. 通分（公分母 $12$）并抽出公因子 $(n+1)$：

   \[=\frac{2(n+1)(2n+1)-3(n+1)^2}{12}=\frac{(n+1)\big[2(2n+1)-3(n+1)\big]}{12}=\frac{(n+1)(4n+2-3n-3)}{12}.\]

6. 化简括号内：$4n+2-3n-3=n-1$。故

   \[\operatorname{Var}(X)=\frac{(n+1)(n-1)}{12}=\frac{n^2-1}{12}.\ \blacksquare\]

验算（脚本通过）：

$n=1$ 时 $\operatorname{Var}=0$ 完全合理（退化为常数变量，呼应定理 22.2）；$n=2$（均匀取 $1,2$）等价于 $\mathrm{Ber}(1/2)$ 平移 $+1$，方差 $1/4=(n^2-1)/12=(4-1)/12$ ✓。

推论 22.10（公平骰子）：$n=6$ 时 $\mathbb{E}[X]=7/2$，$\operatorname{Var}(X)=35/12\approx2.9167$，$\sigma\approx1.7078$。脚本另算 $\mathbb{E}[X^2]=91/6\approx15.1667$，$91/6-49/4=182/12-147/12=35/12$ ✓。

与二项分布的量级对比（重要）：均匀分布时 $\sigma=\sqrt{\frac{n^2-1}{12}}\approx\frac{n}{\sqrt{12}}\approx0.289n$，与最大值 $n$ 同阶；而 $\mathrm{Bin}(n,1/2)$ 时 $\sigma=\frac{\sqrt n}{2}$，与 $n$ 差一个 $\sqrt n$ 因子。所以当 $n$ 很大时，二项分布”紧贴均值”，而均匀分布”铺满整个取值范围”。这说明：同样的取值范围不意味着同样的集中程度。

6. 补充算例：对称随机游走 $S_n$

设 $S_n=X_1+\cdots+X_n$，其中 $X_i=\pm1$ 各以概率 $1/2$ 取值且相互独立。已知 $\mathbb{E}[S_n]=0$。

逐步推导：

1. $\operatorname{Var}(X_i)=\mathbb{E}[X_i^2]-(\mathbb{E}[X_i])^2=1-0=1$。（因为 $X_i^2=1$ 恒成立）
2. $X_1,\dots,X_n$ 独立，由推论 22.5.1：$\operatorname{Var}(S_n)=\sum_{i=1}^n 1=n$。
3. 故 $\mathbb{E}[S_n^2]=\operatorname{Var}(S_n)=n$，$\sigma(S_n)=\sqrt n$。

验算：$n=1,4,10$ 时枚举全部 $2^n$ 条路径，得到 $\mathbb{E}[S_n^2]=1,4,10$ ✓。

解释：$n$ 步之后”偏离原点的距离”典型值是 $\sqrt n$。走 $10000$ 步只走开 $100$ 步左右——这是扩散 (diffusion) 现象的数学内容，和物理里布朗运动的位置均方位移正比于时间同源。注意不能写成 $\mathbb{E}[\vert S_n\vert ]=\sqrt n$（脚本验算 $n=4$ 时 $\mathbb{E}[\vert S_4\vert ]=1.5$ 而 $\sqrt{\mathbb{E}[S_4^2]}=2$）。由 Jensen 不等式 / Cauchy–Schwarz 只有 $\mathbb{E}[\vert S_n\vert ]\le\sqrt{\mathbb{E}[S_n^2]}=\sqrt n$。

7. 补充算例：随机排列的不动点数

设 $X_n$ 为 $n$ 元随机排列中不动点的个数（L20 的”作业本发回给本人”问题）。已知 $\mathbb{E}[X_n]=1$。

写成指示变量之和 $X_n=I_1+\cdots+I_n$，其中 $I_i=1$ 表示”位置 $i$ 是不动点”。注意 $I_i$ 之间不独立（若 $n-1$ 个位置都是不动点，最后一个也必然是不动点），所以不能直接用方差可加。

逐步推导：

1. 对角项：$\operatorname{Var}(I_i)$。$I_i\sim\mathrm{Ber}(1/n)$，因为 $i$ 是随机排列的不动点的概率是 $1/n$（$i$ 映射到 $n$ 个位置中的任意一个，等概率）。故

   \[\operatorname{Var}(I_i)=\mathbb{E}[I_i^2]-\mathbb{E}[I_i]^2=\frac1n-\frac{1}{n^2}.\]
2. 交叉项：对 $i\ne j$，$\mathbb{E}[I_iI_j]=\Pr[I_i=1\wedge I_j=1]=\frac{1}{n(n-1)}$。理由：固定 $i\mapsto i$ 后，$j$ 的像在剩下 $n-1$ 个位置中均匀选取，恰为 $j$ 的概率是 $\frac{1}{n-1}$。

3. 于是

   \(\operatorname{Cov}(I_i,I_j)=\frac{1}{n(n-1)}-\frac1n\cdot\frac1n=\frac{n-(n-1)}{n^2(n-1)}=\frac{1}{n^2(n-1)}>0.\) 协方差为正——不动点事件是”聚集”的，一个位置不动会让另一个位置更可能也不动。

4. 用定理 22.9 的一般公式：

   \[\operatorname{Var}(X_n)=n\left(\frac1n-\frac1{n^2}\right)+2\binom{n}{2}\frac{1}{n^2(n-1)}=\left(1-\frac1n\right)+\frac{n(n-1)}{1}\cdot\frac{1}{n^2(n-1)}.\]

5. 化简第二项：$\frac{n(n-1)}{n^2(n-1)}=\frac1n$。故

   \[\operatorname{Var}(X_n)=1-\frac1n+\frac1n=1.\]

验算：$n=3,4,5,6$ 时枚举全部 $n!$ 个排列，$\mathbb{E}[X_n]=\mathbb{E}[X_n^2]=1$，$\operatorname{Var}=1$，与 $n$ 无关。（脚本验算通过：$n=6$ 时 720 个排列，$\mathbb{E}[X^2]=2.000000$，$\operatorname{Var}=1.000000$）

意义：期望是 1、方差也是 1，都与 $n$ 无关。所以即使 $n$ 是几百万，不动点数也基本在 $1$ 附近的小范围内波动——“几乎不会有很多人拿到自己的作业本”。这个例子的教学价值还在于：它必须用含协方差的一般公式，因为 $I_i$ 不独立。如果用 $n\operatorname{Var}(I_1)=1-1/n$ 就错了（差 $1/n$）。

十、相关系数：$\rho$ 的界与”线性”的精确含义

定理 22.11（相关系数的界）：设 $\sigma_X>0,\sigma_Y>0$，令

则 $-1\le\rho_{X,Y}\le +1$。

证明策略：标准化 + 非负期望。把 $X,Y$ 各自标准化（减均值、除标准差）得到 $\tilde X,\tilde Y$，它们都满足均值为 0、方差为 1。然后利用 $\mathbb{E}[(\tilde X-\tilde Y)^2]\ge0$ 与 $\mathbb{E}[(\tilde X+\tilde Y)^2]\ge0$ 这两个”显然非负”的量，夹出 $\mathbb{E}[\tilde X\tilde Y]$ 的上下界。这正是 Cauchy–Schwarz 不等式在概率空间上的初等证明。

逐步推导：

1. 定义标准化变量 $\tilde X=\dfrac{X-\mu_X}{\sigma_X}$，$\tilde Y=\dfrac{Y-\mu_Y}{\sigma_Y}$。（依据：$\sigma_X,\sigma_Y>0$ 保证可除）

2. 算矩：由定理 22.3 的缩放平移法则，

   \[\mathbb{E}[\tilde X]=0,\qquad \operatorname{Var}(\tilde X)=\frac{\operatorname{Var}(X)}{\sigma_X^2}=1,\qquad \mathbb{E}[\tilde X^2]=\operatorname{Var}(\tilde X)=1.\]

   同理 $\mathbb{E}[\tilde Y]=0$，$\mathbb{E}[\tilde Y^2]=1$。

3. 因为平方非负，$\mathbb{E}\left[(\tilde X-\tilde Y)^2\right]\ge0$。展开（期望线性性）：

   \[0\le\mathbb{E}[\tilde X^2]+\mathbb{E}[\tilde Y^2]-2\mathbb{E}[\tilde X\tilde Y]=1+1-2\mathbb{E}[\tilde X\tilde Y]=2-2\mathbb{E}[\tilde X\tilde Y].\]
4. 于是 $\mathbb{E}[\tilde X\tilde Y]\le1$。
5. 同理，$\mathbb{E}\left[(\tilde X+\tilde Y)^2\right]\ge0$ 展开得 $0\le2+2\mathbb{E}[\tilde X\tilde Y]$，即 $\mathbb{E}[\tilde X\tilde Y]\ge-1$。
6. 合并：$-1\le\mathbb{E}[\tilde X\tilde Y]\le1$。

7. 最后把 $\mathbb{E}[\tilde X\tilde Y]$ 翻译回去。由双线性（定理 22.7）与 $\mathbb{E}[\tilde X]=\mathbb{E}[\tilde Y]=0$：

   \[\mathbb{E}[\tilde X\tilde Y]=\operatorname{Cov}(\tilde X,\tilde Y)=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}=\rho_{X,Y}.\]

   （依据：$\operatorname{Cov}(aX+b,cY+d)=ac\operatorname{Cov}(X,Y)$，这里 $a=1/\sigma_X,c=1/\sigma_Y$，平移不改变协方差）

8. 故 $-1\le\rho_{X,Y}\le1$。$\blacksquare$

【证明机制解说】：证明的巧妙之处是用两个”必然非负”的平方期望把目标量夹住。$\mathbb{E}[(\tilde X-\tilde Y)^2]\ge0$ 给上界，$\mathbb{E}[(\tilde X+\tilde Y)^2]\ge0$ 给下界，而两个式子里的 $\mathbb{E}[\tilde X\tilde Y]$ 都是同一个量。这个”对称夹逼”是 Cauchy–Schwarz 的标准初等证法。标准化这一步不能省：如果不除以 $\sigma$，$\mathbb{E}[(X-Y)^2]\ge0$ 只会给出 $\operatorname{Cov}\le\frac{\sigma_X^2+\sigma_Y^2}{2}$，界里还带着量纲。

推论 22.11.1（等号成立 ⟺ 完全线性）：$\rho_{X,Y}=+1$ 当且仅当 $\mathbb{E}[(\tilde X-\tilde Y)^2]=0$，即 $\tilde X=\tilde Y$ 几乎必然，即 $Y=\frac{\sigma_Y}{\sigma_X}X+\left(\mu_Y-\frac{\sigma_Y}{\sigma_X}\mu_X\right)$ 几乎必然——$Y$ 是 $X$ 的斜率为正的仿射函数。同理 $\rho_{X,Y}=-1$ 当且仅当 $Y=aX+b$（$a<0$）几乎必然。

「度量线性关联」的精确含义：由推论 22.11.1，$\vert \rho\vert =1$ 正是”存在精确的线性关系”。反过来 $\rho=0$ 只排除线性关系：$Y=X^2$ 的反例中 $\rho=0$ 却有完美的非线性关系。所以

$\rho$ 度量的是”在最小二乘意义下用一条直线解释 $Y$ 的能力”，不是”两个变量的关联强度”。

工程实践中的补充：$\rho^2$ 恰好是线性回归的决定系数 ($R^2$)——即用 $X$ 的最优线性预测器去预测 $Y$ 时，能消掉的方差比例。这一点把相关系数与 L20 的”条件期望是最优预测器”（$Y=X^2$ 时 $\mathbb{E}[Y\mid X]=X^2$ 完全预测，但线性预测器做不到）联系起来，也再次说明 $\rho$ 的非线性盲区。

与经典问题的联系

1. 负载均衡与哈希（L20 的应用，方差视角）

L20 用期望线性性分析了”$m$ 个球随机投入 $n$ 个箱子”的问题：单个箱子的球数 $X\sim\mathrm{Bin}(m,1/n)$，$\mathbb{E}[X]=m/n$。现在方差给出更强的信息：

为什么这个式子重要？ 它说明单个箱子的负载”典型地”只偏离均值约 $\sqrt{m/n}$。当 $m=n$（球数与箱数相同，即哈希表的负载因子为 1）时，$\mathbb{E}[X]=1$，$\sigma(X)\approx1$——负载集中在一个很小的范围内。这就是哈希表能在 $O(1)$ 期望时间内完成查找的定量依据：不是因为”每个箱子恰好一个球”（那几乎不可能），而是因为方差小到让严重超载成为极稀有事件。

各箱子之间的负载是负相关的（一个箱子多装一个球，其他箱子就少一个），所以用定理 22.9 分析最大值时需要小心处理交叉项；工程上通常改用 L23 的切尔诺夫界 + 联合界来做。这正是 L20（期望）→ L22（方差）→ L23（集中不等式）的推理链条。

2. 随机化算法的性能波动

随机化算法（如随机快排、随机化的最小割算法 Karger、随机化的素数判定 Miller–Rabin）的运行时间或错误概率本身是随机变量。报告 $\mathbb{E}[T]$ 是不够的：

• 如果 $\operatorname{Var}(T)$ 很小，那么”算法通常真的很快”——$\mathbb{E}[T]$ 是有意义的承诺；
• 如果 $\operatorname{Var}(T)$ 很大（例如期望线性但方差是 $O(n^2)$），那么”平均快”可能只是少数极快实例拉低了均值，实际使用中经常体验到很慢。

判据：由切比雪夫不等式（L23），$\Pr\left[\vert T-\mathbb{E}[T]\vert \ge k\sigma_T\right]\le1/k^2$。所以只要方差可控，”一次运行接近期望”就是高概率事件。本讲提供的工具（方差可加、协方差）正是估计 $\operatorname{Var}(T)$ 的唯一途径。

3. 金融与风险：为什么两个收益率都是 10% 的组合不一样

设两种资产的收益率 $R_1,R_2$，都满足 $\mathbb{E}[R_i]=0.1$、$\sigma_i=0.2$。若等权投资，组合收益率 $R=\frac12R_1+\frac12R_2$。由定理 22.9：

• 若 $\rho=0$（不相关）：$\operatorname{Var}(R)=0.02$，$\sigma_R\approx0.1414$——风险从 20% 降到 14.1%，这就是分散化 (diversification) 的数学内容。
• 若 $\rho=1$（完全同向）：$\operatorname{Var}(R)=\tfrac14(0.04)+\tfrac14(0.04)+\tfrac12(0.04)=0.04$，$\sigma_R=0.2$——分散化完全无效。
• 若 $\rho=-1$（完全反向）：$\operatorname{Cov}(R_1,R_2)=\rho\sigma_1\sigma_2=-0.04$，故 $\operatorname{Var}(R)=0.01+0.01+\tfrac12(-0.04)=0.02-0.02=0$——风险被完全消除（这是完美的对冲）。

结论：期望相同、波动相同、甚至个股风险相同，组合风险却可以从 0 到 20% 任意变化——唯一起作用的是协方差。这条推理是 Markowitz 现代投资组合理论（1990 年诺贝尔经济学奖）最核心的一步，而它在数学上不过是定理 22.9 的一个特例。

4. 误差传播与测量

物理实验里若 $X$ 由若干独立测量 $X_1,\dots,X_n$ 相加得到，则 $\sigma_X^2=\sum\sigma_{X_i}^2$——方差相加而标准差不相加。这是”误差以平方和方式合成”这一实验物理学惯例的来源：两次独立的、标准差各为 $\sigma$ 的测量，其和的误差是 $\sqrt2\sigma$ 而非 $2\sigma$。

与其他讲次的关联

• 与 L19（随机变量与离散分布）：本讲的方差是定义在 L19 的随机变量之上的二阶特征；均匀、伯努利、二项、几何、泊松五个分布的方差不外乎是把 L19 的分布律代进 $\mathbb{E}[X^2]-(\mathbb{E}[X])^2$。L19 给出的 PMF 表是本讲所有算例的输入。
• 与 L20（期望与线性性）：本讲最核心的对照就是与 L20 的期望线性性对比。期望 $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$ 无条件成立，而方差必须独立；定理 22.4（$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$ 需要独立）正是两者的分水岭。同时本讲大量复用 L20 的”指示变量分解”技巧（二项分布、随机排列不动点）。
• 与 L21（联合分布与随机变量独立性）：协方差只能靠联合分布定义——$\mathbb{E}[XY]=\sum_a\sum_b ab\,\Pr[X=a,Y=b]$ 就是 L21 的联合 PMF 上的求和。定理 22.4 的证明直接调用了 L21 的独立性定义 $\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$。而”协方差为 0 但不独立”的反例，本质上是在说”联合分布不含线性信息，但含非线性信息”，这与 L21 强调的”联合分布比边缘分布携带更多信息”完全呼应。
• 与 L23（集中不等式）：本讲是下一讲的全部燃料。切比雪夫不等式 $\Pr[\vert X-\mu\vert \ge t]\le\operatorname{Var}(X)/t^2$ 把方差直接翻译成”偏离概率的上界”；弱大数定律的证明依赖”$\operatorname{Var}(\bar X_n)=\sigma^2/n$”，而这个等式正是定理 22.3（$\operatorname{Var}(\frac1nS_n)=\frac{1}{n^2}\operatorname{Var}(S_n)$，注意是 $\frac1{n^2}$！）与推论 22.5.1 的合成。没有方差的独立可加性，就没有大数定律。
• 与 L03（归纳法）：均匀分布方差用到的平方和公式 $\sum_{i=1}^n i^2=\frac{n(n+1)(2n+1)}{6}$ 正是 L03 归纳法章节的经典练习；本讲把它当作已知引理使用。
• 与 L14/L16（计数与组合证明）：随机排列不动点算例中，$\binom n2$ 的交叉项计数、$\Pr[I_i=1]=1/n$、$\Pr[I_iI_j=1]=\frac{1}{n(n-1)}$ 全是在数排列（L14 的计数原理）。$\mathbb{E}[X]=\mathbb{E}[X^2]=1$ 这个”巧合”本身是组合数学中著名的”错排问题”的概率表述。
• 与 L25（正态分布与 CLT）：本讲”独立和的方差线性增长、标准差按 $\sqrt n$ 增长”是 CLT 的前奏。CLT 进一步说：标准化后的 $(\bar X_n-\mu)/(\sigma/\sqrt n)$ 的分布形状收敛到标准正态——而它需要的输入恰是本讲的 $\mu$ 与 $\sigma^2$。
• 与 L26（马尔可夫链）：协方差结构在马尔可夫链的混合时间分析中也出现（相邻时间步状态的相关性衰减速度决定收敛速率）。

关键要点

1. 方差的两个形式：$\operatorname{Var}(X)=\mathbb{E}[(X-\mu)^2]=\mathbb{E}[X^2]-\mu^2$。前者是定义（”平均平方距离”），后者是计算捷径。永远不要混淆 $\mathbb{E}[X^2]$ 与 $(\mathbb{E}[X])^2$。
2. 缩放与平移：$\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X)$。方差对平移免疫、对缩放平方响应；标准差则线性响应：$\sigma(aX+b)=\vert a\vert \sigma(X)$。
3. 可加性的条件（黄金法则）：期望可加无条件；方差可加需要独立（或至少两两不相关）。一般公式是 $\operatorname{Var}(\sum X_i)=\sum\operatorname{Var}(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j)$，独立只是让交叉项消失。
4. 五个必背方差：$\mathrm{Ber}(p)\to p(1-p)$；$\mathrm{Bin}(n,p)\to np(1-p)$；$\mathrm{Geo}(p)\to\frac{1-p}{p^2}$；$\mathrm{Pois}(\lambda)\to\lambda$；$\mathrm{Uniform}\{1,\dots,n\}\to\frac{n^2-1}{12}$。其中泊松的”期望 $=$ 方差”是它的指纹。
5. 协方差三句话：$\operatorname{Cov}(X,X)=\operatorname{Var}(X)$；$\operatorname{Cov}$ 双线性且不需要独立（这是它比方差好用的原因）；独立 $\Rightarrow\operatorname{Cov}=0$，但 $\operatorname{Cov}=0\not\Rightarrow$ 独立（$Y=X^2$ 反例）。
6. 相关系数：$\rho=\frac{\operatorname{Cov}}{\sigma_X\sigma_Y}\in[-1,1]$，$\vert \rho\vert =1$ 当且仅当 $Y$ 是 $X$ 的仿射函数。它只度量线性关联，$\rho=0$ 不代表”无关”。

常见误区与注意事项

1. 把 $\operatorname{Var}(cX)$ 写成 $c\operatorname{Var}(X)$。 这是最高频的错误。正确是 $c^2\operatorname{Var}(X)$。记忆锚点：$\operatorname{Var}$ 是”平方距离”，缩放 $c$ 倍后距离放大 $\vert c\vert $ 倍，平方就是 $c^2$ 倍。验算：公平骰子 $\operatorname{Var}(X)=35/12$，$\operatorname{Var}(3X)=9\cdot35/12=26.25\ne3\cdot35/12=8.75$。
2. 把 $\mathbb{E}[X^2]$ 与 $(\mathbb{E}[X])^2$ 混为一谈。 $X\sim\mathrm{Ber}(1/2)$：$\mathbb{E}[X^2]=1/2$，$(\mathbb{E}[X])^2=1/4$。唯一能让它们相等的情形是方差为 0（$X$ 几乎必然为常数）。
3. 不加验证地使用 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。 必须确认独立（或不相关）。反例：$X=Y\sim\mathrm{Ber}(1/2)$ 时右边是 $1/2$ 而实际是 $1$。每次写下这条等式前，先问自己：”它们独立吗？”
4. 误以为协方差为 0 就等于独立。 $X$ 均匀取 $\{-1,0,1\}$、$Y=X^2$ 时 $\operatorname{Cov}(X,Y)=0$ 但 $\Pr[X=0,Y=0]=1/3\ne1/9$，明显不独立。协方差只探测线性关系。
5. 在 $\operatorname{Cov}$ 与 $\operatorname{Var}$ 之间乱用”期望的线性性”。 期望线性性对任何线性组合成立，但不能推广到乘积：$\mathbb{E}[XY]\ne\mathbb{E}[X]\mathbb{E}[Y]$（除非独立），更不能推广到方差：$\operatorname{Var}(X+Y)\ne\operatorname{Var}(X)+\operatorname{Var}(Y)$（除非不相关）。“线性性”这个名字只属于期望。
6. 忘记方差零/协方差零中的”几乎必然”限定词。 严格陈述是”$\operatorname{Var}(X)=0\iff\Pr[X=c]=1$”，而不是”$\iff X$ 恒为常数”。在无限样本空间上这个区别是实质性的（例如 $X$ 在 $[0,1]$ 上取值，$\Pr[X=1/2]=1$ 且其余点概率为 0）。
7. 在估计量分析中把 $\operatorname{Var}(\frac1nS_n)$ 写成 $\frac1n\operatorname{Var}(S_n)$。 正确是 $\frac{1}{n^2}\operatorname{Var}(S_n)=\frac{\sigma^2}{n}$（注意 $a=1/n$，所以要平方）。漏掉这个平方会导致方差随 $n$ 不收敛的错误结论，直接毁掉大数定律的证明。
8. 把标准差当作可加的量。 $\sigma(X+Y)=\sqrt{\sigma_X^2+\sigma_Y^2}$（独立时），不是 $\sigma_X+\sigma_Y$。只有方差线性可加。

思考题（带答案）

Q1.（纯计算） 设随机变量 $X$ 的分布为 $\Pr[X=0]=0.2$，$\Pr[X=1]=0.3$，$\Pr[X=2]=0.5$。求 $\mathbb{E}[X]$、$\operatorname{Var}(X)$、$\sigma(X)$，并求 $\operatorname{Var}(3X-4)$。

Q2.（概念/证明） 设 $X,Y$ 独立，$\operatorname{Var}(X)=4$，$\operatorname{Var}(Y)=9$。求 $\operatorname{Var}(2X-3Y+5)$。若改为 $\operatorname{Cov}(X,Y)=2$（不再独立），结果如何？

Q3.（概念理解） 判断下列命题真假并说明理由：

(a) 若 $\operatorname{Cov}(X,Y)=0$，则 $X,Y$ 独立。 (b) 若 $\operatorname{Var}(X)=0$，则 $X$ 是常数随机变量（即存在 $c$ 使 $\Pr[X=c]=1$）。 (c) 若 $X,Y$ 独立，则 $\operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。 (d) $\operatorname{Var}(X)\le\mathbb{E}[X^2]$ 对一切 $X$ 成立。

Q4.（进阶） 设 $X_1,\dots,X_n$ 独立同分布，$\mathbb{E}[X_i]=\mu$，$\operatorname{Var}(X_i)=\sigma^2$。记样本均值 $\bar X=\frac1n\sum_{i=1}^n X_i$。求 $\mathbb{E}[\bar X]$ 与 $\operatorname{Var}(\bar X)$，并解释 $\operatorname{Var}(\bar X)=\sigma^2/n$ 的直观含义。若 $X_i$ 只是两两不相关（不独立），结论是否仍然成立？