Lecture 21: Joint Distributions & Independence of RVs（联合分布与随机变量独立性）

目录 · ← l21 · l23 →

Lecture 21: Joint Distributions & Independence of RVs（联合分布与随机变量独立性）

概述

到目前为止，我们每次只盯住一个随机变量。但真实问题里的随机量从来不是孤立的：抛两枚骰子时要知道”第一枚”和”两枚之和”如何联动；哈希表里要问”某一对键是否碰撞”和”另一对键是否碰撞”是否相关；随机游走要看”这一步往哪走”和”当前位置”的关系。

本讲引入联合分布 (joint distribution)，它是描述多个随机变量”共同行为”的完整信息载体；并由它引出两个关键操作：边缘化 (marginalization) —— 从联合分布”投影”回单个变量（信息只减不增）；以及独立性 (independence) —— 联合分布能否分解为边缘分布之积。本讲还专门处理独立随机变量之和的分布，得到卷积 (convolution) 公式，并证明两条漂亮的结构性结论：$\mathrm{Bin}(n,p)+\mathrm{Bin}(m,p)=\mathrm{Bin}(n+m,p)$ 与 $\mathrm{Pois}(\lambda_1)+\mathrm{Pois}(\lambda_2)=\mathrm{Pois}(\lambda_1+\lambda_2)$。最后以随机游走 (random walk) 为例，展示如何把线性性（Lecture 20）与这些新工具合起来算出 $\mathbb{E}[S_n]=0$ 与 $\mathbb{E}[S_n^2]=n$，并预告 Lecture 22 的方差可加性。

核心概念的直观解释

联合分布（Joint Distribution）

• 定义：设 $X,Y$ 是同一概率空间 $(\Omega,\Pr)$ 上的两个离散随机变量，取值集合分别为 $A,B$。$(X,Y)$ 的联合分布是

它是”二维的”分布：不但告诉你 $X$ 取各值的概率、$Y$ 取各值的概率，还告诉你它们如何同时取值。$X,Y$ 都取实数值时，$p_{X,Y}$ 可以看作一个二维数组（矩阵），行标是 $a$、列标是 $b$、格子里是 $\Pr[X=a,Y=b]$。

• 直观解释（”它是什么意思？”）：如果单个随机变量的分布是”一张成绩单”，那联合分布就是”一张成绩单的所有科目对照表“。只看单科（边缘）你会以为两科互不相干，看到对照表才发现”数学好的人物理也好”。联合分布是”完整的”，单个变量的分布是它的一个”影子”。

  另一个有用的图景：把概率想象成撒在平面上的沙子，每个点 $(a,b)$ 上堆着质量 $\Pr[X=a,Y=b]$，总质量 $1$。联合分布描述的是整片沙堆，边缘分布只是”把沙子分别投影到 $x$ 轴和 $y$ 轴上”得到的两条影子。

• 具体示例（$n=4$ 次抛硬币）：设 $X$ 为正面数，$Y$ 为反面数。因为 $X+Y=4$，所以 $\Pr[X=a,Y=b]=0$ 除非 $a+b=4$；而当 $a+b=4$ 时 $\Pr[X=a,Y=4-a]=\binom4a/16$。这就是一个”退化的”联合分布——两个变量完全不独立（$Y$ 由 $X$ 唯一决定），联合分布在平面上是一条斜线，不是整张网格。

边缘分布（Marginal Distribution）

• 定义：给定 $X,Y$ 的联合分布，$X$ 的边缘分布通过对 $Y$ 的一切取值求和得到：

同理 $p_Y(b)=\sum_{a\in A}\Pr[X=a,\,Y=b]$。

• 直观解释：”边缘”这个名词来自表格：把联合分布写成二维表格，把每行加起来写在表格右缘、每列加起来写在表格下缘，得到的就是边缘分布（row sums 和 column sums）。这也是”边缘”一词的字面来源——它们写在表格的边上。
• 具体示例：抛两枚公平硬币，$X$ 是第一枚的结果（$0/1$），$Y$ 是第二枚（$0/1$）。联合表格每格都是 $1/4$。行和：$1/4+1/4=1/2$；列和同理也是 $1/2$。边缘分布是 $\Pr[X=0]=\Pr[X=1]=1/2$。
• 关键警告：边缘分布不能还原联合分布。 这是本讲最需要记住的一条——边缘化是”投影”，投影会丢信息，而且丢的信息无法找回。同一个边缘分布可以对应很多不同的联合分布（下文有完整反例）。在”沙堆”图景里：两个不同形状的沙堆可以有完全相同的两条影子。因此，”我分别知道了 $X$ 和 $Y$ 的分布”与”我知道了 $(X,Y)$ 的分布”是天壤之别的两件事。

独立性（Independence of Random Variables）

• 定义：同一概率空间上的随机变量 $X,Y$ 称为独立 (independent)，如果对所有 $a\in A,\ b\in B$，

记作 $X\perp Y$。等价说法：事件 $X=a$ 与事件 $Y=b$ 对一切 $a,b$ 都独立（这正是 Lecture 18 的”事件独立性”逐对地施加到所有”水平截口”上）。

• 直观解释（”它是什么意思？”）：独立意味着”知道一个变量的值，不会改变对另一个变量的信念“。用条件概率写就是：对所有使 $\Pr[Y=b]>0$ 的 $b$，$\Pr[X=a\mid Y=b]=\Pr[X=a]$。在”沙堆”图景里，独立意味着整片沙堆的形状是两个一维剖面的张量积——从任何角度看都是同一套轮廓。

• 表格判据（考试最常用）：把联合分布写成表格，算出行和（边缘 $p_X$）与列和（边缘 $p_Y$）。独立性成立 $\iff$ 每一个格子的值都等于”该行行和 × 该列列和”。 只要找到一个格子不满足，就不独立。找一个格子通常就够了——这正是”反例”的标准造法。

• 具体示例：下面这个 $2\times2$ 表格（$p=0.3$ 的抛硬币型）

检查左上角：$0.49$ 与 $0.70\times0.70=0.49$ 相等 ✔；右上角：$0.21$ 与 $0.70\times0.30=0.21$ 相等 ✔；其余两格同理 ✔。故独立。

联合分布表（Joint Distribution Table）

• 定义/形式：把 $\Pr[X=a,Y=b]$ 排成一个二维表，行的边上写行和（$X$ 的边缘），列的边上写列和（$Y$ 的边缘），右下角写总和 $1$。
• 直观解释：这是本讲最重要的”手算工具”。判独立、算边缘、算 $\mathbb{E}[XY]$ 都在同一张表上完成，不需要任何额外记号。
• 具体示例：见下方 ASCII 图示与定理 21.5。

相互独立（Mutual Independence）与 i.i.d.

• 定义（两个变量）：如上。
• 定义（多个变量）：$X_1,\dots,X_n$ 相互独立 (mutually independent)，如果对每个子集 $S\subseteq\{1,\dots,n\}$ 与每个取值组合 $(a_i)_{i\in S}$，

• 直观解释（”它是什么意思？”）：注意”两两独立”不等于”相互独立”！ 定义要求每一个子集都分解，而不仅仅是每一对。三变量时，”两两独立”只覆盖了 $\binom32=3$ 个二元子集，”相互独立”还额外要求三元子集 $\{1,2,3\}$ 也分解。存在三个随机变量两两独立但整体不独立的例子（见思考题 Q3）。
• 具体示例（i.i.d.）：设 $I_1,\dots,I_n$ 是 $n$ 次抛硬币中”第 $i$ 次为正面”的指示变量，每次成功概率都是 $p$。它们独立且同分布 (independent and identically distributed, i.i.d.)。这个短语在后续所有课程里都会高频出现——它是概率论里最标准的工作假设。

卷积（Convolution）

• 定义：设 $X,Y$ 独立。则 $Z=X+Y$ 的分布为

求和范围是所有使得 $p_X(x)>0$ 且 $p_Y(z-x)>0$ 的 $x$。这个求和形式称为 $p_X$ 与 $p_Y$ 的卷积。

• 直观解释：”要让 $X+Y=z$，就枚举 $X$ 取什么值 $x$、于是 $Y$ 必须取 $z-x$”。把所有互斥的可能加起来。注意：没有独立性的话，这一步写不出来——因为需要用 $\Pr[X=x,Y=z-x]=\Pr[X=x]\Pr[Y=z-x]$ 才能把联合概率拆成边缘概率之积。
• 具体示例：两枚骰子之和。$X,Y$ 各自均匀于 $\{1,\dots,6\}$。$p_Z(7)=\sum_{x=1}^{6}\frac16\cdot p_Y(7-x)=\sum_{x=1}^{6}\frac16\cdot\frac16=\frac6{36}=\frac16$，因为对每个 $x\in\{1,\dots,6\}$ 都有 $7-x\in\{1,\dots,6\}$（共 6 项）。而 $p_Z(2)=\frac16\cdot p_Y(1)=\frac1{36}$（只有 $x=1$ 一项）。

随机游走（Random Walk）

• 定义：设 $X_1,X_2,\dots$ 是 i.i.d. 的随机变量，$\Pr[X_i=+1]=\Pr[X_i=-1]=\frac12$。定义

$\{S_n\}$ 称为（对称）随机游走 (symmetric random walk)。

• 直观解释：一个醉汉站在数轴的 $0$ 点上，每秒独立地以 $1/2$ 概率向右走一步、$1/2$ 概率向左走一步。$S_n$ 是他 $n$ 秒后的位置。这就是 $n$ 次抛硬币的等价表述（正面记为 $+1$、反面记为 $-1$）。
• 具体示例：$n=4$ 时的可能位置只有 $S_4\in\{-4,-2,0,2,4\}$，因为 $4$ 步中向右的步数 $h$ 决定 $S_4=2h-4$。分布为

（脚本枚举 $2^4=16$ 条路径验证 ✔。）

LOTUS 的二维版本

• 定义：对随机变量 $X,Y$ 与函数 $g$，$\mathbb{E}[g(X,Y)]=\sum_a\sum_b g(a,b)\Pr[X=a,Y=b]$。
• 直观解释：不要求 $g(X,Y)$ 的分布，直接在联合分布上加权求和。Lecture 20 的 LOTUS 是它的特例（$g$ 只依赖一个变量）。
• 具体示例：$\mathbb{E}[XY]=\sum_a\sum_b ab\,\Pr[X=a,Y=b]$ —— Lecture 20 定理 20.7 就是这样起步的。

完整证明与推导（核心）

定理 21.1（边缘化公式）：设 $X,Y$ 有联合分布 $p_{X,Y}$。则

证明策略：划分 + 可加性。固定 $a$，把事件 $\{X=a\}$ 按 $Y$ 的取值切成互不相交的小块，再用概率的可加性把这些小块的联合概率加起来。

逐步推导：

• 第一步：固定 $a\in A$，考虑事件 $\{X=a\}$。它是 $\Omega$ 的子集。
• 第二步：按 $Y$ 的取值对 $\{X=a\}$ 做划分：

为什么这确实是不交并？两个方面：

• 两两不交：若 $\omega\in\{X=a,Y=b_1\}\cap\{X=a,Y=b_2\}$ 且 $b_1\ne b_2$，则 $Y(\omega)$ 同时等于 $b_1$ 和 $b_2$，与 $Y$ 是函数（每个样本点只有一个值）矛盾。
• 并起来等于左边：任取 $\omega\in\{X=a\}$，$Y(\omega)$ 必是 $B$ 中某个值 $b$，故 $\omega\in\{X=a,Y=b\}$，落在某个小块里。
• 第三步：对不交并使用有限可加性（Lecture 15 的概率公理）：

• 第四步：把 $\Pr[X=a]$ 认作 $p_X(a)$，右边认作 $p_{X,Y}(a,b)$ 的和，即得结论。对 $Y$ 完全对称。$\blacksquare$

【证明机制解说】：这个证明的骨架与 Lecture 20 定理 20.1 的第五步完全同源：核心都是”函数性 ⇒ 划分 ⇒ 可加性“。随机变量是函数，所以给定另一个变量的取值后，样本空间被切成一族互不相交的切片；求出每片的质量再相加，就得到边缘。“找一个划分”这个套路在概率论里已经出现了三次（定理 20.1、定理 20.6 LOTUS、本定理），值得作为通用工具记住。

定理 21.2（独立性的等价刻画）：对同一概率空间上的随机变量 $X,Y$，以下三条等价：

1. $X\perp Y$（即 $\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$ 对所有 $a,b$ 成立）；
2. 对所有满足 $\Pr[Y=b]>0$ 的 $b$ 与所有 $a$，$\Pr[X=a\mid Y=b]=\Pr[X=a]$；
3. 对所有满足 $\Pr[X=a]>0$ 的 $a$ 与所有 $b$，$\Pr[Y=b\mid X=a]=\Pr[Y=b]$。

证明策略：循环等价证明 (cyclic equivalence)：$1\Rightarrow2\Rightarrow3\Rightarrow1$。选这个策略是因为每条蕴含都是一次简单的代数变形，循环一圈就把三条串成一个等价类（Lecture 1–2 学的证明技巧的直接应用）。

逐步推导：

• $1\Rightarrow2$：设 $\Pr[Y=b]>0$。由条件概率定义（Lecture 17）与假设 1：

• $2\Rightarrow3$：由 2 得 $\Pr[X=a,Y=b]=\Pr[X=a\mid Y=b]\Pr[Y=b]=\Pr[X=a]\Pr[Y=b]$ 对一切 $a$ 及 $\Pr[Y=b]>0$ 的 $b$ 成立。设 $\Pr[X=a]>0$，两边除以 $\Pr[X=a]$ 得 $\Pr[Y=b\mid X=a]=\Pr[Y=b]$ ✔。（若 $\Pr[X=a]=0$ 该条件概率本就无定义，属平凡情形。）
• $3\Rightarrow1$：设 $\Pr[X=a]>0$。由 3 得 $\Pr[X=a,Y=b]=\Pr[Y=b\mid X=a]\Pr[X=a]=\Pr[Y=b]\Pr[X=a]$ ✔。若 $\Pr[X=a]=0$，则该 $a$ 对应的所有联合概率为 $0$，等式两边同为 $0$，仍成立。$\blacksquare$

【证明机制解说】：这条定理的价值在于把”独立性”从一个看起来无法验证的全局条件（”对所有 $a,b$”）变成一句可操作的直觉：“知道 $Y$ 不会改变对 $X$ 的看法”。考试里判独立，最方便的还是表格判据（逐格比较 $p_{X,Y}(a,b)$ 与行和×列和）；而理解”独立性 = 条件概率不变”则是做证明题时的抓手。

反例（条件”对所有 $a,b$”不可弱化）：定义要求每一格都满足 $p_{X,Y}(a,b)=p_X(a)p_Y(b)$，只验证其中一格（或一列）是不够的。下面这张表里，格子 $(0,1)$ 恰好”碰巧”满足，但其余格全部不满足：

• 格子 $(0,0)$：实际 $0.30$，行和 × 列和 $=0.40\times0.50=0.20$ ✘
• 格子 $(1,0)$：实际 $0.20$，$0.60\times0.50=0.30$ ✘
• 格子 $(1,1)$：实际 $0.40$，$0.60\times0.50=0.30$ ✘
• 仅仅格子 $(0,1)$ 恰好相等：$0.10=0.40\times0.50$ ✔

一个格子相等推不出独立（脚本验算：$\mathbb{E}[X]=0.6$、$\mathbb{E}[Y]=0.5$、$\mathbb{E}[XY]=0.40$，$\mathbb{E}[X]\mathbb{E}[Y]=0.30$，故 $\operatorname{Cov}=+0.1\ne0$——独立时协方差必须为 $0$）。

更进一步：在任何表中，”只差一整列”都不可能。 固定一行 $a^\ast$，记 $\pi=\Pr[X=a^\ast]$、$c_b=\Pr[Y=b]$、$q_b=\Pr[X=a^\ast\mid Y=b]$（$c_b>0$）。由全概率公式，$\pi=\sum_b q_bc_b$ 且 $\sum_b c_b=1$。若 $q_b=\pi$ 对所有 $b\ne b^\ast$ 成立，则

即最后一列被迫自动满足。所以偏差最少要出现在两个格子上（思考题 Q4 有 “$2\times3$ 表中一整列满足、其余不满足”的具体例子）。

【这里的正确心态】：判独立时先算清行和与列和，再逐格对照；不要因为”某个格子对了”或”某一列对了”就下结论。定义里的”对所有 $(a,b)$”是一条全局条件；好消息是找到任意一个反例格就可以立刻判定不独立，所以实际判题往往几秒钟就够。

定理 21.3（独立随机变量之和的卷积公式）：设 $X\perp Y$ 为离散随机变量，$Z=X+Y$。则对每个 $z$，

证明策略：划分 + 独立性分解。先按”$X$ 取什么值”把事件 $\{Z=z\}$ 切开（划分套路第三次登场），再用独立性把每个切片的联合概率拆成边缘概率之积。

逐步推导：

• 第一步：固定 $z$，对事件 $\{Z=z\}=\{X+Y=z\}$ 按 $X$ 的取值做划分：

• 不交：不同的 $x$ 给出不同的 $\{X=x\}$，互斥。
• 并起来等于左边：若 $\omega$ 使 $X(\omega)+Y(\omega)=z$，令 $x=X(\omega)$，则 $Y(\omega)=z-x$，故 $\omega$ 落在 $x$ 对应的那块里。
• 注意：对某些 $x$，$\{X=x,Y=z-x\}$ 可能是空集（当 $z-x\notin B$），此时概率为 $0$，不影响求和。
• 第二步：可加性给出

• 第三步：用独立性分解每一项（这是唯一用到独立性的地方）：

• 第四步：合并得 $p_Z(z)=\sum_x p_X(x)p_Y(z-x)$。$\blacksquare$

【证明机制解说】：请务必指出”独立性用在哪一步”——只在第三步。第一步的划分与第二步的可加性对任意（哪怕是强相关的）$X,Y$ 都成立。这意味着一个重要的推广：

对不独立的变量，”$X+Y$ 的分布”仍然可以写成联合分布的和——联合分布永远够用，独立性只是让你能用边缘分布代替联合分布。这是本讲的核心思想：联合分布是万能钥匙，独立性是一把省事的备用钥匙。

反例（去掉独立性，公式失效）：取 $X\sim\mathrm{Bernoulli}(1/2)$，$Y=X$（完全不独立）。则 $Z=X+Y=2X$，故 $\Pr[Z=0]=\Pr[Z=2]=\frac12$、$\Pr[Z=1]=0$。若强行套卷积公式（用边缘分布 $p_X=p_Y$ 都均匀于 $\{0,1\}$）：

而真实的 $\Pr[Z=1]=0$。公式给出 $1/2$，真值是 $0$ —— 差得离谱。 原因就在于 $\Pr[X=0,Y=1]=\Pr[X=1,Y=0]=0$，而边缘乘积给出 $1/4$，独立性假设在第三步把真实的 $0$ 换成了 $1/4$。（脚本验算：$Z$ 的分布为 $\{0:0.5,2:0.5\}$ ✔。）

定理 21.4（二项分布对参数 $n$ 可加）：设 $X\sim\mathrm{Bin}(n,p)$ 与 $Y\sim\mathrm{Bin}(m,p)$ 独立（注意概率参数 $p$ 必须相同）。则

证明策略：卷积 + 范德蒙德恒等式 (Vandermonde’s identity)。由于两个分布都带 $\binom nk$ 形式，卷积会产生 $\sum_j\binom nj\binom m{k-j}$，这正是范德蒙德恒等式的左边。

逐步推导：

• 第一步：用卷积公式（定理 21.3）。$X$ 取值 $0,\dots,n$，$Y$ 取值 $0,\dots,m$，两者独立：

• 第二步：把 $p$ 的指数合并（$j+(k-j)=k$），把 $(1-p)$ 的指数合并（$(n-j)+(m-k+j)=n+m-k$），并把它们提出求和号（与 $j$ 无关）：

• 第三步：关键一步——范德蒙德恒等式。$\sum_j\binom nj\binom m{k-j}=\binom{n+m}{k}$。这条恒等式可以用 Lecture 16 的双计数证明：从 $n$ 个红球与 $m$ 个蓝球共 $n+m$ 个球中选 $k$ 个，按”选了几个红球”分类，选 $j$ 个红球有 $\binom nj$ 种、$k-j$ 个蓝球有 $\binom m{k-j}$ 种，对 $j$ 求和即得。

• 第四步：这恰是 $\mathrm{Bin}(n+m,p)$ 的概率质量函数。$\blacksquare$

数值验算：$n=2,\ m=3,\ p=0.3$。用卷积直接算 $p_{X+Y}(k)$，与 $\mathrm{Bin}(5,0.3)$ 的公式逐项比对：

八位小数完全一致（脚本验算 ✔）。$p=0.5,\ n=2,\ m=3$ 时也是精确匹配：卷积得到 $\{0:0.03125,\ 1:0.15625,\ 2:0.3125,\ 3:0.3125,\ 4:0.15625,\ 5:0.03125\}=\binom5k/32$ ✔。

直观解释：$\mathrm{Bin}(n,p)$ 是”抛 $n$ 次偏置硬币数正面”。先抛 $n$ 次、独立地再抛 $m$ 次，总共抛了 $n+m$ 次——所以结果当然是 $\mathrm{Bin}(n+m,p)$。证明的价值不在结论（结论显然），而在于演示卷积 + 范德蒙德这套机械；以及警示 $p$ 必须相同。

反例（$p$ 不同则结论失效）：$X\sim\mathrm{Bin}(1,1/2)$、$Y\sim\mathrm{Bin}(1,1)$（即 $Y\equiv1$）独立。则 $X+Y$ 取值 $\{1,2\}$，$\Pr[X+Y=1]=\frac12$、$\Pr[X+Y=2]=\frac12$。若以为 $X+Y\sim\mathrm{Bin}(2,p)$，无论取 $p=1/2$（得 $\Pr[=0]=1/4\ne0$）还是 $p=1$（得 $\Pr[=1]=0\ne1/2$）都不对。$X+Y$ 根本不是二项分布。 它的分布实际上是 $\mathrm{Bernoulli}(1/2)$ 平移 $+1$。

定理 21.5（泊松分布对参数 $\lambda$ 可加）：设 $X\sim\mathrm{Pois}(\lambda)$ 与 $Y\sim\mathrm{Pois}(\mu)$ 独立。则

证明策略：卷积 + 二项式定理。卷积产生 $\sum_j\frac{\lambda^j}{j!}\frac{\mu^{k-j}}{(k-j)!}$，提出 $\frac1{k!}$ 后正好是 $(\lambda+\mu)^k$ 的二项式展开。

逐步推导：

• 第一步：用卷积公式（两者取值都是 $0,1,2,\dots$，上界取到 $k$ 即可，因为 $z-x<0$ 时 $p_Y=0$）：

• 第二步：把 $e^{-\lambda}e^{-\mu}=e^{-(\lambda+\mu)}$ 提出；为了凑出二项式定理的形式，在求和号内乘除 $\frac{k!}{k!}$：

• 第三步：注意 $\frac{k!}{j!(k-j)!}=\binom kj$，故内层求和恰是二项式定理（Lecture 14 的组合证明中已用过）：

• 第四步：合并得

这正是 $\mathrm{Pois}(\lambda+\mu)$ 的概率质量函数。$\blacksquare$

数值验算：$\lambda=1.5,\ \mu=2.5$（和 $=4$）。卷积逐项与 $\mathrm{Pois}(4)$ 比对：

九位小数完全一致（脚本验算 ✔）。

直观解释：泊松分布描述”某段时间内稀有事件发生的次数”，参数 $\lambda$ 是发生率。若两个独立的稀有事件源分别以 $\lambda$、$\mu$ 的频率发生，把它们合并起来看，总发生率显然是 $\lambda+\mu$——而且合并后仍是”稀有事件计数”，所以仍是泊松分布。用 Lecture 19 的”泊松是二项分布的极限”语言：$\mathrm{Bin}(n,\lambda/n)$ 与 $\mathrm{Bin}(m,\mu/m)$ 独立，和为 $\mathrm{Bin}(n+m,\cdot)$ 型（$p$ 不同，严格说不是二项，但极限上给出 $\mathrm{Pois}(\lambda+\mu)$），与定理 21.5 一致。

归纳推广：若 $X_i\sim\mathrm{Pois}(\lambda_i)$ 相互独立，则 $\sum_{i=1}^n X_i\sim\mathrm{Pois}(\sum_{i=1}^n\lambda_i)$。证明用对 $n$ 的归纳法：基础情形 $n=1$；归纳步骤把 $\sum_{i=1}^{n-1}X_i$（由归纳假设服从 $\mathrm{Pois}(\sum_{i<n}\lambda_i)$，且与 $X_n$ 独立）与 $X_n$ 用定理 21.5 合并。

定理 21.6（随机游走：期望与平方期望）：设 $S_n=\sum_{i=1}^{n}X_i$，$X_i$ 独立且 $\Pr[X_i=1]=\Pr[X_i=-1]=\frac12$。则

证明策略：第一部分用线性性（无需独立）；第二部分用”展开平方 + 交叉项为零”，其中交叉项 $\mathbb{E}[X_iX_j]=0$ 需要用到独立性（并且第 20 讲定理 20.7 的乘积法则也需要它）。这个”哪里需要独立”的分界线正是本讲要传达的核心手艺。

逐步推导（第一部分：$\mathbb{E}[S_n]=0$）：

• 第一步：$\mathbb{E}[X_i]=\frac12\cdot(+1)+\frac12\cdot(-1)=0$。

• 第二步：线性性（Lecture 20 定理 20.4）：$\mathbb{E}[S_n]=\sum_{i=1}^{n}\mathbb{E}[X_i]=\sum_{i=1}^n0=0$。

  注意：这一步不需要独立性。也可以完全不用线性性，用对称性论证：把每条路径 $\omega=(x_1,\dots,x_n)$ 与它的”镜像” $\omega^{\prime}=(-x_1,\dots,-x_n)$ 配对，两者概率相同（因为 $\Pr[X_i=\pm1]$ 对称）而 $S_n(\omega^{\prime})=-S_n(\omega)$，于是 $\mathbb{E}[S_n]=0$。对称性论证的优势是”零计算”，但只在分布对称时可用；线性性更通用。

逐步推导（第二部分：$\mathbb{E}[S_n^2]=n$）：

• 第一步：展开平方：

• 第二步：用线性性（这一步仍然不需要独立，因为只是把和拆开）：

• 第三步：第一项。$X_i$ 只取 $\pm1$，故 $X_i^2=1$ 恒成立（对所有样本点），于是 $\mathbb{E}[X_i^2]=1$。

  这里有一个重要提醒：如果按 LOTUS 算，$\mathbb{E}[X_i^2]=\frac12(1)^2+\frac12(-1)^2=1$，结果相同。但不要把 $\mathbb{E}[X_i^2]$ 误写成 $(\mathbb{E}[X_i])^2=0$ —— 那是 Lecture 20 反复警告的 $\mathbb{E}[g(X)]\ne g(\mathbb{E}[X])$ 陷阱。

• 第四步：第二项。对 $i\ne j$，因 $X_i\perp X_j$，由定理 20.7（乘积期望可乘）得

直接用定义也可以：$X_iX_j=+1$ 当且仅当两步同向，概率为 $\frac12$（两种情况 $++$ 或 $–$，各 $\frac14$）；$X_iX_j=-1$ 当且仅当两步反向，概率也是 $\frac12$（$+-$ 或 $-+$，各 $\frac14$）。于是

这条”直接用定义”的算路同样用到了独立性——因为 $\Pr[X_i=1,X_j=1]=\frac14=\Pr[X_i=1]\Pr[X_j=1]$ 才是那个 $\frac14$ 的来源。

• 第五步：代入。等式里共有 $\binom n2$ 个交叉项，每项为 $0$：

数值验算（脚本穷举 $2^n$ 条路径）：

全部与定理 21.6 一致（脚本验算 ✔）。

【证明机制解说】：这个证明最值得学的是”哪些步骤需要什么“的分层：

1. 展开平方、把求和拆开 —— 只用线性性，不需要独立；
2. 把 $\mathbb{E}[X_iX_j]$ 拆成 $\mathbb{E}[X_i]\mathbb{E}[X_j]$ —— 必须用独立；
3. $X_i^2=1$ —— 只用 $X_i$ 的值域，连分布都不需要。

如果去掉独立性会怎样？ 假设 $X_2=X_1$（第二步完全复制第一步，不独立）。则 $S_2=2X_1$，$S_2^2=4$，$\mathbb{E}[S_2^2]=4\ne2$。定理 21.6 的结论 $n$ 严重失效。 差别全部来自交叉项：这里 $\mathbb{E}[X_1X_2]=\mathbb{E}[X_1^2]=1\ne0$，于是 $\mathbb{E}[S_2^2]=1+1+2\cdot1=4$ ✔。这就是”交叉项是否为零”的巨大威力，它正是 Lecture 22 协方差概念要精确刻画的量。

关于 $\mathbb{E}[\vert S_n\vert ]$ 的重要警告：既然 $\mathbb{E}[S_n^2]=n$，能不能推出 $\mathbb{E}[\vert S_n\vert ]=\sqrt{n}$？不能！ 因为 $\sqrt{\cdot}$ 是凹函数，由詹森不等式，$\mathbb{E}[\vert S_n\vert ]=\mathbb{E}[\sqrt{S_n^2}]\le\sqrt{\mathbb{E}[S_n^2]}=\sqrt n$，方向是 $\le$ 而不是 $=$（等号仅在 $\vert S_n\vert $ 为常数时成立）。数值验证：$n=4$ 时 $\sqrt{\mathbb{E}[S_n^2]}=2.000$，而 $\mathbb{E}[\vert S_4\vert ]=1.5000$；$n=10$ 时 $3.162$ 对 $2.4609$；$n=2$ 时 $1.414$ 对 $1.0000$。$\mathbb{E}[\vert S_n\vert ]$ 总是严格更小。 正确的解读是：$\mathbb{E}[S_n^2]$ 是”典型偏离量级的平方“的一个方便的替代指标，我们要说”粒子通常离原点约 $\sqrt n$”，严格化要靠 Lecture 23–25 的集中不等式与中心极限定理。

定理 21.7（方差对独立随机变量可加，Lecture 22 预告）：若 $X\perp Y$，则

证明策略：直接用定义 + 展开（$\operatorname{Var}(Z)=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2$），把交叉项单独挑出来，然后指出它恰是 $\operatorname{Cov}(X,Y)$ 并因独立而为零。

逐步推导：

• 第一步：由 Lecture 16/22 的公式 $\operatorname{Var}(Z)=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2$（这里先借用，Lecture 22 会正式证明）：

• 第二步：展开平方并用线性性（不需要独立）：

• 第三步：相减并整理：

• 第四步：认出前两个括号是 $\operatorname{Var}(X)$ 与 $\operatorname{Var}(Y)$，第三个括号是协方差 $\operatorname{Cov}(X,Y)$：

• 第五步：由 $X\perp Y$ 与定理 20.7，$\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]=0$，故 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。$\blacksquare$

【证明机制解说】——为什么这里需要独立，而期望相加不需要？

这是本讲与 Lecture 20 之间最重要的对比，值得单独展开：

一句话：加法在期望里是”原生”的线性运算，在方差里却要先经过平方（非线性），于是被迫产生乘积项；而乘积项的处理需要独立。 这也解释了为什么 Lecture 20 的”免费午餐”是有边界的——它免费的是一阶矩，而二阶矩要付独立性的”费”。

反例（不独立时方差不可加）：$X\sim\mathrm{Bernoulli}(1/2)$，$Y=X$。则 $\operatorname{Var}(X)=\operatorname{Var}(Y)=\frac14$，但 $X+Y=2X$，$\operatorname{Var}(2X)=4\operatorname{Var}(X)=1$（用 $\operatorname{Var}(cX)=c^2\operatorname{Var}(X)$）。而 $\operatorname{Var}(X)+\operatorname{Var}(Y)=\frac12$。$1\ne\frac12$，差额正是 $2\operatorname{Cov}(X,X)=2\operatorname{Var}(X)=\frac12$ ✔。

数值算例（协方差非零但两变量都”正常”）：$X$ 为第一枚骰子、$Y$ 为两枚骰子之和。前面算过 $\mathbb{E}[X]=3.5$、$\mathbb{E}[Y]=7$、$\mathbb{E}[XY]=27.4167$，故

同时 $\operatorname{Var}(X)=\frac{35}{12}$、$\operatorname{Var}(Y)=\frac{35}{6}$，故

独立验算：$X+Y=2X+Z$（$Z$ 为第二枚骰子，与 $X$ 独立），故 $\operatorname{Var}(X+Y)=4\operatorname{Var}(X)+\operatorname{Var}(Z)=4\cdot\frac{35}{12}+\frac{35}{12}=14.5833$ ✔（脚本验算一致）。

定理 21.8（$n$ 个独立同分布随机变量之和的方差）：若 $X_1,\dots,X_n$ 相互独立且同分布，则

证明策略：归纳法，归纳步骤用定理 21.7。注意归纳步骤还要求”前 $n-1$ 项之和 与 $X_n$ 独立”，这由相互独立保证（相互独立蕴含任意分组后的和与剩余变量独立）。

逐步推导：

• 基础情形 $n=1$：平凡。
• 归纳假设：对 $n-1$ 成立。
• 归纳步骤：令 $T_{n-1}=\sum_{i=1}^{n-1}X_i$。由相互独立性，$T_{n-1}\perp X_n$。于是

取平方根并用 $\sigma=\sqrt{\operatorname{Var}}$ 得 $\sigma=\sqrt n\,\sigma(X_1)$。$\blacksquare$

【证明机制解说】：对照 Lecture 20 的 $n$ 个变量版本 $\mathbb{E}[\sum X_i]=\sum\mathbb{E}[X_i]$（现在不需要同分布、不需要独立），这里的方差版本同时要求独立与同分布（独立是为了可加性，同分布是为了让每项都是同一个 $\operatorname{Var}(X_1)$）。这条差异的具体后果非常重要：

也就是说，“平均值的散布”比”平均值的量级”小得多——这正是大数定律与中心极限定理的引擎。以随机游走为例：$n$ 步后位置的典型量级是 $\sqrt n$（不是 $n$）。$n=10^4$ 步后，醉汉离原点的距离通常只有约 $100$ 步。

反例（同分布必需）：若 $\operatorname{Var}(X_1)\ne\operatorname{Var}(X_2)$，则一般 $\operatorname{Var}(X_1+X_2)=\operatorname{Var}(X_1)+\operatorname{Var}(X_2)$ 仍然成立（可加性只要求独立），但写成 $2\operatorname{Var}(X_1)$ 就错了。“同分布”只在把求和化简为 $n\operatorname{Var}(X_1)$ 时才需要。 独立 + 不同分布时正确的形式是 $\operatorname{Var}(\sum X_i)=\sum\operatorname{Var}(X_i)$。

与经典问题的联系

1. 哈希表中”碰撞事件之间是否独立”

• 实际背景：Lecture 20 分析 $m$ 个键哈希到 $n$ 个槽时，用指示变量 $I_{C_i}$ 数碰撞对数。
• 联合分布视角：各个 $C_i$ 是同一概率空间上强相关的事件（若 $(u,v)$ 与 $(v,w)$ 都碰撞，则 $(u,w)$ 必然碰撞）。它们的联合分布不是边缘分布之积。
• 为什么仍然可行：Lecture 20 的线性性不需要独立。但若要算 $\operatorname{Var}(C)$（Lecture 23 的切比雪夫界需要它），就必须认真处理这些相关性——这正是 Lecture 22 协方差矩阵的用武之地。”独立性和线性性的边界”在哈希分析里体现得最清楚。

2. 纠错码中的”包丢失”建模（与 Lecture 8 / Lecture 19 呼应）

• 实际背景：把 $n$ 个包编成 $n+k$ 个包，收到任意 $n$ 个即可重建。
• 数学建模：设第 $i$ 个包的丢失指示变量为 $L_i\sim\mathrm{Bernoulli}(p)$，且 $L_1,\dots,L_k$ 相互独立（信道无记忆）。则收到的包数为 $\sum_i(1-L_i)\sim\mathrm{Bin}(n+k,1-p)$——定理 21.4 直接把”$n+k$ 个独立伯努利之和”识别为二项分布。
• 方案设计：$\Pr[\text{成功}]=\Pr[\sum_i(1-L_i)\ge n]$。若进一步设各包的丢失概率不同（$L_i\sim\mathrm{Bernoulli}(p_i)$，独立但不同分布），就得到泊松二项分布 (Poisson binomial)——此时定理 21.4 不再适用，但定理 21.7 的”独立即可加”仍然成立，$\operatorname{Var}=\sum p_i(1-p_i)$。

3. 分布式系统中”多台服务器的故障计数”

• 实际背景：$n$ 台服务器，第 $i$ 台在单位时间内发生故障的次数服从 $\mathrm{Pois}(\lambda_i)$。
• 数学建模：若各服务器故障过程独立，则总故障次数由定理 21.5 得 $\mathrm{Pois}(\sum\lambda_i)$。
• 用途：这解释了为什么运维指标里”集群总事件率”是一个有意义的单一数字——只要各源独立，总计数仍然是同一族分布，参数直接相加。若源之间相关（比如同一机房断电），则此结论失效，必须回到联合分布。

4. 随机游走与”布朗运动 / 扩散”

• 实际背景：气体分子在液体中的位移、股票价格的微小波动、网络包的往返时间抖动，都常被建模为随机游走。
• 数学结论：$\mathbb{E}[S_n]=0$、$\operatorname{Var}(S_n)=n$（定理 21.6 与 21.8），即位置分布集中在 $0$ 附近、宽度约 $\sqrt n$。这就是”扩散尺度是 $\sqrt{\text{时间}}$“这一物理定律的离散版本。
• 进一步：Lecture 25 的中心极限定理会把 $S_n/\sqrt n$ 的分布精确收敛到标准正态——那个著名的钟形曲线最早就是从随机游走的二项分布里冒出来的（De Moivre–Laplace 定理）。

5. 两枚骰子之和的完整分布表（本讲的”基础算例”）

把 36 个等概率样本点按和分类，得到教科书式的对称三角形分布：

   两枚公平骰子之和 Z = X + Y 的分布  (分母恒为 36)

   计数
    6 |                          ##
    5 |                       ## ## ##
    4 |                    ## ## ## ## ##
    3 |                 ## ## ## ## ## ## ##
    2 |              ## ## ## ## ## ## ## ## ##
    1 |           ## ## ## ## ## ## ## ## ## ## ##
      +--------------------------------------------------
        2  3  4  5  6  7  8  9 10 11 12   <- z = X+Y
       (1)(2)(3)(4)(5)(6)(5)(4)(3)(2)(1)  <- 组合数

   概率:  1/36, 2/36, 3/36, 4/36, 5/36, 6/36, 5/36, 4/36, 3/36, 2/36, 1/36
   验算:  sum = (1+2+3+4+5+6+5+4+3+2+1)/36 = 36/36 = 1   ✔
   E[Z] = sum z * P[Z=z] = 252/36 = 7   (= 3.5 + 3.5)      ✔
   Var(Z) = Var(X)+Var(Y) = 35/12 + 35/12 = 35/6 ≈ 5.8333 ✔ (独立, 用定理21.7)

这张表是卷积公式（定理 21.3）最直观的体现：格子 $(x,y)$ 的作用就是往 $z=x+y$ 那条反对角线上加 1。下面再看一张完整的联合分布表（含边缘和）来说明”表格判据”的用法：

   X = 第一枚骰子的点数,  Y = 两枚骰子之和   (只展示 Y 从 2 到 7 的列, 概率分母 36)

        Y=2  Y=3  Y=4  Y=5  Y=6  Y=7 | 行和 p_X
   X=1   1    1    1    1    1    1  |   6/36 = 1/6
   X=2   0    1    1    1    1    1  |   6/36 = 1/6
   X=3   0    0    1    1    1    1  |   6/36 = 1/6
   X=4   0    0    0    1    1    1  |   6/36 = 1/6
   X=5   0    0    0    0    1    1  |   6/36 = 1/6
   X=6   0    0    0    0    0    1  |   6/36 = 1/6
   ----------------------------------+-----------
   列和 p_Y  1/36 2/36 3/36 4/36 5/36 6/36 |   总和 = 1

   独立性检查 (取格子 X=6, Y=2):
        实际 p_{X,Y}(6,2) = 0/36 = 0
        行和 × 列和 = (1/6) × (1/36) = 1/216 ≈ 0.00463
        0 ≠ 0.00463  ==>  X 与 Y 不独立  ✔ (由 X=6 可推出 Y>=7, 完全约束)

   对照: 若 Y = 第二枚骰子 (与 X 独立), 则每格都等于 1/36 = (1/6)(1/6), 判据全部通过

6. 二项分布的”合并”在 A/B 测试中的意义

• 实际背景：把用户随机分成两组做实验，A 组 $n$ 人转化 $X$ 人，B 组 $m$ 人转化 $Y$ 人。
• 数学结论：若两组转化率相同都是 $p$ 且相互独立，则 $X+Y\sim\mathrm{Bin}(n+m,p)$（定理 21.4）。这就是”两组可以合并估计基准转化率”的数学依据。 反之，若两组的 $p$ 不同（存在处理效应），则定理 21.4 失效——这正是 A/B 测试里”必须检验显著差异”的根源。

与其他讲次的关联

• 承接 Lecture 18（独立性与事件组合）：随机变量的独立性就是“对所有 $(a,b)$，事件 $X=a$ 与事件 $Y=b$ 独立”（定理 21.2）。Lecture 18 建立的 $\Pr[A\cap B]=\Pr[A]\Pr[B]$ 是本讲全部推导的基本零件；Lecture 18 的联合界（用于哈希容量与负载均衡）与本讲的联合分布是同一批对象上的两种工具：前者只用一个边际不等式，后者用完整表。
• 承接 Lecture 19（随机变量与离散分布）：$\mathrm{Bernoulli}$、$\mathrm{Bin}$、$\mathrm{Geometric}$、$\mathrm{Pois}$ 的定义与 PMF 都来自 Lecture 19。定理 21.4 与 21.5 是这些分布在”独立求和”运算下的封闭性；Lecture 19 的 i.i.d. 概念是本讲随机游走定义的前提。
• 承接 Lecture 20（期望与线性性）：本讲是 Lecture 20 的直接续篇。定理 21.6 的第一部分（$\mathbb{E}[S_n]=0$）纯用 Lecture 20 的线性性；定理 21.7 的推导中反复出现 Lecture 20 的 $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$（定理 20.7）。Lecture 20 反复强调的”线性性不需要独立”，与本讲”乘积期望可乘需要独立”形成最关键的对照——请把这两条并排记在笔记上。
• 通向 Lecture 22（方差与协方差）：定理 21.7 推导中浮现的 $\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$ 就是 Lecture 22 的主角。Lecture 22 会证明 $\operatorname{Cov}$ 具有双线性 (bilinear)：$\operatorname{Cov}(\sum a_iX_i,\sum b_jY_j)=\sum_{i,j}a_ib_j\operatorname{Cov}(X_i,Y_j)$，从而得到一般公式 $\operatorname{Var}(\sum X_i)=\sum_i\operatorname{Var}(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j)$ ——定理 21.6 中那些为零的交叉项，正是这个公式的特例。Lecture 22 还会给出相关系数 $\operatorname{Corr}\in[-1,1]$ 并强调”$\operatorname{Cov}=0$ 不推出独立”（本讲的反例 $Y=\vert X\vert $ 正是这个论断的样本）。
• 通向 Lecture 23（集中不等式）：随机游走 “$\mathbb{E}[S_n]=0$、$\operatorname{Var}(S_n)=n$” 立即给出切比雪夫界 $\Pr[\vert S_n\vert \ge t\sqrt n]\le1/t^2$ ——位置的集中尺度确实是 $\sqrt n$。Lecture 23 的切尔诺夫界会把二项分布之和的尾概率压到指数级小，是 $\Pr[\text{解码成功}]$ 这类工程估算的工具。
• 通向 Lecture 25（高斯分布与 CLT）：本讲的随机游走是 CLT 的入门模型。$S_n$ 的分布就是 $\mathrm{Bin}(n,1/2)$ 的平移缩放；当 $n\to\infty$，$\frac{S_n}{\sqrt n}$ 的分布趋近标准正态 $\mathcal{N}(0,1)$。
• 回连 Lecture 14 / Lecture 16（计数与组合证明）：定理 21.4 第三步的范德蒙德恒等式 $\sum_j\binom nj\binom m{k-j}=\binom{n+m}{k}$ 用 Lecture 16 的双计数证明（按”从 $n$ 个红球里选了几个”分类数从 $n+m$ 个球里选 $k$ 个）；定理 21.5 第三步用的二项式定理也是 Lecture 14/16 的结论。

关键要点

1. 联合分布 $p_{X,Y}(a,b)=\Pr[X=a,Y=b]$ 是完整信息；边缘分布 $p_X(a)=\sum_b p_{X,Y}(a,b)$ 是它的投影。投影丢信息，且不可逆 —— 不同的联合分布可以有完全相同的边缘分布（反例见思考题 Q1）。
2. 判独立用表格：每一格 $\overset{?}{=}$ 行和 × 列和。 找到一个格子不等即可判定不独立。等价表述：$\Pr[X=a\mid Y=b]=\Pr[X=a]$ 对一切 $(a,b)$ 成立（定理 21.2）。条件是对所有 $(a,b)$，不可弱化。
3. 卷积是为独立随机变量之和准备的：$p_{X+Y}(z)=\sum_x p_X(x)p_Y(z-x)$，独立性用在”把联合概率拆成边缘之积”这一步。不独立时该公式失效，但仍可用 $p_{X+Y}(z)=\sum_x\Pr[X=x,Y=z-x]$（联合分布永远有效）。
4. 两条分布封闭性必须背下来：$\mathrm{Bin}(n,p)+\mathrm{Bin}(m,p)=\mathrm{Bin}(n+m,p)$（$p$ 必须相同）；$\mathrm{Pois}(\lambda_1)+\mathrm{Pois}(\lambda_2)=\mathrm{Pois}(\lambda_1+\lambda_2)$（$\lambda$ 直接相加）。
5. “独立”这条分界线：$\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$ 不需要独立；$\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$ 需要独立（否则多出 $+2\operatorname{Cov}(X,Y)$）；$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$ 需要独立（且反向不成立）。一阶矩免费，二阶矩收费。
6. 随机游走的两条基准结论：$\mathbb{E}[S_n]=0$、$\operatorname{Var}(S_n)=\mathbb{E}[S_n^2]=n$、$\sigma(S_n)=\sqrt n$。位置的典型量级是 $\sqrt n$，不是 $n$。 但不要由此推出 $\mathbb{E}[\vert S_n\vert ]=\sqrt n$（凹函数方向相反）。

常见误区与注意事项

1. 混淆”边缘分布相同”与”联合分布相同”。 分别知道 $p_X$ 和 $p_Y$ 不足以确定 $p_{X,Y}$。这是本讲最重要的概念分界。任何”因为 $X$ 和 $Y$ 各自的分布是这样，所以它们的联合分布是那样”的推理都是错的——必须额外有独立性或其它结构假设。
2. 把”独立”与”不相关/互斥”混为一谈。 三个不同的概念：
   • 互斥 (disjoint)：$X=a$ 与 $Y=b$ 不能同时发生（$\Pr[X=a,Y=b]=0$）。互斥的两个非退化事件必然不独立（因为 $0\ne\Pr[X=a]\Pr[Y=b]>0$）。
   • 不相关 (uncorrelated)：$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$，等价于 $\operatorname{Cov}(X,Y)=0$。这是弱条件。
   • 独立 (independent)：$p_{X,Y}=p_Xp_Y$ 逐格成立。这是强条件，蕴含不相关，反之不然（$X$ 均匀于 $\{-1,0,1\}$、$Y=\vert X\vert $ 即反例）。
3. 卷积公式用错范围。 $p_Z(z)=\sum_x p_X(x)p_Y(z-x)$ 中的 $x$ 要遍历所有可能值，但只有同时满足 “$p_X(x)>0$” 与 “$z-x$ 在 $Y$ 的值域内” 的项非零。忘掉 $Y$ 的支撑集限制会多算；用 $Y$ 的支撑集限制 $x$ 的取值范围（两枚骰子之和：$z=2$ 只有 $x=1$；$z=7$ 有 $x=1,\dots,6$）。
4. 以为 $p$ 不同也能合并二项分布。 $\mathrm{Bin}(n,p)+\mathrm{Bin}(m,q)=\mathrm{Bin}(n+m,\cdot)$ 只在 $p=q$ 时成立。$p\ne q$ 时 $X+Y$ 甚至不是二项分布（见定理 21.4 后的反例）。同理，泊松的 $\lambda$ 可以不同（结论照样成立），但二项的 $p$ 不行——这两条不要记混。
5. 把 $\mathbb{E}[S_n^2]=n$ 误读为”$\mathbb{E}[\vert S_n\vert ]=\sqrt n$”。 由 Jensen 只有 $\mathbb{E}[\vert S_n\vert ]\le\sqrt n$（$n=4$：$1.5$ vs $2.0$）。平方根是凹的，期望不能穿过凹函数。
6. 用”两两独立”代替”相互独立”。 多变量时，”对每个二元子集分解”弱于“对每个子集分解”。做 $n$ 个变量之和的方差（定理 21.8）时，归纳步骤要求”前 $n-1$ 项之和 与 $X_n$ 独立”，这条仅靠两两独立是不够的（实际上对和与单个变量独立而言两两独立确实不够，需要更强的条件）。
7. 忘记条件概率的”分母为零”情形。 在 $\Pr[X=a\mid Y=b]=\Pr[X=a]$ 这个刻画里，必须限定 $\Pr[Y=b]>0$；否则条件概率本身没有定义。定理 21.2 的证明中已明确写出这一限定。
8. 把”随机变量之和的分布”与”随机变量之和”当成同一个对象。 定理 21.7（方差可加）讨论的是 $\operatorname{Var}(X+Y)$，而定理 21.3（卷积）讨论的是 $X+Y$ 的分布。前者只需二阶矩，后者要完整 PMF。问题问什么，就用什么工具。

思考题（带答案）

Q1.（计算题） 下面的两张联合分布表都有相同的边缘分布。请填出两张表的边缘分布，验证它们相同，并分别计算 $\mathbb{E}[XY]$、$\operatorname{Cov}(X,Y)$，指出哪一张是独立的。

Q2.（计算题） 设 $X\sim\mathrm{Pois}(2)$ 与 $Y\sim\mathrm{Pois}(3)$ 独立，$Z=X+Y$。求 $\Pr[Z=3]$（分别用卷积公式与 $\mathrm{Pois}(5)$ 公式算，验证一致）、$\mathbb{E}[Z]$、$\operatorname{Var}(Z)$。

Q3.（概念/证明题） (a) 设 $X,Y$ 独立。证明：对任意函数 $g,h$，$g(X)$ 与 $h(Y)$ 也独立。

(b) 举出三个随机变量 $X,Y,Z$，使它们两两独立但不相互独立；并说明这为什么意味着”两两独立”不能替代”相互独立”。

Q4.（概念题） 一张 $2\times2$ 的联合分布表中，如果只有一列满足 $\Pr[X=a\mid Y=b]=\Pr[X=a]$（即只有一个 $b$ 满足），能否据此断定独立？

(a) 从”行和归一性”角度说明：在 $X$ 二值时，”恰好只有一列满足”这种情形根本不可能存在。

(b) 请给出一个 $2\times3$ 表的例子，其中整整一列满足条件、另外两列都不满足，并逐格验证它不独立。