Lecture 19: Random Variables & Discrete Distributions（随机变量与离散分布）

目录 · ← l19 · l21 →

Lecture 19: Random Variables & Discrete Distributions（随机变量与离散分布）

概述

前四讲我们把概率当成”事件的语言”：样本空间 $\Omega$、事件（子集）、概率公理、条件概率、独立性。但真实问题问的往往不是一个”是/否”，而是一个数：$n$ 次抛硬币里有几个正面？弃置重排的作业有几份回到本人手上？掷到第一个 6 需要几次？一页论文有几个 typo？本讲的核心动作是把这些”数”形式化为随机变量 (random variable)，并给出它最关键的观念转变——

随机变量不是变量，而是函数：$X: \Omega \to \mathbb{R}$，把每个样本点映射成一个实数。随机性不在 $X$ 里，而在”哪个样本点被抽到”里。

一旦接受了这个定义，我们就可以谈分布 (distribution)——即 $X$ 取每个值的概率，把它们做成一张表或一张柱状图，接下来就能谈期望（讲次 20）、联合分布（讲次 21）、方差（讲次 22）、集中不等式（讲次 23）。本讲要建立四个”积木级”的离散分布：伯努利 (Bernoulli)、二项 (Binomial)、几何 (Geometric)、泊松 (Poisson)。它们后面会反复出现，值得像记乘法表一样记牢。

核心概念的直观解释

随机变量 (Random Variable, RV)

• 定义：定义在样本空间 $\Omega$ 上的随机变量是一个函数 $X: \Omega \to \mathbb{R}$，它为每个样本点 $\omega \in \Omega$ 指定一个实数 $X(\omega)$。
• 直观解释（”它是什么意思？”）：教材自己都承认”随机变量”这个名字是misnomer（用词不当）：它既不随机（$X$ 作为函数是完全确定的），也不是变量（它不会自己变动）。真正随机的是实验的结果 $\omega$。可以这样类比：$X$ 是一台”测量仪”，$\omega$ 是被测量的工件；仪器本身没有随机性，随机的是送进来的工件。另一类比：$X$ 是旅馆房号表——每位客人都被分配一个房间号，房间号是确定的映射，随机的是”今天来了哪位客人”。
• 具体示例（本讲的标准例子，$n=2$ 与 $n=4$）：抛两枚公平硬币，样本空间 $\Omega=\{HH,HT,TH,TT\}$。令 $X$ = “正面个数”，则

注意 $X$ 把 $4$ 个样本点映射到 $3$ 个不同的值——多个样本点可以映到同一个值，这正是”分布”要把它们合并求和的原因。若抛 $4$ 枚硬币，则 $\Omega$ 有 $16$ 个点，$X(HTTH)=3$，$X(HTHT)=2$，等等。

离散随机变量 (Discrete RV) 与分布 (Distribution / PMF)

• 定义：若 $X$ 的取值集合 $\{X(\omega):\omega\in\Omega\}$ 是有限集或可数无限集，称 $X$ 为离散随机变量。$X$ 的分布 (distribution) 是数对的集合

这些概率通常记作 $p_X(a)=\Pr[X=a]$，称为概率质量函数 (probability mass function, PMF)。

• 直观解释：分布就是”$X$ 取各个值分别有多大可能”的清单。它是 $X$ 的完整概率刻画——知道分布就知道关于 $X$ 的一切概率信息。分布的图像是一条柱状图 (bar diagram)：横轴是 $X$ 的取值 $a$，$a$ 处柱子的高度是 $\Pr[X=a]$。
• 关键细节（为什么 $X=a$ 是合法事件）：因为 $X$ 是函数，对每个实数 $a$，集合

是 $\Omega$ 的一个子集，因此按讲次 15 的定义它就是一个事件，我们可以堂而皇之地写 $\Pr[X=a]$。这一点看似平凡，却是整个理论的合法性来源：没有”$X$ 是函数”这个定义，$\Pr[X=a]$ 就无从谈起。

• PMF 的两条性质：取值 $a\ne a^{\prime}$ 的事件 $\{X=a\}$ 与 $\{X=a^{\prime}\}$ 不交；所有 $\{X=a\}$ 的并恰好是 $\Omega$。也就是说，这族事件构成了 $\Omega$ 的一个划分 (partition)。因此

反之，任何满足这两条的数列都是某个离散随机变量的 PMF。验证这两条，是检查”$X$ 是随机变量”的合法性证明。

• 具体示例：抛 $4$ 枚公平硬币，$X$ = 正面个数。分布为

验算：$\frac{1+4+6+4+1}{16}=1$ $\checkmark$。这就是 $\Omega$ 的 $16$ 个样本点按”正面个数”归并成 $5$ 类的过程。

“随机变量是函数”的映射图示（本讲最关键的图）

  样本空间 Ω (4 枚硬币, 16 个样本点)          X = 正面个数        实数轴
  ───────────────────────────────────       (函数)         ──────────────
   HHHH ─────────────┐
   HHHT ─────────────┤
   HHTH ─────────────┼──────────────────────────────────▶  a = 4   Pr = 1/16
   HTHH ─────────────┤
   THHH ─────────────┘

   HHTT  HTTH  ...  (共 6 个) ──────────────────────────▶  a = 2   Pr = 6/16
   TTHH  THTH  THHT

   HTTT  THTT  TTHT  TTTH   (共 4 个) ──────────────────▶  a = 1   Pr = 4/16

   TTTT ─────────────────────────────────────────────▶  a = 0   Pr = 1/16

   注意 1: X 是"多对一"的——16 个样本点被压成 5 个取值。
           同一取值的样本点被合并求和, 所以 Σ Pr[X=a] = 1。
   注意 2: 竖线左边的"箭头"是确定的(函数), 随机的是"落到哪个样本点"。
   注意 3: 事件 {X = a} 就是 X^{-1}(a), 是 Ω 的一个子集 ⇒ Pr[X=a] 良定义。

  柱状图 (PMF of Bin(4, 1/2), 每格高度 = 1/16):
     Pr
  6/16 |                ███
  5/16 |                ███
  4/16 |         ███    ███    ███
  3/16 |         ███    ███    ███
  2/16 |         ███    ███    ███
  1/16 |  ███    ███    ███    ███    ███
       +-----+------+------+------+-----→ a
         0     1      2      3      4
       1/16  4/16   6/16   4/16   1/16   (总和 = 1)

伯努利分布 (Bernoulli Distribution)

• 定义：若 $X$ 只取 $\{0,1\}$ 两个值，且

则称 $X$ 服从参数为 $p$ 的伯努利分布，记作 $X\sim \mathrm{Ber}(p)$。

• 直观解释：这是”一次试验成功与否”的最简模型——抛一次硬币、检查一个包是否丢失、一个比特是否翻转。取值为 $1$ 的事件叫”成功 (success)”，取值为 $0$ 的叫”失败”。
• 为什么它是所有计数型分布的积木：$X$ 只数”一件事发生没发生”，所以它是指示随机变量 (indicator random variable)：$X = \mathbf{1}[A]$，其中 $A$ 是那个”成功”事件。把 $n$ 个指示变量加起来，就得到”$n$ 次试验中成功了几次”——这正是二项分布。
• 一个极其有用的恒等式：对指示变量，$\mathbb{E}[X]=1\cdot\Pr[X=1]+0\cdot\Pr[X=0]=\Pr[X=1]$。指示变量的期望就是它所指示事件的概率。这一句话会在讲次 20 支撑起线性性期望的全部应用。
• 具体示例：掷公平骰子，$X=\mathbf{1}[\text{点数为 }6]$，则 $X\sim \mathrm{Ber}(1/6)$。

二项分布 (Binomial Distribution)

• 定义：设进行 $n$ 次相互独立的伯努利试验（每次成功概率同为 $p$，即独立同分布，i.i.d.），令 $X$ 为成功总次数。则 $X$ 取值 $0,1,\dots,n$，且

记作 $X\sim \mathrm{Bin}(n,p)$。

• 直观解释：伯努利是”一次”，二项是”$n$ 次的成功计数“。它出现得极其频繁：$n$ 个包中丢失的个数、$n$ 次网络请求中失败的次数、$n$ 个比特中翻转的个数。
• 具体示例：抛 $3$ 次公平硬币，$X$ = 正面数。$\Pr[X=0]=\binom30/8=1/8$，$\Pr[X=1]=3/8$，$\Pr[X=2]=3/8$，$\Pr[X=3]=1/8$（脚本验算：$0.1250, 0.3750, 0.3750, 0.1250$，和为 $1$）。
• 参数与统计量（预告讲次 20/22）：$\mathbb{E}[X]=np$（讲次 20 用指示变量 + 线性性一行搞定），$\operatorname{Var}(X)=np(1-p)$（讲次 22）。

几何分布 (Geometric Distribution)

• 定义：反复独立地抛一枚正面概率为 $p$ 的硬币，令 $X$ 为首次出现正面所需的抛掷次数。则 $X\in\{1,2,3,\dots\}$，且

记作 $X\sim \mathrm{Geo}(p)$。

• 直观解释：几何分布是”等待时间“的分布——等多久才中奖、等多少轮系统才出故障、重传多少次包才送达、抽多少次样本才找到一个满足条件的人。它出现的频率和二项分布一样高，只是问的问题从”总共几次”变成了”要等几次”。
• 具体示例：$p=0.3$ 时 $\Pr[X=1..6]=0.3000,0.2100,0.1470,0.1029,0.0720,0.0504$——每往后一步恰好乘以 $1-p=0.7$。这是几何衰减，也是它得名的原因。

几何分布 PMF (p = 0.3): 每根柱子是前一根的 0.7 倍
  Pr[X=k]
  0.30 |  ███
  0.21 |  ███  ███
  0.15 |  ███  ███  ███
  0.10 |  ███  ███  ███  ███  ███
  0.07 |  ███  ███  ███  ███  ███  ███  ██
  0.05 |  ███  ███  ███  ███  ███  ███  ██  █
       +----+----+----+----+----+----+----+----+--→ k
         1    2    3    4    5    6    7    8  ...
   等比衰减 ⇒ 尾部 Pr[X>n]=(1-p)^n 呈指数型，这正是无记忆性的来源

• 期望（预告讲次 20）：$\mathbb{E}[X]=1/p$。直觉：”每次抛掷期望贡献 $p$ 个正面，所以要抛 $1/p$ 次才凑够 $1$ 个正面。”$\operatorname{Var}(X)=(1-p)/p^2$（讲次 22）。

泊松分布 (Poisson Distribution)

• 定义：若随机变量 $X$ 取值 $0,1,2,\dots$ 且

则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记作 $X\sim \mathrm{Pois}(\lambda)$。

• 直观解释：泊松分布是”稀有事件计数“的分布。设想在某个连续区域（一段时间、一块面积、一页纸）里，事件以恒定的平均密度 $\lambda$ 随机发生，并且不重叠子区域中的发生相互独立；那么该区域内的发生次数就近似服从 $\mathrm{Pois}(\lambda)$。典型场景：盖革计数器的放射性衰变点击、电话交换机收到的拨错号码、染色体的交叉互换、一小时内出生的婴儿数、一页论文里的 typo 数。它的美妙之处在于：一个数 $\lambda$ 就完全确定了整个分布。
• 具体示例：$\lambda=1$ 时 $\Pr[X=0]=e^{-1}\approx 0.3679$，$\Pr[X=1]\approx0.3679$，$\Pr[X=2]\approx0.1839$，$\Pr[X=5]=e^{-1}/120\approx0.003066$（即约”每 $326$ 页才有 $1$ 页写错 $5$ 个 typo”）。
• 参数与统计量：$\mathbb{E}[X]=\lambda$，$\operatorname{Var}(X)=\lambda$（本讲完整证明 $\mathbb{E}[X]=\lambda$；方差预告讲次 22）。

随机变量的独立性 (Independence of Random Variables)

• 定义：同一概率空间上的随机变量 $X,Y$ 称为独立，当且仅当对所有取值 $a,b$，事件 $\{X=a\}$ 与 $\{Y=b\}$ 都独立。等价地

多个随机变量的相互独立类似定义（对所有取值组合成立）。

• 直观解释：这就是讲次 18 的独立性定义逐事件地搬运到随机变量上：把 $X,Y$ 的所有”取值事件”两两拿出来，要求它们独立。因为 $\{X=a\}$ 与 $\{Y=b\}$ 构成各自的划分，所以”所有 $a,b$ 都成立”这个条件是最强的可能要求。
• 具体示例：独立抛两枚硬币，$X=\mathbf{1}[$第一枚是 $H]$、$Y=\mathbf{1}[$第二枚是 $H]$。则 $\Pr[X=1,Y=1]=1/4=\frac12\cdot\frac12$，其余三种组合同理。$X,Y$ 独立。一列独立同分布的指示变量 $\{I_1,\dots,I_n\}$ 常缩写为 i.i.d.（independent and identically distributed），是概率论中使用频率最高的短语之一。

随机变量的函数 (Functions of Random Variables)

• 定义：设 $X$ 是 $\Omega$ 上的随机变量，$g:\mathbb{R}\to\mathbb{R}$。则 $Y=g(X)$ 也是 $\Omega$ 上的随机变量，定义为

它的分布由”枚举 + 合并“给出：

• 直观解释：对 $X$ 做变换（平方、取绝对值、取对数、四舍五入……）得到的仍是随机变量，因为我们只是给测量仪后面又接了一台后处理器。求 $Y$ 的分布不需要回到 $\Omega$——只要在 $X$ 的分布表上，把映到同一个 $y$ 的那些 $x$ 的概率加起来即可。事件层面的表述是 $\{Y=y\}=\{X\in g^{-1}(y)\}$（呼应讲次 16 官方 Note “Functions of Random Variables”）。
• 具体示例：$X\sim\mathrm{Bin}(3,0.5)$，令 $Y=X^2$。$X$ 取值 $0,1,2,3$ 概率 $0.125,0.375,0.375,0.125$。$Y$ 取值 $0,1,4,9$：$\Pr[Y=0]=0.125$，$\Pr[Y=1]=0.375$，$\Pr[Y=4]=0.375$，$\Pr[Y=9]=0.125$。本例中 $x\mapsto x^2$ 在非负整数上一一对应，所以概率原封不动。（脚本验算：由 $X$ 的分布合并得到 $\{0:0.125, 1:0.375, 4:0.375, 9:0.125\}$。）
• 注意：$Y=g(X)$ 与 $X$ 几乎从不独立（除非 $g$ 是常函数）。这是随机变量层面的”相关”，是讲次 22 中协方差的入口。

完整证明与推导（核心）

定理 19.1（二项分布的 PMF 推导）：设 $X$ 为 $n$ 次独立同分布伯努利试验（每次成功概率 $p$）中成功的总次数。则对 $k=0,1,\dots,n$，

证明策略：“分组 + 计数 + 乘积法则”三步走。核心洞察是把事件 $\{X=k\}$ 按”正面的位置“拆成互斥的若干块，每块内部概率相同（由独立性），块的个数由讲次 14 的组合计数给出。这是”讲次 14 计数 × 讲次 18 独立性”的第一次合体，也是后续所有”计数型分布”推导的模板。

逐步推导：

1. 把样本点写成序列。$n$ 次试验的样本点是一个长度 $n$ 的序列 $\omega=(\omega_1,\dots,\omega_n)\in\{H,T\}^n$，共 $2^n$ 个。$X(\omega)$ 就是序列中 $H$ 的个数。
2. 刻画事件 $\{X=k\}$。$\{X=k\}$ 是那些”恰好含 $k$ 个 $H$”的序列的集合。例如 $n=3,k=2$ 时是 $\{HHT,HTH,THH\}$，共 $3$ 个。
3. 数出序列个数。选”哪 $k$ 个位置是 $H$”：在 $n$ 个位置中选 $k$ 个，共 $\binom{n}{k}$ 种方式（讲次 14 的第一/第三计数法则）。其余 $n-k$ 个位置自动是 $T$。故恰好有 $\binom{n}{k}$ 个这样的序列。
4. 每个这样的序列概率相同，都是 $p^k(1-p)^{n-k}$。以 $HHT\cdots T$（前 $k$ 个 $H$、后 $n-k$ 个 $T$）为例，用讲次 18 的独立乘积法则：

对任意其他”含 $k$ 个 $H$”的序列，乘法因子的内容只是顺序不同，乘积不变（乘法可交换），所以概率全都一样。

1. 合并。这 $\binom{n}{k}$ 个序列互不相交，且并起来恰好是 $\{X=k\}$。由概率的可加性（讲次 15 公理），

【证明机制解说】：整个证明的”灵光一现”是先按位置分块，再发现块内概率全等——这一步是独立性送的大礼。如果各次试验不独立（例如无放回抽样），”每个序列概率相同”就不成立，这个论证立刻失效（那时要用超几何分布）。第 5 步的”合并”也很关键：可加性只在互斥事件上用，而”含 $k$ 个 $H$”的不同序列当然互斥（一个序列不可能同时有两个不同的 $H$ 位置集合）。

副产品：二项式定理的概率证明。 由于 $\{X=0\},\dots,\{X=n\}$ 构成 $\Omega$ 的划分，必有 $\sum_{k=0}^n\Pr[X=k]=1$，即

令 $a=p$、$b=1-p$，这正是讲次 14 中用组合双计数证明过的二项式定理 $(a+b)^n=\sum_k\binom nk a^k b^{n-k}$。我们用一个概率论证重新证明了它——这是一次漂亮的”概率方法证代数恒等式”。（脚本验算：$n=10,p=0.3$ 时各概率之和 $=1.00000000$。）

反例（独立条件不可省）：设一箱 $N=10$ 个球，$5$ 黑 $5$ 白，无放回抽 $n=3$ 个，令 $Y$ = 抽到的黑球数。若误用二项分布 $\mathrm{Bin}(3,0.5)$，会得到 $\Pr[Y=0]=\Pr[Y=3]=1/8=0.125$；真实分布是超几何分布

即 $k=0,1,2,3$ 分别对应 $\frac{1}{12},\frac{5}{12},\frac{5}{12},\frac{1}{12}\approx 0.0833,0.4167,0.4167,0.0833$。两两比较可见 $\mathrm{Bin}$ 低估了两端、高估了中间（$0.125$ vs $0.0833$）。“每次试验成功概率恒为 $p$”和”试验间独立”缺一不可。

定理 19.2（几何分布是合法 PMF）：设 $0<p\le1$，$X\sim\mathrm{Geo}(p)$，即 $\Pr[X=k]=(1-p)^{k-1}p$（$k\ge1$）。则

证明策略：提取公因子 + 几何级数求和。这看似只是”检查定义合法性”的技术步骤，实则非常重要：任何一个声称是 PMF 的公式，都必须先证明它求和为 $1$，否则整个分布是虚构的。我们会用同样的手法在定理 19.4 检验泊松分布。

逐步推导：

1. 把常数 $p$ 提到求和号外：

1. 令 $r = 1-p$。注意 $0\le r<1$（因为 $p>0$），且求和从 $r^0$ 开始：

这里做了下标替换 $j=k-1$。

1. 用几何级数公式 $\sum_{j=0}^{\infty}r^{j}=\dfrac{1}{1-r}$（$\vert r\vert <1$，来自讲次 8 的多项式/级数工具，也可由 $(1-r)(1+r+\cdots+r^{m})=1-r^{m+1}$ 令 $m\to\infty$ 得到）：

1. 顺带得到一个极其常用的尾部公式：$X>n$ 意味着前 $n$ 次全是反面，故

等价地 $\Pr[X\ge i]=(1-p)^{i-1}$（注意 $X\ge i$ 就是”前 $i-1$ 次全失败”）。这个公式是几何分布一切漂亮性质的源头。

【证明机制解说】：$p\sum_j(1-p)^j$ 里那个 $1/(1-(1-p))=1/p$ 的化简，把”无穷多项的调和”压缩成了一个 $p$ 的倒数。这也是为什么 $p$ 越小、$X$ 越”容易”取大值——$r=1-p$ 越大，几何级数越”慢”收敛，尾部越肥。脚本验算：$p=0.3$ 时 $\sum_{k=1}^{500}(0.7)^{k-1}\cdot0.3 = 1.0000000000$；$p=0.7$ 时同样为 $1.0000000000$。

反例（$p=0$ 的边界）：公式要求 $p>0$。若 $p=0$，则 $(1-p)^{k-1}p\equiv0$，求和为 $0\ne1$，不是合法的 PMF，几何分布不存在——当然，”永远等不到正面”的随机变量也不是离散的合法等待时间（它在源 Note 的范围内被排除）。这提醒我们：几何级数公式 $1/(1-r)$ 在 $r=1$ 时失效，而 $p=0$ 恰使 $r=1$。

定理 19.3（几何分布的无记忆性，Memorylessness）：设 $X\sim\mathrm{Geo}(p)$，$n,m\ge0$。则

证明策略：直接用条件概率定义 + 定理 19.2 第 4 步的尾部公式。这是”条件概率在几何分布上化腐朽为神奇”的标准范例，只需三行。

逐步推导：

1. 由条件概率定义（讲次 17），（注意需 $\Pr[X>n]>0$，即 $n$ 有限且 $p>0$）

1. 简化分子：若 $X>n+m$，则因为 $m\ge0$ 必有 $X>n+m\ge n$，所以事件 $\{X>n+m\}$ 蕴含 $\{X>n\}$，即 $\{X>n+m\}\cap\{X>n\}=\{X>n+m\}$。于是

1. 代入尾部公式 $\Pr[X>n]=(1-p)^n$、$\Pr[X>n+m]=(1-p)^{n+m}$：

1. 数值验证（脚本）：$p=0.3$ 时 $\Pr[X>8\mid X>5]=(0.7)^8/(0.7)^5=(0.7)^3=0.343000$，而 $\Pr[X>3]=0.343000$，完全吻合。$p=0.4$、$(n,m)=(10,5)$ 时两边同为 $0.077760$。

【证明机制解说】：无记忆性的物理含义是”过去不影响未来“。已经失败了 $n$ 次，并不让成功的概率变大（不会”该轮到我了”——这叫赌徒谬误 (gambler’s fallacy)）；等待时间从任何时刻看都”重新开始”。数学上它之所以成立，是因为 $\Pr[X>n]=(1-p)^n$ 是指数形式，除法时指数相减，$n$ 被干净地消掉。任何具有”乘法型尾部”的分布都有无记忆性；反过来可以证明，在取值为非负整数的分布中，只有几何分布具有无记忆性（连续情形下则只有指数分布，见讲次 24——几何分布正是它的离散类比）。

反例（别的分布没有无记忆性）：设 $X$ 在 $\{1,2,3,4,5,6\}$ 上均匀（掷骰子）。$\Pr[X>4]=2/6=1/3$，但 $\Pr[X>7\mid X>4]=0/ (1/3)=0 \ne \Pr[X>3]=1/2$。“已经等了很久”在均匀分布下确实意味着”快到了”，但几何分布下不成立。混淆这两者是极常见的错误。

定理 19.4（泊松分布是合法 PMF，且期望为 $\lambda$）：设 $\lambda>0$，$\Pr[X=k]=\dfrac{\lambda^k}{k!}e^{-\lambda}$（$k=0,1,2,\dots$）。则

证明策略：两个部分都靠泰勒级数 $e^{\lambda}=\sum_{j\ge0}\lambda^j/j!$。(i) 是把常数 $e^{-\lambda}$ 提出来直接套泰勒公式；(ii) 的关键技巧是把 $k$ 与 $k!$ 约掉——$k\cdot\frac{\lambda^k}{k!}=\lambda\cdot\frac{\lambda^{k-1}}{(k-1)!}$，于是求和又变成一次泰勒展开。这个”约掉一个因子把参数降一阶”的手法在泊松与二项分布的矩计算中会反复使用。

逐步推导：

(i) 归一性。

中间用了 $e^{x}=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots$ 在 $x=\lambda$ 处的展开（讲次 8 的多项式工具 / 微积分基本事实）。脚本验算：$\lambda=1,2,3,5$ 时级数（截断到 $k=60$）之和均为 $1.000000000000$。

(ii) 期望。

1. $k=0$ 项为 $0$，从 $k=1$ 开始：

1. 用 $k/k! = k/(k\cdot(k-1)!) = 1/(k-1)!$，并把一个 $\lambda$ 提出来：

1. 下标替换 $j=k-1$：$\sum_{k=1}^\infty\frac{\lambda^{k-1}}{(k-1)!}=\sum_{j=0}^\infty\frac{\lambda^{j}}{j!}=e^{\lambda}$。

2. 故 $\mathbb{E}[X]=\lambda e^{-\lambda}\cdot e^{\lambda}=\lambda$。$\blacksquare$

【证明机制解说】：这里最值得记住的是 “$k$ 约掉 $k!$ 的一阶” 这个动作。它有一个漂亮的一般化：$\mathbb{E}[X(X-1)]=\lambda^2$（同法可算，脚本验算 $\mathrm{Pois}(3)$ 的 $\mathbb{E}[X(X-1)]$ 对应 $\operatorname{Var}=3.000000$），再配合 $\operatorname{Var}(X)=\mathbb{E}[X(X-1)]+\mathbb{E}[X]-\mathbb{E}[X]^2$ 立刻得到 $\operatorname{Var}(X)=\lambda^2+\lambda-\lambda^2=\lambda$。泊松分布是”均值等于方差”的分布，这是从数据判断”是否泊松”的一个经验判据。

反例 / 边界（$\lambda$ 的角色）：$\lambda\le0$ 时公式无意义（$\lambda=0$ 时退化，$\lambda<0$ 时概率为负）。另外注意 $\lambda$ 不是”上界”也不是”最大取值”：$\mathrm{Pois}(3)$ 取到 $k=8$ 的概率仍有 $0.0081$，柱子分布从 $0$ 一直延伸到无穷，只是尾部极快地衰减。它的峰值在 $k=\lfloor\lambda\rfloor$ 附近（$\mathrm{Pois}(3)$ 的峰值是 $k=2$ 与 $k=3$，两者都是 $0.224042$）。

定理 19.5（泊松分布是二项分布的极限）：设 $\lambda>0$ 为固定常数，$X_n\sim\mathrm{Bin}\!\left(n,\frac{\lambda}{n}\right)$。则对每个固定的 $k=0,1,2,\dots$，

证明策略：把三项因子拆开，分别求极限。核心是识别出表达式中”随 $n$ 变化的三块”：(a) 一个趋近 $1$ 的梯形乘积，(b) $e^{-\lambda}$ 的经典极限，(c) 一个趋近 $1$ 的幂。每一块都是讲次 12 极限思想（或微积分标准极限）的应用。由于 $k$ 固定、$n\to\infty$，可以放心地对每一项单独取极限。

逐步推导：

1. 写出 PMF 并整理。固定 $k$，设 $n\ge k$，$p=\lambda/n$：

1. 把因子归成三组：

验证一下：$(\mathrm B)\cdot(\mathrm C)=\left(1-\frac\lambda n\right)^{n-k}$，与第 1 步一致 $\checkmark$；$\frac{\lambda^k}{k!}\cdot(\mathrm A)=\frac{n!}{k!(n-k)!}\cdot\frac{\lambda^k}{n^k}$，也对 $\checkmark$。

1. 求 (A) 的极限。展开 $n!/(n-k)! = n(n-1)(n-2)\cdots(n-k+1)$（共 $k$ 个因子）：

因为 $k$ 固定，$j/n\to0$ 对每个 $j\in\{0,\dots,k-1\}$ 成立。

1. 求 (B) 的极限：这是标准极限

即讲次 20 会反复用到的 $\left(1+\frac{c}{n}\right)^n\to e^{c}$（取 $c=-\lambda$）。

1. 求 (C) 的极限：$k$ 固定，故指数 $-k$ 固定，而底数 $1-\lambda/n\to1$：

1. 合并：

【证明机制解说】：这个定理解释了泊松分布为什么叫”稀有事件分布”：把一整段时间切成 $n$ 个极小的片段，每片成功概率是 $\lambda/n$（很小），一共 $n$ 片（很多），而”期望成功总数” $n\cdot(\lambda/n)=\lambda$ 固定。“大 $n$、小 $p$、$np=\lambda$ 固定” 就是泊松分布的诞生条件。三块因子中，(A) 承担”不放回修正”，(B) 制造 $e^{-\lambda}$，(C) 是无关紧要的尾巴修正——三者都趋近有限极限，所以收敛成立。

数值验证（收敛速度）：取 $\lambda=3$：

$n=10$ 时误差已只有约 $1\%$ 量级，$n=1000$ 时小数点后四位全对。这个极限的实用性很强：当 $n$ 大、$p$ 小时用泊松近似二项，能把 $\binom nk$ 与 $(1-p)^{n-k}$ 两个难算的因子换成一个简单的 $e^{-\lambda}$。

反例（$np$ 不固定的失效）：定理要求 $np\to\lambda$ 是固定常数。若 $p$ 不随 $n$ 变小（比如固定 $p=0.5$），则 $np\to\infty$，二项分布不会收敛到任何固定泊松分布——它会向正态分布靠拢（讲次 25 的中心极限定理）。泊松极限是”稀有事件”的极限，不是”大样本”的通用极限。

定理 19.6（独立泊松随机变量之和仍是泊松）：设 $X\sim\mathrm{Pois}(\lambda)$ 与 $Y\sim\mathrm{Pois}(\mu)$ 独立，则

证明策略：分情形 + 卷积 + 二项式定理。要求 $X+Y=k$，就必须穷举 $X$ 取 $0,1,\dots,k$ 的全部情形（这是一个划分），然后用独立性把 $\Pr[X=j,Y=k-j]$ 拆成乘积，最后识别出二项式定理。

逐步推导：

1. 对事件 $\{X+Y=k\}$ 按 $X$ 的取值分情形（互斥且穷尽）：

1. 由独立性（讲次 18 定义）$\Pr[X=j,Y=k-j]=\Pr[X=j]\Pr[Y=k-j]$：

1. 提出公因子 $e^{-(\lambda+\mu)}$，并凑出二项式系数（分子分母同乘 $k!$）：

1. 括号里正是二项式定理 $(a+b)^k=\sum_{j=0}^{k}\binom kj a^jb^{k-j}$ 在 $a=\lambda,b=\mu$ 处的值：

1. 推广：由归纳法，若 $X_1,\dots,X_n$ 相互独立且 $X_i\sim\mathrm{Pois}(\lambda_i)$，则 $\sum_i X_i\sim\mathrm{Pois}(\sum_i\lambda_i)$。

【证明机制解说】：这个证明是”卷积 (convolution)“的标准形状：要得到和的分布，就把联合分布沿”和为定值”的对角线求和。第 3 步”凑二项式系数”是最漂亮的一手——泊松的两项相乘后天然长出二项式的骨架，因为 $\frac{1}{j!(k-j)!}=\frac{1}{k!}\binom kj$。数值验证（脚本）：把 $\mathrm{Pois}(2)$ 与 $\mathrm{Pois}(3)$ 做卷积，得到的 $k=0..6$ 值为 $0.006738,0.033690,0.084224,0.140374,0.175467,0.175467,0.146223$，与直接算 $\mathrm{Pois}(5)$ 完全相同。

反例（独立条件不可省）：若 $X=Y$（完全相关，$X\sim\mathrm{Pois}(3)$），则 $X+Y=2X$ 只取偶数，$\Pr[X+Y=1]=0$，而 $\mathrm{Pois}(6)$ 给出 $\Pr=6e^{-6}\approx0.0149$。“和仍是泊松”完全依赖独立性。

与经典问题的联系

1. 纠错码与网络：需要多少冗余包？（讲次 8 的应用）

把 $n$ 个数据包编码成 $n+k$ 个，通过 RS 码/Berlekamp-Welch 使得接收任意 $n$ 个即可重建（讲次 8）。若每个包独立地以概率 $p$ 丢失，收到的包数 $X\sim\mathrm{Bin}(n+k,\,1-p)$，成功解码概率

脚本验算（$n=10,p=0.1$）：$k=3$ 时 $0.965839$，$k=5$ 时 $0.997750$，$k=8$ 时 $0.999979$，$k=10$ 时 $0.999999$。要让成功率 $\ge0.99$，$k=5$ 就够了。“每个包丢失是独立伯努利试验”这个建模假设，直接给出了可计算的答案——这正是二项分布存在的意义。

2. 哈希与负载均衡：空桶数（讲次 20 的伏笔）

把 $m$ 个球独立均匀地扔进 $n$ 个桶。令 $Y$ 为空桶数。$Y$ 的分布”horrible to contemplate”（源 Note 的原话），但它在后面（讲次 20/23）将被轻松处理：把 $Y$ 写成指示变量之和，用线性性期望得到 $\mathbb{E}[Y]=n\left(1-\frac1n\right)^m$，再配合切比雪夫/切尔诺夫（讲次 23）证明空桶数高度集中在 $n/e$ 附近。这里先记住单个桶为空是一个 $\mathrm{Ber}\!\left((1-1/n)^m\right)$。脚本验算：$n=m=1000$ 时 $\mathbb{E}[Y]=367.695$，而 $n/e=367.879$。

3. 排队论与网络流量：泊松到达

设呼叫以平均速率 $\lambda$ 每分钟随机到达，且不重叠时间区间内的到达独立（这是”泊松过程”的两条公理）。把一分钟切成 $n$ 个极短区间，每区间到达概率约 $\lambda/n$，则由定理 19.5，一分钟内的呼叫数 $\sim\mathrm{Pois}(\lambda)$。由此立刻可以算”交换机过载”的概率 $\Pr[X>C]=\sum_{k>C}\frac{\lambda^k}{k!}e^{-\lambda}$——这是容量规划的基本公式。泊松分布的”均值 = 方差”性质还告诉我们：流量越平均（方差小），所需的缓冲越少。

4. 论文校对的”至少一页有 5 个 typo”

设每页 typo 数 $\sim\mathrm{Pois}(1)$（平均一页一个）。则单页恰有 $5$ 个 typo 的概率是

200 页的论文中”至少有一页恰好 $5$ 个 typo”的概率，用互补技巧 + 独立性：

（脚本验算：$0.458858$；用近似 $1-e^{-200q}$ 得 $0.458348$。）接近一半！这个反直觉的结果说明：稀有事件乘以大量机会，就不再稀有——这正是生日悖论（讲次 15）的同一个机制。

5. 期望等待时间与重传协议

网络上一次包传输成功的概率是 $p$，则重传次数 $X\sim\mathrm{Geo}(p)$，$\mathbb{E}[X]=1/p$（讲次 20 严格证明）。若 $p=0.3$，平均要传 $3.33$ 次（脚本验算：数值求和得 $3.333333$，与 $1/p$ 一致）。无记忆性（定理 19.3）还给出一个重要工程结论：“已经失败了很多次”不改变下一次成功的概率，所以重传策略不应该根据”历史失败次数”来调整退避窗口之外的任何参数——历史是无关信息。

与其他讲次的关联

• 讲次 15（概率公理）：随机变量的定义建立在”样本点 + 样本点概率”之上；$\Pr[X=a]$ 之所以合法，是因为 $\{X=a\}$ 是 $\Omega$ 的子集；PMF 求和为 $1$ 是 $\{X=a\}$ 构成 $\Omega$ 的划分 + 概率可加性的直接推论。$4$ 枚硬币 $(1,4,6,4,1)/16$ 的分布表就是讲次 15 均匀样本空间的直接归并。
• 讲次 17（条件概率与贝叶斯）：几何分布的无记忆性（定理 19.3）是条件概率定义的直接应用；泊松分布的”稀有事件”解释用的是”把时间分段 + 条件独立”的贝叶斯式建模。反过来，讲次 17 提到的朴素贝叶斯里”给定类别后特征条件独立”这一假设，正是在随机变量层面的条件独立。
• 讲次 18（独立性与事件组合）：本讲的独立性定义（$\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$）是把讲次 18 的事件独立性逐取值搬运过来；二项分布的 PMF 推导完全靠讲次 18 的独立乘积法则（每个序列概率 $p^k(1-p)^{n-k}$）；几何分布的合法性验证靠几何级数；泊松是二项的极限（定理 19.5）。Union Bound 与互补技巧则在本讲的”至少一页”算例中再次出场。
• 讲次 14（计数）：二项分布里 $\binom nk$ 就是”从 $n$ 个位置中选 $k$ 个放 $H$”的组合计数（第一/第三计数法则）；超几何分布（定理 19.1 的反例）用的是自然数分解式计数；定理 19.5 中 $\binom nk$ 的极限处理用到 $\binom nk = n!/(k!(n-k)!)$ 的展开。“计数 × 独立性 = 分布”是本讲的主旋律。
• 讲次 16（组合证明 / 官方 Note “Functions of Random Variables”）：$Y=g(X)$ 的分布由 $\Pr[Y=y]=\sum_{x:g(x)=y}\Pr[X=x]$ 给出，事件层面即 $\{Y=y\}=\{X\in g^{-1}(y)\}$；同时，”随机变量的函数仍是随机变量”是官方 Note 16 的起点，并直接引出 $\mathbb{E}[f(X)]=\sum_x f(x)p_X(x)$（所谓 LOTUS），是讲次 20 的核心工具。
• 讲次 20（期望与线性性）：本讲已经把期望的定义、指示变量 $\mathbb{E}[\mathbf 1[A]]=\Pr[A]$、以及 $X\sim\mathrm{Bin}(n,p)\Rightarrow\mathbb{E}[X]=np$ 的口径埋好。讲次 20 会用线性性期望把二项、几何、空桶数等期望一行算出（几何期望还有一条漂亮的”首抛分情形”方程 $E=p\cdot1+(1-p)(1+E)$）。
• 讲次 21（联合分布与随机变量独立性）：本讲已给出联合分布 $\Pr[X=a,Y=b]$ 与边缘分布 $\Pr[X=a]=\sum_b\Pr[X=a,Y=b]$ 的定义；讲次 21 会深入一般 $n$ 元联合分布与独立性判定。
• 讲次 22（方差与协方差）：本讲预告了各分布的方差（$\mathrm{Bin}$: $np(1-p)$，$\mathrm{Geo}$: $(1-p)/p^2$，$\mathrm{Pois}$: $\lambda$）；$\mathbb{E}[X(X-1)]=\lambda^2$ 这类”阶乘矩”技巧在讲次 22 全面展开。$Y=X^2$ 与 $X$ 不独立、不相关却非独立的例子，将是讲次 22 的重点。
• 讲次 23（集中不等式）：泊松分布的尾部（$\Pr[X\ge c\lambda]$ 随 $c$ 指数衰减）与二项分布的尾部将由切尔诺夫界定量；”均值 = 方差”的性质让切比雪夫界在泊松上表现良好。
• 讲次 24（连续概率与指数分布）：几何分布是指数分布 (Exponential distribution) 的离散类比——两者都具备无记忆性，且”非负整数上只有几何、非负实数上只有指数具备无记忆性”。
• 讲次 25（正态分布与 CLT）：泊松分布随 $\lambda$ 增大趋于对称的”钟形”（源 Note 图 2 的观察），正是中心极限定理的体现；$X_1+\cdots+X_n\sim\mathrm{Pois}(n\lambda)$ 标准化后将收敛到标准正态。

关键要点

1. 随机变量是函数，$X:\Omega\to\mathbb{R}$。随机的是 $\omega$，不是 $X$。$\{X=a\}$ 是 $\Omega$ 的子集，所以 $\Pr[X=a]$ 良定义；不同 $a$ 的 $\{X=a\}$ 构成 $\Omega$ 的划分，故 $\sum_a p_X(a)=1$ 且 $p_X(a)\ge0$。
2. 判据：任何 PMF 必须先验证”非负 + 求和为 1”。几何分布靠几何级数 $\sum_{k\ge1}(1-p)^{k-1}p=p\cdot\frac{1}{1-(1-p)}=1$；泊松靠泰勒级数 $e^{-\lambda}\sum_k\lambda^k/k!=e^{-\lambda}e^{\lambda}=1$。没有这一步，分布就是空头支票。
3. 二项 PMF 的推导模板：”先数位置（$\binom nk$），再算单个序列的概率（$p^k(1-p)^{n-k}$，用独立乘积法则），最后相加（互斥可加）”。提取出的副产品 $\sum_k\binom nk p^k(1-p)^{n-k}=1$ 是二项式定理的概率证明。
4. 四个分布的定位一句话：伯努利 = 一次成功与否（$\mathbb{E}=p$）；二项 = $n$ 次里成功几次（$\mathbb{E}=np$）；几何 = 首次成功要等几次（$\mathbb{E}=1/p$，无记忆 $\Pr[X>n+m\mid X>n]=\Pr[X>m]$）；泊松 = 稀有事件在单位区域里发生几次（$\mathbb{E}=\operatorname{Var}=\lambda$，是 $\mathrm{Bin}(n,\lambda/n)$ 在 $n\to\infty$ 时的极限）。
5. 独立性在两个层面都要会写：事件层面 $\Pr[A\cap B]=\Pr[A]\Pr[B]$（讲次 18），随机变量层面 $\Pr[X=a,Y=b]=\Pr[X=a]\Pr[Y=b]$ 对所有 $a,b$（本讲）。二项分布的推导、泊松可加性（定理 19.6）都必须用到它。
6. 求 $g(X)$ 的分布就是”枚举 + 合并”：$\Pr[Y=y]=\sum_{x:g(x)=y}\Pr[X=x]$。别想着回到 $\Omega$ 去数样本点，在 $X$ 的分布表上做归并即可。

常见误区与注意事项

1. 把随机变量当”变量”来解方程。$X$ 是函数，$X=3$ 是一个事件（$\Omega$ 的子集），”解 $X=3$”没有意义。$X+Y$ 也是函数，$(X+Y)(\omega)=X(\omega)+Y(\omega)$，”随机变量等式”必须逐样本点成立。
2. 写出 PMF 却不验证求和为 1。例如把”取值为 $1,2,\dots$ 且 $\Pr[X=k]=c\cdot(1-p)^k$”当成几何分布——这个式子求和是 $c(1-p)/p$，需要 $c=p/(1-p)$ 才合法。几何分布的指数是 $k-1$，不是 $k$，这是最常见的差一错误；写成 $(1-p)^k p$ 会让总和变成 $1-p$ 而非 $1$。
3. 二项分布的”独立同分布”两个条件都要。无放回抽样（超几何）不独立；各次成功概率不同（泊松二项）也不同分布。定理 19.1 的反例给出数值证据：$\mathrm{Bin}(3,0.5)$ 的 $\Pr[Y=0]=0.125$ 与真实超几何的 $0.0833$ 明显不同。
4. 误用无记忆性、陷入赌徒谬误。”我已经连续抛了 $10$ 次反面，下一次该正面了”——对独立硬币完全错误。$\Pr[\text{第 }11\text{ 次}=H]=1/2$。无记忆性 $\Pr[X>n+m\mid X>n]=\Pr[X>m]$ 正是这个事实的严格表述。但要小心：无记忆性只对几何/指数分布成立，骰子等待时间（均匀分布）不满足。
5. 把泊松分布的 $\lambda$ 当成”最大可能取值”或”上界”。$\lambda$ 只是均值；$\mathrm{Pois}(3)$ 取到 $8$ 的概率还有 $0.0081$。它的支撑集是整个 $\{0,1,2,\dots\}$。
6. 误用”和的分布”的可加性。$X+Y\sim\mathrm{Pois}(\lambda+\mu)$ 要求 $X,Y$ 独立且都是泊松；若 $X=Y$ 则 $2X$ 不是泊松。同理，两个二项相加 $\mathrm{Bin}(n,p)+\mathrm{Bin}(m,p)\sim\mathrm{Bin}(n+m,p)$ 要求 $p$ 相同且独立——$p$ 不同时结果不是二项分布。
7. 混淆 $\mathbb{E}[g(X)]$ 与 $g(\mathbb{E}[X])$。$\mathbb{E}[X^2]\ne(\mathbb{E}[X])^2$（差别正是方差），$\mathbb{E}[1/X]\ne1/\mathbb{E}[X]$。这是讲次 20 起反复强调的坑，在本讲建立 $Y=X^2$ 的分布时就要有意识：$X\sim\mathrm{Bin}(3,0.5)$ 时 $\mathbb{E}[X^2]=3$ 而 $(\mathbb{E}[X])^2=1.5^2=2.25$（脚本验算：$3$ 与 $2.25$）。
8. 忘记 $\Pr[X=a]$ 是对每个取值都要给出的完整清单。只写 $\Pr[X=1]=p$ 而不写 $\Pr[X=0]=1-p$，分布就没写完。同样，说”$X$ 是伯努利”必须同时交代参数 $p$。

思考题（带答案）

Q1（纯计算）. 反复独立抛一枚正面概率 $p=0.2$ 的硬币，令 $X$ 为首次出现正面所需的次数。求：(a) $\Pr[X=3]$；(b) $\Pr[X\le 3]$；(c) $\Pr[X>5]$；(d) $\mathbb{E}[X]$ 与 $\operatorname{Var}(X)$；(e) $\Pr[X>8\mid X>3]$。

Q2（纯计算）. 某网络节点在 1 秒内收到的包数 $X\sim\mathrm{Pois}(3)$。求：(a) $\Pr[X=0]$；(b) $\Pr[X\ge2]$；(c) 若把观察时间延长到 2 秒，且两秒内的到达由两个独立的 $\mathrm{Pois}(3)$ 叠加而成，求这 2 秒内至少收到 $2$ 个包的概率；(d) 该分布的均值与方差。

Q3（概念/证明）. 设 $X\sim\mathrm{Bin}(n,p)$。请写出 $\mathbb{E}[X]$ 的定义式并说明它为什么”难以直接计算”，然后指出讲次 20 会用什么方法绕过它（只要求指出思路，不需要完成计算）。

Q4（反例辨析）. 设 $X$ 在 $\{-1,0,1\}$ 上均匀取值，令 $Y=X^2$。请计算 $\mathbb{E}[XY]$ 与 $\mathbb{E}[X]\mathbb{E}[Y]$，判断 $X,Y$ 是否不相关；再直接检查 $X,Y$ 是否独立。这个例子说明了什么？