概率统计第五章｜迎接更好的明天

5.1 大数定律

Chebyshev 不等式

设随机变量 X 的方差 DX = \sigma^2 存在，则对于任意实数 \varepsilon > 0，有：

P(|X - EX| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}

等价形式：

P(|X - EX| < \varepsilon) \geq 1 - \frac{\sigma^2}{\varepsilon^2}

证明（连续型情形）
设 X 的概率密度函数为 f(x)，则：

\sigma^2 = E(X - EX)^2 = \int_{-\infty}^{+\infty} (x - EX)^2 f(x) dx

考虑事件 \{ |X - EX| \geq \varepsilon \}，有：

\sigma^2 \geq \int_{|x - EX| \geq \varepsilon} (x - EX)^2 f(x) dx \geq \varepsilon^2 \int_{|x - EX| \geq \varepsilon} f(x) dx = \varepsilon^2 P(|X - EX| \geq \varepsilon)

移项得：

P(|X - EX| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}

重要推论
由 Chebyshev 不等式，当 EX = \mu，DX = \sigma^2 时：

P(|X - \mu| < 3\sigma) \geq 1 - \frac{1}{9} \approx 0.8889
P(|X - \mu| < 4\sigma) \geq 1 - \frac{1}{16} = 0.9375
P(|X - \mu| < 5\sigma) \geq 1 - \frac{1}{25} = 0.96

例题 1：射击问题

某射手射靶，得十分的概率为 0.5，得九分的概率为 0.3，得八分的概率为 0.1，得七分的概率为 0.05，得六分的概率为 0.05。现独立射击 100 次，用 Chebyshev 不等式估计总分介于 900 分与 930 分之间的概率。

解答
设 X_i 为第 i 次的得分（i = 1, 2, \dots, 100），分布律为：

x	6	7	8	9	10
P	0.05	0.05	0.1	0.3	0.5

计算单次期望和方差：

E(X_i) = 6 \times 0.05 + 7 \times 0.05 + 8 \times 0.1 + 9 \times 0.3 + 10 \times 0.5 = 0.3 + 0.35 + 0.8 + 2.7 + 5 = 9.15
E(X_i^2) = 6^2 \times 0.05 + 7^2 \times 0.05 + 8^2 \times 0.1 + 9^2 \times 0.3 + 10^2 \times 0.5 = 1.8 + 2.45 + 6.4 + 24.3 + 50 = 84.95
D(X_i) = E(X_i^2) - [E(X_i)]^2 = 84.95 - (9.15)^2 = 84.95 - 83.7225 = 1.2275

设总分 S = \sum_{i=1}^{100} X_i，则：

E(S) = 100 \times 9.15 = 915
D(S) = 100 \times 1.2275 = 122.75

要求 P(900 < S < 930)，即 P(|S - 915| < 15)（因 915 - 900 = 15，930 - 915 = 15）。
由 Chebyshev 不等式：

P(|S - ES| < \varepsilon) \geq 1 - \frac{DS}{\varepsilon^2}

代入 \varepsilon = 15：

P(|S - 915| < 15) \geq 1 - \frac{122.75}{15^2} = 1 - \frac{122.75}{225} \approx 1 - 0.5456 = 0.4544

因此，总分介于 900 分与 930 分之间的概率 至少为 0.4544。

例题 2：方差为零的随机变量

利用 Chebyshev 不等式证明：如果随机变量 X 满足 DX = 0，则存在常数 c 使得 P(X = c) = 1。

解答
取 c = EX。对任意 \varepsilon > 0，由 Chebyshev 不等式：

P(|X - EX| \geq \varepsilon) \leq \frac{DX}{\varepsilon^2} = 0

即 P(|X - EX| \geq \varepsilon) = 0，等价于 P(|X - EX| < \varepsilon) = 1。
由于 \varepsilon > 0 任意小，取 \varepsilon_n = \frac{1}{n}，则：

P\left( \bigcap_{n=1}^{\infty} \{ |X - EX| < \frac{1}{n} \} \right) = 1

而 \bigcap_{n=1}^{\infty} \{ |X - EX| < \frac{1}{n} \} = \{ X = EX \}，故 P(X = EX) = 1。
因此，存在常数 c = EX 使得 P(X = c) = 1。

Bernoulli 大数定律

引例
投掷均匀硬币的频率稳定性：设 n_A 为 n 次独立重复试验中事件 A（如正面）发生的次数，p = P(A)。实验表明，当 n 增大时，频率 \frac{n_A}{n} 趋近于 p。

Bernoulli 大数定律
设 n_A 为 n 次独立重复试验中事件 A 发生的次数，p = P(A)，则对任意 \varepsilon > 0，有：

\lim_{n \to \infty} P\left( \left| \frac{n_A}{n} - p \right| < \varepsilon \right) = 1

依概率收敛的定义
设 Y_1, Y_2, \dots 是随机变量序列，a 是常数。若对任意 \varepsilon > 0，有：

\lim_{n \to +\infty} P(|Y_n - a| < \varepsilon) = 1

则称序列 Y_1, Y_2, \dots 依概率收敛于 a，记作 Y_n \xrightarrow{P} a。

大数定律的统一表述
随机变量序列 X_1, X_2, \dots 服从大数定律，当且仅当对任意 \varepsilon > 0，有：

\lim_{n \to \infty} P\left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \frac{1}{n} \sum_{i=1}^{n} EX_i \right| < \varepsilon \right) = 1

若序列独立同分布（i.i.d.）且 E(X_i) = \mu，则等价于：

\lim_{n \to +\infty} P\left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \mu \right| < \varepsilon \right) = 1

Chebyshev 大数定律

Chebyshev 大数定律
设随机变量序列 X_1, X_2, \dots 两两不相关，期望和方差满足：

E(X_i) = \mu_i
D(X_i) = \sigma_i^2 \leq \sigma^2 < +\infty（方差有共同上界）

则该序列服从大数定律，即对任意 \varepsilon > 0，有：

\lim_{n \to \infty} P\left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \frac{1}{n} \sum_{i=1}^{n} \mu_i \right| < \varepsilon \right) = 1

证明概述
令 Y_n = \frac{1}{n} \sum_{i=1}^{n} X_i，则：

E(Y_n) = \frac{1}{n} \sum_{i=1}^{n} \mu_i
D(Y_n) = \frac{1}{n^2} \sum_{i=1}^{n} D(X_i) \leq \frac{1}{n^2} \cdot n \sigma^2 = \frac{\sigma^2}{n}

由 Chebyshev 不等式：

P(|Y_n - EY_n| < \varepsilon) \geq 1 - \frac{D(Y_n)}{\varepsilon^2} \geq 1 - \frac{\sigma^2}{n \varepsilon^2}

当 n \to \infty 时，\frac{\sigma^2}{n \varepsilon^2} \to 0，故：

\lim_{n \to \infty} P(|Y_n - EY_n| < \varepsilon) = 1

重要注记

条件“两两不相关”可替换为“协方差有界”，但不能省略。
序列需满足 \lim_{n \to \infty} \frac{1}{n^2} \sum_{i=1}^{n} DX_i = 0（方差的平均趋于零）。

推论（独立同分布情形）
设随机变量序列 X_1, X_2, \dots 独立同分布，且 E(X_i) = \mu，D(X_i) = \sigma^2，则对任意 \varepsilon > 0，有：

\lim_{n \to +\infty} P\left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \mu \right| < \varepsilon \right) = 1

高阶矩估计
设序列独立同分布，E(X_i^k) = \mu_k 存在，则：

\frac{1}{n} \sum_{i=1}^{n} X_i^k \xrightarrow{P} \mu_k, \quad n \to +\infty

这为用样本矩估计总体矩提供了理论依据。

Khintchine 大数定律

Khintchine 大数定律
设随机变量序列 X_1, X_2, \dots 独立同分布，若期望 E(X_i) = \mu 存在，则：

\frac{1}{n} \sum_{i=1}^{n} X_i \xrightarrow{P} \mu, \quad n \to +\infty

定理意义

无需方差存在，仅需期望存在。
强大数定律要求更强收敛（几乎必然收敛），而此处为较弱的依概率收敛。
在统计中，\mu 可用样本均值 \frac{1}{n} \sum_{i=1}^{n} X_i 近似估计。

Monte-Carlo 方法应用

问题：计算积分 I = \int_{0}^{1} f(x) dx，其中 0 \leq f(x) \leq 1 且 f(x) 无初等原函数。

解法：

构造指示函数：令 g(x) = \begin{cases} 1, & x \in [0,1] \\ 0, & \text{其他} \end{cases}
则 I = \int_{-\infty}^{+\infty} f(x) g(x) dx
设 U_1, U_2, \dots, U_n 为 [0,1] 上独立同分布的均匀随机变量
定义 Y_i = f(U_i)，则 E(Y_i) = \int_{0}^{1} f(x) dx = I
由 Khintchine 大数定律：
\frac{1}{n} \sum_{i=1}^{n} Y_i \xrightarrow{P} I, \quad n \to +\infty
用 \frac{1}{n} \sum_{i=1}^{n} f(U_i) 作为 I 的近似值。

[图：Monte-Carlo 方法原理示意图]

5.2 中心极限定理

独立同分布的中心极限定理

定理（Lindeberg-Lévy 中心极限定理）
设 X_1, X_2, \dots, X_n, \dots 相互独立同分布（i.i.d.），期望和方差为：

E(X_k) = \mu
D(X_k) = \sigma^2 > 0 \quad (k = 1, 2, \dots)

则对任意实数 x，标准化和的分布收敛于标准正态分布：

\lim_{n \to \infty} P\left( \frac{\sum_{k=1}^{n} X_k - n\mu}{\sqrt{n} \sigma} \leq x \right) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-\frac{t^2}{2}} dt

引例：客户接待问题
某公司接待客户的每次服务时间（单位：分钟）服从参数 \lambda = 0.25 的指数分布。设 X_i 为第 i 个客户的服务时间，试估计一天 8 小时（480 分钟）接待客户数超过 100 的概率。

解答

X_i \sim \text{Exp}(\lambda = 0.25)，故 E(X_i) = \frac{1}{\lambda} = 4，D(X_i) = \frac{1}{\lambda^2} = 16
接待 100 个客户的总时间 Y = \sum_{i=1}^{100} X_i，则：
- E(Y) = 100 \times 4 = 400
- D(Y) = 100 \times 16 = 1600，\sigma(Y) = 40
“接待客户数超过 100” 等价于 “总服务时间小于 480 分钟”，即 P(Y < 480)
由中心极限定理，Y \xrightarrow{d} N(400, 1600)（近似正态分布），故：
P(Y < 480) = P\left( \frac{Y - 400}{40} < \frac{480 - 400}{40} \right) \approx P(Z < 2) = \Phi(2)
查标准正态分布表得 \Phi(2) = 0.9772
因此，接待客户数超过 100 的概率约为 0.977。

理论意义

若 X_k 表示第 k 个随机因素，则 \sum_{k=1}^{n} X_k 可视为多个随机因素的叠加。
中心极限定理表明：多个独立同分布随机变量的和，当项数充分大时，近似服从正态分布。
解释常见现象：
- 考试卷面成绩服从正态分布（受多种微小因素影响）
- 体重、身高服从正态分布（受多基因、环境因素叠加）

De Moivre-Laplace 中心极限定理

De Moivre-Laplace 中心极限定理
设随机变量序列 X_1, X_2, \dots, X_n 相互独立，且 X_k \sim \text{Bernoulli}(p)（即 X_k = \begin{cases} 1, & \text{事件 } A \text{ 发生} \\ 0, & \text{其他} \end{cases}），则二项分布 B(n, p) 可用正态分布近似：

\lim_{n \to \infty} P\left( \frac{n_A - np}{\sqrt{np(1-p)}} \leq x \right) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-\frac{t^2}{2}} dt

其中 n_A = \sum_{k=1}^{n} X_k 是 n 次独立试验中 A 发生的次数。

适用条件
当 np \geq 5 且 n(1-p) \geq 5 时，二项分布可用正态分布 N(np, np(1-p)) 近似，通常需进行连续性修正：

P(n_A = k) \approx P(k - 0.5 < Y < k + 0.5)，其中 Y \sim N(np, np(1-p))
P(n_A \leq k) \approx P(Y < k + 0.5)

[图：二项分布与正态分布的近似关系图]

应用案例：珠宝店销售分析

案例背景
某珠宝店销售商品 A 和 B，每周销量 X（A）与 Y（B）的联合分布如下（每周销量相互独立）：

Y \backslash X	0	1	2
0	0.20	0.00	0.20
1	0.20	0.30	0.00
2	0.00	0.10	0.00

(1) 估计“一年 52 周中，至少一种商品销量为 2 的周数在 12 到 20 周”的概率

解答

定义事件 A：一周中至少一种商品销量为 2（即 X=2 或 Y=2）
由联合分布表：
- P(X=2) = P(X=2, Y=0) + P(X=2, Y=1) + P(X=2, Y=2) = 0.20 + 0 + 0 = 0.20
- P(Y=2) = P(X=0, Y=2) + P(X=1, Y=2) + P(X=2, Y=2) = 0 + 0.10 + 0 = 0.10
- P(X=2, Y=2) = 0（表中对应值）
- 故 P(A) = P(X=2) + P(Y=2) - P(X=2, Y=2) = 0.20 + 0.10 - 0 = 0.30
设 S 为 52 周中事件 A 发生的周数，则 S \sim B(52, 0.30)
计算参数：
- E(S) = np = 52 \times 0.30 = 15.6
- D(S) = np(1-p) = 52 \times 0.30 \times 0.70 = 10.92
- \sigma(S) = \sqrt{10.92} \approx 3.305
由 De Moivre-Laplace 定理，S 近似服从 N(15.6, 10.92)。考虑连续性修正：

P(12 \leq S \leq 20) \approx P(11.5 < Y < 20.5), \quad Y \sim N(15.6, 10.92)
标准化：

Z_1 = \frac{11.5 - 15.6}{3.305} \approx -1.240, \quad Z_2 = \frac{20.5 - 15.6}{3.305} \approx 1.483
查标准正态分布表：
- \Phi(1.240) \approx 0.8925，故 \Phi(-1.240) = 1 - 0.8925 = 0.1075
- \Phi(1.483) \approx 0.9306
因此：

P(12 \leq S \leq 20) \approx \Phi(1.483) - \Phi(-1.240) = 0.9306 - 0.1075 = 0.8231

故所求概率约为 0.823。

(2) 求总利润达 200 万元且概率超过 90% 所需的最少周数

解答

商品 A 每件利润 0.8 万元，商品 B 每件利润 2 万元
第 i 周利润 Z_i = 0.8X_i + 2Y_i，n 周总利润 V = \sum_{i=1}^{n} Z_i
先计算 E(Z_i) 和 D(Z_i)：
- 边缘分布：
  - P(X=0) = 0.20 + 0.20 + 0 = 0.40，P(X=1) = 0 + 0.30 + 0.10 = 0.40，P(X=2) = 0.20 + 0 + 0 = 0.20
  - P(Y=0) = 0.20 + 0 + 0.20 = 0.40，P(Y=1) = 0.20 + 0.30 + 0 = 0.50，P(Y=2) = 0 + 0.10 + 0 = 0.10
- E(X) = 0 \times 0.40 + 1 \times 0.40 + 2 \times 0.20 = 0.80
- E(Y) = 0 \times 0.40 + 1 \times 0.50 + 2 \times 0.10 = 0.70
- E(Z_i) = 0.8 \times 0.80 + 2 \times 0.70 = 0.64 + 1.40 = 2.04
- E(X^2) = 0^2 \times 0.40 + 1^2 \times 0.40 + 2^2 \times 0.20 = 1.20，故 D(X) = 1.20 - (0.80)^2 = 0.56
- E(Y^2) = 0^2 \times 0.40 + 1^2 \times 0.50 + 2^2 \times 0.10 = 0.90，故 D(Y) = 0.90 - (0.70)^2 = 0.41
- E(XY) = (1 \times 1 \times 0.30) + (1 \times 2 \times 0.10) = 0.30 + 0.20 = 0.50，故 \text{Cov}(X,Y) = 0.50 - 0.80 \times 0.70 = -0.06
- D(Z_i) = (0.8)^2 D(X) + 2^2 D(Y) + 2 \times 0.8 \times 2 \times \text{Cov}(X,Y)
  = 0.64 \times 0.56 + 4 \times 0.41 + 3.2 \times (-0.06) = 0.3584 + 1.64 - 0.192 = 1.8064
总利润 V 的期望和方差：
- E(V) = n \times 2.04
- D(V) = n \times 1.8064，\sigma(V) = \sqrt{1.8064n} \approx 1.344 \sqrt{n}
要求 P(V \geq 200) > 0.9，即 P(V < 200) < 0.1
由中心极限定理，V 近似服从 N(2.04n, 1.8064n)：
P(V < 200) \approx \Phi\left( \frac{200 - 2.04n}{1.344 \sqrt{n}} \right) < 0.1
因 \Phi(-1.28) = 0.1（查表），故：
\frac{200 - 2.04n}{1.344 \sqrt{n}} \leq -1.28
整理得：
2.04n - 200 \geq 1.28 \times 1.344 \sqrt{n} \approx 1.72032 \sqrt{n}
令 u = \sqrt{n}，则：
2.04u^2 - 1.72032u - 200 \geq 0
解二次方程 2.04u^2 - 1.72032u - 200 = 0：
- 判别式 \Delta = (-1.72032)^2 + 4 \times 2.04 \times 200 = 2.959 + 1632 = 1634.959
- \sqrt{\Delta} \approx 40.434
- u = \frac{1.72032 + 40.434}{4.08} \approx \frac{42.154}{4.08} \approx 10.332（取正根）
- n = u^2 \approx 106.75
验证：
- n = 107：E(V) = 107 \times 2.04 = 218.28，\sigma(V) = \sqrt{1.8064 \times 107} \approx 13.904
  - z = \frac{200 - 218.28}{13.904} \approx -1.314，P(V \geq 200) = \Phi(1.314) \approx 0.905 > 0.9
- n = 106：E(V) = 106 \times 2.04 = 216.24，\sigma(V) = \sqrt{1.8064 \times 106} \approx 13.836
  - z = \frac{200 - 216.24}{13.836} \approx -1.174，P(V \geq 200) = \Phi(1.174) \approx 0.880 < 0.9
故最少需 107 周。