4.1 数学期望

定义

离散型随机变量的数学期望

设离散型随机变量 X 的分布律为：

若无穷级数 \sum_{k=1}^{\infty} x_k p_k 绝对收敛，则称其为 X 的数学期望，记作：

连续型随机变量的数学期望

设连续型随机变量 X 的概率密度函数为 f(x)，若积分 \int_{-\infty}^{\infty} x f(x) dx 绝对收敛，则称其为 X 的数学期望：

注：数学期望反映了随机变量取值的加权平均值。

典型分布的数学期望

离散型分布

连续型分布

例题解析

例题 1：泊松分布的期望

设随机变量 X \sim Poi(\lambda)，求 E(X)。

解答：
由泊松分布的定义，P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}，

因此，E(X) = \lambda。

例题 2：几何分布的期望

设 X 服从参数为 p 的几何分布，P(X=k)=(1-p)^{k-1}p，k=1,2,\dots，求 E(X)。

解答：

因此，E(X) = \frac{1}{p}。

例题 3：指数分布的期望

设某电子元件的寿命 X 服从参数为 \lambda 的指数分布，求平均寿命 E(X)。

解答：
指数分布的概率密度函数为 f(x) = \lambda e^{-\lambda x} (x > 0)，

因此，平均寿命为 \frac{1}{\lambda}。

例题 4：麦克斯韦尔分布的期望

已知分子速度 X 服从麦克斯韦尔分布，概率密度函数为：

求平均速度 E(X)。

解答：

因此，平均速度为 \frac{2a}{\sqrt{\pi}}。

例题 5：柯西分布的期望

若随机变量 X 服从柯西分布，概率密度函数为：

求 E(X)。

解答：

考虑绝对收敛性：

令 u = 1 + x^2，则 du = 2x dx，当 x=0 时 u=1，x \to \infty 时 u \to \infty，

积分不绝对收敛，故 E(X) 不存在。

随机变量函数的数学期望

一维随机变量

设 Y = g(X)，则：

• 离散型：若 P(X = x_k) = p_k，则
  E[g(X)] = \sum_{k=1}^{\infty} g(x_k) p_k
• 连续型：若 X 的概率密度为 f(x)，则
  E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) dx

二维随机变量

设 Z = g(X, Y)，则：

• 离散型：若 P(X = x_i, Y = y_j) = p_{ij}，则
  E[g(X, Y)] = \sum_{i,j} g(x_i, y_j) p_{ij}
• 连续型：若 (X, Y) 的联合概率密度为 f(x, y)，则
  E[g(X, Y)] = \iint_{\mathbb{R}^2} g(x, y) f(x, y) dx dy

例题解析（二维情形）

例题：二维随机变量函数的期望

设二维随机变量 (X, Y) 的联合概率密度为：

求 Z = X^2 Y 的数学期望 E(Z)。

解答：
由二维连续型随机变量函数的期望公式：

因此，E(Z) = \frac{31}{80}。

数学期望的性质

1. 线性性：设 X, Y 是随机变量，a, b, c 是常数，则

   E(aX + bY + c) = a E(X) + b E(Y) + c

   推广：对任意 n 个期望存在的随机变量 X_1, \dots, X_n，

   E \left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} E(X_i)

2. 常数期望：E(c) = c，且 E(cX) = c E(X)。

3. 单调性：若 X \leq Y，则 E(X) \leq E(Y)。

4. 可积性：X 的期望存在 \iff E(|X|) < +\infty。

5. 独立随机变量的乘积：若 X, Y 相互独立，则

   E(XY) = E(X) E(Y)

   推广：若 X_1, \dots, X_n 相互独立，则

   E \left( \prod_{i=1}^{n} X_i \right) = \prod_{i=1}^{n} E(X_i)

   注意：E(XY) = E(X)E(Y) 不能推出 X, Y 独立。

例题解析（期望性质应用）

例题：空盒子数的期望

将 4 个球随机放入 4 个盒子中（每盒容量无限），求空盒子数 X 的数学期望。

解答（方法一）：
设 X 为空盒子数，可能取值为 0,1,2,3。

• P(X=0)：所有盒子非空（即双射），有 4! 种方式，
  P(X=0) = \frac{4!}{4^4} = \frac{24}{256} = \frac{3}{32}
• P(X=1)：选 1 个空盒 \binom{4}{1}，其余 3 盒非空，
  P(X=1) = \binom{4}{1} \cdot \frac{3! \cdot S(4,3)}{4^4} = 4 \cdot \frac{6 \cdot 6}{256} = \frac{144}{256} = \frac{9}{16}
  （注：S(4,3) 为 Stirling 数，S(4,3)=6）
• P(X=2)：选 2 个空盒 \binom{4}{2}，其余 2 盒非空，
  P(X=2) = \binom{4}{2} \cdot \frac{2! \cdot S(4,2)}{4^4} = 6 \cdot \frac{2 \cdot 7}{256} = \frac{84}{256} = \frac{21}{64}
  （S(4,2)=7）
• P(X=3)：选 3 个空盒 \binom{4}{3}，1 盒装 4 球，
  P(X=3) = \binom{4}{3} \cdot \frac{1}{4^4} = 4 \cdot \frac{1}{256} = \frac{4}{256} = \frac{1}{64}

则

解答（方法二）：
定义指示随机变量：

则 X = X_1 + X_2 + X_3 + X_4。
单个盒子为空的概率：P(X_i=1) = \left( \frac{3}{4} \right)^4 = \frac{81}{256}，

由期望的线性性，

结果与方法一一致。

例题：优惠券收集问题

掷一枚均匀骰子，平均要掷多少次才能使 6 个数字都至少出现一次？

解答：
设 X 为掷出 6 个点数的总次数，分解为：

其中 X_0 = 1（第一次必得新点数），X_k 表示已有 k 个点数后，首次掷出第 (k+1) 个新点数所需的额外次数。

• X_1 \sim \text{Geom}(p_1 = 5/6)，E(X_1) = 6/5
• X_2 \sim \text{Geom}(p_2 = 4/6)，E(X_2) = 6/4
• X_3 \sim \text{Geom}(p_3 = 3/6)，E(X_3) = 6/3
• X_4 \sim \text{Geom}(p_4 = 2/6)，E(X_4) = 6/2
• X_5 \sim \text{Geom}(p_5 = 1/6)，E(X_5) = 6/1

由期望的线性性，

因此，平均需掷 14.7 次。

4.2 方差

定义与计算

方差的定义

设随机变量 X 满足 E(X^2) < \infty，则称

为 X 的方差。其平方根 \sigma_X = \sqrt{D(X)} 称为标准差（或均方差）。

注：方差刻画随机变量相对均值的偏离程度。

方差的计算公式

1. 定义式：

   • 离散型：D(X) = \sum_{k} (x_k - E(X))^2 p_k
   • 连续型：D(X) = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx

2. 常用计算公式：

   D(X) = E(X^2) - [E(X)]^2

   重要提示：

   • E(X^2) \neq [E(X)]^2
   • D(X) 存在 \iff E(X^2) < +\infty

典型分布的方差

离散型分布

连续型分布

例题解析

例题 1：泊松分布的方差

设 X \sim Poi(\lambda)，求 D(X)。

解答：
由 D(X) = E(X^2) - [E(X)]^2 及 E(X) = \lambda，
先求 E(X^2)：

因此，D(X) = \lambda。

例题 2：离散型随机变量的方差

设随机变量 X 的分布律为：

解答：
由分布律性质：p_1 + p_2 + p_3 = 1，
期望：E(X) = -p_1 + p_3 = \frac{1}{6}，
二阶矩：E(X^2) = (-1)^2 p_1 + 0^2 p_2 + 1^2 p_3 = p_1 + p_3，
方差：D(X) = E(X^2) - [E(X)]^2 = p_1 + p_3 - \left( \frac{1}{6} \right)^2 = \frac{29}{36}，
故 p_1 + p_3 = \frac{29}{36} + \frac{1}{36} = \frac{30}{36} = \frac{5}{6}。
联立方程：

因此，p_2 = \frac{1}{6}。

例题 3：正态分布的方差

设 X \sim N(\mu, \sigma^2)，求 D(X)。

解答：
标准化：令 Z = \frac{X - \mu}{\sigma}，则 Z \sim N(0,1)，
D(X) = E[(X - \mu)^2] = \sigma^2 E(Z^2)。
对标准正态分布，

故 D(X) = \sigma^2 \cdot 1 = \sigma^2。

方差的性质

1. 非负性：D(X) \geq 0；若 D(X) = 0，则 X = c (a.s.)。

2. 常数方差：D(c) = 0。

3. 齐次性：D(cX) = c^2 D(X)。

4. 线性变换：D(aX + b) = a^2 D(X)。

5. 独立随机变量的和：若 X, Y 相互独立，则

   D(X \pm Y) = D(X) + D(Y)

   推广：若 X_1, \dots, X_n 相互独立，则

   D \left( \sum_{i=1}^{n} c_i X_i \right) = \sum_{i=1}^{n} c_i^2 D(X_i)

6. 一般随机变量的和：对任意随机变量 X, Y，

   D(X + Y) = D(X) + D(Y) + 2 \operatorname{Cov}(X, Y)

7. 最小方差性质：对任意常数 a，

   D(X) \leq E[(X - a)^2]

   等号成立当且仅当 a = E(X)。

例题解析（方差性质应用）

例题：二项分布的方差

设 X \sim B(n, p)，求 D(X)。

解答（方法一）：
由 D(X) = E(X^2) - [E(X)]^2 及 E(X) = np，
先求 E[X(X-1)]：

则 E(X^2) = E[X(X-1)] + E(X) = n(n-1)p^2 + np，

解答（方法二）：
将 X 分解为 n 个独立 0-1 随机变量之和：

由独立性，

例题：配对问题的方差

将 n 个编号为 1 \sim n 的球随机放入 n 个编号为 1 \sim n 的盒子中（每盒一球）。若球号与盒号一致，称为一个配对。求配对个数 X 的方差（以 n=4 为例）。

解答：
定义指示变量：

则 X = \sum_{i=1}^{n} X_i。

• E(X_i) = P(X_i=1) = \frac{1}{n}
• E(X_i^2) = E(X_i) = \frac{1}{n}（因 X_i^2 = X_i）
• D(X_i) = E(X_i^2) - [E(X_i)]^2 = \frac{1}{n} - \frac{1}{n^2} = \frac{n-1}{n^2}

协方差（i \neq j）：

由方差的分解公式：

当 n=4 时，D(X) = 1。

标准化随机变量

设随机变量 X 满足 E(X^2) < \infty 且 D(X) > 0，则称

为 X 的标准化随机变量。
易验证：

4.3 协方差和相关系数

定义

协方差

若 E(X^2) < +\infty，E(Y^2) < +\infty，则称

为 X 与 Y 的协方差。

注：

• \operatorname{Cov}(X, X) = D(X)
• \operatorname{Cov}(Y, X) = \operatorname{Cov}(X, Y)

相关系数

若 D(X) > 0，D(Y) > 0，则称

为 X 与 Y 的相关系数。

注：

• \rho_{X,Y} 无量纲
• \rho_{X,Y} 的大小反映 X 与 Y 线性相关的强弱

协方差矩阵

对 n 维随机变量 (X_1, X_2, \dots, X_n)，其协方差矩阵为：

注：协方差矩阵是非负定的实对称矩阵。

计算方法

协方差的计算

1. 定义式：

   • 离散型：\operatorname{Cov}(X, Y) = \sum_{i,j} (x_i - E(X))(y_j - E(Y)) p_{ij}
   • 连续型：\operatorname{Cov}(X, Y) = \iint_{\mathbb{R}^2} (x - E(X))(y - E(Y)) f(x, y) dx dy

2. 常用公式：

   \operatorname{Cov}(X, Y) = E(XY) - E(X) E(Y)

例题解析

例题 1：联合分布的协方差

已知 X, Y 的联合分布：

解答：
由联合分布性质：0.3 + q + p + 0.4 = 1 \implies p + q = 0.3。
计算边缘分布：

• P(X=0) = 0.3 + p，P(X=2) = q + 0.4
• P(Y=0) = 0.3 + q，P(Y=3) = p + 0.4

期望：

由 \operatorname{Cov}(X, Y) = E(XY) - E(X)E(Y) = 0.6，

联立 p + q = 0.3，令 s = p + 0.4，t = q + 0.4，则 s + t = 1.1 且 st = 0.3。
解二次方程：u^2 - 1.1u + 0.3 = 0，
判别式 \Delta = 1.21 - 1.2 = 0.01，根 u = \frac{1.1 \pm 0.1}{2} = 0.6 \text{ 或 } 0.5。

• 若 s = 0.6，t = 0.5，则 p = 0.2，q = 0.1
• 若 s = 0.5，t = 0.6，则 p = 0.1，q = 0.2

验证：

• 情形1：E(X)=2(0.1+0.4)=1.0，E(Y)=3(0.2+0.4)=1.8，E(X)E(Y)=1.8，\operatorname{Cov}=2.4-1.8=0.6
• 情形2：E(X)=2(0.2+0.4)=1.2，E(Y)=3(0.1+0.4)=1.5，E(X)E(Y)=1.8，\operatorname{Cov}=2.4-1.8=0.6
  故解为 (p,q) = (0.2,0.1) 或 (0.1,0.2)。

例题 2：二维正态分布的相关系数

设 (X, Y) \sim N(0, 1; 0, 1; \rho)，求 \rho_{X,Y}。

解答：
已知 X \sim N(0,1)，Y \sim N(0,1)，故 E(X)=E(Y)=0，D(X)=D(Y)=1。
由协方差定义：

二维正态密度函数为：

计算 E(XY)：

利用标准结论：对 N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho)，有 \operatorname{Cov}(X,Y) = \rho \sigma_1 \sigma_2。
此处 \sigma_1 = \sigma_2 = 1，故 \operatorname{Cov}(X,Y) = \rho，

因此，\rho_{X,Y} = \rho。

协方差和相关系数的性质

协方差的性质

1. 对称性：\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X)
2. 齐次性：\operatorname{Cov}(aX, bY) = ab \operatorname{Cov}(X, Y)
3. 线性性：\operatorname{Cov}(X + Y, Z) = \operatorname{Cov}(X, Z) + \operatorname{Cov}(Y, Z)
4. 一般线性组合：
   \operatorname{Cov}(aX + bY, cX + dY) = ac D(X) + (ad + bc) \operatorname{Cov}(X, Y) + bd D(Y)

相关系数的性质

1. 有界性：|\rho_{X,Y}| \leq 1

2. 完全相关：|\rho_{X,Y}| = 1 \iff \exists a,b 使 P(Y = aX + b) = 1

   • \rho_{X,Y} = 1：完全正相关
   • \rho_{X,Y} = -1：完全负相关

3. 不相关：\rho_{X,Y} = 0 称 X, Y 不相关

   注：不相关 \iff \operatorname{Cov}(X, Y) = 0 \iff E(XY) = E(X)E(Y)

4. 最小方差性质：对任意 t，

   D(X + tY) = D(X) + 2t \operatorname{Cov}(X, Y) + t^2 D(Y)

   当 t^* = -\frac{\operatorname{Cov}(X,Y)}{D(Y)} 时取最小值：

   D(X + t^* Y) = D(X) [1 - \rho_{X,Y}^2]

5. 独立性与不相关的关系：

   • 若 X, Y 相互独立，则 \rho_{X,Y} = 0（不相关）
   • 若 (X, Y) 服从二维正态分布，则不相关 \iff 独立
   • 一般分布中，不相关不能推出独立

例题解析

例题：二维正态分布的相关系数

设 (X, Y) \sim N(1, 4; 1, 4; 0.5)，Z = X + Y，求 \rho_{X,Z}。

解答：
先计算：

• E(X) = 1，D(X) = 4；E(Y) = 1，D(Y) = 4
• \operatorname{Cov}(X, Y) = \rho \sqrt{D(X)D(Y)} = 0.5 \times 2 \times 2 = 2
• E(Z) = E(X) + E(Y) = 2
• D(Z) = D(X) + D(Y) + 2 \operatorname{Cov}(X, Y) = 4 + 4 + 4 = 12
• \operatorname{Cov}(X, Z) = \operatorname{Cov}(X, X + Y) = \operatorname{Cov}(X, X) + \operatorname{Cov}(X, Y) = D(X) + \operatorname{Cov}(X, Y) = 4 + 2 = 6

则

例题：品牌选择的协方差

某购物网站，访客以概率 p 选 A 品牌，概率 q 选 B 品牌，概率 1-p-q 两者都不选。n 人独立访问，X 为选 A 人数，Y 为选 B 人数。求 \operatorname{Cov}(X, Y)。

解答：
定义指示变量：

则 X = \sum_{i=1}^{n} X_i，Y = \sum_{i=1}^{n} Y_i。
对单个顾客：

• E(X_i) = p，E(Y_i) = q
• X_i Y_i = 0（因不能同时选 A 和 B），故 E(X_i Y_i) = 0
• \operatorname{Cov}(X_i, Y_i) = E(X_i Y_i) - E(X_i) E(Y_i) = 0 - pq = -pq

对 i \neq j，由独立性 \operatorname{Cov}(X_i, Y_j) = 0。
因此，

不相关的等价命题

以下命题等价：

1. X 与 Y 不相关
2. \rho_{X,Y} = 0
3. \operatorname{Cov}(X, Y) = 0
4. E(XY) = E(X) E(Y)
5. D(X \pm Y) = D(X) + D(Y)

注：在一般分布中，X 与 Y 独立 \implies 不相关，但逆命题不成立。例如：
设 X \sim N(0,1)，Y = X^2，则 E(XY) = E(X^3) = 0 = E(X)E(Y)，故不相关，但显然不独立。

例题：绝对值分布的协方差

设随机变量 X 的概率密度函数为 f(x) = \frac{1}{2} e^{-|x|}，x \in \mathbb{R}。
(1) 求 E(X), D(X)；
(2) 求 \operatorname{Cov}(X, |X|)，问 X 与 |X| 是否不相关；
(3) 问 X 与 |X| 是否独立？为什么？

解答：
(1) 期望与方差：
f(x) 为偶函数，X 关于 0 对称，故 E(X) = 0。

(2) 协方差：

故 X 与 |X| 不相关。

(3) 独立性：
不独立。因为当 X > 0 时 |X| = X，二者存在确定性关系。
反例：取 A = \{X > 1\}，B = \{|X| < 1\}，
P(A) > 0，P(B) > 0，但 P(A \cap B) = 0 \neq P(A) P(B)。
因此 X 与 |X| 不独立。