概率统计第三章｜迎接更好的明天

第一部分：知识框架

核心概念：二维随机变量、联合分布、边缘分布、条件分布、独立性、随机变量函数的分布
逻辑关系：
- 二维随机变量 (X, Y) 是本章的研究对象，其整体行为由联合分布函数 F(x, y) 描述
- 从联合分布可以导出单个随机变量 X 和 Y 的边缘分布
- 在已知一个随机变量取值的条件下，另一个随机变量的分布称为条件分布
- 如果联合分布等于边缘分布的乘积，则称 X 和 Y 相互独立
- 给定 (X, Y) 的联合分布，可以求出其函数 Z = g(X, Y) 的分布，常见函数包括：和、差、商、积、极值等

第二部分：详细内容

§3.1 二维随机变量及其分布

定义

设 E 是随机试验，(\Omega, \mathcal{F}, P) 是其概率空间，X, Y 为 (\Omega, \mathcal{F}, P) 上的两个随机变量，称 (X, Y) 为二维随机变量或二维随机向量
对于任何一对实数 (x, y)，称二元实函数 F(x, y) = P(X \le x, Y \le y) 为 (X, Y) 的联合分布函数

定理/公式

联合分布函数的性质：

0 \le F(x, y) \le 1，且 F(+\infty, +\infty) = 1
对每个变量单调不减：固定 y，对任意的 x_1 < x_2，有 F(x_1, y) \le F(x_2, y)；固定 x，对任意的 y_1 < y_2，有 F(x, y_1) \le F(x, y_2)
对每个变量右连续：F(x_0, y_0) = F(x_0+0, y_0)，F(x_0, y_0) = F(x_0, y_0+0)
对于任意的 a < b, c < d，有 F(b, d) - F(b, c) - F(a, d) + F(a, c) \ge 0

边缘分布函数：

F_X(x) = F(x, +\infty)
F_Y(y) = F(+\infty, y)

二维离散型随机变量：

若 (X, Y) 的所有可能取值为有限对或可列无穷多对，则称 (X, Y) 为二维离散型随机变量
联合分布律：P(X = x_i, Y = y_j) = p_{ij},\quad i, j = 1, 2, \dots
性质：
1. p_{ij} \ge 0
2. \sum_{i=1}^{+\infty} \sum_{j=1}^{+\infty} p_{ij} = 1
边缘分布律：
- P(X = x_i) = p_{i\cdot} = \sum_{j} p_{ij}
- P(Y = y_j) = p_{\cdot j} = \sum_{i} p_{ij}

二维连续型随机变量：

设 (X, Y) 的分布函数为 F(x, y)，若存在非负可积函数 f(x, y)，使得对于任意实数 x, y 有

F(x, y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v)\, dv\, du

则称 (X, Y) 为二维连续型随机变量，f(x, y) 为 (X, Y) 的联合密度函数

联合密度的性质：
1. f(x, y) \ge 0
2. \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y)\, dy\, dx = 1
3. 若 f(x, y) 在点 (x, y) 连续，则 \frac{\partial^2 F(x, y)}{\partial x \partial y} = f(x, y)
4. 若 G 是平面上的任意区域，则 P((X, Y) \in G) = \iint_G f(x, y)\, dx\, dy
边缘密度函数：
- f_X(x) = \int_{-\infty}^{+\infty} f(x, y)\, dy
- f_Y(y) = \int_{-\infty}^{+\infty} f(x, y)\, dx

常见二维连续型分布：

均匀分布：若 (X, Y) 在平面有界区域 D 上服从均匀分布，则其联合密度为

f(x, y) = \begin{cases} \frac{1}{S_D}, & (x, y) \in D \\ 0, & \text{其他} \end{cases}

其中 S_D 是区域 D 的面积

二维正态分布：若 (X, Y) 的联合密度为

f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left\{ -\frac{1}{2(1-\rho^2)} \left[ \frac{(x-\mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2} \right] \right\}

则称 (X, Y) 服从参数为 \mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho 的二维正态分布，记作 (X, Y) \sim N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho)

边缘分布：若 (X, Y) \sim N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho)，则 X \sim N(\mu_1, \sigma_1^2)，Y \sim N(\mu_2, \sigma_2^2)

例题

例1：掷一枚骰子3次，X 表示点数为偶数的次数，Y 表示点数为6的次数

题目：（1）求 (X, Y) 的联合分布列；（2）求 Y 的分布列；求 P(X > Y)
解答：
（1）(X, Y) 的联合分布列如下表所示：

X \backslash Y	0	1	2	3
0	1/8	1/4	1/6	1/27
1	0	1/8	1/6	1/18
2	0	0	1/24	1/36
3	0	0	0	1/216

（2）Y 的边缘分布列：

P(Y=0) = 1/8 + 0 + 0 + 0 = 1/8
P(Y=1) = 1/4 + 1/8 + 0 + 0 = 3/8
P(Y=2) = 1/6 + 1/6 + 1/24 + 0 = 13/24
P(Y=3) = 1/27 + 1/18 + 1/36 + 1/216 = 1/8
所以 Y 的分布列为：

Y	0	1	2	3
P	1/8	3/8	13/24	1/8

P(X > Y) = P(X=1,Y=0) + P(X=2,Y=0,1) + P(X=3,Y=0,1,2) = 0 + (0+0) + (0+0+1/36) = 1/36

例2：设随机变量 (X, Y) 的联合密度为

f(x, y) = \begin{cases} cxy, & x^2 \le y \le 1 \\ 0, & \text{其他} \end{cases}

求: （1）常数 c; （2）P(X \le Y);（3）求边缘密度函数

解答：
（1）由规范性，假设 x \ge 0：

1 = \int_{0}^{1} \int_{x^2}^{1} cxy\, dy\, dx = c \int_{0}^{1} x \left[ \frac{1}{2}y^2 \right]_{y=x^2}^{y=1} dx = \frac{c}{2} \int_{0}^{1} x (1 - x^4) dx = \frac{c}{2} \cdot \frac{1}{3} = \frac{c}{6}

所以 c = 6

（2）P(X \le Y) = \int_{0}^{1} \int_{x}^{1} 6xy\, dy\, dx = \int_{0}^{1} 6x \cdot \frac{1}{2}(1 - x^2) dx = 3 \int_{0}^{1} (x - x^3) dx = 3 \cdot \frac{1}{4} = \frac{3}{4}

（3）边缘密度函数：

f_X(x) = \int_{x^2}^{1} 6xy\, dy = 3x(1 - x^4),\quad 0 \le x \le 1，其他为0
f_Y(y) = \int_{0}^{\sqrt{y}} 6xy\, dx = 3y^2,\quad 0 \le y \le 1，其他为0

图表

案例1：PM2.5与PM10的散点图
案例3：BMI指数与总胆固醇含量的散点图

§3.2 二维随机变量的条件分布

定义

二维离散型随机变量的条件分布律：
已知 (X, Y) 的联合分布列为 P(X=x_i, Y=y_j) = p_{ij},\quad i,j=1,2,\dots，则在已知 X=x_i 的条件下，Y 的分布列为

P(Y=y_j \mid X=x_i) = \frac{p_{ij}}{p_{i\cdot}} = \frac{p_{ij}}{\sum_k p_{ik}}

类似地，在已知 Y=y_j 的条件下，X 的分布列为

P(X=x_i \mid Y=y_j) = \frac{p_{ij}}{p_{\cdot j}} = \frac{p_{ij}}{\sum_k p_{kj}}

连续型随机变量的条件分布：

条件分布函数：若 f_X(x) > 0，则在 X=x 的条件下，Y 的条件分布函数为

F_{Y|X}(y \mid x) = P(Y \le y \mid X=x) = \lim_{\epsilon \to 0^+} P(Y \le y \mid x-\epsilon < X \le x+\epsilon) = \frac{\int_{-\infty}^{y} f(x, v)\, dv}{f_X(x)}

条件密度函数：若 f(x, y) 在点 (x, y) 连续，f_X(x) 在点 x 处连续且 f_X(x) > 0，则在 X=x 的条件下，Y 的条件密度函数为

f_{Y|X}(y \mid x) = \frac{f(x, y)}{f_X(x)}

类似地，若 f_Y(y) > 0，则在 Y=y 的条件下，X 的条件密度函数为

f_{X|Y}(x \mid y) = \frac{f(x, y)}{f_Y(y)}

定理/公式

乘法公式：

离散：P(X=x_i, Y=y_j) = P(X=x_i) P(Y=y_j \mid X=x_i)
连续：f(x, y) = f_X(x) f_{Y|X}(y \mid x) = f_Y(y) f_{X|Y}(x \mid y)

全概率公式：

离散：P(Y=y_j) = \sum_i P(X=x_i) P(Y=y_j \mid X=x_i)
连续：f_Y(y) = \int_{-\infty}^{+\infty} f_X(x) f_{Y|X}(y \mid x)\, dx

贝叶斯公式：

离散：P(X=x_i \mid Y=y_j) = \frac{P(X=x_i) P(Y=y_j \mid X=x_i)}{\sum_k P(X=x_k) P(Y=y_j \mid X=x_k)}
连续：f_{X|Y}(x \mid y) = \frac{f_X(x) f_{Y|X}(y \mid x)}{f_Y(y)} = \frac{f_X(x) f_{Y|X}(y \mid x)}{\int_{-\infty}^{+\infty} f_X(u) f_{Y|X}(y \mid u)\, du}

例题

例：掷一枚骰子3次，X 表示点数为偶数的次数，Y 表示点数为6的次数。已知 X=2 的条件下，求 Y 的分布

解答：
由联合分布列（见§3.1例1）：
P(X=2) = 0 + 0 + 1/24 + 1/36 = 5/72
则：
- P(Y=0 \mid X=2) = \frac{0}{5/72} = 0
- P(Y=1 \mid X=2) = \frac{0}{5/72} = 0
- P(Y=2 \mid X=2) = \frac{1/24}{5/72} = \frac{3}{5}
- P(Y=3 \mid X=2) = \frac{1/36}{5/72} = \frac{2}{5}
  所以条件分布为：

Y	0	1	2	3
P	0	0	3/5	2/5

例：已知 (X, Y) \sim N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho)，求 f_{Y|X}(y \mid x)

解答：
已知边缘密度 f_X(x) = \frac{1}{\sqrt{2\pi}\sigma_1} e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}，联合密度 f(x, y) 如前述
则：

f_{Y|X}(y \mid x) = \frac{f(x, y)}{f_X(x)} = \frac{1}{\sqrt{2\pi}\sigma_2\sqrt{1-\rho^2}} \exp\left\{ -\frac{1}{2\sigma_2^2(1-\rho^2)} \left[ y - \mu_2 - \rho\frac{\sigma_2}{\sigma_1}(x-\mu_1) \right]^2 \right\}

即 Y \mid X=x \sim N\left( \mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x-\mu_1),\ \sigma_2^2(1-\rho^2) \right)

案例（贝叶斯统计模型）：考查某型号的手机寿命 X。假设参数 \Lambda 服从参数为 \lambda_0 的指数分布（先验分布）；在 \Lambda=\lambda\ (\lambda>0) 的条件下，X 服从参数为 \lambda 的指数分布（统计模型）

题目：（1）求 (\Lambda, X) 的联合密度；（2）在观测到 X=x\ (x>0) 时，求 \Lambda 的条件密度（后验密度）
解答：
（1）先验密度：f_\Lambda(\lambda) = \lambda_0 e^{-\lambda_0 \lambda},\ \lambda>0
条件密度：f_{X|\Lambda}(x \mid \lambda) = \lambda e^{-\lambda x},\ x>0
联合密度：f_{\Lambda, X}(\lambda, x) = f_\Lambda(\lambda) f_{X|\Lambda}(x \mid \lambda) = \lambda_0 \lambda e^{-(\lambda_0 + x)\lambda},\ \lambda>0, x>0
（2）X 的边缘密度：

f_X(x) = \int_{0}^{+\infty} f_{\Lambda, X}(\lambda, x)\, d\lambda = \lambda_0 \int_{0}^{+\infty} \lambda e^{-(\lambda_0 + x)\lambda}\, d\lambda = \frac{\lambda_0}{(\lambda_0 + x)^2},\ x>0

后验密度：

f_{\Lambda|X}(\lambda \mid x) = \frac{f_{\Lambda, X}(\lambda, x)}{f_X(x)} = \frac{(\lambda_0 + x)^2}{\lambda_0} \lambda e^{-(\lambda_0 + x)\lambda},\ \lambda>0

即给定 X=x，\Lambda 的条件分布是形状参数为2、尺度参数为 \lambda_0+x 的Gamma分布

§3.3 随机变量的独立性

定义

设 (X, Y) 为二维随机变量，若对任何实数 x, y 都有

P(X \le x, Y \le y) = P(X \le x) P(Y \le y)

则称随机变量 X 和 Y 相互独立

等价表述：
- 对任意 B_1, B_2 \in \mathcal{B}(\mathbb{R})，有 P(X \in B_1, Y \in B_2) = P(X \in B_1) P(Y \in B_2)
- F(x, y) = F_X(x) F_Y(y),\quad \forall x,y
- （离散）P(X=x_i, Y=y_j) = P(X=x_i) P(Y=y_j),\quad \forall i,j
- （连续）f(x, y) = f_X(x) f_Y(y),\quad \text{在 } f(x,y) \text{ 的连续点}

定理/公式

性质1：若 X 和 Y 相互独立，则对任意 a<b, c<d，有

P(a < X \le b, c < Y \le d) = P(a < X \le b) P(c < Y \le d)

且 P(X > a, Y > c) = P(X > a) P(Y > c)

性质2：假设 X、Y 相互独立，g(x) 与 h(y) 为任意可测函数，则 g(X) 与 h(Y) 也相互独立

定理：设 f(x, y) 是 (X, Y) 的联合密度函数，则 X 与 Y 相互独立的充分必要条件是存在非负可积函数 r(x), s(y)，使得

f(x, y) = r(x) s(y),\quad -\infty < x, y < +\infty

在 f(x, y) 的一切连续点上成立

推论：若 (X, Y) \sim N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2; \rho)，则 X 与 Y 相互独立的充要条件是 \rho = 0

n 维随机变量的独立性：设 (X_1, \dots, X_n) 是 n 维随机变量，称 X_1, \dots, X_n 相互独立，如果对于任何实数 x_1, \dots, x_n 都有

P(X_1 \le x_1, \dots, X_n \le x_n) = P(X_1 \le x_1) \times \cdots \times P(X_n \le x_n)

例题

例：已知 (X, Y) 的联合密度函数为

f_1(x, y) = \begin{cases} 4xy, & 0 < x < 1, 0 < y < 1 \\ 0, & \text{其他} \end{cases}

f_2(x, y) = \begin{cases} 8xy, & 0 < x < y, 0 < y < 1 \\ 0, & \text{其他} \end{cases}

讨论 X, Y 是否独立？

解答：
对于 f_1：f_X(x) = \int_{0}^{1} 4xy\, dy = 2x,\ 0<x<1；f_Y(y) = \int_{0}^{1} 4xy\, dx = 2y,\ 0<y<1。所以 f_1(x,y) = (2x)(2y) = f_X(x) f_Y(y)，故 X 与 Y 独立
对于 f_2：f_X(x) = \int_{x}^{1} 8xy\, dy = 4x(1-x^2),\ 0<x<1；f_Y(y) = \int_{0}^{y} 8xy\, dx = 4y^3,\ 0<y<1。显然 f_2(x,y) \ne f_X(x) f_Y(y)，故 X 与 Y 不独立

§3.4 多维随机变量函数的分布

定义

已知 (X, Y) 的联合分布，Z = g(X, Y)，求 Z 的分布

定理/公式

离散型：若 (X, Y) 为离散型随机变量，则 Z = g(X, Y) 的分布列为

P(Z = z_k) = \sum_{g(x_i, y_j) = z_k} p_{ij}

连续型：一般方法，求 Z 的分布函数

F_Z(z) = P(Z \le z) = P(g(X, Y) \le z) = \iint_{g(x,y) \le z} f(x, y)\, dx\, dy

然后对 z 求导得到密度函数 f_Z(z)

常见函数的分布：

和的分布：Z = X + Y
- f_Z(z) = \int_{-\infty}^{+\infty} f(x, z-x)\, dx
- 若 X 与 Y 独立，则 f_Z(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x)\, dx（卷积公式）
商的分布：Z = X / Y
- f_Z(z) = \int_{-\infty}^{+\infty} |y| f(zy, y)\, dy
平方和的分布：Z = X^2 + Y^2
- 一般地，F_Z(z) = \iint_{x^2+y^2 \le z} f(x,y)\, dx\, dy，利用极坐标变换
- 特别地，若 X, Y \stackrel{i.i.d.}{\sim} N(0,1)，则 Z \sim \chi^2(2)，密度为 f_Z(z) = \frac{1}{2} e^{-z/2},\ z>0
极值分布：M = \max(X, Y)，N = \min(X, Y)
- F_M(u) = P(\max(X,Y) \le u) = P(X \le u, Y \le u) = F(u, u)
- F_N(v) = P(\min(X,Y) \le v) = 1 - P(\min(X,Y) > v) = 1 - P(X > v, Y > v)
- 若 X 与 Y 独立，则 F_M(u) = F_X(u) F_Y(u)，F_N(v) = 1 - [1-F_X(v)][1-F_Y(v)]
- 推广到 n 个相互独立的随机变量 X_1, \dots, X_n：
  - F_M(u) = \prod_{i=1}^n F_{X_i}(u)
  - F_N(v) = 1 - \prod_{i=1}^n [1 - F_{X_i}(v)]

例题

例：设二维离散型随机变量 (X, Y) 的概率分布为

X \backslash Y	-1	1	2
-1	1/8	1/12	1/6
1	1/8	1/4	1/4

求 X+Y, X-Y, XY, Y/X 的分布

解答：
- X+Y 的可能取值：-2, 0, 1, 2, 3
  - P(X+Y=-2) = P(X=-1,Y=-1) = 1/8
  - P(X+Y=0) = P(X=-1,Y=1) = 1/12
  - P(X+Y=1) = P(X=-1,Y=2) + P(X=1,Y=-1) = 1/6 + 1/8 = 7/24
  - P(X+Y=2) = P(X=1,Y=1) = 1/4
  - P(X+Y=3) = P(X=1,Y=2) = 1/4
- X-Y 的可能取值：-3, -1, 0, 1, 2
  - P(X-Y=-3) = P(X=-1,Y=2) = 1/6
  - P(X-Y=-1) = P(X=-1,Y=1) + P(X=1,Y=2) = 1/12 + 1/4 = 1/3
  - P(X-Y=0) = P(X=-1,Y=-1) + P(X=1,Y=1) = 1/8 + 1/4 = 3/8
  - P(X-Y=1) = P(X=1,Y=-1) = 1/8
  - P(X-Y=2) = 0
- XY 的可能取值：1, -1, -2, 2
  - P(XY=1) = P(X=-1,Y=-1) + P(X=1,Y=1) = 1/8 + 1/4 = 3/8
  - P(XY=-1) = P(X=-1,Y=1) + P(X=1,Y=-1) = 1/12 + 1/8 = 5/24
  - P(XY=-2) = P(X=-1,Y=2) = 1/6
  - P(XY=2) = P(X=1,Y=2) = 1/4
- Y/X 的可能取值：1, -1, -2, 2
  - P(Y/X=1) = P(X=1,Y=1) = 1/4
  - P(Y/X=-1) = P(X=-1,Y=1) + P(X=1,Y=-1) = 1/12 + 1/8 = 5/24
  - P(Y/X=-2) = P(X=-1,Y=2) = 1/6
  - P(Y/X=2) = P(X=1,Y=2) = 1/4
  - P(Y/X= \text{其他}) = P(X=-1,Y=-1) = 1/8（此时 Y/X=1，已计入）

例：已知 (X, Y) 的联合概率密度为

f(x, y) = \begin{cases} 3x, & 0 < x < 1, 0 < y < x \\ 0, & \text{其他} \end{cases}

Z = X + Y，求 f_Z(z)

解答：
区域：0 < x < 1, 0 < y < x
F_Z(z) = P(Z \le z) = P(X+Y \le z) = \iint_{x+y \le z} f(x,y)\, dx\, dy
考虑 z 的不同取值范围：
- 当 z \le 0，F_Z(z)=0
- 当 0 < z \le 1：

F_Z(z) = \int_{0}^{z/2} \int_{0}^{x} 3x\, dy\, dx + \int_{z/2}^{z} \int_{0}^{z-x} 3x\, dy\, dx = \int_{0}^{z/2} 3x^2\, dx + \int_{z/2}^{z} 3x(z-x)\, dx = \frac{1}{2}z^3

所以 f_Z(z) = \frac{d}{dz} \left( \frac{1}{2}z^3 \right) = \frac{3}{2}z^2,\ 0<z\le1

当 1 < z < 2：

F_Z(z) = \int_{0}^{z/2} \int_{0}^{x} 3x\, dy\, dx + \int_{z/2}^{1} \int_{0}^{z-x} 3x\, dy\, dx = \int_{0}^{z/2} 3x^2\, dx + \int_{z/2}^{1} 3x(z-x)\, dx = \frac{3}{2}z - 1 - \frac{1}{8}z^3

所以 f_Z(z) = \frac{3}{2} - \frac{3}{8}z^2 = \frac{3}{8}(4 - z^2),\ 1<z<2

当 z \ge 2，F_Z(z)=1
综上，

f_Z(z) = \begin{cases} \frac{3}{2}z^2, & 0 < z \le 1 \\ \frac{3}{8}(4 - z^2), & 1 < z < 2 \\ 0, & \text{其他} \end{cases}

正态分布的可加性：若 X, Y 相互独立，X \sim N(\mu_1, \sigma_1^2), Y \sim N(\mu_2, \sigma_2^2)，则 X+Y \sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)
更一般地，若 X_1, \dots, X_n 相互独立，X_i \sim N(\mu_i, \sigma_i^2)，则 \sum_{i=1}^n X_i \sim N\left( \sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2 \right)

第三部分：习题与总结

课后习题解答

由于习题具体内容未完全给出，这里仅列出习题号：习题三：1, 3, 4, 5, 7, 8, 9, 14, 16, 23, 20, 22, 24, 30, 32, 34, 37，以及各节的补充题。解答需根据具体题目进行

本章总结

本章主要研究了多维随机变量及其分布。首先介绍了二维随机变量的联合分布函数、边缘分布函数，以及离散型和连续型随机变量的联合分布律和联合密度函数。接着，讨论了条件分布，包括离散型和连续型情形下的条件分布律和条件密度函数，并给出了乘法公式、全概率公式和贝叶斯公式在连续型随机变量中的形式。然后，定义了随机变量的独立性，并给出了独立性的各种等价条件。最后，探讨了多维随机变量函数的分布，重点介绍了和、商、平方和、极值等常见函数的分布求法，其中正态分布的可加性是一个重要结论。本章内容为研究多个随机变量的联合行为以及它们之间的相互关系奠定了理论基础，在统计学、机器学习等领域有广泛应用