随机变量的收敛性
我们来学习随机变量序列的收敛性。这个概念研究当序列索引趋于无穷时，随机变量序列的行为趋势，是概率论极限理论的基础。
-
基本概念
首先，我们有一个定义在同一个概率空间上的随机变量序列 \(X_1, X_2, X_3, \dots\)。我们关心当 \(n \to \infty\) 时，这个序列是否以及以何种方式“接近”另一个随机变量 \(X\)。由于随机变量的本质是函数，其“接近”的方式比确定性的数列收敛更为丰富，主要分为以下几种重要的模式。 -
依概率收敛
这是最直观的一种收敛方式。
- 定义： 称序列 \(\{X_n\}\) 依概率收敛于随机变量 \(X\)，如果对于任意给定的 \(\epsilon > 0\)，有：
\[ \lim_{n \to \infty} P(|X_n - X| \geq \epsilon) = 0 \]
记作 \(X_n \xrightarrow{P} X\)。
- 理解： 这个定义是说，当 \(n\) 足够大时，随机变量 \(X_n\) 与 \(X\) 的差距大于任意给定正数 \(\epsilon\) 的概率可以变得任意小。它描述的是“在概率意义下”的接近，并不保证对于每一个样本点 \(X_n(\omega)\) 都收敛于 \(X(\omega)\)。弱大数定律就是依概率收敛的一个典型例子。
- 几乎必然收敛
这是一种更强的收敛形式，也称为“以概率1收敛”。
- 定义： 称序列 \(\{X_n\}\) 几乎必然收敛于随机变量 \(X\)，如果存在一个概率为0的集合 \(N\)，使得对于所有不在 \(N\) 中的样本点 \(\omega\)，都有：
\[ \lim_{n \to \infty} X_n(\omega) = X(\omega) \]
记作 \(X_n \xrightarrow{a.s.} X\)。
- 理解： 这几乎是在说序列 \(\{X_n\}\) 作为一个函数序列，是“逐点”收敛于 \(X\) 的，只是允许在一個零测集（概率为0的事件）上不收敛。强大数定律就是几乎必然收敛的体现。几乎必然收敛蕴含了依概率收敛，但反之不成立。
- 依分布收敛
这种收敛关注的是分布函数的变化，而非随机变量取值本身。
- 定义： 设 \(F_n(x)\) 和 \(F(x)\) 分别是 \(X_n\) 和 \(X\) 的分布函数。称序列 \(\{X_n\}\) 依分布收敛于 \(X\)，如果对于 \(F(x)\) 的所有连续点 \(x\)，都有：
\[ \lim_{n \to \infty} F_n(x) = F(x) \]
记作 \(X_n \xrightarrow{d} X\)。
- 理解： 这种收敛只要求分布函数在连续点上收敛。它是最弱的一种收敛形式。即使 \(X_n\) 和 \(X\) 定义在完全不同的概率空间上，依分布收敛仍然可以讨论。中心极限定理就是依分布收敛的经典案例。
- r-阶矩收敛
这种收敛通过矩来衡量随机变量之间的差距。
- 定义： 对于 \(r > 0\)，称序列 \(\{X_n\}\) r-阶矩收敛（或**\(L^r\)**收敛）于随机变量 \(X\)，如果 \(E|X_n|^r < \infty\)，\(E|X|^r < \infty\)，并且有：
\[ \lim_{n \to \infty} E[|X_n - X|^r] = 0 \]
记作 \(X_n \xrightarrow{L^r} X\)。
- 理解： 当 \(r=2\) 时，就是常用的均方收敛。这种收敛性很强，它蕴含了依概率收敛。r-阶矩收敛通常用于证明理论性质和进行误差分析。
- 收敛模式之间的关系
这几种收敛模式之间存在一个强弱关系链（箭头表示蕴含关系）：
\[ \text{几乎必然收敛} \quad \Rightarrow \quad \text{依概率收敛} \quad \Rightarrow \quad \text{依分布收敛} \]
\[ \text{r-阶矩收敛} \quad \Rightarrow \quad \text{依概率收敛} \]
需要注意的是，几乎必然收敛和r-阶矩收敛之间没有直接的蕴含关系（除非附加其他条件）。
理解这些收敛性的定义和相互关系，是深入学习大数定律、中心极限定理、随机过程极限理论以及统计推断中大样本理论的基石。