随机变量的变换的Donsker定理
好的，我们现在来讲解随机变量的变换的Donsker定理。这是一个在概率极限理论和统计学中极为重要的结果，它建立了经验过程与布朗运动之间的联系，是很多统计推断（如Kolmogorov-Smirnov检验）的理论基石。我会循序渐进地展开。
第一步：背景与动机——从中心极限定理到函数空间的极限
- 复习经典中心极限定理：
假设我们有一列独立同分布的随机变量 \(X_1, X_2, ...\)，其均值为 \(\mu\)，方差为 \(\sigma^2\)。经典中心极限定理告诉我们，标准化和 的分布收敛到正态分布：
\[ \frac{S_n - n\mu}{\sigma \sqrt{n}} = \frac{\sum_{i=1}^{n} (X_i - \mu)}{\sigma \sqrt{n}} \xrightarrow{d} N(0,1) \]
这里的收敛是**依分布收敛**，即一维随机变量的分布收敛。
- 提出新问题：
但我们不仅关心“和”，还关心部分和过程。考虑随时间（或随索引）累积的偏差。我们定义一个随机过程 \(S_n(t)\)：
\[ S_n(t) = \frac{1}{\sigma \sqrt{n}} \sum_{i=1}^{\lfloor nt \rfloor} (X_i - \mu)， \quad 其中 0 \le t \le 1 \]
这里，\(\lfloor nt \rfloor\) 表示小于等于 \(nt\) 的最大整数。当 \(t=1\) 时，就是上面的中心极限定理。但当 \(t\) 从0变化到1时，\(S_n(t)\) 定义了一个在区间 [0,1] 上、由随机折线连接起来的随机函数（一个随机过程）。
- 在 \(t = k/n\) 时刻，函数值就是前k个标准化偏差的和。
- 在 \(t\) 不是 \(k/n\) 的时刻，通常用线性插值使其成为连续路径。
- 核心疑问：
当样本量 \(n \to \infty\) 时，这个随机过程 \(S_n(t)\) 会收敛到什么极限对象？这个极限对象应该是一个定义在连续函数空间上的随机过程。Donsker定理回答了这个问题。
第二步：极限对象——布朗运动
- 什么是布朗运动？
标准布朗运动（或维纳过程） \(\{ B(t), 0 \le t \le 1 \}\) 是一个连续时间的随机过程，满足：
- \(B(0) = 0\)。
- 独立增量：对任意 \(0 \le t_1 < t_2 < ... < t_k \le 1\)，增量 \(B(t_2)-B(t_1), ..., B(t_k)-B(t_{k-1})\) 相互独立。
- 正态增量：对任意 \(0 \le s < t \le 1\)，增量 \(B(t) - B(s) \sim N(0, t-s)\)。
- 连续路径：以概率1，\(B(t)\) 是 \(t\) 的连续函数。
- 直观理解：
你可以将布朗运动想象为一个连续时间、连续状态的随机游走。它的路径虽然连续，但在任何一点都不可导，充满了“抖动”。它是随机过程理论中最基本、最重要的对象之一。
第三步：Donsker定理的精确表述
Donsker定理（也称为不变性原理或泛函中心极限定理）的核心思想是：标准化部分和过程 \(S_n(t)\) 的分布，在函数空间（具体是连续函数空间 \(C[0,1]\) 或其上的 Skorokhod 空间）中，弱收敛到标准布朗运动 \(B(t)\)。
用数学语言表述：
设 \(\{X_i\}\) 是独立同分布的随机变量，\(E[X_1] = 0\)，\(Var(X_1) = \sigma^2 < \infty\)。定义随机过程：
\[ > S_n(t) = \frac{1}{\sigma \sqrt{n}} \sum_{i=1}^{\lfloor nt \rfloor} X_i, \quad 0 \le t \le 1 > \]
在 [0,1] 区间上用线性插值使其连续。则当 \(n \to \infty\) 时，有：
\[ > S_n(\cdot) \xrightarrow{d} B(\cdot) > \]
这里的“ \(\xrightarrow{d}\) ”是指在连续函数空间 \(C[0,1]\) 上的弱收敛（依分布收敛）。
“弱收敛”在函数空间中的含义：
这意味着，对于任何“好的”（连续且有界的）泛函 \(h: C[0,1] \to \mathbb{R}\)，随机变量 \(h(S_n)\) 的分布都会收敛到随机变量 \(h(B)\) 的分布。即：
\[E[h(S_n)] \to E[h(B)]，\quad 对\ 所有\ 连续有界泛函\ h。 \]
这就是“不变性”的来源：极限分布不依赖于原始随机变量 \(X_i\) 的具体分布（只要均值为0，方差有限），只取决于布朗运动的性质。
第四步：一个关键应用示例——Kolmogorov-Smirnov检验
Donsker定理最著名的应用之一是推导Kolmogorov-Smirnov（K-S）检验的极限分布。
- 构造经验过程：
假设我们想检验样本 \(X_1, ..., X_n\) 是否来自某个已知的连续分布函数 \(F(x)\)。定义经验分布函数：
\[ F_n(x) = \frac{1}{n} \sum_{i=1}^{n} I(X_i \le x) \]
其中 \(I\) 是示性函数。我们可以构造一个经验过程：
\[ G_n(x) = \sqrt{n} (F_n(x) - F(x)) \]
这个 \(G_n(x)\) 衡量了经验分布与理论分布在各点的偏差。
- 与Donsker定理的联系：
做一个概率积分变换：令 \(U_i = F(X_i)\)。如果 \(X_i\) 真的服从 \(F\)，那么 \(U_i\) 就服从 [0,1] 上的均匀分布。定义均匀分布的经验过程：
\[ B_n(t) = \sqrt{n} (U_n(t) - t)，\quad 其中\ U_n(t)=\frac{1}{n}\sum_{i=1}^n I(U_i \le t) \]
可以证明，这个过程与Donsker定理中的 \(S_n(t)\) 本质上是等价的（通过构造和时间参数替换）。因此，Donsker定理告诉我们：
\[ B_n(\cdot) \xrightarrow{d} B^0(\cdot) \]
这里 \(B^0(t)\) 是一个特殊的布朗运动，称为布朗桥，它是起点和终点都被钉在0的布朗运动（即 \(B^0(0)=B^0(1)=0\)）。
- 推导检验统计量：
K-S检验统计量是经验过程的上确界：
\[ D_n = \sup_{x} |F_n(x) - F(x)| = \sup_{0 \le t \le 1} |B_n(t)| \]
由于 \(B_n(\cdot)\) 弱收敛到布朗桥 \(B^0(\cdot)\)，并且泛函 \(h(f) = \sup_{t} |f(t)|\) 在 \(C[0,1]\) 上是连续的。根据Donsker定理和连续映射定理，有：
\[ D_n = h(B_n) \xrightarrow{d} h(B^0) = \sup_{0 \le t \le 1} |B^0(t)| \]
而 \(\sup_{0 \le t \le 1} |B^0(t)|\) 的分布是已知的（Kolmogorov分布），这就给出了K-S检验的临界值表。
第五步：总结与意义
- 核心思想：Donsker定理是中心极限定理在函数空间上的推广。它将一个由独立随机变量构造的、离散的、锯齿状的随机折线过程，与连续的、无限维的布朗运动（或布朗桥）联系起来。
- “不变性”：极限分布（布朗运动）不依赖于原始随机变量的具体分布（除了有限方差条件），这使得基于它的推论（如K-S检验）是“非参数”的，具有广泛的适用性。
- 方法论：它提供了一套强大的工具——泛函中心极限定理。通过将统计量（如K-S距离、Cramér–von Mises统计量）表示为经验过程的连续泛函，我们可以利用Donsker定理和连续映射定理，一举推导出它们的渐近分布，而不需要为每个统计量做复杂的独立推导。
总而言之，Donsker定理是连接经典概率论、随机过程理论和数理统计推断的一座关键桥梁，它使得对复杂经验过程进行严格的渐近分析成为可能。