随机变量的变换的鞅差分序列方法
字数 3690 2025-12-19 11:22:14

随机变量的变换的鞅差分序列方法

好的，我们开始一个新的词条讲解。随机变量的变换的鞅差分序列方法是一种强大的分析工具，它允许我们通过将复杂的随机变量变换分解为一列具有良好性质（如不相关、条件均值为零）的随机变量之和来研究其性质。理解这个方法，需要我们循序渐进地建立几个核心概念。

第一步：理解基础——鞅与鞅差分序列

  1. 鞅：首先，你需要回顾“鞅”的概念。一个离散时间随机过程 {Mₙ, n ≥ 0} 被称为关于另一个过程 {Xₙ, n ≥ 0} 的鞅，如果它满足：

    • 可积性：E[|Mₙ|] < ∞ 对所有 n。
    • 适应性：Mₙ 的值完全由到时刻 n 为止的信息 (X₀, X₁, …, Xₙ) 决定。
    • 鞅性质：E[Mₙ₊₁ | X₀, …, Xₙ] = Mₙ 对所有 n。
      直观上，鞅描述了一个“公平博弈”。给定到现在的所有历史，你对未来下一局收益（Mₙ₊₁）的最佳预测，就是你当前持有的总资产（Mₙ）。没有系统性向上或向下的趋势。

  2. 鞅差分序列：这是本方法的核心构件。如果一个序列 {Dₙ, n ≥ 1} 满足：

    • 可积性：E[|Dₙ|] < ∞ 对所有 n。
    • 适应性：Dₙ 是关于信息流 Fₙ 可测的（即，其值由到 n 时刻的信息决定）。
    • 条件均值为零：E[Dₙ | Fₙ₋₁] = 0 对所有 n ≥ 1。
      那么 {Dₙ} 就被称为一个鞅差分序列。
    • 关键联系：如果我们定义 M₀ = 0 且 Mₙ = Σ_{i=1}^{n} D_i (n ≥ 1)，那么 {Mₙ} 就是一个鞅。反过来，任何一个鞅 {Mₙ} 都可以通过 Dₙ = Mₙ - Mₙ₋₁ 生成一个鞅差分序列。因此，鞅可以看作鞅差分序列的部分和。

第二步：方法的动机——为何要构造鞅差分序列？

当我们研究一个复杂的、经过变换的随机变量 Tₙ = g(X₁, …, Xₙ) 时（例如，一个统计量，如样本均值、U统计量、M估计量等），直接分析其分布、矩或极限行为可能非常困难。

鞅差分序列方法的核心思想是：将 Tₙ 或其中心化版本表示为一系列鞅差分的和。即：

\[Tₙ - E[Tₙ] = \sum_{i=1}^{n} D_{n,i}，其中 D_{n,i} 满足 E[D_{n,i} | F_{n,i-1}] = 0。 \]

这里的 F_{n,i-1} 是到第 i-1 步的某个信息集（通常与 {Xᵢ} 的排序有关）。

这样做的好处是：

  1. 简化分析：许多经典的概率极限定理（如中心极限定理、大数定律）都有针对独立和同分布（i.i.d.）变量的版本，也有针对鞅差分序列的版本。将你的问题转化为鞅差分的和，就能调用这些强大的定理。
  2. 处理依赖性：即使原始变量 {Xᵢ} 之间有某种依赖性，巧妙构造的鞅差分序列 D_{n,i} 在给定历史信息下，其条件期望为零，这为分析其和的渐近行为提供了结构。
  3. 计算方差：因为鞅差分的条件期望为零，它们通常是不相关的（在更一般的条件下）。这使得计算 Tₙ 的渐近方差变得相对容易，因为和的方差（近似）等于方差的和。

第三步：核心构造技巧——Hájek投影

一个系统性的、最常用的构造鞅差分序列来近似变换的方法，叫做 Hájek投影。

  1. 定义：对于一个一般的统计量 Tₙ = T(X₁, …, Xₙ)，其关于独立同分布样本 X₁, …, Xₙ 的 Hájek 投影 \(\hat{T}_n\) 定义为：

\[ \hat{T}_n = \sum_{i=1}^n E[T_n | X_i] - (n-1)E[T_n]。 \]

这个形式可能看起来有些复杂，但其构造思想是：找到 Tₙ 在“可加函数”空间（即形式为 Σᵢ hᵢ(Xᵢ) 的函数）上的 L² 投影。这个投影是所有可加函数中，在均方误差意义下最“接近” Tₙ 的那个。
  1. 为什么它是鞅差分序列的和？
    我们定义 Dᵢ = E[Tₙ | Xᵢ] - E[Tₙ]。那么，\(\hat{T}_n = \sum_{i=1}^n D_i\)。
    • 因为 X₁, …, Xₙ 是独立同分布的，E[Dᵢ] = 0。
  • 更重要的是，如果我们考虑自然信息流 Fᵢ = σ(X₁, …, Xᵢ)，那么序列 {Dᵢ} 是适应的，并且满足 E[Dᵢ | Fᵢ₋₁] = 0 吗？不一定直接是。严格来说，{Dᵢ} 的构造依赖于整个样本的联合分布，而不仅仅是历史。但是，在独立同分布样本下，当我们对 \(\hat{T}_n\) 的极限分布进行分析时，可以证明 \(D_1, …, D_n\) 是不相关的，并且 \(\hat{T}_n\) 的渐近分布与一个由 Dᵢ 的某些变换构成的鞅差分的和相同。在更高级的处理中，我们可以通过“对称化”和“中心化”来构造一个真正的鞅差分序列。其核心结论是：Hájek投影是原统计量的一个线性化（或称为一阶近似），而其形式正是独立零均值随机变量（等价于一种特殊鞅差分）的和。

第四步：方法的应用流程与示例

我们以分析一个U统计量的渐近分布为例，来展示如何使用鞅差分序列方法。

  1. 设定：设 X₁, …, Xₙ 是独立同分布的随机变量。令 h(x₁, x₂) 是一个对称核函数。U统计量为 \(U_n = \binom{n}{2}^{-1} \sum_{1 \le i < j \le n} h(X_i, X_j)\)。这是一个复杂的变换，是所有无序对的双变量函数的平均。

  2. 目标：证明 √n (Uₙ - θ) 依分布收敛于一个正态分布，其中 θ = E[h(X₁, X₂)]。

  3. 应用鞅差分序列方法：

  • 第一步：Hájek投影。计算 Uₙ 的 Hájek 投影 \(\hat{U}_n\)。经过计算（这需要一些期望运算），可以得到：

\[ \hat{U}_n = \theta + \frac{2}{n} \sum_{i=1}^n h_1(X_i)，其中 h_1(x) = E[h(x, X_2)] - \theta。 \]

注意，h₁(Xᵢ) 是零均值的，且因为 Xᵢ 独立，它们是独立同分布的。因此，\(\hat{U}_n - \theta = \frac{2}{n} \sum_{i=1}^n h_1(X_i)\) 是一个独立和（即鞅差分的和）。
* 第二步：建立近似。可以证明，Uₙ 与其 Hájek 投影非常接近：

\[ \sqrt{n} (U_n - \theta) = \sqrt{n} (\hat{U}_n - \theta) + o_P(1)。 \]

这里 \(o_P(1)\) 表示一个依概率趋于零的项。这意味着，在渐近意义上，研究 √n (Uₙ - θ) 等价于研究 √n (\(\hat{U}_n - \theta\))。

  • 第三步：应用中心极限定理。由于 √n (\(\hat{U}_n - \theta\)) = \(\frac{2}{\sqrt{n}} \sum_{i=1}^n h_1(X_i)\) 是一个独立同分布随机变量的和，其均值为0，方差为 ζ₁ = Var(h₁(X₁))。由经典的中心极限定理（CLT）可得：

\[ \sqrt{n} (\hat{U}_n - \theta) \xrightarrow{d} N(0, 4\zeta_1)。 \]

*   **第四步：得出结论**。结合第二步的近似，我们得到：

\[ \sqrt{n} (U_n - \theta) \xrightarrow{d} N(0, 4\zeta_1)。 \]

    我们成功地推导出了U统计量的渐近正态性。整个证明的关键，在于通过 Hájek 投影（一种特定的鞅差分序列构造）将复杂的 Uₙ 线性化为一个独立和，从而能够应用简单的 CLT。

第五步：方法的范围与意义

鞅差分序列方法（特别是通过 Hájek 投影实现）不仅限于U统计量。它广泛应用于：

  • M估计量、Z估计量：许多极大似然估计量、稳健估计量都可以用此方法分析其渐近性质。
  • 秩统计量、置换统计量：这些非参数统计量常常可以表示为鞅差分的和。
  • 随机过程理论：在鞅中心极限定理的证明中，本身就是对鞅差分序列本身的分析。
  • 时间序列分析：对于某些平稳过程，其样本矩可以表示为鞅差分序列的和加上一个可忽略的余项。

总结：
随机变量的变换的鞅差分序列方法 是一种将复杂统计量分解为一系列“条件零均值”的随机变量（鞅差分）之和的技术。其最经典的实施工具是 Hájek投影，它通过将统计量投影到可加函数空间上，得到一个线性近似，这个近似本身就是一个鞅差分的和。这种方法极大地简化了统计量的渐近分析（如推导其正态极限分布和计算渐近方差），是连接具体统计变换与经典概率极限定理（如中心极限定理、大数定律）的一座核心桥梁。理解此方法，你需要牢固掌握鞅、鞅差分序列的概念，并熟悉通过条件期望进行分解和近似的技巧。

随机变量的变换的鞅差分序列方法 好的，我们开始一个新的词条讲解。 随机变量的变换的鞅差分序列方法 是一种强大的分析工具，它允许我们通过将复杂的随机变量变换分解为一列具有良好性质（如不相关、条件均值为零）的随机变量之和来研究其性质。理解这个方法，需要我们循序渐进地建立几个核心概念。 第一步：理解基础——鞅与鞅差分序列 鞅 ：首先，你需要回顾“鞅”的概念。一个离散时间随机过程 {Mₙ, n ≥ 0} 被称为关于另一个过程 {Xₙ, n ≥ 0} 的 鞅 ，如果它满足： 可积性 ：E[ |Mₙ|] < ∞ 对所有 n。 适应性 ：Mₙ 的值完全由到时刻 n 为止的信息 (X₀, X₁, …, Xₙ) 决定。 鞅性质 ：E[ Mₙ₊₁ | X₀, …, Xₙ ] = Mₙ 对所有 n。 直观上，鞅描述了一个“公平博弈”。给定到现在的所有历史，你对未来下一局收益（Mₙ₊₁）的最佳预测，就是你当前持有的总资产（Mₙ）。没有系统性向上或向下的趋势。 鞅差分序列 ：这是本方法的核心构件。如果一个序列 {Dₙ, n ≥ 1} 满足： 可积性 ：E[ |Dₙ|] < ∞ 对所有 n。 适应性 ：Dₙ 是关于信息流 Fₙ 可测的（即，其值由到 n 时刻的信息决定）。 条件均值为零 ：E[ Dₙ | Fₙ₋₁ ] = 0 对所有 n ≥ 1。 那么 {Dₙ} 就被称为一个 鞅差分序列 。 关键联系 ：如果我们定义 M₀ = 0 且 Mₙ = Σ_ {i=1}^{n} D_ i (n ≥ 1)，那么 {Mₙ} 就是一个鞅。反过来，任何一个鞅 {Mₙ} 都可以通过 Dₙ = Mₙ - Mₙ₋₁ 生成一个鞅差分序列。因此， 鞅可以看作鞅差分序列的部分和 。 第二步：方法的动机——为何要构造鞅差分序列？ 当我们研究一个复杂的、经过变换的随机变量 Tₙ = g(X₁, …, Xₙ) 时（例如，一个统计量，如样本均值、U统计量、M估计量等），直接分析其分布、矩或极限行为可能非常困难。 鞅差分序列方法的核心思想是： 将 Tₙ 或其中心化版本表示为一系列鞅差分的和 。即： \[ Tₙ - E[ Tₙ] = \sum_ {i=1}^{n} D_ {n,i}，其中 D_ {n,i} 满足 E[ D_ {n,i} | F_ {n,i-1} ] = 0。 \] 这里的 F_ {n,i-1} 是到第 i-1 步的某个信息集（通常与 {Xᵢ} 的排序有关）。 这样做的好处是： 简化分析 ：许多经典的概率极限定理（如中心极限定理、大数定律）都有针对独立和同分布（i.i.d.）变量的版本，也有针对 鞅差分序列 的版本。将你的问题转化为鞅差分的和，就能调用这些强大的定理。 处理依赖性 ：即使原始变量 {Xᵢ} 之间有某种依赖性，巧妙构造的鞅差分序列 D_ {n,i} 在给定历史信息下，其条件期望为零，这为分析其和的渐近行为提供了结构。 计算方差 ：因为鞅差分的条件期望为零，它们通常是不相关的（在更一般的条件下）。这使得计算 Tₙ 的渐近方差变得相对容易，因为和的方差（近似）等于方差的和。 第三步：核心构造技巧——Hájek投影 一个系统性的、最常用的构造鞅差分序列来近似变换的方法，叫做 Hájek投影 。 定义 ：对于一个一般的统计量 Tₙ = T(X₁, …, Xₙ)，其关于独立同分布样本 X₁, …, Xₙ 的 Hájek 投影 \(\hat{T}_ n\) 定义为： \[ \hat{T} n = \sum {i=1}^n E[ T_ n | X_ i] - (n-1)E[ T_ n ]。 \] 这个形式可能看起来有些复杂，但其构造思想是：找到 Tₙ 在“可加函数”空间（即形式为 Σᵢ hᵢ(Xᵢ) 的函数）上的 L² 投影。这个投影是所有可加函数中，在均方误差意义下最“接近” Tₙ 的那个。 为什么它是鞅差分序列的和？ 我们定义 Dᵢ = E[ Tₙ | Xᵢ] - E[ Tₙ]。那么，\(\hat{T} n = \sum {i=1}^n D_ i\)。 因为 X₁, …, Xₙ 是独立同分布的，E[ Dᵢ ] = 0。 更重要的是，如果我们考虑自然信息流 Fᵢ = σ(X₁, …, Xᵢ)，那么序列 {Dᵢ} 是 适应 的，并且满足 E[ Dᵢ | Fᵢ₋₁] = 0 吗？ 不一定直接是 。严格来说，{Dᵢ} 的构造依赖于整个样本的联合分布，而不仅仅是历史。但是，在独立同分布样本下，当我们对 \(\hat{T}_ n\) 的极限分布进行分析时，可以证明 \(D_ 1, …, D_ n\) 是 不相关 的，并且 \(\hat{T}_ n\) 的渐近分布与一个由 Dᵢ 的某些变换构成的鞅差分的和相同。在更高级的处理中，我们可以通过“对称化”和“中心化”来构造一个真正的鞅差分序列。其核心结论是： Hájek投影是原统计量的一个线性化（或称为一阶近似），而其形式正是独立零均值随机变量（等价于一种特殊鞅差分）的和。 第四步：方法的应用流程与示例 我们以分析一个 U统计量 的渐近分布为例，来展示如何使用鞅差分序列方法。 设定 ：设 X₁, …, Xₙ 是独立同分布的随机变量。令 h(x₁, x₂) 是一个对称核函数。U统计量为 \(U_ n = \binom{n}{2}^{-1} \sum_ {1 \le i < j \le n} h(X_ i, X_ j)\)。这是一个复杂的变换，是所有无序对的双变量函数的平均。 目标 ：证明 √n (Uₙ - θ) 依分布收敛于一个正态分布，其中 θ = E[ h(X₁, X₂) ]。 应用鞅差分序列方法 ： 第一步：Hájek投影 。计算 Uₙ 的 Hájek 投影 \(\hat{U}_ n\)。经过计算（这需要一些期望运算），可以得到： \[ \hat{U} n = \theta + \frac{2}{n} \sum {i=1}^n h_ 1(X_ i)，其中 h_ 1(x) = E[ h(x, X_ 2) ] - \theta。 \] 注意，h₁(Xᵢ) 是零均值的，且因为 Xᵢ 独立，它们是独立同分布的。因此，\(\hat{U} n - \theta = \frac{2}{n} \sum {i=1}^n h_ 1(X_ i)\) 是一个独立和（即鞅差分的和）。 第二步：建立近似 。可以证明，Uₙ 与其 Hájek 投影非常接近： \[ \sqrt{n} (U_ n - \theta) = \sqrt{n} (\hat{U}_ n - \theta) + o_ P(1)。 \] 这里 \(o_ P(1)\) 表示一个依概率趋于零的项。这意味着，在渐近意义上，研究 √n (Uₙ - θ) 等价于研究 √n (\(\hat{U}_ n - \theta\))。 第三步：应用中心极限定理 。由于 √n (\(\hat{U} n - \theta\)) = \(\frac{2}{\sqrt{n}} \sum {i=1}^n h_ 1(X_ i)\) 是一个独立同分布随机变量的和，其均值为0，方差为 ζ₁ = Var(h₁(X₁))。由经典的中心极限定理（CLT）可得： \[ \sqrt{n} (\hat{U}_ n - \theta) \xrightarrow{d} N(0, 4\zeta_ 1)。 \] 第四步：得出结论 。结合第二步的近似，我们得到： \[ \sqrt{n} (U_ n - \theta) \xrightarrow{d} N(0, 4\zeta_ 1)。 \] 我们成功地推导出了U统计量的渐近正态性。整个证明的关键，在于通过 Hájek 投影（一种特定的鞅差分序列构造）将复杂的 Uₙ 线性化为一个独立和，从而能够应用简单的 CLT。 第五步：方法的范围与意义 鞅差分序列方法（特别是通过 Hájek 投影实现）不仅限于U统计量。它广泛应用于： M估计量、Z估计量 ：许多极大似然估计量、稳健估计量都可以用此方法分析其渐近性质。 秩统计量、置换统计量 ：这些非参数统计量常常可以表示为鞅差分的和。 随机过程理论 ：在鞅中心极限定理的证明中，本身就是对鞅差分序列本身的分析。 时间序列分析 ：对于某些平稳过程，其样本矩可以表示为鞅差分序列的和加上一个可忽略的余项。 总结 ： 随机变量的变换的鞅差分序列方法 是一种将复杂统计量分解为一系列“条件零均值”的随机变量（鞅差分）之和的技术。其最经典的实施工具是 Hájek投影 ，它通过将统计量投影到可加函数空间上，得到一个线性近似，这个近似本身就是一个鞅差分的和。这种方法极大地简化了统计量的渐近分析（如推导其正态极限分布和计算渐近方差），是连接具体统计变换与经典概率极限定理（如中心极限定理、大数定律）的一座核心桥梁。理解此方法，你需要牢固掌握鞅、鞅差分序列的概念，并熟悉通过条件期望进行分解和近似的技巧。