随机变量的变换的Delta方法
字数 2539 2025-11-05 23:46:43

随机变量的变换的Delta方法

  1. 基本概念与动机

    • Delta方法是一种概率论中的近似方法，用于估计一个随机变量经过光滑函数变换后的渐近分布。
    • 核心动机：假设我们已知一个统计量（例如样本均值）的渐近分布（例如，由中心极限定理给出）。现在，我们希望了解这个统计量的某个函数（例如，样本均值的对数或平方）的渐近分布。Delta方法提供了一种直接推导此变换后统计量分布的工具，而无需从头开始进行复杂的推导。
    • 核心思想：利用一阶泰勒展开在目标点（通常是总体参数）附近对变换函数进行线性近似。由于线性函数保持正态性，变换后的统计量的渐近分布也可以推导出来。

  2. 一阶单变量Delta方法

    • 设定：设 {θₙ} 是一列随机变量，例如一个基于样本量为 n 的估计量（如样本均值）。
    • 已知条件：假设 √n (θₙ - θ) 依分布收敛于一个均值为0、方差为 σ² 的正态分布，记作 √n (θₙ - θ) →ᵈ N(0, σ²)。这里的 θ 是待估参数的真实值。
    • 目标：我们希望找到一个函数 g(·) 的变换 g(θₙ) 的渐近分布。函数 g 需要在 θ 处可微，且导数 g'(θ) ≠ 0。
    • 推导过程：
      1. 将 g(θₙ) 在 θ 处进行一阶泰勒展开：
        g(θₙ) ≈ g(θ) + g'(θ) (θₙ - θ)
        这个近似在 θₙ 接近 θ 时是有效的。
      2. 将上述近似式重新排列，并两边乘以 √n：
        √n [g(θₙ) - g(θ)] ≈ g'(θ) * √n (θₙ - θ)
      3. 根据已知条件，√n (θₙ - θ) 依分布收敛于 N(0, σ²)。对于一个收敛的随机变量序列乘以一个常数，其极限分布是该常数乘以原极限分布（依据Slutsky定理的推论）。
      4. 因此，√n [g(θₙ) - g(θ)] 依分布收敛于 g'(θ) * N(0, σ²)，即 N(0, [g'(θ)]² σ²)。
    • 结论（定理）：在上述设定下，有：
      √n [g(θₙ) - g(θ)] →ᵈ N(0, [g'(θ)]² σ²)
      或者说，g(θₙ) 近似服从均值为 g(θ)、方差为 [g'(θ)]² σ² / n 的正态分布。

  3. 一阶多变量Delta方法

    • 设定：Delta方法可以推广到多维情形。设 {θₙ} 是一个 k 维随机向量序列。
    • 已知条件：假设 √n (θₙ - θ) →ᵈ N(0, Σ)，其中 θ 是 k 维参数向量，Σ 是 k×k 协方差矩阵。
    • 目标：设 g: Rᵏ → Rᵐ 是一个向量值函数。我们希望找到 g(θₙ) 的渐近分布。函数 g 需要在 θ 处可微，记其雅可比矩阵（m×k 矩阵）为 Dg(θ)，且该矩阵在 θ 处满秩。
    • 结论（定理）：在上述设定下，有：
      √n [g(θₙ) - g(θ)] →ᵈ N(0, Dg(θ) Σ [Dg(θ)]ᵀ)
      其中 [Dg(θ)]ᵀ 是雅可比矩阵的转置。最终的协方差矩阵是一个 m×m 的矩阵。

  4. 二阶Delta方法

    • 动机：当一阶导数 g'(θ) = 0 时，一阶Delta方法会得出渐近方差为0的结论，这通常是不正确的或不够精确的。此时需要使用更高阶的展开。
    • 设定：与单变量情形相同，但假设 g'(θ) = 0，而二阶导数 g''(θ) ≠ 0。
    • 推导过程：
      1. 使用二阶泰勒展开：
        g(θₙ) ≈ g(θ) + g'(θ)(θₙ - θ) + (1/2)g''(θ)(θₙ - θ)²
        由于 g'(θ) = 0，上式简化为：
        g(θₙ) ≈ g(θ) + (1/2)g''(θ)(θₙ - θ)²
      2. 重新排列并考虑缩放因子。此时，两边乘以 n（而不是 √n）：
        n [g(θₙ) - g(θ)] ≈ (1/2)g''(θ) * [√n (θₙ - θ)]²
      3. 已知 √n (θₙ - θ) →ᵈ N(0, σ²)。根据连续映射定理，如果一个随机变量序列收敛，那么它的连续函数的序列也收敛。这里，函数是平方。一个标准正态随机变量的平方服从自由度为1的卡方分布。
    • 结论：在 g'(θ) = 0 的条件下，有：
      n [g(θₙ) - g(θ)] →ᵈ (1/2)g''(θ) σ² χ²₁
      其中 χ²₁ 表示自由度为1的卡方分布。

  5. 应用实例

    • 实例1（单变量）：设 X₁, X₂, ..., Xₙ 是独立同分布随机变量，均值为 μ，方差为 σ²。样本均值 X̄ₙ 满足 √n (X̄ₙ - μ) →ᵈ N(0, σ²)。现在考虑函数 g(t) = t²。我们希望求 (X̄ₙ)² 的渐近分布。
      • g'(t) = 2t，所以 g'(μ) = 2μ。
      • 应用一阶Delta方法：√n [(X̄ₙ)² - μ²] →ᵈ N(0, (2μ)² σ²) = N(0, 4μ²σ²)。
      • 注意：当 μ = 0 时，一阶Delta方法失效，需使用二阶Delta方法。
    • 实例2（多变量）：设 (X̄ₙ, Ȳₙ) 是样本均值向量，渐近分布为二元正态分布。考虑比值 Rₙ = Ȳₙ / X̄ₙ 作为总体比值 R = μ_y / μ_x 的估计。我们可以将 g(x, y) = y/x 应用于向量 (X̄ₙ, Ȳₙ)，并使用多变量Delta方法求其渐近方差。

  6. 注意事项与局限性

    • 光滑性要求：函数 g 必须在参数点 θ 的邻域内足够光滑（可微）。
    • 渐近性质：Delta方法给出的是渐近分布（即当样本量 n 趋于无穷大时的极限分布）。对于有限的样本量，这个近似可能不准确。
    • 一阶近似的误差：一阶Delta方法的误差取决于泰勒展开中忽略的高阶项。当 θₙ 的方差较大或 g 在 θ 附近高度非线性时，近似效果可能较差。
    • 与自助法(Bootstrap)的比较：对于复杂函数或中小样本，计算量更大的自助法通常能提供更精确的分布估计，但Delta方法在理论推导和计算效率上具有优势。
随机变量的变换的Delta方法 基本概念与动机 Delta方法是一种概率论中的近似方法，用于估计一个随机变量经过光滑函数变换后的渐近分布。 核心动机 ：假设我们已知一个统计量（例如样本均值）的渐近分布（例如，由中心极限定理给出）。现在，我们希望了解这个统计量的某个函数（例如，样本均值的对数或平方）的渐近分布。Delta方法提供了一种直接推导此变换后统计量分布的工具，而无需从头开始进行复杂的推导。 核心思想 ：利用一阶泰勒展开在目标点（通常是总体参数）附近对变换函数进行线性近似。由于线性函数保持正态性，变换后的统计量的渐近分布也可以推导出来。 一阶单变量Delta方法 设定 ：设 {θₙ} 是一列随机变量，例如一个基于样本量为 n 的估计量（如样本均值）。 已知条件 ：假设 √n (θₙ - θ) 依分布收敛于一个均值为0、方差为 σ² 的正态分布，记作 √n (θₙ - θ) →ᵈ N(0, σ²) 。这里的 θ 是待估参数的真实值。 目标 ：我们希望找到一个函数 g(·) 的变换 g(θₙ) 的渐近分布。函数 g 需要在 θ 处可微，且导数 g'(θ) ≠ 0 。 推导过程 ： 将 g(θₙ) 在 θ 处进行一阶泰勒展开： g(θₙ) ≈ g(θ) + g'(θ) (θₙ - θ) 这个近似在 θₙ 接近 θ 时是有效的。 将上述近似式重新排列，并两边乘以 √n ： √n [g(θₙ) - g(θ)] ≈ g'(θ) * √n (θₙ - θ) 根据已知条件， √n (θₙ - θ) 依分布收敛于 N(0, σ²) 。对于一个收敛的随机变量序列乘以一个常数，其极限分布是该常数乘以原极限分布（依据Slutsky定理的推论）。 因此， √n [g(θₙ) - g(θ)] 依分布收敛于 g'(θ) * N(0, σ²) ，即 N(0, [g'(θ)]² σ²) 。 结论（定理） ：在上述设定下，有： √n [g(θₙ) - g(θ)] →ᵈ N(0, [g'(θ)]² σ²) 或者说， g(θₙ) 近似服从均值为 g(θ) 、方差为 [g'(θ)]² σ² / n 的正态分布。 一阶多变量Delta方法 设定 ：Delta方法可以推广到多维情形。设 {θₙ} 是一个 k 维随机向量序列。 已知条件 ：假设 √n (θₙ - θ) →ᵈ N(0, Σ) ，其中 θ 是 k 维参数向量， Σ 是 k×k 协方差矩阵。 目标 ：设 g: Rᵏ → Rᵐ 是一个向量值函数。我们希望找到 g(θₙ) 的渐近分布。函数 g 需要在 θ 处可微，记其雅可比矩阵（ m×k 矩阵）为 Dg(θ) ，且该矩阵在 θ 处满秩。 结论（定理） ：在上述设定下，有： √n [g(θₙ) - g(θ)] →ᵈ N(0, Dg(θ) Σ [Dg(θ)]ᵀ) 其中 [Dg(θ)]ᵀ 是雅可比矩阵的转置。最终的协方差矩阵是一个 m×m 的矩阵。 二阶Delta方法 动机 ：当一阶导数 g'(θ) = 0 时，一阶Delta方法会得出渐近方差为0的结论，这通常是不正确的或不够精确的。此时需要使用更高阶的展开。 设定 ：与单变量情形相同，但假设 g'(θ) = 0 ，而二阶导数 g''(θ) ≠ 0 。 推导过程 ： 使用二阶泰勒展开： g(θₙ) ≈ g(θ) + g'(θ)(θₙ - θ) + (1/2)g''(θ)(θₙ - θ)² 由于 g'(θ) = 0 ，上式简化为： g(θₙ) ≈ g(θ) + (1/2)g''(θ)(θₙ - θ)² 重新排列并考虑缩放因子。此时，两边乘以 n （而不是 √n ）： n [g(θₙ) - g(θ)] ≈ (1/2)g''(θ) * [√n (θₙ - θ)]² 已知 √n (θₙ - θ) →ᵈ N(0, σ²) 。根据连续映射定理，如果一个随机变量序列收敛，那么它的连续函数的序列也收敛。这里，函数是平方。一个标准正态随机变量的平方服从自由度为1的卡方分布。 结论 ：在 g'(θ) = 0 的条件下，有： n [g(θₙ) - g(θ)] →ᵈ (1/2)g''(θ) σ² χ²₁ 其中 χ²₁ 表示自由度为1的卡方分布。 应用实例 实例1（单变量） ：设 X₁, X₂, ..., Xₙ 是独立同分布随机变量，均值为 μ ，方差为 σ² 。样本均值 X̄ₙ 满足 √n (X̄ₙ - μ) →ᵈ N(0, σ²) 。现在考虑函数 g(t) = t² 。我们希望求 (X̄ₙ)² 的渐近分布。 g'(t) = 2t ，所以 g'(μ) = 2μ 。 应用一阶Delta方法： √n [(X̄ₙ)² - μ²] →ᵈ N(0, (2μ)² σ²) = N(0, 4μ²σ²) 。 注意 ：当 μ = 0 时，一阶Delta方法失效，需使用二阶Delta方法。 实例2（多变量） ：设 (X̄ₙ, Ȳₙ) 是样本均值向量，渐近分布为二元正态分布。考虑比值 Rₙ = Ȳₙ / X̄ₙ 作为总体比值 R = μ_y / μ_x 的估计。我们可以将 g(x, y) = y/x 应用于向量 (X̄ₙ, Ȳₙ) ，并使用多变量Delta方法求其渐近方差。 注意事项与局限性 光滑性要求 ：函数 g 必须在参数点 θ 的邻域内足够光滑（可微）。 渐近性质 ：Delta方法给出的是渐近分布（即当样本量 n 趋于无穷大时的极限分布）。对于有限的样本量，这个近似可能不准确。 一阶近似的误差 ：一阶Delta方法的误差取决于泰勒展开中忽略的高阶项。当 θₙ 的方差较大或 g 在 θ 附近高度非线性时，近似效果可能较差。 与自助法(Bootstrap)的比较 ：对于复杂函数或中小样本，计算量更大的自助法通常能提供更精确的分布估计，但Delta方法在理论推导和计算效率上具有优势。