随机变量的变换的Delta方法

字数 2123 2025-11-04 12:00:16

随机变量的变换的Delta方法

Delta方法是一种在概率论和统计学中常用的技术，它用于近似计算一个随机变量序列经过光滑函数变换后的渐近分布。其核心思想是，如果一个随机变量序列满足中心极限定理，那么经过一个可微函数变换后，其标准化形式仍然近似服从正态分布。

基本动机与一阶展开
假设我们有一个随机变量序列 {Tₙ}，满足：
√n (Tₙ - θ) →ᵈ N(0, σ²)
这意味着标准化后的 Tₙ 依分布收敛于一个均值为0，方差为 σ² 的正态分布。现在，我们关心的并非 Tₙ 本身，而是它的某个函数 g(Tₙ)。我们想知道 √n (g(Tₙ) - g(θ)) 的渐近分布是什么。
如果函数 g 在 θ 处一阶可导（即 g'(θ) 存在且有限），我们可以对 g(Tₙ) 在 θ 处进行一阶泰勒展开：
g(Tₙ) ≈ g(θ) + g'(θ) (Tₙ - θ)
这个近似在 Tₙ 接近 θ 时是合理的。由于 Tₙ 是 θ 的相合估计量（由中心极限定理可推出），当 n 很大时，Tₙ 会非常接近 θ，因此这个近似是有效的。
Delta方法的核心结论
基于上述泰勒展开，我们可以进行如下推导：
√n (g(Tₙ) - g(θ)) ≈ √n [g(θ) + g'(θ)(Tₙ - θ) - g(θ)] = g'(θ) * √n (Tₙ - θ)
由于 √n (Tₙ - θ) 依分布收敛于 N(0, σ²)，根据斯卢茨基定理和连续映射定理，一个收敛的随机变量序列乘以一个常数 g'(θ)，其极限分布将是：
g'(θ) * N(0, σ²) = N(0, [g'(θ)]² σ²)
因此，我们得到一阶Delta方法的核心结论：
如果 √n (Tₙ - θ) →ᵈ N(0, σ²) 且 g'(θ) 存在且不为零，那么：
√n (g(Tₙ) - g(θ)) →ᵈ N(0, [g'(θ)]² σ²)
当一阶导数为零时的推广：二阶Delta方法
在一阶Delta方法中，我们假设 g'(θ) ≠ 0。如果 g'(θ) = 0，那么一阶项在泰勒展开中消失，此时一阶Delta方法给出的渐近方差为零，这通常是不正确的，无法提供有效信息。在这种情况下，我们需要使用更高阶的展开，即二阶Delta方法。
我们对 g(Tₙ) 在 θ 处进行二阶泰勒展开：
g(Tₙ) ≈ g(θ) + g'(θ)(Tₙ - θ) + (1/2) g''(θ)(Tₙ - θ)²
由于 g'(θ) = 0，上式简化为：
g(Tₙ) ≈ g(θ) + (1/2) g''(θ)(Tₙ - θ)²
现在考虑变换 n (g(Tₙ) - g(θ))，而不再是 √n (g(Tₙ) - g(θ))：
n (g(Tₙ) - g(θ)) ≈ n * (1/2) g''(θ)(Tₙ - θ)² = (1/2) g''(θ) [√n (Tₙ - θ)]²
由于 √n (Tₙ - θ) →ᵈ N(0, σ²)，记 Z ~ N(0, σ²)。根据连续映射定理，[√n (Tₙ - θ)]² 会依分布收敛于 Z²。而 Z² / σ² 服从自由度为1的卡方分布 (χ²₁)。因此，二阶Delta方法的结论是：
如果 √n (Tₙ - θ) →ᵈ N(0, σ²)，且 g'(θ) = 0 而 g''(θ) 存在且不为零，那么：
n (g(Tₙ) - g(θ)) →ᵈ (1/2) g''(θ) σ² χ²₁
多元Delta方法
Delta方法可以推广到多维情形。假设 Tₙ 是一个随机向量序列，满足：
√n (Tₙ - θ) →ᵈ N(0, Σ)
其中 Σ 是协方差矩阵。设 g: ℝᵏ → ℝᵐ 是一个向量值函数，且在 θ 处可微。令 G 表示 g 在 θ 处的雅可比矩阵（即 G 的第 (i, j) 元素是 ∂gᵢ/∂Tⱼ 在 θ 处的值）。
那么，多元Delta方法的结论是：
√n (g(Tₙ) - g(θ)) →ᵈ N(0, G Σ Gᵀ)
这个公式是一元情形在多元下的自然推广，方差 [g'(θ)]² σ² 被替换为协方差矩阵的变换 G Σ Gᵀ。
统计学中的应用实例
Delta方法在统计学中应用极其广泛，主要用于构造估计量的渐近置信区间。
- 实例：方差稳定化变换。假设 X₁, ..., Xₙ 来自伯努利试验，成功概率为 p。样本比例 p̂ = (∑Xᵢ)/n 是 p 的估计量。由中心极限定理，√n (p̂ - p) →ᵈ N(0, p(1-p))。现在考虑反正弦变换 g(x) = arcsin(√x)。可以计算出 g'(x) = 1/(2√[x(1-x)])。应用Delta方法：
  √n (arcsin(√p̂) - arcsin(√p)) →ᵈ N(0, [g'(p)]² p(1-p)) = N(0, 1/4)
  变换后的估计量 arcsin(√p̂) 的渐近方差是常数 1/4，不再依赖于参数 p。这种变换称为方差稳定化变换，在构造比例 p 的置信区间时，能获得更好的小样本性质。

随机变量的变换的Delta方法 Delta方法是一种在概率论和统计学中常用的技术，它用于近似计算一个随机变量序列经过光滑函数变换后的渐近分布。其核心思想是，如果一个随机变量序列满足中心极限定理，那么经过一个可微函数变换后，其标准化形式仍然近似服从正态分布。基本动机与一阶展开假设我们有一个随机变量序列 {Tₙ}，满足： √n (Tₙ - θ) →ᵈ N(0, σ²) 这意味着标准化后的 Tₙ 依分布收敛于一个均值为0，方差为 σ² 的正态分布。现在，我们关心的并非 Tₙ 本身，而是它的某个函数 g(Tₙ)。我们想知道 √n (g(Tₙ) - g(θ)) 的渐近分布是什么。如果函数 g 在 θ 处一阶可导（即 g'(θ) 存在且有限），我们可以对 g(Tₙ) 在 θ 处进行一阶泰勒展开： g(Tₙ) ≈ g(θ) + g'(θ) (Tₙ - θ) 这个近似在 Tₙ 接近 θ 时是合理的。由于 Tₙ 是 θ 的相合估计量（由中心极限定理可推出），当 n 很大时，Tₙ 会非常接近 θ，因此这个近似是有效的。 Delta方法的核心结论基于上述泰勒展开，我们可以进行如下推导： √n (g(Tₙ) - g(θ)) ≈ √n [ g(θ) + g'(θ)(Tₙ - θ) - g(θ)] = g'(θ) * √n (Tₙ - θ) 由于 √n (Tₙ - θ) 依分布收敛于 N(0, σ²)，根据斯卢茨基定理和连续映射定理，一个收敛的随机变量序列乘以一个常数 g'(θ)，其极限分布将是： g'(θ) * N(0, σ²) = N(0, [ g'(θ) ]² σ²) 因此，我们得到一阶Delta方法的核心结论：如果 √n (Tₙ - θ) →ᵈ N(0, σ²) 且 g'(θ) 存在且不为零，那么： √n (g(Tₙ) - g(θ)) →ᵈ N(0, [ g'(θ) ]² σ²) 当一阶导数为零时的推广：二阶Delta方法在一阶Delta方法中，我们假设 g'(θ) ≠ 0。如果 g'(θ) = 0，那么一阶项在泰勒展开中消失，此时一阶Delta方法给出的渐近方差为零，这通常是不正确的，无法提供有效信息。在这种情况下，我们需要使用更高阶的展开，即二阶Delta方法。我们对 g(Tₙ) 在 θ 处进行二阶泰勒展开： g(Tₙ) ≈ g(θ) + g'(θ)(Tₙ - θ) + (1/2) g''(θ)(Tₙ - θ)² 由于 g'(θ) = 0，上式简化为： g(Tₙ) ≈ g(θ) + (1/2) g''(θ)(Tₙ - θ)² 现在考虑变换 n (g(Tₙ) - g(θ))，而不再是 √n (g(Tₙ) - g(θ))： n (g(Tₙ) - g(θ)) ≈ n * (1/2) g''(θ)(Tₙ - θ)² = (1/2) g''(θ) [ √n (Tₙ - θ) ]² 由于 √n (Tₙ - θ) →ᵈ N(0, σ²)，记 Z ~ N(0, σ²)。根据连续映射定理，[ √n (Tₙ - θ) ]² 会依分布收敛于 Z²。而 Z² / σ² 服从自由度为1的卡方分布 (χ²₁)。因此，二阶Delta方法的结论是：如果 √n (Tₙ - θ) →ᵈ N(0, σ²)，且 g'(θ) = 0 而 g''(θ) 存在且不为零，那么： n (g(Tₙ) - g(θ)) →ᵈ (1/2) g''(θ) σ² χ²₁ 多元Delta方法 Delta方法可以推广到多维情形。假设 Tₙ 是一个随机向量序列，满足： √n ( Tₙ - θ ) →ᵈ N( 0 , Σ) 其中 Σ 是协方差矩阵。设 g : ℝᵏ → ℝᵐ 是一个向量值函数，且在 θ 处可微。令 G 表示 g 在 θ 处的雅可比矩阵（即 G 的第 (i, j) 元素是 ∂gᵢ/∂Tⱼ 在 θ 处的值）。那么，多元Delta方法的结论是： √n ( g ( Tₙ ) - g ( θ )) →ᵈ N( 0 , G Σ Gᵀ) 这个公式是一元情形在多元下的自然推广，方差 [ g'(θ) ]² σ² 被替换为协方差矩阵的变换 G Σ Gᵀ。统计学中的应用实例 Delta方法在统计学中应用极其广泛，主要用于构造估计量的渐近置信区间。实例：方差稳定化变换。假设 X₁, ..., Xₙ 来自伯努利试验，成功概率为 p。样本比例 p̂ = (∑Xᵢ)/n 是 p 的估计量。由中心极限定理，√n (p̂ - p) →ᵈ N(0, p(1-p))。现在考虑反正弦变换 g(x) = arcsin(√x)。可以计算出 g'(x) = 1/(2√[ x(1-x) ])。应用Delta方法： √n (arcsin(√p̂) - arcsin(√p)) →ᵈ N(0, [ g'(p) ]² p(1-p)) = N(0, 1/4) 变换后的估计量 arcsin(√p̂) 的渐近方差是常数 1/4，不再依赖于参数 p。这种变换称为方差稳定化变换，在构造比例 p 的置信区间时，能获得更好的小样本性质。