好的，我们来学习一个新词条。
随机变量的变换的随机化鞍点近似
这个概念是精确鞍点近似的随机化扩展版本，用于在统计推断中高效、高精度地逼近复杂分布的尾概率或矩。
我将循序渐进地为你讲解。
第一步：理解“鞍点近似”的核心思想
首先，我们回顾经典的（非随机的）鞍点近似。它主要用于近似一个随机变量和 \(S_n\)（比如 \(n\) 个独立同分布随机变量之和）的密度函数或尾概率。
- 出发点：特征函数与傅里叶逆变换
设 \(X_1, ..., X_n\) 独立同分布，其矩生成函数为 \(M(t) = E[e^{tX}]\)，在包含0的某个开区间内存在。和 \(S_n = \sum_{i=1}^n X_i\) 的矩生成函数为 \([M(t)]^n\)。
为了求 \(S_n\) 的密度函数 \(f_{S_n}(s)\)，我们可以通过对特征函数（矩生成函数的虚数形式）进行傅里叶逆变换得到：
\[ f_{S_n}(s) = \frac{1}{2\pi i} \int_{i\infty}^{i\infty} e^{-ts} [M(t)]^n dt \]
其中积分路径是复平面上平行于虚轴的直线。
- 核心技巧：拉普拉斯方法（在复平面）
鞍点近似的精髓是改变积分路径。我们寻找一个实数点 \(\hat{t}\)，使得被积函数 \(e^{-ts}[M(t)]^n = e^{n[K(t) - t\bar{s}]}\) 在复平面上变化最缓慢，这里 \(K(t) = \log M(t)\) 是累积量生成函数，\(\bar{s} = s/n\)。这个点 \(\hat{t}\) 由鞍点方程决定：
\[ K'(\hat{t}) = \bar{s} \]
这个点 \(\hat{t}\) 叫做鞍点，因为在这一点，复变函数 \(n[K(t) - t\bar{s}]\) 的导数为零，其模在沿某个方向（最速下降路径）上达到局部最小，使得积分的主要贡献来自该点附近。
- 近似结果
沿着最速下降路径应用拉普拉斯方法（即在被积函数的指数部分进行二阶泰勒展开并计算高斯积分），可以得到 \(S_n\) 密度函数的一个非常精确的近似：
\[ f_{S_n}(s) \approx \frac{1}{\sqrt{2\pi n K''(\hat{t})}} e^{n[K(\hat{t}) - \hat{t}\bar{s}]} \]
这个近似在 \(n\) 固定时通常比中心极限定理给出的正态近似精确得多，尤其在分布的尾部。
第二步：从密度近似到概率近似（Lugannani-Rice公式）
通常我们更关心尾概率 \(P(S_n > s_0)\) 或 \(P(S_n \leq s_0)\)。直接对密度积分很困难，但可以通过另一个复积分公式来应用鞍点近似。
- 概率的积分表示
可以证明：
\[ P(S_n > s_0) = \frac{1}{2\pi i} \int_{c-i\infty}^{c+i\infty} e^{n[K(t) - t\bar{s}_0]} \frac{dt}{t} \quad (c > 0, \bar{s}_0 = s_0/n) \]
- Lugannani-Rice公式
对上述积分应用鞍点近似（需要小心处理在 \(t=0\) 处的奇点），可以得到著名的 Lugannani-Rice 公式：
\[ P(S_n > s_0) \approx 1 - \Phi(r) + \phi(r) \left( \frac{1}{w} - \frac{1}{u} \right) \]
其中：
- \(\hat{t}\) 是鞍点，满足 \(K'(\hat{t}) = \bar{s}_0\)。
- \(w = \hat{t}\sqrt{nK''(\hat{t})}\) （一个符号校正项）。
- \(r = \text{sgn}(\hat{t})\sqrt{2n[\hat{t}\bar{s}_0 - K(\hat{t})]}\)。
- \(u = \hat{t}\sqrt{K''(\hat{t})}\)。
- \(\Phi\) 和 \(\phi\) 分别是标准正态分布函数和密度函数。
这个公式提供了尾概率极其精确的近似，尤其在尾部区域，其相对误差可以小至 \(O(n^{-3/2})\)。
第三步：引入“随机化”的关键动机
虽然 Lugannani-Rice 公式非常精确，但它有一个实践上的局限性：它依赖于显式地知道累积量生成函数 \(K(t)\)，并且需要能数值求解鞍点方程 \(K'(\hat{t}) = \bar{s}_0\)。
在很多现代统计问题中，我们面对的是：
- 复杂模型：\(K(t)\) 没有闭式表达式（例如，广义线性混合模型、复杂随机效应模型）。
- 估计问题：我们只有数据，基于数据估计出的模型参数（\(\hat{\theta}\)）是随机的，因此 \(K(t)\) 本身也依赖于这些随机估计量。
- 高维或隐变量模型：直接计算 \(K(t)\) 或其导数计算量巨大。
如何解决？ 思路是：既然不能精确计算 \(K(t)\) 和 \(K'(\hat{t})\)，我们就利用随机模拟来近似它们，从而得到一个近似解 \(\hat{t}^*\)，并用它来构造概率近似。这就引出了随机化鞍点近似。
第四步：随机化鞍点近似的具体步骤
假设我们关心统计量 \(T_n\)（如估计量、检验统计量）的尾概率。其精确分布难以获得，但我们可以通过某种方式（如Bootstrap重抽样、蒙特卡洛模拟）生成 \(T_n\) 的许多副本。
-
生成随机样本：
通过模型假设或Bootstrap方法，生成 \(B\) 个独立的、与原数据同分布的随机样本，并计算每个样本对应的 \(T_n\) 值，记作 \(T_n^{(1)}, ..., T_n^{(B)}\)。这相当于我们能够“观察到”来自 \(T_n\) 分布的样本。 -
经验累积量生成函数：
基于这些随机样本，我们可以构造一个经验矩生成函数的估计：
\[ \hat{M}_B(t) = \frac{1}{B} \sum_{b=1}^{B} e^{t T_n^{(b)}} \]
相应的经验累积量生成函数为 \(\hat{K}_B(t) = \log \hat{M}_B(t)\)。
- 求解随机化鞍点：
对于给定的阈值 \(t_0\)，我们不求解理论方程 \(K'(t) = t_0\)，而是求解随机化鞍点方程：
\[ \hat{K}_B'(\hat{t}^*) = t_0 \]
其中 \(\hat{K}_B'(t) = \frac{\sum_{b=1}^{B} T_n^{(b)} e^{t T_n^{(b)}}}{\sum_{b=1}^{B} e^{t T_n^{(b)}}}\) 是经验累积量生成函数的导数。这个方程通常可以通过数值方法（如牛顿法）高效求解。解 \(\hat{t}^*\) 是一个随机变量，依赖于我们模拟的样本。
- 代入随机化近似公式：
将计算得到的随机化鞍点 \(\hat{t}^*\) 和经验二阶导数 \(\hat{K}_B''(\hat{t}^*)\) 代入到经典的 Lugannani-Rice 公式（或密度近似公式）中，替换掉理论值 \(\hat{t}\) 和 \(K''(\hat{t})\)。
例如，随机化尾概率近似为：
\[ P(T_n > t_0) \approx 1 - \Phi(\hat{r}^*) + \phi(\hat{r}^*) \left( \frac{1}{\hat{w}^*} - \frac{1}{\hat{u}^*} \right) \]
其中 \(\hat{r}^*\) 和 \(\hat{w}^*\) 等均由 \(\hat{t}^*\) 和 \(\hat{K}_B''(\hat{t}^*)\) 计算得出。
第五步：方法优势与理论保证
- 优势：
- 普适性：几乎不依赖于模型的具体形式，只要能从模型或数据中生成随机样本即可。
- 高精度：继承了经典鞍点近似的高精度特性。相比于直接使用Bootstrap经验分布函数（阶梯函数），随机化鞍点近似能给出光滑、精确的尾部估计，特别是对于小概率 \(p\)-值的计算。
- 计算效率：虽然需要模拟，但所需模拟次数 \(B\) 通常远小于直接Bootstrap估计极端分位数所需的次数。
- 理论保证：
在正则条件下，可以证明随机化鞍点近似具有“双重渐近”有效性：
- 当 \(n \to \infty\)（原样本量增大）时，统计量 \(T_n\) 本身可能趋于某个极限分布。
- 当 \(B \to \infty\)（模拟次数增加）时，随机化估计 \(\hat{K}_B(t)\) 依概率收敛到其理论值 \(K(t)\)（条件于原样本）。
因此，只要 \(n\) 和 \(B\) 都足够大，随机化鞍点近似能以很高的精度逼近真实概率。其误差通常由三部分组成：经典鞍点近似的 \(O(n^{-1})\) 误差、模拟带来的随机误差 \(O_p(B^{-1/2})\)，以及因使用估计模型参数带来的误差。
总结
随机变量的变换的随机化鞍点近似，巧妙地将高精度解析近似（鞍点方法） 与灵活的计算工具（蒙特卡洛模拟/Bootstrap） 结合在一起。它绕开了对复杂模型累积量生成函数的显式需求，通过从模型中“随机采样”来数值构造一个“经验”的累积量生成函数，并在此基础上应用鞍点近似的框架。这使其成为现代统计学中处理复杂模型、小样本、尾部推断等难题的一个非常强大而实用的工具。