随机变量的变换的鞍点近似方法
字数 2688 2025-11-07 12:33:26

随机变量的变换的鞍点近似方法

我们来学习随机变量的变换的鞍点近似方法。这是一种在概率论和统计学中用于近似计算概率分布尾部概率或变换后分布的函数形式的强大技巧，尤其在处理独立随机变量和或似然函数时非常有用。

  1. 核心思想与动机
    鞍点近似的核心目标是提供一个比中心极限定理更精确的近似，尤其是在分布的尾部区域。中心极限定理给出的正态近似在分布的中间部分（均值附近）通常很好，但在尾部（远离均值的极端值区域）可能误差很大。鞍点近似通过利用随机变量的矩生成函数，能够提供一种在整个定义域内，特别是尾部，都保持较高精度的近似。

  2. 预备知识：累积量生成函数
    设 \(X\) 是一个随机变量，其矩生成函数为 \(M_X(t) = E[e^{tX}]\)。我们定义其累积量生成函数 为 \(K_X(t) = \ln M_X(t) = \ln E[e^{tX}]\)。

  • 性质1：\(K_X'(0) = E[X]\)。（一阶导数等于期望）
  • 性质2：\(K_X''(0) = \text{Var}(X)\)。（二阶导数等于方差）
    累积量生成函数包含了随机变量的所有矩信息（因此也包含了分布的特征）。
  1. 鞍点方程
    假设我们想近似随机变量 \(S_n = X_1 + X_2 + \dots + X_n\) 的概率密度函数在点 \(s\) 处的值，其中 \(X_i\) 是独立同分布的随机变量。
    鞍点近似的第一步是求解鞍点方程。鞍点 \(\hat{t}\) 是一个关于 \(s\) 的值，由以下方程定义：

\[ K'(\hat{t}) = s \]

其中 \(K(t) = n K_X(t)\) 是 \(S_n\) 的累积量生成函数（因为独立随机变量之和的矩生成函数是各自矩生成函数的乘积，所以累积量生成函数是求和）。
这个方程的意义在于：我们寻找一个参数 \(t\)（即 \(\hat{t}\)），使得在该参数下，变换后分布（与重要性采样有关）的均值恰好等于我们关心的点 \(s\)。

  1. 鞍点近似公式
    在求解出鞍点 \(\hat{t}\) 后，\(S_n\) 的概率密度函数 \(f_{S_n}(s)\) 的鞍点近似由以下公式给出：

\[ f_{S_n}(s) \approx \frac{1}{\sqrt{2\pi K''(\hat{t})}} \exp\left( K(\hat{t}) - \hat{t}s \right) \]

其中：
  • \(K(t) = n K_X(t)\) 是 \(S_n\) 的累积量生成函数。
  • \(\hat{t}\) 是由鞍点方程 \(K'(\hat{t}) = s\) 解出的值。
  • \(K''(\hat{t})\) 是 \(K(t)\) 在 \(t = \hat{t}\) 处的二阶导数。

  1. 公式的直观理解与推导（简述）
    这个公式可以通过指数倾斜 和拉普拉斯方法 来推导。
    a. 指数倾斜：我们构造一个新的分布（倾斜分布），其密度与原分布成比例关系 \(e^{tx} f(x)\)。这个新分布的均值是 \(K'(t)\)。
    b. 选择鞍点：我们特意选择参数 \(t = \hat{t}\)，使得这个新分布的均值恰好等于 \(s\)。这样，在倾斜后的分布中，事件 \(S_n = s\) 就不再是一个尾部事件，而是一个中心事件。
    c. 拉普拉斯方法：然后我们对倾斜后分布的密度进行近似积分（具体是计算一个傅里叶逆积分），利用被积函数在鞍点 \(\hat{t}\) 处取得极大值这一事实，在 \(\hat{t}\) 附近进行泰勒展开并忽略高阶项，最终得到上述近似公式。公式中的 \(\exp(K(\hat{t}) - \hat{t}s)\) 部分来自于密度转换的雅可比因子，而 \(1/\sqrt{2\pi K''(\hat{t})}\) 部分来自于在极大值点附近对积分的高斯近似。

  2. 鞍点近似的优势

    • 相对误差小：与中心极限定理的绝对误差不同，鞍点近似通常能保证较小的相对误差。这意味着即使在概率值本身非常小的尾部区域，近似值与真实值的比率也接近1，这使得它对罕见事件的概率估计特别有用。
  • 无需标准化：鞍点近似直接对原始变量 \(S_n\) 进行，而不需要先将其标准化为均值为0、方差为1的变量。
  • 可应用于分布函数：通过积分，鞍点近似也可以用于近似累积分布函数 \(P(S_n \leq s)\)，其公式略有不同（涉及 \(\hat{t}\) 和标准正态分布函数），但思想同源。
  1. 一个简单示例：泊松分布
    设 \(X_i\) 是独立同分布的参数为 \(\lambda\) 的泊松随机变量。则 \(S_n\) 服从参数为 \(n\lambda\) 的泊松分布。
  • \(K_X(t) = \lambda(e^t - 1)\)。
  • \(K(t) = n\lambda(e^t - 1)\)。
  • 鞍点方程：\(K'(t) = n\lambda e^t = s\) => \(\hat{t} = \ln(s/(n\lambda))\)。
  • \(K''(\hat{t}) = n\lambda e^{\hat{t}} = s\)。
    • 代入鞍点近似公式：

\[ f_{S_n}(s) \approx \frac{1}{\sqrt{2\pi s}} \exp\left( n\lambda(e^{\hat{t}} - 1) - \hat{t}s \right) = \frac{1}{\sqrt{2\pi s}} \exp\left( s - n\lambda - s \ln\left(\frac{s}{n\lambda}\right) \right) \]

利用斯特林公式 \(s! \approx \sqrt{2\pi s} (s/e)^s\) 进行简单变换，可以发现此近似恰好与泊松分布概率质量函数 \(e^{-n\lambda}(n\lambda)^s/s!\) 的斯特林近似一致，展示了其精确性。

总结来说，鞍点近似方法是一种基于累积量生成函数和拉普拉斯方法的精密近似技术，它通过求解一个特定的方程（鞍点方程）来定位最优的近似点，从而在整個分布范围内，尤其是尾部，提供高精度的近似。

随机变量的变换的鞍点近似方法 我们来学习随机变量的变换的鞍点近似方法。这是一种在概率论和统计学中用于近似计算概率分布尾部概率或变换后分布的函数形式的强大技巧，尤其在处理独立随机变量和或似然函数时非常有用。 核心思想与动机 鞍点近似的核心目标是提供一个比中心极限定理更精确的近似，尤其是在分布的尾部区域。中心极限定理给出的正态近似在分布的中间部分（均值附近）通常很好，但在尾部（远离均值的极端值区域）可能误差很大。鞍点近似通过利用随机变量的矩生成函数，能够提供一种在整个定义域内，特别是尾部，都保持较高精度的近似。 预备知识：累积量生成函数 设 \( X \) 是一个随机变量，其矩生成函数为 \( M_ X(t) = E[ e^{tX}] \)。我们定义其 累积量生成函数 为 \( K_ X(t) = \ln M_ X(t) = \ln E[ e^{tX} ] \)。 性质1 ：\( K_ X'(0) = E[ X ] \)。（一阶导数等于期望） 性质2 ：\( K_ X''(0) = \text{Var}(X) \)。（二阶导数等于方差） 累积量生成函数包含了随机变量的所有矩信息（因此也包含了分布的特征）。 鞍点方程 假设我们想近似随机变量 \( S_ n = X_ 1 + X_ 2 + \dots + X_ n \) 的概率密度函数在点 \( s \) 处的值，其中 \( X_ i \) 是独立同分布的随机变量。 鞍点近似的第一步是求解 鞍点方程 。鞍点 \( \hat{t} \) 是一个关于 \( s \) 的值，由以下方程定义： \[ K'(\hat{t}) = s \] 其中 \( K(t) = n K_ X(t) \) 是 \( S_ n \) 的累积量生成函数（因为独立随机变量之和的矩生成函数是各自矩生成函数的乘积，所以累积量生成函数是求和）。 这个方程的意义在于：我们寻找一个参数 \( t \)（即 \( \hat{t} \)），使得在该参数下，变换后分布（与重要性采样有关）的均值恰好等于我们关心的点 \( s \)。 鞍点近似公式 在求解出鞍点 \( \hat{t} \) 后，\( S_ n \) 的概率密度函数 \( f_ {S_ n}(s) \) 的鞍点近似由以下公式给出： \[ f_ {S_ n}(s) \approx \frac{1}{\sqrt{2\pi K''(\hat{t})}} \exp\left( K(\hat{t}) - \hat{t}s \right) \] 其中： \( K(t) = n K_ X(t) \) 是 \( S_ n \) 的累积量生成函数。 \( \hat{t} \) 是由鞍点方程 \( K'(\hat{t}) = s \) 解出的值。 \( K''(\hat{t}) \) 是 \( K(t) \) 在 \( t = \hat{t} \) 处的二阶导数。 公式的直观理解与推导（简述） 这个公式可以通过 指数倾斜 和 拉普拉斯方法 来推导。 a. 指数倾斜 ：我们构造一个新的分布（倾斜分布），其密度与原分布成比例关系 \( e^{tx} f(x) \)。这个新分布的均值是 \( K'(t) \)。 b. 选择鞍点 ：我们特意选择参数 \( t = \hat{t} \)，使得这个新分布的均值恰好等于 \( s \)。这样，在倾斜后的分布中，事件 \( S_ n = s \) 就不再是一个尾部事件，而是一个中心事件。 c. 拉普拉斯方法 ：然后我们对倾斜后分布的密度进行近似积分（具体是计算一个傅里叶逆积分），利用被积函数在鞍点 \( \hat{t} \) 处取得极大值这一事实，在 \( \hat{t} \) 附近进行泰勒展开并忽略高阶项，最终得到上述近似公式。公式中的 \( \exp(K(\hat{t}) - \hat{t}s) \) 部分来自于密度转换的雅可比因子，而 \( 1/\sqrt{2\pi K''(\hat{t})} \) 部分来自于在极大值点附近对积分的高斯近似。 鞍点近似的优势 相对误差小 ：与中心极限定理的绝对误差不同，鞍点近似通常能保证较小的 相对误差 。这意味着即使在概率值本身非常小的尾部区域，近似值与真实值的比率也接近1，这使得它对罕见事件的概率估计特别有用。 无需标准化 ：鞍点近似直接对原始变量 \( S_ n \) 进行，而不需要先将其标准化为均值为0、方差为1的变量。 可应用于分布函数 ：通过积分，鞍点近似也可以用于近似累积分布函数 \( P(S_ n \leq s) \)，其公式略有不同（涉及 \( \hat{t} \) 和标准正态分布函数），但思想同源。 一个简单示例：泊松分布 设 \( X_ i \) 是独立同分布的参数为 \( \lambda \) 的泊松随机变量。则 \( S_ n \) 服从参数为 \( n\lambda \) 的泊松分布。 \( K_ X(t) = \lambda(e^t - 1) \)。 \( K(t) = n\lambda(e^t - 1) \)。 鞍点方程：\( K'(t) = n\lambda e^t = s \) => \( \hat{t} = \ln(s/(n\lambda)) \)。 \( K''(\hat{t}) = n\lambda e^{\hat{t}} = s \)。 代入鞍点近似公式： \[ f_ {S_ n}(s) \approx \frac{1}{\sqrt{2\pi s}} \exp\left( n\lambda(e^{\hat{t}} - 1) - \hat{t}s \right) = \frac{1}{\sqrt{2\pi s}} \exp\left( s - n\lambda - s \ln\left(\frac{s}{n\lambda}\right) \right) \] 利用斯特林公式 \( s! \approx \sqrt{2\pi s} (s/e)^s \) 进行简单变换，可以发现此近似恰好与泊松分布概率质量函数 \( e^{-n\lambda}(n\lambda)^s/s ! \) 的斯特林近似一致，展示了其精确性。 总结来说，鞍点近似方法是一种基于累积量生成函数和拉普拉斯方法的精密近似技术，它通过求解一个特定的方程（鞍点方程）来定位最优的近似点，从而在整個分布范围内，尤其是尾部，提供高精度的近似。