随机变量的变换的Stirling公式
字数 2988 2025-12-22 05:39:52

好的，作为无所不知的大神，我将为你讲解一个尚未涵盖的重要词条。

随机变量的变换的Stirling公式

我将为你细致地、循序渐进地讲解这个结合了概率论、统计学和组合数学的强大工具。

第一步：引入与基本概念——它是什么？为什么要学它？

首先，我们来明确什么是斯特林公式。它本身是一个关于阶乘函数 \(n!\) 的渐近近似公式。在概率论与统计中，我们经常处理涉及组合数、多项式系数（例如二项式系数）的概率计算，而这些计算常常包含阶乘。当 \(n\) 很大时，直接计算 \(n!\) 在计算上是不可行的，甚至无法得到解析的简化形式。斯特林公式为我们提供了一种极其精确的近似方法，让我们能够分析大样本下的概率行为。

最经典的斯特林公式形式为：

\[n! \sim \sqrt{2\pi n} \left( \frac{n}{e} \right)^n, \quad \text{当 } n \to \infty \]

这里的符号“\(\sim\)”表示渐近等价，意味着当 \(n\) 趋于无穷大时，公式左右两边的比值趋近于1。即：

\[\lim_{n\to\infty} \frac{n!}{\sqrt{2\pi n} (n/e)^n} = 1 \]

第二步：核心公式的推导与理解（思想脉络）

我们不进行完整的严格数学推导，而是理解其核心思想，这对于应用至关重要。

  1. 出发点： 利用伽马函数。我们知道 \(\Gamma(n+1) = n!\)。伽马函数的积分定义为 \(\Gamma(z) = \int_0^\infty t^{z-1} e^{-t} dt\)。对于大 \(n\)，这个积分的主要贡献来自于 \(t \approx n\) 附近的一个狭窄区域。
  2. 技巧——拉普拉斯方法： 这是近似含有指数形式大参数积分的一种通用方法。我们将被积函数写成 \(\exp(f(t))\) 的形式，其中 \(f(t) = (n)\ln t - t\)。在 \(f(t)\) 的最大值点 \(t=n\) 处进行泰勒展开，并保留到二阶项（因为最大值点处一阶导数为零）。你会发现，展开后的结果是一个高斯（正态）函数的积分。
  3. 得到结果： 执行这个高斯积分，就得到了主项 \(\sqrt{2\pi n} (n/e)^n\)。常数 \(\sqrt{2\pi}\) 正是来自这个高斯积分的正态化常数。

简单来说： 斯特林公式的本质是，大的阶乘 \(n!\) 的对数增长，主要由一个指数项 \(n^n\) 和一个代数项 \(\sqrt{n}\) 主导，其形状类似于一个中心在 \(n\) 处的“高斯峰”的积分结果。

第三步：更精确的形式与误差控制

基本公式足够好，但有时我们需要更精确的估计或了解误差。完整的斯特林级数可以写成：

\[n! = \sqrt{2\pi n} \left( \frac{n}{e} \right)^n \left( 1 + \frac{1}{12n} + \frac{1}{288n^2} - \frac{139}{51840n^3} + \cdots \right) \]

这告诉我们，基本公式的相对误差大约是 \(1/(12n)\)。例如，对于 \(n=10\)，基本公式的误差约0.8%；对于 \(n=100\)，误差小于0.1%。这在几乎所有概率应用中已经足够精确。

一个非常实用的不等式形式（对任意 \(n \ge 1\) 成立）是：

\[\sqrt{2\pi n} \left( \frac{n}{e} \right)^n e^{\frac{1}{12n+1}} < n! < \sqrt{2\pi n} \left( \frac{n}{e} \right)^n e^{\frac{1}{12n}} \]

这个不等式给出了严格的双向边界，在理论分析中非常有用。

第四步：核心应用——处理二项分布与大数定律

这是斯特林公式在概率论中最经典的应用。考虑一个简单的二项分布随机变量 \(X \sim \text{Binomial}(n, p)\)。其概率质量函数为：

\[P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} = \frac{n!}{k!(n-k)!} p^k (1-p)^{n-k} \]

当 \(n, k, n-k\) 都很大时，我们直接应用斯特林公式到三个阶乘上。

经过一系列代数运算（取对数、使用斯特林近似、泰勒展开），我们可以证明：

  • 在“典型”区域（\(k\) 在 \(np\) 附近），\(P(X=k)\) 的对数可以近似为一个二次函数，这导出了二项分布可以用正态分布近似（即德莫弗-拉普拉斯中心极限定理），其近似密度正比于 \(\exp\left(-\frac{(k-np)^2}{2np(1-p)}\right)\)。斯特林公式是证明这个定理的关键步骤。
  • 在“偏离”区域（例如 \(k/n\) 远离 \(p\)），我们可以推导出大偏差原理的速率函数。例如，利用斯特林公式可以精确地得到 \(\frac{1}{n} \log P(X \ge an)\) 在 \(a > p\) 时的极限，即著名的相对熵或 Kullback-Leibler散度： \(a \log(\frac{a}{p}) + (1-a)\log(\frac{1-a}{1-p})\)。

第五步：进阶应用——熵与统计物理，贝叶斯分析

  1. 信息论与熵： 在统计学中，多项分布的熵的计算涉及 \(\log(n!/(x_1!...x_k!))\)。使用斯特林公式，可以推导出当 \(n\) 很大且 \(x_i\) 与 \(n p_i\) 成比例时，多项式的对数概率（即熵的相反数）近似为 \(n\) 乘以各结果的概率对数的期望，再加上一些常数项。这是联系组合计数与信息度量的桥梁。

  2. 贝叶斯分析中的先验： 在贝叶斯统计学中，对于多项式模型，一个常见的非信息先验是 Dirichlet(1/2, ..., 1/2) 分布，也称为杰弗里斯先验。在计算其后验分布的归一化常数时，会涉及伽马函数，使用斯特林公式可以分析其后验在大样本下的行为。

  3. 统计物理： 这是斯特林公式的起源领域之一。在计算 \(N\) 个不可区分粒子在能级上的分布方式数（微观状态数）时，会用到多重集合的计数公式，其中包含大量阶乘。取对数并使用斯特林公式后，就能得到宏观物理量——熵 \(S = k \log W\) 的具体表达式，从而推导出玻尔兹曼分布等经典结论。

第六步：总结与升华

随机变量的变换的斯特林公式不仅仅是一个“数学技巧”，它是一个思维的转换器：

  • 它将离散的组合世界（阶乘）与连续的解析世界（指数、平方根、积分）联系起来。
  • 它将精确但难以处理的表达式，转化为易于分析和计算的渐近形式。
  • 它是从“精确计数”思维迈向“渐近分析”和“大样本理论”思维的关键一步。

掌握斯特林公式，意味着你掌握了分析涉及大规模计数或大样本概率问题的一把利器。当你看到阶乘时，你的第一反应不应是恐惧，而是思考：“是否可以用斯特林公式来洞察其渐近行为？”这种思维方式在概率论、统计学、理论计算机科学和统计物理中至关重要。

好的，作为无所不知的大神，我将为你讲解一个尚未涵盖的重要词条。 随机变量的变换的Stirling公式 我将为你细致地、循序渐进地讲解这个结合了概率论、统计学和组合数学的强大工具。 第一步：引入与基本概念——它是什么？为什么要学它？ 首先，我们来明确什么是 斯特林公式 。它本身是一个关于阶乘函数 \(n!\) 的渐近近似公式。在概率论与统计中，我们经常处理涉及组合数、多项式系数（例如二项式系数）的概率计算，而这些计算常常包含阶乘。当 \(n\) 很大时，直接计算 \(n !\) 在计算上是不可行的，甚至无法得到解析的简化形式。斯特林公式为我们提供了一种极其精确的近似方法，让我们能够分析大样本下的概率行为。 最经典的斯特林公式形式为： \[ n ! \sim \sqrt{2\pi n} \left( \frac{n}{e} \right)^n, \quad \text{当 } n \to \infty \] 这里的符号“\(\sim\)”表示 渐近等价 ，意味着当 \(n\) 趋于无穷大时，公式左右两边的比值趋近于1。即： \[ \lim_ {n\to\infty} \frac{n !}{\sqrt{2\pi n} (n/e)^n} = 1 \] 第二步：核心公式的推导与理解（思想脉络） 我们不进行完整的严格数学推导，而是理解其核心思想，这对于应用至关重要。 出发点 ： 利用 伽马函数 。我们知道 \(\Gamma(n+1) = n!\)。伽马函数的积分定义为 \(\Gamma(z) = \int_ 0^\infty t^{z-1} e^{-t} dt\)。对于大 \(n\)，这个积分的主要贡献来自于 \(t \approx n\) 附近的一个狭窄区域。 技巧——拉普拉斯方法 ： 这是近似含有指数形式大参数积分的一种通用方法。我们将被积函数写成 \(\exp(f(t))\) 的形式，其中 \(f(t) = (n)\ln t - t\)。在 \(f(t)\) 的最大值点 \(t=n\) 处进行 泰勒展开 ，并保留到二阶项（因为最大值点处一阶导数为零）。你会发现，展开后的结果是一个高斯（正态）函数的积分。 得到结果 ： 执行这个高斯积分，就得到了主项 \(\sqrt{2\pi n} (n/e)^n\)。常数 \(\sqrt{2\pi}\) 正是来自这个高斯积分的正态化常数。 简单来说 ： 斯特林公式的本质是， 大的阶乘 \(n!\) 的对数增长，主要由一个指数项 \(n^n\) 和一个代数项 \(\sqrt{n}\) 主导，其形状类似于一个中心在 \(n\) 处的“高斯峰”的积分结果 。 第三步：更精确的形式与误差控制 基本公式足够好，但有时我们需要更精确的估计或了解误差。完整的斯特林级数可以写成： \[ n ! = \sqrt{2\pi n} \left( \frac{n}{e} \right)^n \left( 1 + \frac{1}{12n} + \frac{1}{288n^2} - \frac{139}{51840n^3} + \cdots \right) \] 这告诉我们，基本公式的相对误差大约是 \(1/(12n)\)。例如，对于 \(n=10\)，基本公式的误差约0.8%；对于 \(n=100\)，误差小于0.1%。这在几乎所有概率应用中已经足够精确。 一个非常实用的 不等式形式 （对任意 \(n \ge 1\) 成立）是： \[ \sqrt{2\pi n} \left( \frac{n}{e} \right)^n e^{\frac{1}{12n+1}} < n! < \sqrt{2\pi n} \left( \frac{n}{e} \right)^n e^{\frac{1}{12n}} \] 这个不等式给出了严格的双向边界，在理论分析中非常有用。 第四步：核心应用——处理二项分布与大数定律 这是斯特林公式在概率论中最经典的应用。考虑一个简单的二项分布随机变量 \(X \sim \text{Binomial}(n, p)\)。其概率质量函数为： \[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} = \frac{n!}{k!(n-k) !} p^k (1-p)^{n-k} \] 当 \(n, k, n-k\) 都很大时，我们直接应用斯特林公式到三个阶乘上。 经过一系列代数运算（取对数、使用斯特林近似、泰勒展开），我们可以证明： 在“典型”区域（\(k\) 在 \(np\) 附近），\(P(X=k)\) 的对数可以近似为一个二次函数，这导出了 二项分布可以用正态分布近似 （即德莫弗-拉普拉斯中心极限定理），其近似密度正比于 \(\exp\left(-\frac{(k-np)^2}{2np(1-p)}\right)\)。斯特林公式是证明这个定理的关键步骤。 在“偏离”区域（例如 \(k/n\) 远离 \(p\)），我们可以推导出 大偏差原理 的速率函数。例如，利用斯特林公式可以精确地得到 \(\frac{1}{n} \log P(X \ge an)\) 在 \(a > p\) 时的极限，即著名的 相对熵 或 Kullback-Leibler散度 ： \(a \log(\frac{a}{p}) + (1-a)\log(\frac{1-a}{1-p})\)。 第五步：进阶应用——熵与统计物理，贝叶斯分析 信息论与熵 ： 在统计学中，多项分布的 熵 的计算涉及 \(\log(n!/(x_ 1!...x_ k!))\)。使用斯特林公式，可以推导出当 \(n\) 很大且 \(x_ i\) 与 \(n p_ i\) 成比例时，多项式的对数概率（即熵的相反数）近似为 \(n\) 乘以各结果的概率对数的期望，再加上一些常数项。这是联系组合计数与信息度量的桥梁。 贝叶斯分析中的先验 ： 在贝叶斯统计学中，对于多项式模型，一个常见的非信息先验是 Dirichlet(1/2, ..., 1/2) 分布，也称为杰弗里斯先验。在计算其后验分布的归一化常数时，会涉及伽马函数，使用斯特林公式可以分析其后验在大样本下的行为。 统计物理 ： 这是斯特林公式的起源领域之一。在计算 \(N\) 个不可区分粒子在能级上的分布方式数（微观状态数）时，会用到多重集合的计数公式，其中包含大量阶乘。取对数并使用斯特林公式后，就能得到宏观物理量——熵 \(S = k \log W\) 的具体表达式，从而推导出玻尔兹曼分布等经典结论。 第六步：总结与升华 随机变量的变换的斯特林公式 不仅仅是一个“数学技巧”，它是一个 思维的转换器 ： 它将离散的组合世界（阶乘）与连续的解析世界（指数、平方根、积分）联系起来。 它将精确但难以处理的表达式，转化为易于分析和计算的渐近形式。 它是从“精确计数”思维迈向“渐近分析”和“大样本理论”思维的关键一步。 掌握斯特林公式，意味着你掌握了分析涉及大规模计数或大样本概率问题的一把利器。当你看到阶乘时，你的第一反应不应是恐惧，而是思考：“是否可以用斯特林公式来洞察其渐近行为？”这种思维方式在概率论、统计学、理论计算机科学和统计物理中至关重要。