随机变量的矩生成函数
我们来学习概率论中一个非常强大的工具：矩生成函数。它提供了一种统一的方法来研究随机变量的所有矩，并且在许多高级问题中非常有效。
第一步：矩生成函数的定义
设 \(X\) 是一个随机变量。它的矩生成函数（Moment Generating Function, MGF）定义为函数 \(M_X(t)\)：
\[M_X(t) = E[e^{tX}] \]
其中，\(E[\cdot]\) 表示期望，\(t\) 是一个实数。这个期望值可能并不总是存在；它存在的条件是存在一个包含零的开区间 \((-h, h)\)（其中 \(h > 0\)），使得对于该区间内的所有 \(t\)，期望 \(E[e^{tX}]\) 都是有限的。
第二步：矩生成函数与矩的关系
“矩生成函数”这个名字的由来，是因为它可以用来“生成”随机变量的所有矩。随机变量 \(X\) 的 \(k\) 阶矩定义为 \(E[X^k]\)。
矩生成函数与矩的关系如下：对矩生成函数 \(M_X(t)\) 在 \(t=0\) 处求 \(k\) 阶导数，可以得到 \(k\) 阶矩：
\[E[X^k] = M_X^{(k)}(0) \]
这里，\(M_X^{(k)}(0)\) 表示 \(M_X(t)\) 在 \(t=0\) 处的 \(k\) 阶导数。
推导思路：
根据定义，\(M_X(t) = E[e^{tX}]\)。在满足一定正则性条件（如可交换期望和求导顺序）下，我们有：
\[\frac{d}{dt} M_X(t) = \frac{d}{dt} E[e^{tX}] = E[\frac{d}{dt} e^{tX}] = E[X e^{tX}] \]
令 \(t=0\)，得到 \(M_X'(0) = E[X]\)。
类似地，求二阶导：
\[\frac{d^2}{dt^2} M_X(t) = E[X^2 e^{tX}] \]
令 \(t=0\)，得到 \(M_X''(0) = E[X^2]\)。
以此类推，即可得到上述关系。
第三步：矩生成函数的性质
矩生成函数有几个关键性质，使其成为一个强有力的工具：
-
唯一性定理：如果两个随机变量的矩生成函数在包含零的某个开区间内相等，那么它们服从相同的概率分布。这是矩生成函数最强大的性质之一，它意味着分布函数由其矩生成函数唯一确定。
-
线性变换：设 \(Y = aX + b\)（其中 \(a, b\) 是常数），则 \(Y\) 的矩生成函数为：
\[ M_Y(t) = E[e^{t(aX+b)}] = e^{tb} E[e^{(ta)X}] = e^{tb} M_X(at) \]
- 独立随机变量之和：如果 \(X\) 和 \(Y\) 是相互独立的随机变量，那么它们的和 \(Z = X + Y\) 的矩生成函数是它们各自矩生成函数的乘积：
\[ M_Z(t) = E[e^{t(X+Y)}] = E[e^{tX} e^{tY}] = E[e^{tX}] E[e^{tY}] = M_X(t) M_Y(t) \]
这个性质在推导独立同分布随机变量和的分布时极其有用。
第四步：一个计算示例——正态分布
让我们以标准正态分布 \(X \sim N(0, 1)\) 为例来计算其矩生成函数。
其概率密度函数为 \(f(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\)。
\[M_X(t) = E[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{tx - x^2/2} dx \]
对指数部分进行配方：
\[tx - \frac{x^2}{2} = -\frac{1}{2}(x^2 - 2tx) = -\frac{1}{2}[(x - t)^2 - t^2] = -\frac{1}{2}(x-t)^2 + \frac{t^2}{2} \]
代入积分：
\[M_X(t) = \frac{1}{\sqrt{2\pi}} e^{t^2/2} \int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-t)^2} dx \]
注意到积分号内的函数是均值为 \(t\)、方差为 1 的正态分布密度函数的核（只差归一化常数 \(\frac{1}{\sqrt{2\pi}}\)），所以整个积分等于 \(\sqrt{2\pi}\)。
因此，
\[M_X(t) = \frac{1}{\sqrt{2\pi}} e^{t^2/2} \cdot \sqrt{2\pi} = e^{t^2/2} \]
现在，我们可以利用它来求矩。例如，求均值 \(E[X]\)：
\[M_X'(t) = \frac{d}{dt}(e^{t^2/2}) = t e^{t^2/2}, \quad 所以 E[X] = M_X'(0) = 0 \]
求方差需要二阶矩：
\[M_X''(t) = \frac{d}{dt}(t e^{t^2/2}) = e^{t^2/2} + t^2 e^{t^2/2}, \quad 所以 E[X^2] = M_X''(0) = 1 \]
方差 \(Var(X) = E[X^2] - (E[X])^2 = 1 - 0 = 1\)，与定义一致。
第五步：矩生成函数的适用性与局限性
-
优点：
- 统一处理矩：可以方便地求出所有阶的矩。
- 处理独立和：独立随机变量和的矩生成函数是乘积形式，易于操作。
- 唯一确定性：唯一性定理是证明分布相等性的有力工具。
-
局限性：
-
可能不存在：矩生成函数并非对所有随机变量和所有 \(t\) 都存在。例如，柯西分布就不存在矩生成函数（因为其各阶矩本身就不有限）。
-
在这种情况下，我们通常会使用另一个叫做特征函数的工具，它总是存在，并且具有许多与矩生成函数相似的性质。特征函数定义为 \(\phi_X(t) = E[e^{itX}]\)，其中 \(i\) 是虚数单位。