随机变量的特征函数
特征函数是概率论中用于描述随机变量概率分布的一种强大工具。它在理论上具有许多重要的性质，并在证明极限定理、分析分布性质等方面有广泛应用。
- 定义与基本形式
- 对于一个随机变量 \(X\)，其特征函数 \(\phi_X(t)\) 定义为：
\[ \phi_X(t) = \mathbb{E}[e^{itX}] \]
其中，\(\mathbb{E}\) 表示期望，\(i\) 是虚数单位（\(i^2 = -1\)），\(t\) 是一个实数参数。这个定义对所有的实值随机变量都成立。
- 从形式上看，特征函数是随机变量 \(X\) 的复值函数的期望。它本质上是概率分布的傅里叶变换。
- 具体计算与例子
- 离散型随机变量：如果 \(X\) 是离散型随机变量，其概率质量函数为 \(P(X = x_k) = p_k\)，则其特征函数为：
\[ \phi_X(t) = \sum_{k} e^{itx_k} p_k \]
这是一个关于 \(t\) 的复指数函数的加权和。
- 连续型随机变量：如果 \(X\) 是连续型随机变量，其概率密度函数为 \(f(x)\)，则其特征函数为：
\[ \phi_X(t) = \int_{-\infty}^{\infty} e^{itx} f(x) dx \]
这是一个关于 \(t\) 的傅里叶积分。
- 例子：标准正态分布 \(X \sim N(0,1)\) 的特征函数是 \(\phi_X(t) = e^{-t^2/2}\)。这个结果在证明中心极限定理时至关重要。
- 核心性质
- 存在性：对任意随机变量 \(X\)，其特征函数 \(\phi_X(t)\) 对所有的实数 \(t\) 都有定义，并且是一个一致连续的函数。
- 有界性：\(|\phi_X(t)| \leq \phi_X(0) = 1\)。
- 共轭对称性：\(\phi_X(-t) = \overline{\phi_X(t)}\)，其中上划线表示复共轭。
- 唯一性定理（最重要的性质之一）：随机变量的概率分布由其特征函数唯一确定。也就是说，如果两个随机变量的特征函数在任意 \(t\) 处都相等，那么它们服从相同的概率分布。这使得我们可以通过研究特征函数来研究分布本身。
- 矩与特征函数：如果随机变量 \(X\) 的 \(k\) 阶矩 \(\mathbb{E}[X^k]\) 存在，那么特征函数 \(\phi_X(t)\) 是 \(k\) 次连续可微的，并且可以通过对特征函数求导来计算矩：
\[ \mathbb{E}[X^k] = i^{-k} \phi_X^{(k)}(0) \]
其中 \(\phi_X^{(k)}(0)\) 是特征函数在 \(t=0\) 处的 \(k\) 阶导数。
- 特征函数的反演公式
- 唯一性定理告诉我们特征函数决定了分布，而反演公式则告诉我们如何从特征函数“恢复”出分布函数。
- 对于连续型随机变量，概率密度函数 \(f(x)\) 可以通过特征函数的傅里叶逆变换得到：
\[ f(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \phi_X(t) dt \]
- 对于一般的分布函数 \(F(x)\)，也存在相应的反演公式。这表明特征函数和概率分布之间存在着完整的、可逆的对应关系。
- 特征函数在极限定理中的应用
- 特征函数的一个巨大优势在于处理独立随机变量和的极限行为。
- 独立性：如果 \(X\) 和 \(Y\) 是相互独立的随机变量，那么它们的和 \(Z = X + Y\) 的特征函数等于各自特征函数的乘积：
\[ \phi_Z(t) = \phi_X(t) \cdot \phi_Y(t) \]
- 连续性定理：一列随机变量 \(\{X_n\}\) 依分布收敛于随机变量 \(X\) 的充分必要条件是，对应的特征函数列 \(\{\phi_{X_n}(t)\}\) 逐点收敛于 \(X\) 的特征函数 \(\phi_X(t)\)，并且极限函数 \(\phi_X(t)\) 在 \(t=0\) 处连续。
- 这个定理是证明中心极限定理和大数定律的利器。证明中心极限定理时，我们只需计算标准化后样本均值的特征函数，并证明当样本量 \(n \to \infty\) 时，该特征函数收敛于标准正态分布的特征函数 \(e^{-t^2/2}\) 即可。
总结来说，特征函数通过傅里叶变换将概率分布的信息“编码”到一个复值函数中，它具有良好的分析性质（如连续性、可微性），并且通过唯一性定理和反演公式与分布本身建立了一一对应关系。其在处理独立和与分布收敛问题上的卓越能力，使其成为概率论中不可或缺的核心工具。