随机变量的变换的正交多项式展开
字数 3831 2025-12-14 11:39:01

随机变量的变换的正交多项式展开

我将循序渐进地讲解“随机变量的变换的正交多项式展开”这一主题。首先，我们需要理解为什么以及如何用一组正交的基函数来展开随机变量的函数，这构成了一个连接概率论、函数分析和逼近论的强大工具。

第一步：核心问题与动机
在概率论与统计学中，我们经常需要处理一个随机变量 \(X\) 的某个函数 \(g(X)\)。例如，计算其期望、方差，或者近似其概率分布。直接处理 \(g\) 可能很困难，特别是当 \(g\) 形式复杂或 \(X\) 的分布不标准时。正交多项式展开的核心思想是：将目标函数 \(g\) 在一个由多项式组成的、与 \(X\) 的分布相适应的正交函数空间中进行展开。这类似于傅里叶级数展开，但这里的“基函数”是针对概率测度定义的正交多项式。这种方法广泛应用于：

  1. 密度估计与近似：用级数近似复杂的概率密度函数。
  2. 随机变量函数的矩计算：通过展开简化期望和矩的计算。
  3. 随机微分方程的解：用多项式混沌展开表示解的随机性。
  4. 灵敏度分析：如Sobol'指数（已讲过）的计算基础。

第二步：数学基础——内积空间与正交性
关键在于为函数定义一个合适的“内积”，使之与随机变量 \(X\) 的分布相关联。

  • 设随机变量 \(X\) 有支撑在区间 \(I\)（可能是有限区间如 \([-1, 1]\)，也可能是无限区间如 \((-\infty, \infty)\)）上的分布，其概率密度函数（或概率质量函数）为 \(f_X(x)\)。
  • 定义由 \(X\) 的分布导出的加权内积：对于定义在 \(I\) 上的任意两个实值函数 \(u(x)\) 和 \(v(x)\)，其内积为：

\[ \langle u, v \rangle = \mathbb{E}[u(X)v(X)] = \int_I u(x) v(x) f_X(x) \, dx. \]

如果 \(X\) 是离散的，则积分替换为求和。

  • 在此内积下，我们称两个函数 \(u\) 和 \(v\) 是正交的，如果 \(\langle u, v \rangle = 0\)。一个函数序列 \(\{\phi_n(x)\}_{n=0}^{\infty}\) 称为正交多项式序列，如果每个 \(\phi_n(x)\) 是恰好 \(n\) 次的多项式，并且对于 \(m \neq n\)，有 \(\langle \phi_m, \phi_n \rangle = 0\)。通常我们还将它们标准化，使得 \(\langle \phi_n, \phi_n \rangle = 1\)（此时称为标准正交多项式）。

第三步：经典的正交多项式族
不同的权重函数 \(f_X(x)\)（即 \(X\) 的不同分布）对应不同的正交多项式族。最常见的几类（对应连续分布）是：

  1. Legendre多项式：当 \(X \sim \text{Uniform}[-1, 1]\) 时，权重函数 \(f_X(x) = \frac{1}{2}\)。这是最简单的正交多项式，是多项式混沌展开中最常用的一组基。
  2. Hermite多项式：当 \(X \sim \text{Normal}(0, 1)\) 时，权重函数 \(f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\)。这在处理高斯随机变量时至关重要，是Wiener混沌展开（或多项式混沌展开用于高斯输入）的基础。
  3. Laguerre多项式：当 \(X \sim \text{Gamma}(\alpha, 1)\)（特别是当 \(\alpha = 0\) 时为指数分布），权重函数 \(f_X(x) = x^{\alpha} e^{-x}\)（定义在 \([0, \infty)\)）。适用于非负随机变量。
  4. Jacobi多项式：当 \(X \sim \text{Beta}(\alpha, \beta)\) 时，权重函数 \(f_X(x) = (1-x)^{\alpha}(1+x)^{\beta}\)（定义在 \([-1, 1]\)）。这是更一般的族，Legendre多项式是其特例（\(\alpha = \beta = 0\)）。

第四步：函数展开与系数确定
现在，对于一个给定的随机变量函数 \(Y = g(X)\)，我们可以将其投影到由正交多项式 \(\{\phi_n\}\) 张成的函数空间上。其正交多项式展开（或广义傅里叶级数）为：

\[g(X) \approx \sum_{n=0}^{N} c_n \phi_n(X). \]

这里的核心是如何确定系数 \(c_n\)。由于多项式基的正交性，系数可以通过投影（即计算内积）直接得到：

\[c_n = \frac{\langle g, \phi_n \rangle}{\langle \phi_n, \phi_n \rangle} = \frac{\mathbb{E}[g(X) \phi_n(X)]}{\mathbb{E}[\phi_n^2(X)]}. \]

如果多项式是标准正交的（即分母为1），则 \(c_n = \mathbb{E}[g(X) \phi_n(X)]\)。

  • 这个系数 \(c_n\) 具有明确的统计意义：它就是函数 \(g(X)\) 与第 \(n\) 阶正交多项式之间的协方差（在标准化后）。特别地，\(c_0 = \mathbb{E}[g(X)]\)。
  • 展开的精度由截断阶数 \(N\) 控制。根据泛函分析，在适当的条件下（如 \(g\) 平方可积），当 \(N \to \infty\) 时，上述近似以均方意义收敛到 \(g(X)\)，即 \(\mathbb{E}[(g(X) - \sum_{n=0}^{N} c_n \phi_n(X))^2] \to 0\)。

第五步：核心性质与计算优势
这种展开方法之所以强大，源于正交多项式系的几个优良性质：

  1. 解耦性：由于基函数的正交性，\(g(X)\) 展开后各项是“不相关”的，即 \(\mathbb{E}[c_m \phi_m(X) \cdot c_n \phi_n(X)] = 0\) 对 \(m \neq n\)。这使得高阶矩和方差的计算大大简化。例如，\(g(X)\) 的方差可以表示为展开系数平方的加权和：\(\text{Var}(g(X)) = \sum_{n=1}^{\infty} c_n^2 \mathbb{E}[\phi_n^2(X)]\)。
  2. 最优逼近：在所有的 \(N\) 次多项式逼近中，这个截断展开是均方误差意义下的最优逼近。这称为正交投影的最优性。
  3. 递推关系：大多数经典正交多项式满足三项递推关系：\(x \phi_n(x) = a_n \phi_{n+1}(x) + b_n \phi_n(x) + c_n \phi_{n-1}(x)\)。这个关系在数值计算系数 \(c_n\) 和进行代数运算时极其高效。
  4. 高斯求积积分：计算系数 \(c_n = \mathbb{E}[g(X) \phi_n(X)]\) 需要求积分。利用正交多项式根（即高斯点）对应的高斯求积公式，可以用最少的采样点高精度地估计这个期望积分，这是随机模拟（如蒙特卡洛）的高效替代品。

第六步：一个重要应用——多项式混沌展开
这是随机变量变换的正交多项式展开在不确定性量化中的核心应用。假设一个系统的输出 \(Y\) 是 \(d\) 个独立随机输入变量 \(\mathbf{X} = (X_1, \dots, X_d)\) 的复杂函数：\(Y = g(\mathbf{X})\)。多项式混沌展开将 \(Y\) 展开为多元正交多项式的级数：

\[Y = \sum_{\mathbf{\alpha}} c_{\mathbf{\alpha}} \Phi_{\mathbf{\alpha}}(\mathbf{X}). \]

这里，多重指标 \(\mathbf{\alpha} = (\alpha_1, \dots, \alpha_d)\) 表示各个输入变量的多项式阶数，基函数 \(\Phi_{\mathbf{\alpha}}(\mathbf{X}) = \phi_{\alpha_1}^{(1)}(X_1) \cdots \phi_{\alpha_d}^{(d)}(X_d)\) 是各变量对应的一元正交多项式的张量积。系数 \(c_{\mathbf{\alpha}}\) 的确定（通过回归或谱投影）使得我们可以用这个多项式代理模型来高效地分析 \(Y\) 的统计特性（如均值、方差、灵敏度指标），而无需反复调用昂贵的原函数 \(g\)。

总结：
随机变量的变换的正交多项式展开，本质上是在一个由随机变量分布自然诱导的加权内积空间中，用一组合适的正交基函数（多项式）对目标函数进行最优逼近。其力量来源于正交性带来的解耦、标准基函数的已知性质以及与高效数值方法（如高斯求积）的紧密结合。它不仅是理论分析的工具，更是处理高维随机系统、进行不确定性量化的计算基石。

随机变量的变换的正交多项式展开 我将循序渐进地讲解“随机变量的变换的正交多项式展开”这一主题。首先，我们需要理解为什么以及如何用一组正交的基函数来展开随机变量的函数，这构成了一个连接概率论、函数分析和逼近论的强大工具。 第一步：核心问题与动机 在概率论与统计学中，我们经常需要处理一个随机变量 \(X\) 的某个函数 \(g(X)\)。例如，计算其期望、方差，或者近似其概率分布。直接处理 \(g\) 可能很困难，特别是当 \(g\) 形式复杂或 \(X\) 的分布不标准时。正交多项式展开的核心思想是： 将目标函数 \(g\) 在一个由多项式组成的、与 \(X\) 的分布相适应的正交函数空间中进行展开 。这类似于傅里叶级数展开，但这里的“基函数”是针对概率测度定义的正交多项式。这种方法广泛应用于： 密度估计与近似 ：用级数近似复杂的概率密度函数。 随机变量函数的矩计算 ：通过展开简化期望和矩的计算。 随机微分方程的解 ：用多项式混沌展开表示解的随机性。 灵敏度分析 ：如Sobol'指数（已讲过）的计算基础。 第二步：数学基础——内积空间与正交性 关键在于为函数定义一个合适的“内积”，使之与随机变量 \(X\) 的分布相关联。 设随机变量 \(X\) 有支撑在区间 \(I\)（可能是有限区间如 \([ -1, 1]\)，也可能是无限区间如 \((-\infty, \infty)\)）上的分布，其概率密度函数（或概率质量函数）为 \(f_ X(x)\)。 定义由 \(X\) 的分布导出的 加权内积 ：对于定义在 \(I\) 上的任意两个实值函数 \(u(x)\) 和 \(v(x)\)，其内积为： \[ \langle u, v \rangle = \mathbb{E}[ u(X)v(X)] = \int_ I u(x) v(x) f_ X(x) \, dx. \] 如果 \(X\) 是离散的，则积分替换为求和。 在此内积下，我们称两个函数 \(u\) 和 \(v\) 是 正交 的，如果 \(\langle u, v \rangle = 0\)。一个函数序列 \(\{\phi_ n(x)\}_ {n=0}^{\infty}\) 称为 正交多项式序列 ，如果每个 \(\phi_ n(x)\) 是恰好 \(n\) 次的多项式，并且对于 \(m \neq n\)，有 \(\langle \phi_ m, \phi_ n \rangle = 0\)。通常我们还将它们 标准化 ，使得 \(\langle \phi_ n, \phi_ n \rangle = 1\)（此时称为标准正交多项式）。 第三步：经典的正交多项式族 不同的权重函数 \(f_ X(x)\)（即 \(X\) 的不同分布）对应不同的正交多项式族。最常见的几类（对应连续分布）是： Legendre多项式 ：当 \(X \sim \text{Uniform}[ -1, 1]\) 时，权重函数 \(f_ X(x) = \frac{1}{2}\)。这是最简单的正交多项式，是多项式混沌展开中最常用的一组基。 Hermite多项式 ：当 \(X \sim \text{Normal}(0, 1)\) 时，权重函数 \(f_ X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\)。这在处理高斯随机变量时至关重要，是Wiener混沌展开（或多项式混沌展开用于高斯输入）的基础。 Laguerre多项式 ：当 \(X \sim \text{Gamma}(\alpha, 1)\)（特别是当 \(\alpha = 0\) 时为指数分布），权重函数 \(f_ X(x) = x^{\alpha} e^{-x}\)（定义在 \( [ 0, \infty)\)）。适用于非负随机变量。 Jacobi多项式 ：当 \(X \sim \text{Beta}(\alpha, \beta)\) 时，权重函数 \(f_ X(x) = (1-x)^{\alpha}(1+x)^{\beta}\)（定义在 \([ -1, 1 ]\)）。这是更一般的族，Legendre多项式是其特例（\(\alpha = \beta = 0\)）。 第四步：函数展开与系数确定 现在，对于一个给定的随机变量函数 \(Y = g(X)\)，我们可以将其投影到由正交多项式 \(\{\phi_ n\}\) 张成的函数空间上。其 正交多项式展开 （或 广义傅里叶级数 ）为： \[ g(X) \approx \sum_ {n=0}^{N} c_ n \phi_ n(X). \] 这里的核心是如何确定系数 \(c_ n\)。由于多项式基的正交性，系数可以通过 投影 （即计算内积）直接得到： \[ c_ n = \frac{\langle g, \phi_ n \rangle}{\langle \phi_ n, \phi_ n \rangle} = \frac{\mathbb{E}[ g(X) \phi_ n(X)]}{\mathbb{E}[ \phi_ n^2(X) ]}. \] 如果多项式是标准正交的（即分母为1），则 \(c_ n = \mathbb{E}[ g(X) \phi_ n(X) ]\)。 这个系数 \(c_ n\) 具有明确的统计意义：它就是函数 \(g(X)\) 与第 \(n\) 阶正交多项式之间的 协方差 （在标准化后）。特别地，\(c_ 0 = \mathbb{E}[ g(X) ]\)。 展开的 精度 由截断阶数 \(N\) 控制。根据泛函分析，在适当的条件下（如 \(g\) 平方可积），当 \(N \to \infty\) 时，上述近似以均方意义收敛到 \(g(X)\)，即 \(\mathbb{E}[ (g(X) - \sum_ {n=0}^{N} c_ n \phi_ n(X))^2 ] \to 0\)。 第五步：核心性质与计算优势 这种展开方法之所以强大，源于正交多项式系的几个优良性质： 解耦性 ：由于基函数的正交性，\(g(X)\) 展开后各项是“不相关”的，即 \(\mathbb{E}[ c_ m \phi_ m(X) \cdot c_ n \phi_ n(X)] = 0\) 对 \(m \neq n\)。这使得高阶矩和方差的计算大大简化。例如，\(g(X)\) 的方差可以表示为展开系数平方的加权和：\(\text{Var}(g(X)) = \sum_ {n=1}^{\infty} c_ n^2 \mathbb{E}[ \phi_ n^2(X) ]\)。 最优逼近 ：在所有的 \(N\) 次多项式逼近中，这个截断展开是 均方误差意义下的最优逼近 。这称为正交投影的最优性。 递推关系 ：大多数经典正交多项式满足三项递推关系：\(x \phi_ n(x) = a_ n \phi_ {n+1}(x) + b_ n \phi_ n(x) + c_ n \phi_ {n-1}(x)\)。这个关系在数值计算系数 \(c_ n\) 和进行代数运算时极其高效。 高斯求积积分 ：计算系数 \(c_ n = \mathbb{E}[ g(X) \phi_ n(X)]\) 需要求积分。利用正交多项式根（即高斯点）对应的 高斯求积公式 ，可以用最少的采样点高精度地估计这个期望积分，这是随机模拟（如蒙特卡洛）的高效替代品。 第六步：一个重要应用——多项式混沌展开 这是随机变量变换的正交多项式展开在不确定性量化中的核心应用。假设一个系统的输出 \(Y\) 是 \(d\) 个独立随机输入变量 \(\mathbf{X} = (X_ 1, \dots, X_ d)\) 的复杂函数：\(Y = g(\mathbf{X})\)。多项式混沌展开将 \(Y\) 展开为 多元正交多项式 的级数： \[ Y = \sum_ {\mathbf{\alpha}} c_ {\mathbf{\alpha}} \Phi_ {\mathbf{\alpha}}(\mathbf{X}). \] 这里，多重指标 \(\mathbf{\alpha} = (\alpha_ 1, \dots, \alpha_ d)\) 表示各个输入变量的多项式阶数，基函数 \(\Phi_ {\mathbf{\alpha}}(\mathbf{X}) = \phi_ {\alpha_ 1}^{(1)}(X_ 1) \cdots \phi_ {\alpha_ d}^{(d)}(X_ d)\) 是各变量对应的一元正交多项式的张量积。系数 \(c_ {\mathbf{\alpha}}\) 的确定（通过回归或谱投影）使得我们可以用这个多项式代理模型来高效地分析 \(Y\) 的统计特性（如均值、方差、灵敏度指标），而无需反复调用昂贵的原函数 \(g\)。 总结 ： 随机变量的变换的正交多项式展开，本质上是在一个由随机变量分布自然诱导的加权内积空间中，用一组合适的正交基函数（多项式）对目标函数进行最优逼近。其力量来源于 正交性带来的解耦 、 标准基函数的已知性质 以及 与高效数值方法（如高斯求积）的紧密结合 。它不仅是理论分析的工具，更是处理高维随机系统、进行不确定性量化的计算基石。