随机变量的变换的Karhunen-Loève展开 我们先从随机过程的基本概念开始理解。随机过程是一族依赖于参数（通常是时间或空间）的随机变量。当观察随机过程时，我们会得到一条随时间变化的随机轨迹，比如股票价格波动、心电图信号或气温变化曲线。 实际应用中，我们经常需要处理连续的随机过程，但计算机只能存储和计算有限个数据点。这就引出了随机过程的表示问题：如何用有限维的方式来近似表示一个无限维的随机过程？ Karhunen-Loève展开的核心思想类似于傅里叶分析，但针对的是随机过程。它要将随机过程X(t)表示为： X(t) = μ(t) + Σ_ {k=1}^∞ Z_ k φ_ k(t) 其中μ(t)是均值函数，{φ_ k(t)}是一组确定的基函数，{Z_ k}是零均值且互不相关的随机变量。 确定这些基函数φ_ k(t)的方法很巧妙：它们必须是协方差函数C(s,t) = Cov(X(s), X(t))的特征函数。具体来说，每个φ_ k(t)满足积分方程： ∫ C(s,t)φ_ k(t)dt = λ_ k φ_ k(s) 其中λ_ k是对应的特征值。 这里的特征值λ_ k有着明确的统计意义：它等于随机变量Z_ k的方差，即Var(Z_ k) = λ_ k。由于特征值通常按降序排列λ₁ ≥ λ₂ ≥ ...，因此第一个基函数φ₁(t)对应着随机过程最大的变异方向。 在实际计算中，我们通常只保留前K个项，得到近似表示： X(t) ≈ μ(t) + Σ_ {k=1}^K Z_ k φ_ k(t) 这种近似的均方误差恰好等于被舍弃的特征值之和Σ_ {k=K+1}^∞ λ_ k。 Karhunen-Loève展开有一个重要特性：在所有可能的正交展开中，它用最少项数达到了最佳的均方逼近效果。这使得它在数据压缩和降维中特别有用。 应用这一方法时，随机变量Z_ k可以通过投影计算得到：Z_ k = ∫ (X(t) - μ(t)) φ_ k(t) dt。这些Z_ k不仅互不相关，如果X(t)是高斯过程，它们还是独立的正态分布随机变量。 在实际应用中，当我们需要处理连续的随机过程数据时，Karhunen-Loève展开提供了一种最优的离散化表示方式，为后续的统计分析、模式识别和预测建立了基础。