随机变量的变换的再生核希尔伯特空间方法 我们先从基本概念开始。再生核希尔伯特空间（RKHS）是一个由函数构成的希尔伯特空间，其中每个点赋值泛函都是连续的。这意味着对于空间中的任何函数 \( f \) 和空间中的点 \( x \)，映射 \( f \mapsto f(x) \) 是连续的。这种性质使得我们能够方便地处理函数在特定点的取值。 接下来，我们引入正定核的概念。一个对称函数 \( k: \mathcal{X} \times \mathcal{X} \to \mathbb{R} \) 称为正定核，如果对任意有限点集 \( \{x_ 1, \dots, x_ n\} \subset \mathcal{X} \) 和任意实数 \( a_ 1, \dots, a_ n \)，都有 \( \sum_ {i,j} a_ i a_ j k(x_ i, x_ j) \geq 0 \)。每个正定核都唯一对应一个RKHS，这个空间中的内积满足再生性：\( \langle f, k(\cdot, x) \rangle = f(x) \) 对所有 \( f \) 属于该空间成立。 现在考虑随机变量的变换。假设我们有一个随机变量 \( X \) 取值于 \( \mathcal{X} \)，我们希望通过一个函数 \( f \) 将其映射到另一个空间。在RKHS框架下，我们可以考虑将 \( X \) 映射到特征空间 \( \Phi(X) = k(\cdot, X) \)。这个映射具有重要的性质：内积 \( \langle \Phi(x), \Phi(y) \rangle = k(x, y) \)，这就是所谓的核技巧。 当我们处理随机变量的变换时，RKHS方法特别有用。考虑均值嵌入：随机变量 \( X \) 在RKHS中的均值嵌入定义为 \( \mu_ X = \mathbb{E}[ k(\cdot, X) ] \)。这个对象包含了随机变量 \( X \) 的分布信息。事实上，在某些条件下（如核是特征核），均值嵌入唯一确定了 \( X \) 的分布。 对于随机变量的变换 \( Y = f(X) \)，我们可以在RKHS中研究其性质。协方差算子是一个关键工具，它定义为 \( C_ {XX} = \mathbb{E}[ k(\cdot, X) \otimes k(\cdot, X) ] \)，其中 \( \otimes \) 表示张量积。协方差算子允许我们刻画 \( X \) 和 \( Y \) 之间的关系。 在条件期望的背景下，RKHS提供了强大的框架。条件均值嵌入定义为 \( \mu_ {Y|X=x} = \mathbb{E}[ k(\cdot, Y)|X=x] \)。通过交叉协方差算子 \( C_ {YX} = \mathbb{E}[ k(\cdot, Y) \otimes k(\cdot, X)] \)，我们可以得到条件均值嵌入的显式表达式：\( \mu_ {Y|X=x} = C_ {YX}C_ {XX}^{-1}k(\cdot, x) \)，这里逆是适当的广义逆。 对于分布变换的建模，RKHS方法允许我们通过核均值嵌入来刻画变换后的分布。如果我们有一个变换 \( T: \mathcal{X} \to \mathcal{Y} \)，那么变换后随机变量 \( T(X) \) 的核均值嵌入可以表示为 \( \mu_ {T(X)} = \mathbb{E}[ k(\cdot, T(X)) ] \)。 在统计推断中，最大均值差异（MMD）是一个重要的概念，它衡量两个分布 \( P \) 和 \( Q \) 在RKHS中的距离：\( \text{MMD}(P,Q) = \|\mu_ P - \mu_ Q\|_ {\mathcal{H}} \)。这个距离度量在非参数假设检验和生成模型中非常有用。 最后，在贝叶斯推断的背景下，RKHS方法可以用于构建先验分布和后验分布的非参数表示。通过将分布嵌入到RKHS中，我们可以在这个空间中执行贝叶斯更新，这为处理复杂的随机变量变换提供了统一的框架。