随机变量的变换的再生核希尔伯特空间嵌入 首先，再生核希尔伯特空间嵌入是将随机变量映射到高维特征空间的一种方法。假设我们有一个随机变量 \(X\)，其取值在某个集合 \(\mathcal{X}\) 中。RKHS 是一个函数空间 \(\mathcal{H}\)，其中每个函数对应一个核函数 \(k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}\)，满足再生性质：对于任何函数 \(f \in \mathcal{H}\) 和点 \(x \in \mathcal{X}\)，有 \(f(x) = \langle f, k(\cdot, x) \rangle_ {\mathcal{H}}\)。这里，核函数 \(k\) 是正定的，确保内积运算的合理性。 接下来，我们定义随机变量 \(X\) 的 RKHS 嵌入。具体来说，嵌入映射 \(\phi: \mathcal{X} \to \mathcal{H}\) 将每个点 \(x\) 映射到函数 \(k(\cdot, x)\)。随机变量 \(X\) 的嵌入是期望 \(\mu_ X = \mathbb{E}[ \phi(X)]\)，这是一个元素 in \(\mathcal{H}\)，表示 \(X\) 在特征空间中的平均位置。例如，如果 \(X\) 是实值随机变量，核函数是高斯核，那么 \(\mu_ X\) 捕捉了 \(X\) 的分布特征在高维空间中的表示。 然后，我们讨论如何通过核函数计算嵌入的内积和距离。给定两个随机变量 \(X\) 和 \(Y\)，它们的嵌入 \(\mu_ X\) 和 \(\mu_ Y\) 的内积是 \(\langle \mu_ X, \mu_ Y \rangle_ {\mathcal{H}} = \mathbb{E}[ k(X, Y')]\)，其中 \(Y'\) 是 \(Y\) 的独立副本。这允许我们定义最大均值差异作为分布距离：\(\text{MMD}(X, Y) = \|\mu_ X - \mu_ Y\|_ {\mathcal{H}}\)，用于检验两个分布是否相同。 最后，我们扩展到更复杂的应用，如条件嵌入和核均值映射。在条件分布中，我们可以定义条件嵌入 \(\mu_ {Y|X} = \mathbb{E}[ \phi(Y) | X ]\)，用于表示给定 \(X\) 时 \(Y\) 的分布特征。这通过核贝叶斯规则实现，允许在 RKHS 中进行概率推理，例如在机器学习中用于回归或分类问题。通过这种方式，RKHS 嵌入将概率论与函数空间理论结合，提供了一种强大的工具来处理随机变量的非线性关系。