随机变量的变换的再生核希尔伯特空间方法
字数 706 2025-11-12 07:05:15
随机变量的变换的再生核希尔伯特空间方法
我们先从基本概念开始。再生核希尔伯特空间(RKHS)是一个函数空间,其中每个点值泛函都是连续的。这意味着对于空间中的任何函数 f 和任何点 x,映射 f → f(x) 是连续的。这种性质使得RKHS在统计学和机器学习中特别有用,因为它允许我们用内积来表示函数在点的取值。
接下来,我们考虑正定核。一个对称函数 k: X × X → ℝ 称为正定核,如果对任何有限点集 {x₁, ..., xₙ} ⊂ X 和实数 c₁, ..., cₙ,都有 ∑ᵢ∑ⱼ cᵢcⱼk(xᵢ, xⱼ) ≥ 0。每个正定核都唯一对应一个RKHS,这个空间由核函数的线性张成并完成内积 ⟨k(·, x), k(·, y)⟩ = k(x, y) 得到。
现在,我们引入核均值嵌入。对于随机变量 X 和正定核 k,我们可以定义其分布的核均值嵌入为 μₓ = 𝔼[k(·, X)]。这是一个将概率分布嵌入到RKHS中的操作,使得分布之间的比较可以通过RKHS中的内积或距离来进行。
最大均值差异(MMD)是衡量两个分布差异的重要工具。对于随机变量 X 和 Y,它们的MMD定义为 ∥μₓ - μᵧ∥,即它们在RKHS中嵌入的均值之间的范数距离。当核是特征核时,MMD为0当且仅当两个分布相同。
最后,我们考虑随机变量变换的RKHS方法。当我们对随机变量 X 应用变换 T 得到 Y = T(X) 时,可以在RKHS框架下分析变换对分布的影响。具体来说,变换后的随机变量的核均值嵌入为 μᵧ = 𝔼[k(·, T(X))],我们可以通过比较 μₓ 和 μᵧ 来研究变换 T 对分布特征的影响。