随机变量的变换的Hoeffding分解
我来为您讲解概率论与统计中的一个重要概念——Hoeffding分解。这个分解是研究U统计量、秩统计量等非线性统计量渐近理论的基础工具，它能将复杂的统计量分解为相互正交的简单分量之和。
第一步：基本思想与动机
考虑一个对称函数 \(h(x_1, ..., x_m)\)，以及一组独立同分布的随机变量 \(X_1, ..., X_n\)（其中 \(n \ge m\)）。基于此定义的U统计量为：
\[U_n = \frac{1}{\binom{n}{m}} \sum_{1 \le i_1 < ... < i_m \le n} h(X_{i_1}, ..., X_{i_m}) \]
U统计量是许多常见估计量的推广。然而，直接研究其分布或方差等性质比较困难，因为它涉及所有组合。Hoeffding分解的核心目标，就是将一个U统计量分解为一列相互正交的、更简单的“核”统计量之和，其中每一项的方差更容易计算，且具有清晰的统计含义。这个分解使得中心极限定理等渐近理论得以应用。
第二步：定义投影与基本概念
为进行分解，首先定义一系列条件期望。设随机变量 \(X_1, ..., X_n\) 独立同分布于分布 \(F\)。
- 常数项（0阶项）：定义为
\[ h_0 = \theta = E[h(X_1, ..., X_m)] \]
这是整个统计量的期望值，代表了其中心。
- 一阶投影：固定一个变量 \(x_1\)，对其他变量求期望：
\[ h_1(x_1) = E[h(x_1, X_2, ..., X_m)] - h_0 \]
这个函数衡量了当 \(X_1 = x_1\) 时，对U统计量的贡献超出平均值的部分。它是“中心化”的，即 \(E[h_1(X_1)] = 0\)。
- 二阶投影：固定两个变量 \(x_1, x_2\)：
\[ h_2(x_1, x_2) = E[h(x_1, x_2, X_3, ..., X_m)] - h_1(x_1) - h_1(x_2) - h_0 \]
它表示了两个变量 \(x_1, x_2\) 之间的“协同效应”，即联合贡献减去各自的单独贡献和常数项。它具有性质：对任意一个变量求期望（在另一变量固定时）等于零，即 \(E[h_2(X_1, x_2) | X_2 = x_2] = 0\)。
- c阶投影（一般形式）：归纳地，对于 \(1 \le c \le m\)，
\[ h_c(x_1, ..., x_c) = \sum_{S \subseteq \{1,...,c\}} (-1)^{c-|S|} E[h(\{x_i\}_{i \in S}, X_{c+1}, ..., X_m)] \]
其中 \(|S|\) 表示子集 \(S\) 的大小，约定当 \(S\) 为空集时，期望为 \(h_0\)。这个函数是“完全中心化”的：对它的任意一个变量求期望（其他变量固定）都等于零。这是正交性的关键。
第三步：Hoeffding分解定理的表述
对于U统计量 \(U_n\)，Hoeffding证明了如下分解：
\[U_n - \theta = \sum_{c=1}^m \binom{m}{c} \cdot H_{n,c} \]
其中
\[H_{n,c} = \frac{1}{\binom{n}{c}} \sum_{1 \le i_1 < ... < i_c \le n} h_c(X_{i_1}, ..., X_{i_c}) \]
这个分解称为 Hoeffding分解。这里 \(H_{n,c}\) 本身就是一个基于 \(c\) 阶核 \(h_c\) 的U统计量。
第四步：分解项的性质与正交性
分解的核心性质如下：
-
期望为零：对所有 \(c \ge 1\)，有 \(E[H_{n,c}] = 0\)。因为 \(h_c\) 是中心化的。
-
正交性（不相关性）：对于 \(1 \le c \neq d \le m\)，有
\[ Cov(H_{n,c}, H_{n,d}) = 0 \]
这是因为 \(h_c\) 和 \(h_d\) 的完全中心化性质。例如，考虑 \(Cov(h_c(X_1,...,X_c), h_d(X_1,...,X_d))\)，如果 \(c < d\)，可以对前 \(c\) 个变量中的某一个（比如 \(X_1\)）在 \(h_c\) 中求条件期望，利用 \(h_d\) 的性质，结果为零。
- 方差分解：由正交性，方差可以分解为各阶分量方差之和：
\[ Var(U_n) = \sum_{c=1}^m \binom{m}{c}^2 \cdot Var(H_{n,c}) \]
进一步，可以计算出每一项的主导阶。当 \(n\) 很大时，\(Var(H_{n,c}) = O(n^{-c})\)。因此，最低阶（\(c=1\)）项主导了渐近方差。
第五步：主导项与渐近正态性
方差分解显示，一阶项 \(H_{n,1}\) 的方差是 \(O(1/n)\)，而二阶及更高阶项的方差至少是 \(O(1/n^2)\)。因此，当 \(n \to \infty\) 时，有
\[\sqrt{n}(U_n - \theta) = m\sqrt{n} H_{n,1} + o_p(1) \]
即
\[\sqrt{n}(U_n - \theta) = \frac{m}{\sqrt{n}} \sum_{i=1}^n h_1(X_i) + o_p(1) \]
右边是一个独立和（中心化的），由中心极限定理，它依分布收敛于正态分布。具体地：
\[\sqrt{n}(U_n - \theta) \overset{d}{\to} N(0, m^2 \sigma_1^2) \]
其中 \(\sigma_1^2 = Var(h_1(X_1)) = E[h_1^2(X_1)]\)。这就是U统计量的渐近正态性定理。Hoeffding分解清晰地揭示了其本质：U统计量的极限分布由其“一阶影响函数” \(h_1\) 决定。
第六步：例子——样本方差
考虑一个经典的例子：设 \(h(x_1, x_2) = \frac{1}{2}(x_1 - x_2)^2\)。对应的U统计量是样本方差（无偏版本）：
\[U_n = \frac{1}{\binom{n}{2}} \sum_{i
已知 \(\theta = E[h(X_1,X_2)] = Var(X_1) = \sigma^2\)。
- 常数项：\(h_0 = \sigma^2\)。
- 一阶核：
\[ h_1(x_1) = E[\frac{1}{2}(x_1 - X_2)^2] - \sigma^2 = \frac{1}{2}(x_1^2 - 2x_1\mu + E[X_2^2]) - \sigma^2 \]
利用 \(E[X_2^2] = \sigma^2 + \mu^2\)，化简得：
\[ h_1(x_1) = \frac{1}{2}(x_1^2 - 2x_1\mu + (\sigma^2+\mu^2)) - \sigma^2 = \frac{1}{2}[(x_1 - \mu)^2 - \sigma^2] \]
- 二阶核：
\[ h_2(x_1, x_2) = h(x_1, x_2) - h_1(x_1) - h_1(x_2) - h_0 \]
代入 \(h\) 和 \(h_1\) 的表达式，经过代数运算可得：
\[ h_2(x_1, x_2) = \frac{1}{2}[(x_1 - \mu)(x_2 - \mu) - (x_1 - \mu)^2/2 - (x_2 - \mu)^2/2 + \sigma^2/2] \text{（可进一步化简）} \]
更简洁地，可以验证 \(E[h_2(X_1, X_2)|X_1] = 0\)。
根据分解定理：
\[S_n^2 - \sigma^2 = 2 H_{n,1} + H_{n,2} \]
其中 \(H_{n,1} = \frac{1}{n} \sum_{i=1}^n h_1(X_i)\)， \(H_{n,2} = \frac{1}{\binom{n}{2}} \sum_{i
第七步：推广与应用
Hoeffding分解的思想被广泛推广：
- V统计量：对于V统计量（定义中组合的平均改为所有有序 \(m\)-元组），也存在类似的分解，其主导项相同。
- 非对称核：通过对称化，结论同样适用。
- 高阶展开：为了得到更精确的近似（如Edgeworth展开），需要保留分解中的二阶甚至更高阶项。
- 影响函数与稳健统计：一阶核 \(h_1(x)\) 恰好是统计泛函 \(\theta(F) = E_F[h(X_1,...,X_m)]\) 在分布 \(F\) 处的影响函数，这连接了稳健统计学。
- 鞅差结构：在一些更一般的设定下（如弱相依数据），Hoeffding分解可以帮助构造鞅差序列，从而应用鞅的中心极限定理。
总结来说，Hoeffding分解通过将复杂的对称函数统计量正交分解为一系列更简单的、阶数递增的U统计量之和，不仅为计算方差提供了方便，更重要的是清晰地揭示了其渐近行为由一阶线性项主导，从而建立了通向渐近正态性的桥梁。它是现代非参数与渐近统计理论中不可或缺的工具之一。