随机变量的变换的Cramér–Rao不等式 Cramér–Rao不等式是统计学中关于参数估计量方差下界的重要结果。让我为您详细解释这个概念。 首先，我们需要理解参数估计的背景。在统计推断中，我们经常需要根据样本数据来估计未知参数θ。任何基于样本的估计量都是一个随机变量，我们关心它的方差大小。 接下来介绍Fisher信息的概念。对于概率密度函数f(x;θ)，Fisher信息I(θ)定义为： I(θ) = E[ (∂/∂θ ln f(X;θ))² ] 它衡量了样本中包含关于参数θ的信息量，反映了我们对θ的估计精度。 现在考虑无偏估计量的性质。如果估计量θ̂满足E[ θ̂ ] = θ，那么它的方差Var(θ̂)有一个理论下界。 Cramér–Rao不等式指出：对于任何无偏估计量θ̂，在一定的正则条件下，有 Var(θ̂) ≥ 1/I(θ) 这个下界就是Cramér–Rao下界。 让我解释其中的正则条件。这些条件包括：支撑集不依赖于θ，概率密度函数对θ可导，Fisher信息存在且有限，以及可交换积分和求导的顺序。 这个不等式的证明基于柯西-施瓦茨不等式。考虑协方差Cov(θ̂, ∂/∂θ ln f(X;θ))，通过展开和计算可得： Cov(θ̂, S(θ)) = 1，其中S(θ)是得分函数。 然后应用柯西-施瓦茨不等式： [ Cov(θ̂, S(θ)) ]² ≤ Var(θ̂)·Var(S(θ)) 由于Var(S(θ)) = I(θ)，代入即得所需不等式。 当估计量达到这个下界时，我们称之为有效估计量。有效估计量在所有的无偏估计量中具有最小方差。 最后，Cramér–Rao不等式的重要性在于：它为评估估计量的效率提供了基准，帮助我们判断一个估计量是否接近最优，并在无法达到下界时指导我们改进估计方法。