随机变量的变换的Fisher信息与Cramér-Rao下界 基本概念引入 在统计推断中，我们经常需要估计未知参数（如正态分布的均值μ）。Fisher信息量化了观测数据中携带的关于参数的信息量：参数越容易被数据精确估计，Fisher信息越大。设随机变量X的概率密度函数（或概率质量函数）为f(x;θ)，其中θ为待估参数。Fisher信息的定义基于对数似然函数ℓ(θ)=ln f(X;θ)，其公式为： I(θ) = E[ (∂ℓ(θ)/∂θ)² ]。 这里，∂ℓ(θ)/∂θ称为得分函数（Score Function），衡量了似然函数对参数θ的敏感度。 Fisher信息的性质与计算 得分函数的期望为0，即E[ ∂ℓ(θ)/∂θ ] = 0（证明需交换积分与求导顺序）。因此，Fisher信息等价于得分函数的方差：I(θ) = Var(∂ℓ(θ)/∂θ)。 另一常用形式为：I(θ) = -E[ ∂²ℓ(θ)/∂θ² ]，即Fisher信息是对数似然函数二阶导的负期望。这反映了似然函数的曲率：曲率越大（峰值越尖锐），参数估计越精确。 示例 ：若X ~ Poisson(λ)，则对数似然为ℓ(λ) = Xlnλ - λ - ln(X !)，计算得I(λ) = 1/λ。 Cramér-Rao下界的推导 设θ̂是参数θ的无偏估计量（即E[ θ̂ ] = θ）。Cramér-Rao不等式指出，任何无偏估计量的方差存在下界： Var(θ̂) ≥ 1 / I(θ)。 推导思路 ：利用柯西-施瓦茨不等式，将θ̂与得分函数的协方差关联：Cov(θ̂, ∂ℓ/∂θ)² ≤ Var(θ̂)Var(∂ℓ/∂θ)。通过计算可得Cov(θ̂, ∂ℓ/∂θ) = 1，结合Var(∂ℓ/∂θ) = I(θ)，即得结论。 下界的意义与扩展 Cramér-Rao下界表明，无偏估计量的精度受限于Fisher信息。若某估计量的方差达到下界，则称为 有效估计 （如正态分布中样本均值对μ的估计）。 多参数情形 ：当θ为向量时，Fisher信息扩展为矩阵I(θ)，其逆矩阵提供无偏估计量协方差矩阵的下界。 注意事项 ：下界要求模型满足正则条件（如可交换积分与求导顺序），且仅适用于无偏估计量。有偏估计可能突破该下界（如岭估计）。 应用与局限性 Fisher信息用于设计实验（如选择采样分布以最大化信息量）、评估估计效率（比较估计量方差与下界的比率）。但其依赖渐近理论，小样本下可能不适用；且对模型误设敏感，实际中需结合其他统计工具（如bootstrap）进行验证。