随机变量的变换的Fisher信息与Cramér-Rao下界 我们首先从参数估计问题的基础开始。假设我们有一个概率模型，其概率密度函数（或概率质量函数）依赖于一个未知参数 θ。当我们从该分布中观测到数据后，我们希望利用这些数据来估计 θ。一个常用的方法是使用估计量，即一个关于数据的函数。为了评估估计量的好坏，我们需要一些准则，无偏性就是其中之一。 一个估计量被称为无偏的，如果它的期望值等于真实的参数值。现在，即使一个估计量是无偏的，它仍然可能存在波动。我们自然希望这种波动尽可能小，即估计量的方差尽可能小。那么，一个无偏估计量的方差是否存在一个理论上的下限？答案是肯定的，这个下限就是Cramér-Rao下界。 在引出Cramér-Rao下界之前，我们需要一个关键概念：Fisher信息。Fisher信息度量的是随机样本中所包含的关于未知参数 θ 的信息量。直观上，如果概率密度函数随 θ 的微小变化而剧烈变化，那么我们就更容易从数据中区分出不同的 θ 值，也就是说样本包含的信息量很大。 Fisher信息 I(θ) 定义为评分函数（对数似然函数关于参数 θ 的导数）的方差。也可以证明，它等于负的对数似然函数关于 θ 的二阶导数的期望值。Fisher信息越大，表明样本提供的关于 θ 的信息越多，我们理论上能够达到的估计精度就越高。 现在，我们可以陈述Cramér-Rao不等式了。该不等式指出，在任何正则条件下，任何无偏估计量的方差，其倒数都有一个上界，这个上界就是Fisher信息。更精确地说，对于任何无偏估计量，其方差至少等于Fisher信息的倒数，即 Cramér-Rao 下界。 达到Cramér-Rao下界的估计量被称为有效估计量。有效估计量在所有无偏估计量中具有最小的方差，因此是最优的。然而，有效估计量并不总是存在。当有效估计量存在时，它通常是最大似然估计量在大样本下的极限形式。 Cramér-Rao下界的重要性在于它提供了一个衡量估计量性能的基准。如果一个无偏估计量的方差接近这个下界，我们就知道它已经几乎是可能的最好估计了；如果差距很大，则提示我们或许可以寻找更优的估计量。这个下界是参数估计理论中的一个基本极限，类似于物理学中的热力学极限。