随机变量的变换的M估计方法 我们来循序渐进地学习M估计方法。 第一步：M估计的基本思想 M估计是一种广泛的参数估计框架，其核心思想是通过最小化某个损失函数的平均值来估计参数。设我们有一个参数θ，以及一组独立同分布的观测数据X₁, X₂, ..., Xₙ。M估计量θ̂定义为使目标函数Qₙ(θ) = (1/n)∑ᵢ₌₁ⁿ ρ(Xᵢ; θ)达到最小的θ值，其中ρ是损失函数。当ρ(x; θ) = -log f(x; θ)时，M估计就退化为最大似然估计。 第二步：常见损失函数类型 M估计的灵活性体现在损失函数的选择上。对于位置参数估计，常用的损失函数包括： 平方损失：ρ(x; θ) = (x - θ)²，对应样本均值 绝对损失：ρ(x; θ) = |x - θ|，对应样本中位数 Huber损失：结合平方和绝对损失，对异常值更稳健 对于回归问题，损失函数通常依赖于残差rᵢ = yᵢ - xᵢᵀθ。 第三步：M估计的求解方法 由于目标函数通常是非线性的，M估计一般需要迭代数值方法求解。最常见的是迭代重加权最小二乘法。我们考虑目标函数的梯度方程：(1/n)∑ᵢ₌₁ⁿ ψ(Xᵢ; θ) = 0，其中ψ = ∂ρ/∂θ是影响函数。通过引入权重wᵢ = ψ(Xᵢ; θ)/(Xᵢ - θ)，可以将问题转化为加权最小二乘问题，迭代求解直至收敛。 第四步：M估计的渐近性质 在正则性条件下，M估计量具有优良的统计性质。当n→∞时，√n(θ̂ - θ₀)依分布收敛于正态分布N(0, V)，其中θ₀是真实参数值，渐近方差V = A⁻¹BA⁻¹，A = E[ ∂ψ(X; θ₀)/∂θ]是海塞矩阵的期望，B = E[ ψ(X; θ₀)ψ(X; θ₀)ᵀ ]是外积矩阵。对于最大似然估计，A = B，此时V简化为Fisher信息矩阵的逆。 第五步：稳健M估计 M估计的一个重要应用是稳健统计。通过精心设计损失函数，可以构造对异常值不敏感的估计量。例如，Huber估计使用分段函数：当|r|较小时用平方损失保证效率，当|r|较大时用线性损失限制异常值影响。Tukey的双权重函数、Andrews的正弦函数等也是常用的稳健损失函数，它们能进一步减少异常值的影响，同时保持对主体数据的高效估计。