非线性规划中的惩罚函数法 惩罚函数法是一种处理约束优化问题的数值方法，其核心思想是将约束问题转化为一系列无约束问题，通过逐步调整惩罚参数来逼近原问题的最优解。下面我将分步骤详细解释这一方法。 基本思想与问题背景 考虑一般非线性规划问题： \[ \min f(x) \quad \text{s.t.} \quad x \in S = \{ x \in \mathbb{R}^n \mid g_ i(x) \leq 0, \, h_ j(x) = 0 \} \] 其中 \( f \) 是目标函数，\( g_ i \) 为不等式约束，\( h_ j \) 为等式约束。直接求解约束问题可能困难，惩罚函数法通过构造一个包含目标函数和约束违反度的新函数，将约束“惩罚”到目标中。 惩罚函数的构造 定义惩罚项：对于违反约束的点，施加一个正惩罚。例如： 等式约束惩罚：\( [ h_ j(x) ]^2 \)（平方惩罚确保可微性）。 不等式约束惩罚：\( \max(0, g_ i(x))^2 \)（仅对违反约束 \( g_ i(x) > 0 \) 惩罚）。 构造惩罚函数： \[ P(x; \mu) = f(x) + \mu \cdot \left( \sum_ i [ \max(0, g_ i(x))]^2 + \sum_ j [ h_ j(x) ]^2 \right) \] 其中 \( \mu > 0 \) 是惩罚参数，控制惩罚的强度。 惩罚问题的求解过程 固定惩罚参数 \( \mu_ k \)，求解无约束问题： \[ \min_ x P(x; \mu_ k) \] 通过梯度下降、牛顿法等无约束优化方法找到极小点 \( x(\mu_ k) \)。 逐步增大惩罚参数：令 \( \mu_ {k+1} = \rho \mu_ k \)（其中 \( \rho > 1 \)），重复求解。随着 \( \mu_ k \to \infty \)，惩罚项迫使解满足约束，序列 \( \{x(\mu_ k)\} \) 收敛于原问题的最优解。 算法收敛性与稳定性 在适当条件下（如函数连续、可行集非空），当 \( \mu_ k \to \infty \) 时，惩罚函数的极小点收敛至原问题的最优解。 实际中，过大的 \( \mu \) 会导致惩罚函数病态（Hessian矩阵条件数大），需配合稳健的无约束优化器。 方法变体：精确与光滑惩罚 精确惩罚函数 ：例如 \( \ell_ 1 \) 惩罚 \( P(x; \mu) = f(x) + \mu \left( \sum_ i |\max(0, g_ i(x))| + \sum_ j |h_ j(x)| \right) \)，对有限 \( \mu \) 即可得到精确解，但不可微。 光滑近似 ：用可微函数近似 \( \ell_ 1 \) 惩罚，如用 \( \sqrt{\epsilon + [ h_ j(x)]^2} \) 替代 \( |h_ j(x)| \)（\( \epsilon > 0 \) 小）。 实际应用与扩展 适用于工程设计、经济模型等复杂约束问题，常与序列无约束优化技术结合。 扩展包括增广拉格朗日法，通过结合拉格朗日乘子减少对大幅值 \( \mu \) 的依赖。