最优性条件的积极约束与正则性 第一步：基本概念回顾与问题设定 在约束优化问题中，我们通常考虑如下形式的问题： 最小化 f(x) 满足约束 c_ i(x) = 0, i ∈ E（等式约束） c_ i(x) ≥ 0, i ∈ I（不等式约束） 其中 x ∈ R^n，f 和 c_ i 是连续可微函数。E 和 I 分别是等式约束和不等式约束的索引集。 在讨论最优性条件时，一个核心概念是 积极约束 （Active Constraints）。对于一个可行点 x* （即满足所有约束的点），如果一个不等式约束 c_ i(x* ) ≥ 0 在 x* 处取等号，即 c_ i(x* ) = 0，那么我们称这个不等式约束在 x* 点是 积极的 。所有等式约束在任何可行点都是积极的。 第二步：积极约束集的定义与重要性 在点 x* 处，所有积极约束的索引构成的集合称为 积极约束集 （Active Set），记作 A(x* )： A(x* ) = E ∪ { i ∈ I | c_ i(x* ) = 0 }。 积极约束集之所以重要，是因为在最优点 x* ，只有积极约束才对目标函数 f 在 x* 处的局部变化构成实质性限制。那些非积极的不等式约束（即 c_ i(x* ) > 0）在 x* 的一个小邻域内仍然自动满足，因此它们不会影响 x* 附近的局部最优性。 第三步：约束规范与线性独立约束规范 为了从一阶必要条件（即KKT条件）中得出有意义的结论，我们需要确保在候选最优点 x* 处，积极约束的梯度向量是“良好行为”的。这个要求通过 约束规范 （Constraint Qualification, CQ）来形式化。 最常用且重要的约束规范是 线性独立约束规范 （Linear Independence Constraint Qualification, LICQ）： 在点 x* 处，如果所有积极约束的梯度向量 { ∇c_ i(x* ), i ∈ A(x* ) } 是线性无关的，则称LICQ在 x* 处成立。 第四步：LICQ的意义与作用 LICQ的关键作用在于它保证了在最优点 x* 处，拉格朗日乘子（λ_ i）的唯一性。如果LICQ成立，那么相应的KKT乘子向量 λ* 是唯一的。这使得我们可以明确地写出最优性条件。 反之，如果LICQ不成立，即使 x* 是局部最优点，也可能出现以下情况： 不存在满足KKT条件的乘子。 或者存在满足KKT条件的乘子，但不唯一。 因此，LICQ是确保标准一阶必要性条件（KKT条件）成立的“强”约束规范之一。 第五步：其他约束规范 除了LICQ，运筹学中还研究其他较弱的约束规范，它们在LICQ不成立时，可能仍然能保证KKT条件的有效性。例如： Mangasarian-Fromovitz 约束规范 ：要求等式约束的梯度线性无关，并且存在一个方向，使得所有等式约束在该方向上的导数为零，而所有积极不等式约束在该方向上的导数大于零。 Slater 条件 ：主要针对凸优化问题，要求存在一个相对内点满足所有不等式约束为严格不等式（>0）。 这些较弱的CQ扩大了KKT条件适用的范围，但LICQ因其简洁性和易于验证性而在理论和算法中最为常用。 总结 “最优性条件的积极约束与正则性”这一词条的核心是理解 积极约束集 如何界定在局部最优点真正起作用的约束，以及 约束规范 （特别是 线性独立约束规范LICQ ）如何为确保最优性条件（如KKT条件）的“正则性”或“良好定义性”提供数学基础。这是从理论分析过渡到算法设计（如积极集法）的关键桥梁。