凸优化
字数 663 2025-10-29 11:32:39
凸优化
- 基本概念
凸优化是数学规划的一个分支,研究目标函数为凸函数、约束集为凸集的优化问题。其核心特性是:局部最优解即全局最优解,这一性质使得问题在理论和计算上更易处理。
- 凸集:集合中任意两点的连线仍包含于该集合(例如:直线、球体、多面体)。
- 凸函数:函数图像上任意两点的连线位于图像上方,即满足 \(f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y)\)(\(\theta \in [0,1]\))。
- 问题形式
标准凸优化问题可表示为:
\[\min_{x} f(x) \quad \text{s.t.} \quad g_i(x) \leq 0, \ h_j(x) = 0, \]
其中 \(f(x)\) 和 \(g_i(x)\) 为凸函数,\(h_j(x)\) 为仿射函数(线性函数加常数),约束条件构成的可行域是凸集。
-
重要性
凸优化提供了系统的最优性理论(如KKT条件)和高效算法(如内点法、梯度下降法)。许多非凸问题可通过凸松弛转化为近似凸问题,广泛应用于机器学习、信号处理、金融等领域。 -
典型例子
- 线性规划:目标函数与约束均为线性,是凸优化的特例。
- 二次规划:若目标函数为凸二次函数,约束为线性,也属于凸优化。
- 半定规划:涉及半正定矩阵约束,是凸优化的高级形式。
- 与非凸优化的区别
非凸优化可能存在多个局部最优解,求解难度大;而凸优化的全局最优解可通过梯度信息或凸性理论直接定位,算法收敛性有保障。