代理优化 代理优化是一种用于处理计算昂贵黑箱函数优化的方法。当目标函数或约束条件的每次评估都需要耗费大量计算资源（如复杂仿真、物理实验）时，代理优化通过构建计算廉价的替代模型（即代理模型）来指导搜索过程，从而减少对真实昂贵函数的调用次数。 1. 基本思想与问题背景 核心问题：优化目标函数 \( f(x) \)，其中 \( x \) 是决策变量，但每次计算 \( f(x) \) 的成本极高（例如耗时数小时）。 直接应用传统优化算法（如梯度下降）可能不可行，因为需要大量函数评估。 解决思路：利用已评估点的函数值 \(\{ (x_ i, f(x_ i)) \}\) 构建一个近似函数 \( \hat{f}(x) \)（即代理模型），该模型计算成本低。优化过程在代理模型上交替进行，并选择性更新真实模型。 2. 代理模型的构建方法 参数化模型 ：假设函数形式，通过数据拟合参数。例如： 多项式响应面 ：用低阶多项式逼近函数，适用于平滑问题。 - 高斯过程（Kriging） ：假设函数值服从多元高斯分布，可提供预测值的置信区间，常用于贝叶斯优化。 非参数模型 ：如径向基函数网络，通过局部插值逼近函数形态。 关键步骤：根据已有数据点选择模型类型，通过最大似然估计或交叉验证确定超参数。 3. 采样策略与序列优化 初始设计 ：在决策空间内均匀选择初始点（如拉丁超立方采样），评估真实函数以构建初始代理模型。 加点准则 ：基于代理模型的预测，选择新评估点以平衡： 开发 ：在模型预测最优值附近搜索（利用当前信息）。 探索 ：在不确定性高的区域采样（避免局部最优）。 常用准则： 期望改进（EI） ：选择能使目标函数期望提升最大的点。 置信界（UCB） ：结合预测均值与标准差，加权选择新点。 4. 算法流程与收敛性 迭代步骤： 更新代理模型：用当前所有真实评估数据重新拟合模型。 优化加点准则：在代理模型上求解辅助优化问题，得到候选点 \( x_ {\text{new}} \)。 评估真实函数：计算 \( f(x_ {\text{new}}) \)，将新数据加入数据集。 检查终止条件（如评估次数上限或改进幅度阈值）。 收敛保证：在适当条件下（如高斯过程模型与EI准则），算法可渐近收敛到全局最优解。 5. 应用场景与扩展 工程设计：如飞行器气动外形优化、材料配方设计。 超参数调优：机器学习模型参数自动优化。 扩展变体： 多目标代理优化 ：同时逼近多个昂贵目标函数。 约束处理 ：为约束函数构建代理模型，结合可行性判断。 分布式代理优化 ：并行评估多个点以加速搜索。 代理优化通过“学习-决策-验证”的循环，显著降低了昂贵问题的优化成本，是计算实验领域的关键工具。