随机规划中的序贯决策与学习 基本概念引入 随机规划中的序贯决策与学习研究决策者在多阶段不确定性环境下，如何通过逐步观察信息来调整策略，以优化长期目标。与静态随机规划不同，序贯决策强调“决策-观测-学习-再决策”的循环过程。例如，在动态资源分配中，每一阶段的决策依赖当前观测到的随机参数（如需求、价格），并考虑未来信息更新的可能性。 核心问题建模：多阶段随机规划框架 问题通常建模为多阶段随机规划： 阶段 \( t=0,1,\dots,T \)，初始状态已知。 每阶段观测随机变量 \(\xi_ t\)（如市场波动），其分布可能依赖历史信息。 决策变量 \(x_ t\) 需满足约束 \(x_ t \in \mathcal{X}_ t\)，且依赖历史信息 \(\mathcal{F}_ t = (x_ 0, \xi_ 1, \dots, \xi_ t)\)。 目标是最小化总期望成本 \(\mathbb{E}\left[ \sum_ {t=0}^T f_ t(x_ t, \xi_ t)\right]\)，其中 \(f_ t\) 为阶段成本函数。 关键挑战是决策需满足 非预期性 ：当前决策不能依赖未来信息。 信息结构与决策策略 适应性策略 ：决策 \(x_ t\) 必须是 \(\mathcal{F}_ t\)-可测的，即仅依赖当前已知信息。 策略空间 ：通常采用线性决策规则、仿射策略等参数化形式以简化计算，或使用动态规划求精确解（但受维数灾难限制）。 学习机制 ：通过观测新数据更新对随机参数分布的估计，例如贝叶斯更新或分布鲁棒优化中的模糊集调整。 学习方法与不确定性建模 分布学习 ：基于历史数据拟合 \(\xi_ t\) 的分布，如使用核密度估计或时间序列模型。 数据驱动策略 ：直接从数据学习决策映射，如通过随机梯度下降优化参数化策略。 在线学习 ：在决策过程中实时更新模型，如结合多臂老虎机算法处理探索-利用权衡。 求解算法：结合优化与学习 随机动态规划 ：若状态空间较小，通过值迭代或策略迭代求解贝尔曼方程。 近似动态规划 ：使用函数逼近（如神经网络）估计值函数，处理高维状态。 模型预测控制 ：每阶段求解有限视野的优化问题，并滚动执行首阶段决策。 强化学习 ：在模型未知时，通过Q学习、策略梯度等方法学习最优策略。 实际应用与扩展 能源系统 ：调整发电计划以适应实时电价和负荷波动。 供应链管理 ：根据销售数据动态补货，减少库存成本。 金融投资 ：基于市场数据再平衡投资组合。 扩展方向 ：考虑多智能体协作、非平稳环境、风险敏感目标（如动态风险度量）。 关键理论挑战 维数灾难 ：状态或决策空间过大时精确求解不可行。 分布漂移 ：数据分布随时间变化，需策略具备适应性。 计算效率 ：平衡策略的简单性与性能，如采用线性决策规则或场景树缩减技术。