马尔可夫链的漂移与 Foster-Lyapunov 方法
1. 背景与问题引入
马尔可夫链的长期行为分析是概率论中的重要问题。我们常关心链是否具有平稳分布、是否收敛到平衡状态。对于不可约且非周期的链，若所有状态是正常返的，则链具有唯一的平稳分布。但如何判断一个马尔可夫链是否正常返？尤其当状态空间无限时，传统方法（如直接求解平衡方程）可能失效。漂移条件（Drift Conditions）与 Foster-Lyapunov 方法为此提供了强有力的工具。
2. 核心思想：能量函数与漂移
设想一个随机过程在状态空间中游走。若存在一个非负函数 \(V: \mathcal{X} \to [0, \infty)\)（称为 Lyapunov 函数），它像系统的“能量”，我们通过分析该函数在一步转移中的期望变化（即 漂移）来推断链的稳定性。
定义漂移算符 \(\Delta V(x) = \mathbb{E}[V(X_1) \mid X_0 = x] - V(x)\)。
3. Foster-Lyapunov 判断正常返性的基本定理
定理（Foster 定理的简化形式）：
设 \(\{X_n\}\) 在状态空间 \(\mathcal{X}\) 上不可约。若存在函数 \(V: \mathcal{X} \to [0, \infty)\)，有限集合 \(C \subset \mathcal{X}\)，以及常数 \(\epsilon > 0, \, b < \infty\)，使得对所有 \(x \in \mathcal{X}\) 有
\[\Delta V(x) \leq -\epsilon + b \cdot \mathbf{1}_{\{x \in C\}}, \]
则链是正常返的。
直观解释：
- 在集合 \(C\) 外，漂移为负（\(\Delta V(x) \leq -\epsilon\)），意味着链倾向于向“低能量”区域移动；
- 在有限集 \(C\) 内，漂移可能为正，但受 \(b\) 控制；
- 结合不可约性，链会反复回到 \(C\)，且离开 \(C\) 的期望时间有限，从而所有状态正常返。
4. 举例说明：生灭过程
考虑状态空间 \(\mathcal{X} = \{0, 1, 2, \dots\}\) 上的生灭过程，转移概率为：
\[P_{i,i+1} = p_i, \quad P_{i,i-1} = 1 - p_i \quad (\text{对 } i \geq 1), \quad P_{0,1} = 1. \]
取 Lyapunov 函数 \(V(x) = x\)（状态本身）。计算漂移：
\[\Delta V(i) = p_i \cdot 1 + (1-p_i) \cdot (-1) = 2p_i - 1. \]
若存在 \(i_0\) 和 \(\epsilon > 0\)，使得对所有 \(i > i_0\) 有 \(2p_i - 1 \leq -\epsilon\)，即 \(p_i \leq \frac{1}{2} - \frac{\epsilon}{2}\)，则取有限集 \(C = \{0, 1, \dots, i_0\}\)，漂移条件满足，链正常返。
5. 推广：判断暂态性与几何遍历性
类似的漂移条件也可用于：
- 判断暂态：若在某集合外漂移非负，且其他条件满足，则链可能暂态；
- 几何遍历性：若漂移条件加强为 \(\Delta V(x) \leq -\beta V(x) + b \cdot \mathbf{1}_{\{x \in C\}}\)（\(\beta > 0\)），则链以几何速率收敛到平稳分布。
6. 方法优势与应用场景
- 避免直接求解平稳分布，尤其适用于高维或连续状态空间；
- 在排队论、金融建模、蒙特卡洛方法中广泛用于证明链的稳定性；
- 结合 Foster-Lyapunov 方法与耦合技巧，还可分析收敛速率。
通过以上步骤，我们理解了如何通过构造 Lyapunov 函数并分析其漂移来判定马尔可夫链的常返性。这一方法将随机稳定性问题转化为寻找合适的“能量函数”，是研究复杂随机系统的重要工具。