马尔可夫链的平稳分布

接下来，我们将探讨马尔可夫链中一个极为核心的概念——平稳分布。这个概念描述了马尔可夫链在经过长时间演化后可能达到的一种稳定状态。

第一步：回顾与动机——马尔可夫链的长期行为

我们已知，一个马尔可夫链由一组可能的状态以及状态之间的转移概率所定义。一个很自然的问题是：当这个链运行了很长很长时间（即步数趋于无穷大）之后，它会呈现出什么样的行为？它是否会“稳定”下来？也就是说，处于每个状态的概率是否会趋于一个固定的值，而不再随时间改变？平稳分布正是用来回答这个问题的。

第二步：平稳分布的数学定义

设有一个马尔可夫链，其状态空间是离散的（例如 S = {A, B, C, ...}），其单步转移概率矩阵为 P（即矩阵中的元素 P_ij 表示从状态 i 转移到状态 j 的概率）。

一个概率分布 π 被称为该马尔可夫链的平稳分布（或稳态分布），如果它满足以下两个条件：

1. 全局平衡方程： π = πP。

   • 用矩阵和向量的形式写出来就是：对于每一个状态 j，都有 π(j) = Σ_i [π(i) * P(i, j)]。
   • 这个等式的直观解释是：等式左边 π(j) 表示在稳定状态下，系统处于状态 j 的长期概率。等式右边 Σ_i [π(i) * P(i, j)] 表示从所有可能的状态 i（以概率 π(i) 出现）一步转移到状态 j 的概率的总和。平稳性要求“流入”状态 j 的总概率恰好等于“流出”状态 j 的概率（即 π(j) 本身）。

2. 概率分布条件：π 的所有分量之和为 1，且每个分量都非负。即 Σ_j π(j) = 1，且 π(j) ≥ 0 对于所有 j。

第三步：一个简单的例子

考虑一个非常简单的两状态马尔可夫链，比如“晴天”和“雨天”的天气模型。假设转移概率矩阵 P 为：

P = [ 0.9   0.1  ]  // 今天晴天，明天晴天的概率0.9，下雨的概率0.1
     [ 0.5   0.5  ]  // 今天雨天，明天晴天的概率0.5，下雨的概率0.5

设平稳分布 π = [π(晴), π(雨)]。

根据定义 π = πP，我们可以列出方程：

• π(晴) = π(晴) * 0.9 + π(雨) * 0.5
• π(雨) = π(晴) * 0.1 + π(雨) * 0.5

同时，根据概率分布条件：

• π(晴) + π(雨) = 1

解这个方程组。从第一个方程可得：π(晴) - 0.9π(晴) = 0.5π(雨) -> 0.1π(晴) = 0.5π(雨) -> π(晴) = 5π(雨)。将其代入 π(晴) + π(雨) = 1，得到 5π(雨) + π(雨) = 1 -> 6π(雨) = 1 -> π(雨) = 1/6。因此，π(晴) = 5/6。

所以，这个天气模型的平稳分布是 π = [5/6, 1/6]。这意味着，从长远来看，大约有 5/6（83.3%）的时间是晴天，1/6（16.7%）的时间是雨天。

第四步：平稳分布的存在性与唯一性

一个重要的问题是：是否每个马尔可夫链都有平稳分布？如果有，是否唯一？

答案是否定的。平稳分布的存在性和唯一性取决于马尔可夫链的类别（这些类别我们之前讨论随机过程与马尔可夫链时提到过）：

• 不可约性：如果链中的任何状态都可以从任何其他状态经过有限步到达（即所有状态是连通的），则该链是不可约的。不可约链的平稳分布如果存在，则是唯一的。
• 非周期性：一个技术性条件，它排除了链在状态子集之间周期性振荡的情况。对于不可约且非周期的链，其平稳分布有更强大的性质。
• 正常返性：一个状态是“常返的”意味着链几乎肯定会无限次返回它。“正常返”还意味着平均返回时间是有限的。一个不可约的马尔可夫链存在唯一平稳分布当且仅当它的所有状态都是正常返的。

对于有限状态空间（状态数量有限）的马尔可夫链，情况更简单：一个不可约的有限马尔可夫链必定存在唯一的平稳分布。

第五步：平稳分布的意义与性质

1. 长期行为：如果马尔可夫链从任意初始分布开始，经过多步转移后，状态分布收敛于平稳分布 π，那么我们说 π 描述了链的长期行为。在不可约、非周期的有限链中，这种收敛是必然发生的。
2. 均值的时间平均：根据遍历定理，对于正常返的链，在一条单一的、足够长的轨道上，处于某个状态的时间比例会收敛到该状态的平稳概率。这为通过模拟（如蒙特卡洛方法）估计平稳分布提供了理论依据。
3. 应用的基石：平稳分布是许多应用的核心。例如，在排队论中，它用于计算系统的平均队列长度和等待时间；在统计物理学中，它对应于系统的平衡态（如吉布斯分布）；在网页排序算法（如PageRank）中，网页的“重要性”排名实际上就是一个定义在网页链接图上的马尔可夫链的平稳分布。