马尔可夫链 我们来学习概率论中一个描述“记忆缺失”随机过程的重要概念：马尔可夫链。 第一步：核心思想——马尔可夫性 想象一个系统，它随着时间在多个可能的状态间切换。比如，每天的天气可以是“晴”、“阴”、“雨”三种状态之一。马尔可夫链的核心特性叫做“马尔可夫性”或无记忆性。它的定义是： 系统在下一时刻的状态，只依赖于当前时刻的状态，而与过去的历史状态无关。 用数学语言表达就是：设 X_n 表示系统在时刻 n 的状态。那么，对于任何时刻 n 和任何可能的状态 i, j, i_{n-1}, ..., i_0 ，都有： P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) 这个条件概率 P(X_{n+1} = j | X_n = i) 是马尔可夫链的灵魂，我们称之为 “一步转移概率” 。 第二步：模型的构成要素 一个（离散时间、有限状态）马尔可夫链由以下几个基本要素确定： 状态空间 (S) ：所有可能状态的集合，通常记为 S = {1, 2, ..., N} （状态数量有限）。 转移概率 (P) ：一个条件概率矩阵，也称为 转移矩阵 。矩阵中的每个元素 p_{ij} 表示系统从状态 i 一步转移到状态 j 的概率。即： p_{ij} = P(X_{n+1} = j | X_n = i) 初始分布 (π⁽⁰⁾) ：一个概率向量，表示系统在初始时刻 ( n=0 ) 处于各个状态的概率。例如， π⁽⁰⁾ = [P(X_0=1), P(X_0=2), ..., P(X_0=N)] 。 第三步：转移矩阵与状态演化 转移矩阵 P 是一个 N x N 的方阵，它有一些非常重要的性质： 每个元素 p_{ij} 都是一个概率，因此满足 0 ≤ p_{ij} ≤ 1 。 从任何一个状态 i 出发，下一步必须转移到状态空间中的某个状态（包括自身）。因此， 矩阵每一行的概率之和必须等于1 ，即 Σ_j p_{ij} = 1 （对所有的 i 都成立）。 有了转移矩阵和初始分布，我们就可以预测系统在未来任何时刻的状态分布。记 π⁽ⁿ⁾ 为时刻 n 的状态分布向量。那么， π⁽ⁿ⁾ 可以通过矩阵乘法计算： π⁽ⁿ⁾ = π⁽⁰⁾ Pⁿ 这里 Pⁿ 表示转移矩阵 P 的 n 次幂。这个公式完美体现了马尔可夫链的威力：未来的状态分布完全由初始状态和转移概率决定。 第四步：状态的分类与长期行为 研究马尔可夫链的一个核心问题是：当时间无限推移（ n -> ∞ ）时，系统的行为会怎样？它是否会稳定下来？为了回答这个问题，我们需要对状态进行分类： 可达与互通 ：如果从状态 i 出发，经过有限步后有可能到达状态 j ，则称 j 是 从 i 可达的 。如果 i 和 j 互相可达，则称它们是 互通的 。互通的状态可以归为一个 状态类 。 不可约性 ：如果一个马尔可夫链的所有状态都属于同一个互通类，则称这个链是 不可约的 。否则就是可约的。 常返性与瞬变性 ： 常返态 ：一个状态是常返的，如果系统从该状态出发，在将来几乎必定（概率为1）会返回该状态。 瞬变态 ：一个状态是瞬变的，如果系统从该状态出发，存在一个正的概率永远不会返回。 周期性 ：一个状态可能有周期。例如，如果一个状态只能每隔2个时间步被访问到（比如在第2，4，6...步），那么它的周期是2。如果一个状态的周期是1，则称其为 非周期 的。 第五步：平稳分布 对于不可约且非周期的马尔可夫链，一个非常重要的性质是：无论系统从哪个状态开始，经过长时间演化后，处于各个状态的概率分布会趋于一个稳定的极限，这个极限分布称为 平稳分布 ，记作行向量 π 。 平稳分布 π 可以通过求解以下方程得到： πP = π 且 Σ_i π_i = 1 这个方程的含义是：如果一个时刻系统的状态分布是 π ，那么下一时刻的分布依然是 π ，分布不再随时间改变。平稳分布描述了马尔可夫链的长期统计平衡行为。