马尔可夫链
字数 3797 2025-10-27 23:25:57

好的，我们开始学习一个新的词条：马尔可夫链。

第一步：基本思想与核心概念

想象一个系统，它可以在不同的状态之间切换。比如，天气可以是“晴”、“雨”、“阴”三种状态之一。我们关心的是：在已知今天天气的情况下，明天的天气会怎样？

马尔可夫链 的核心思想是 “无记忆性”，也称为 马尔可夫性质。它的精确定义是：一个过程的“未来”状态的条件概率分布，只依赖于“现在”的状态，而与“过去”的历史状态无关。

用数学语言表达就是：
设有一个随机过程 \(X_0, X_1, X_2, \dots\)，其中每个 \(X_n\) 代表在时刻 \(n\) 系统所处的状态。
如果对于任意时刻 \(n\) 和任意可能的状态 \(i_0, i_1, \dots, i_{n-1}, i, j\)，都有：

\[P(X_{n+1} = j \mid X_0 = i_0, X_1 = i_1, \dots, X_n = i) = P(X_{n+1} = j \mid X_n = i) \]

那么这个过程就具有马尔可夫性，并可以被称为一个马尔可夫链。

简单来说： 要预测下一步，你只需要知道当前在哪，不需要知道你是怎么来到这里的。

第二步：状态空间与转移概率

一个马尔可夫链由两个基本要素定义：

  1. 状态空间 (State Space)：所有可能状态的集合，通常用 \(S\) 表示。它可以是有限的（如{晴，雨，阴}），也可以是可数无限的（如整数集），甚至是不可数的（后者通常称为马尔可夫过程，我们主要讨论前两种）。
  2. 转移概率 (Transition Probabilities)：系统从一个状态转移到另一个状态的概率。
    我们定义 一步转移概率 \(p_{ij}\) 为从状态 \(i\) 一步转移到状态 \(j\) 的概率：

\[ p_{ij} = P(X_{n+1} = j \mid X_n = i) \]

这个概率通常被假设为与时间 \(n\) 无关（即无论周一晴转雨还是周五晴转雨，概率都一样）。这种链被称为 时间齐次的 马尔可夫链，也是我们主要讨论的对象。

第三步：转移概率矩阵

当状态空间是有限的，比如 \(S = \{1, 2, \dots, N\}\)，我们可以用一个矩阵来清晰地表示所有转移概率，这个矩阵称为 转移概率矩阵 \(P\)。

\[P = \begin{pmatrix} p_{11} & p_{12} & \dots & p_{1N} \\ p_{21} & p_{22} & \dots & p_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ p_{N1} & p_{N2} & \dots & p_{NN} \end{pmatrix} \]

这个矩阵有两个关键性质：

  1. 每个元素 \(p_{ij} \ge 0\)（因为它是概率）。
  2. 每一行的元素之和为 1，即 \(\sum_{j=1}^{N} p_{ij} = 1\)（因为从状态 \(i\) 出发，下一步必然转移到某个状态，包括可能停留在自身）。

例子： 简单的天气模型。
状态空间：{晴(S), 雨(R)}。
转移矩阵 \(P\) 可能为：

\[P = \begin{pmatrix} 0.8 & 0.2 \\ // 今天晴，明天晴的概率0.8，明天雨的概率0.2 0.4 & 0.6 // 今天雨，明天晴的概率0.4，明天雨的概率0.6 \end{pmatrix} \]

第四步：多步转移与查普曼-科尔莫戈罗夫方程

我们自然想知道更远未来的情况，比如已知今天晴，后天雨的概率是多少？这就是 多步转移概率。

我们用 \(p_{ij}^{(n)}\) 表示从状态 \(i\) 经过 \(n\) 步后转移到状态 \(j\) 的概率。
计算多步转移概率的一个强大工具是 查普曼-科尔莫戈罗夫方程：

\[p_{ij}^{(m+n)} = \sum_{k \in S} p_{ik}^{(m)} p_{kj}^{(n)} \]

这个等式的直观解释是：从 \(i\) 到 \(j\) 走 \(m+n\) 步，可以分解为：先走 \(m\) 步到达某个中间状态 \(k\)，再从 \(k\) 走 \(n\) 步到达 \(j\)。对所有可能的中间状态 \(k\) 求和即可。

在矩阵形式下，这个方程有非常简洁的表达：n步转移概率矩阵 \(P^{(n)}\) 正好等于一步转移概率矩阵 \(P\) 的 \(n\) 次方。

\[P^{(n)} = P^n \]

这意味着，要计算多步转移，我们只需要对矩阵进行幂运算。

接上例： 计算两天后的转移概率矩阵。

\[P^{(2)} = P^2 = \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} 0.8\times0.8 + 0.2\times0.4 & 0.8\times0.2 + 0.2\times0.6 \\ 0.4\times0.8 + 0.6\times0.4 & 0.4\times0.2 + 0.6\times0.6 \end{pmatrix} = \begin{pmatrix} 0.72 & 0.28 \\ 0.56 & 0.44 \end{pmatrix} \]

所以，如果今天晴（状态S），后天下雨（状态R）的概率 \(p_{SR}^{(2)} = 0.28\)。

第五步：状态的分类与长期行为

研究马尔可夫链的长期行为是其核心课题之一。我们根据状态之间的可达性和回归性对状态进行分类：

  • 可达性与互通性：如果存在 \(n \ge 0\) 使得 \(p_{ij}^{(n)} > 0\)，则称从状态 \(i\) 可到达状态 \(j\)。如果 \(i\) 和 \(j\) 互相可达，则称它们 互通。互通的状态构成一个 等价类。
  • 常返态与非常返态：
    • 常返态：从该状态出发，未来几乎必然（概率为1）会返回该状态。
    • 非常返态：从该状态出发，有正的概率永不返回。
  • 周期性与非周期性：一个常返态可能有周期。例如，一个状态只能在第2、4、6...步返回，则其周期为2。如果一个状态的周期为1，则称为 非周期 的。非周期性对于链的长期稳定至关重要。

第六步：平稳分布与极限定理

对于一个马尔可夫链，一个非常重要的问题是：当步数 \(n\) 趋于无穷大时，系统处于各个状态的概率分布是否会稳定下来？

这个稳定的概率分布（如果存在）称为 平稳分布，记作行向量 \(\pi = (\pi_1, \pi_2, \dots, \pi_N)\)。它的定义是：

\[\pi P = \pi \quad \text{且} \quad \sum_{i=1}^{N} \pi_i = 1, \quad \pi_i \ge 0 \]

这意味着，一旦系统进入这个分布，它将在未来一直保持这个分布。

重要定理：对于一个不可约（所有状态互通）、非周期、有限状态的马尔可夫链，无论初始分布如何，当 \(n \to \infty\) 时，n步转移概率矩阵 \(P^n\) 的每一行都会收敛到平稳分布 \(\pi\)。即：

\[\lim_{n \to \infty} p_{ij}^{(n)} = \pi_j \quad \text{对于任意的初始状态 } i。 \]

这被称为链的 极限分布。

接上例：求天气模型的平稳分布。
解方程 \(\pi P = \pi\)：

\[(\pi_S, \pi_R) \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} = (\pi_S, \pi_R) \]

得到方程组：

\[\begin{cases} 0.8\pi_S + 0.4\pi_R = \pi_S \\ 0.2\pi_S + 0.6\pi_R = \pi_R \\ \pi_S + \pi_R = 1 \end{cases} \]

化简第一个方程： \(0.4\pi_R = 0.2\pi_S\) => \(2\pi_R = \pi_S\)。
代入 \(\pi_S + \pi_R = 1\)： \(2\pi_R + \pi_R = 1\) => \(3\pi_R = 1\) => \(\pi_R = 1/3, \quad \pi_S = 2/3\)。
所以，从长期来看，约有 \(2/3\) 的时间是晴天，\(1/3\) 的时间是雨天。无论第一天是晴是雨，经过很长时间后，晴天的概率都趋近于 \(2/3\)。

以上是马尔可夫链理论的基础框架。接下来，我们可以进一步探讨更深入的概念，如可逆性、连续时间马尔可夫链、蒙特卡洛马尔可夫链等。你是否希望我继续讲解这些进阶内容？

好的，我们开始学习一个新的词条： 马尔可夫链 。 第一步：基本思想与核心概念 想象一个系统，它可以在不同的状态之间切换。比如，天气可以是“晴”、“雨”、“阴”三种状态之一。我们关心的是：在已知今天天气的情况下，明天的天气会怎样？ 马尔可夫链 的核心思想是 “无记忆性” ，也称为 马尔可夫性质 。它的精确定义是：一个过程的“未来”状态的条件概率分布，只依赖于“现在”的状态，而与“过去”的历史状态无关。 用数学语言表达就是： 设有一个随机过程 \( X_ 0, X_ 1, X_ 2, \dots \)，其中每个 \( X_ n \) 代表在时刻 \(n\) 系统所处的状态。 如果对于任意时刻 \(n\) 和任意可能的状态 \( i_ 0, i_ 1, \dots, i_ {n-1}, i, j \)，都有： \[ P(X_ {n+1} = j \mid X_ 0 = i_ 0, X_ 1 = i_ 1, \dots, X_ n = i) = P(X_ {n+1} = j \mid X_ n = i) \] 那么这个过程就具有马尔可夫性，并可以被称为一个马尔可夫链。 简单来说： 要预测下一步，你只需要知道当前在哪，不需要知道你是怎么来到这里的。 第二步：状态空间与转移概率 一个马尔可夫链由两个基本要素定义： 状态空间 (State Space) ：所有可能状态的集合，通常用 \(S\) 表示。它可以是有限的（如{晴，雨，阴}），也可以是可数无限的（如整数集），甚至是不可数的（后者通常称为马尔可夫过程，我们主要讨论前两种）。 转移概率 (Transition Probabilities) ：系统从一个状态转移到另一个状态的概率。 我们定义 一步转移概率 \(p_ {ij}\) 为从状态 \(i\) 一步转移到状态 \(j\) 的概率： \[ p_ {ij} = P(X_ {n+1} = j \mid X_ n = i) \] 这个概率通常被假设为与时间 \(n\) 无关（即无论周一晴转雨还是周五晴转雨，概率都一样）。这种链被称为 时间齐次的 马尔可夫链，也是我们主要讨论的对象。 第三步：转移概率矩阵 当状态空间是有限的，比如 \(S = \{1, 2, \dots, N\}\)，我们可以用一个矩阵来清晰地表示所有转移概率，这个矩阵称为 转移概率矩阵 \(P\)。 \[ P = \begin{pmatrix} p_ {11} & p_ {12} & \dots & p_ {1N} \\ p_ {21} & p_ {22} & \dots & p_ {2N} \\ \vdots & \vdots & \ddots & \vdots \\ p_ {N1} & p_ {N2} & \dots & p_ {NN} \end{pmatrix} \] 这个矩阵有两个关键性质： 每个元素 \(p_ {ij} \ge 0\)（因为它是概率）。 每一行的元素之和为 1，即 \(\sum_ {j=1}^{N} p_ {ij} = 1\)（因为从状态 \(i\) 出发，下一步必然转移到某个状态，包括可能停留在自身）。 例子： 简单的天气模型。 状态空间：{晴(S), 雨(R)}。 转移矩阵 \(P\) 可能为： \[ P = \begin{pmatrix} 0.8 & 0.2 \\ // 今天晴，明天晴的概率0.8，明天雨的概率0.2 0.4 & 0.6 // 今天雨，明天晴的概率0.4，明天雨的概率0.6 \end{pmatrix} \] 第四步：多步转移与查普曼-科尔莫戈罗夫方程 我们自然想知道更远未来的情况，比如已知今天晴，后天雨的概率是多少？这就是 多步转移概率 。 我们用 \(p_ {ij}^{(n)}\) 表示从状态 \(i\) 经过 \(n\) 步后转移到状态 \(j\) 的概率。 计算多步转移概率的一个强大工具是 查普曼-科尔莫戈罗夫方程 ： \[ p_ {ij}^{(m+n)} = \sum_ {k \in S} p_ {ik}^{(m)} p_ {kj}^{(n)} \] 这个等式的直观解释是：从 \(i\) 到 \(j\) 走 \(m+n\) 步，可以分解为：先走 \(m\) 步到达某个中间状态 \(k\)，再从 \(k\) 走 \(n\) 步到达 \(j\)。对所有可能的中间状态 \(k\) 求和即可。 在矩阵形式下，这个方程有非常简洁的表达： n步转移概率矩阵 \(P^{(n)}\) 正好等于一步转移概率矩阵 \(P\) 的 \(n\) 次方 。 \[ P^{(n)} = P^n \] 这意味着，要计算多步转移，我们只需要对矩阵进行幂运算。 接上例： 计算两天后的转移概率矩阵。 \[ P^{(2)} = P^2 = \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} 0.8\times0.8 + 0.2\times0.4 & 0.8\times0.2 + 0.2\times0.6 \\ 0.4\times0.8 + 0.6\times0.4 & 0.4\times0.2 + 0.6\times0.6 \end{pmatrix} = \begin{pmatrix} 0.72 & 0.28 \\ 0.56 & 0.44 \end{pmatrix} \] 所以，如果今天晴（状态S），后天下雨（状态R）的概率 \(p_ {SR}^{(2)} = 0.28\)。 第五步：状态的分类与长期行为 研究马尔可夫链的长期行为是其核心课题之一。我们根据状态之间的可达性和回归性对状态进行分类： 可达性与互通性 ：如果存在 \(n \ge 0\) 使得 \(p_ {ij}^{(n)} > 0\)，则称从状态 \(i\) 可到达状态 \(j\)。如果 \(i\) 和 \(j\) 互相可达，则称它们 互通 。互通的状态构成一个 等价类 。 常返态与非常返态 ： 常返态 ：从该状态出发，未来几乎必然（概率为1）会返回该状态。 非常返态 ：从该状态出发，有正的概率永不返回。 周期性与非周期性 ：一个常返态可能有周期。例如，一个状态只能在第2、4、6...步返回，则其周期为2。如果一个状态的周期为1，则称为 非周期 的。非周期性对于链的长期稳定至关重要。 第六步：平稳分布与极限定理 对于一个马尔可夫链，一个非常重要的问题是：当步数 \(n\) 趋于无穷大时，系统处于各个状态的概率分布是否会稳定下来？ 这个稳定的概率分布（如果存在）称为 平稳分布 ，记作行向量 \(\pi = (\pi_ 1, \pi_ 2, \dots, \pi_ N)\)。它的定义是： \[ \pi P = \pi \quad \text{且} \quad \sum_ {i=1}^{N} \pi_ i = 1, \quad \pi_ i \ge 0 \] 这意味着，一旦系统进入这个分布，它将在未来一直保持这个分布。 重要定理 ：对于一个 不可约 （所有状态互通）、 非周期 、 有限状态 的马尔可夫链，无论初始分布如何，当 \(n \to \infty\) 时，n步转移概率矩阵 \(P^n\) 的每一行都会收敛到平稳分布 \(\pi\)。即： \[ \lim_ {n \to \infty} p_ {ij}^{(n)} = \pi_ j \quad \text{对于任意的初始状态 } i。 \] 这被称为链的 极限分布 。 接上例 ：求天气模型的平稳分布。 解方程 \(\pi P = \pi\)： \[ (\pi_ S, \pi_ R) \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix} = (\pi_ S, \pi_ R) \] 得到方程组： \[ \begin{cases} 0.8\pi_ S + 0.4\pi_ R = \pi_ S \\ 0.2\pi_ S + 0.6\pi_ R = \pi_ R \\ \pi_ S + \pi_ R = 1 \end{cases} \] 化简第一个方程： \(0.4\pi_ R = 0.2\pi_ S\) => \(2\pi_ R = \pi_ S\)。 代入 \(\pi_ S + \pi_ R = 1\)： \(2\pi_ R + \pi_ R = 1\) => \(3\pi_ R = 1\) => \(\pi_ R = 1/3, \quad \pi_ S = 2/3\)。 所以，从长期来看，约有 \(2/3\) 的时间是晴天，\(1/3\) 的时间是雨天。无论第一天是晴是雨，经过很长时间后，晴天的概率都趋近于 \(2/3\)。 以上是马尔可夫链理论的基础框架。接下来，我们可以进一步探讨更深入的概念，如可逆性、连续时间马尔可夫链、蒙特卡洛马尔可夫链等。你是否希望我继续讲解这些进阶内容？