好的，我们开始学习一个新的词条：马尔可夫链（Markov Chain）。
请注意，虽然“马尔可夫链”在已列表中出现过一次，但“随机过程”是更广泛的总称。我们将马尔可夫链作为一个具体的、极其重要的特例进行深入讲解。
词条：马尔可夫链（Markov Chain）
马尔可夫链是数学中用于建模随机系统的一种强大工具，它描述的是一个系统在多种状态之间随机转换的过程，其核心特性是“无记忆性”。
第一步：核心思想——无记忆性（马尔可夫性质）
想象一个非常简单的天气系统，每天的状态只有两种：晴天（S） 或 雨天（R）。
- 普通情况（有记忆）：要预测明天的天气，你可能会考虑过去几天的天气。比如，“如果连续下了三天雨，明天更可能是晴天”。这种情况下，预测依赖于漫长的历史。
- 马尔可夫情况（无记忆）：安德雷·马尔可夫提出了一种更简单的模型。在这个模型里，要预测明天的天气，你只需要知道今天的天气。过去的天气（比如前天、大前天的）在已知今天天气的条件下，对预测未来没有影响。
这种“未来只依赖于现在，而与过去无关”的特性，就称为马尔可夫性质。具备这种性质的随机过程，就是马尔可夫过程。当时间和状态都是离散的（比如天数、晴/雨），我们就称之为马尔可夫链。
第二步：如何描述一个马尔可夫链——状态空间与转移概率
一个马尔可夫链由两个基本要素定义：
- 状态空间（State Space）：系统所有可能状态的集合。在我们的例子中，状态空间是 {晴天(S), 雨天(R)}。状态空间可以是有限的，也可以是可数无限的。
- 转移概率（Transition Probabilities）：从当前状态转移到下一个状态的概率。这通常用一个矩阵表示，称为转移概率矩阵。
让我们为天气例子赋予具体的概率：
- 如果今天是晴天，明天有 0.9 的概率仍是晴天，有 0.1 的概率下雨。
- P(明天=S | 今天=S) = 0.9
- P(明天=R | 今天=S) = 0.1
- 如果今天是雨天，明天有 0.5 的概率下雨，有 0.5 的概率转晴。
- P(明天=R | 今天=R) = 0.5
- P(明天=S | 今天=R) = 0.5
我们可以将这些概率整理成一个矩阵，行表示“今天”的状态，列表示“明天”的状态：
| 今天 \ 明天 | 晴天(S) | 雨天(R) |
|---|---|---|
| 晴天(S) | 0.9 | 0.1 |
| 雨天(R) | 0.5 | 0.5 |
这个矩阵就是转移概率矩阵，记作 P。注意，矩阵的每一行之和必须为 1，因为从任何一个状态出发，第二天必然转移到所有可能状态之一。
第三步：模拟链的演变——多步转移
现在我们有了模型，可以开始预测了。假设第一天是晴天（我们称之为初始状态）。
- 第1天：确定是晴天。
- 第2天：根据矩阵，第2天是晴天的概率是 0.9，是雨天的概率是 0.1。
- 第3天：第3天的概率取决于第2天。我们需要考虑所有可能的情况。这可以通过矩阵乘法来实现。
- 概率(第3天=S) = P(第2天=S) * P(S->S) + P(第2天=R) * P(R->S) = (0.9 * 0.9) + (0.1 * 0.5) = 0.81 + 0.05 = 0.86
- 概率(第3天=R) = P(第2天=S) * P(S->R) + P(第2天=R) * P(R->R) = (0.9 * 0.1) + (0.1 * 0.5) = 0.09 + 0.05 = 0.14
计算第n天后的状态概率分布，只需将初始状态的概率向量（例如第1天是[1, 0]）乘以转移矩阵P的(n-1)次方。
初始向量 v₀ = [1 (S), 0 (R)]
v₁ = v₀ * P = [1, 0] * P = [0.9, 0.1] （第2天分布）
v₂ = v₀ * P² = [1, 0] * P² = [0.86, 0.14] （第3天分布）
v₃ = v₀ * P³ = [1, 0] * P³ ≈ [0.844, 0.156] （第4天分布）
第四步：长期行为——稳态分布
一个自然的问题是：从长期来看，这个系统会稳定下来吗？也就是说，经过很多很多天后，晴天的比例和雨天的比例会趋于固定吗？
计算发现，随着n增大，vₙ 会趋近于一个固定的向量 π。
对于这个例子，我们可以解方程 π = πP，且 π(S) + π(R) = 1。
即：
π(S) = 0.9π(S) + 0.5π(R)
π(R) = 0.1π(S) + 0.5π(R)
且 π(S) + π(R) = 1
解这个方程组，得到 π(S) = 5/6 ≈ 0.833， π(R) = 1/6 ≈ 0.167。
这个向量 π 被称为稳态分布或平稳分布。无论第一天从晴天还是雨天开始，只要时间足够长，系统处于晴天的概率总是约83.3%，处于雨天的概率总是约16.7%。这意味着马尔可夫链的长期行为与初始状态无关。
第五步：状态的分类（进阶概念）
并非所有马尔可夫链都有唯一的稳态分布。状态之间如何连通决定了链的性质。
- 常返态（Recurrent）：一个状态是常返的，如果系统从该状态出发，最终必定会返回到该状态。换句话说，返回的概率是1。
- 暂态（Transient）：一个状态是暂态的，如果系统从该状态出发，有大于0的概率永远不会返回。
- 周期态（Periodic）：一个状态有周期d，如果返回该状态的可能步数都是d的倍数（d是满足该条件的最大整数）。如果d=1，则称该状态是非周期（Aperiodic）的。
一个重要的定理是：如果一个马尔可夫链是不可约（所有状态互相连通）且非周期的，那么它存在唯一的稳态分布，并且从任何初始状态出发，长期分布都会收敛于该稳态分布。我们的天气例子就满足这个条件。
总结与应用
马尔可夫链是研究随机系统演化的基石。它的应用极其广泛，包括：
- 自然语言处理：句子中的词序列建模。
- 网页排序：Google的PageRank算法核心就是一个马尔可夫链，网页是状态，链接是转移。
- 金融市场：资产价格变动的建模。
- 生物信息学：DNA序列分析。
- 排队理论：模拟顾客到达和服务的过程。
通过理解状态、转移概率和无记忆性，你就掌握了分析大量现实世界中随机动态系统的关键工具。