马尔可夫链 1. 基础概念 马尔可夫链是一种描述系统状态随时间演变的随机过程，其核心特性是 马尔可夫性 ：系统下一时刻的状态仅取决于当前状态，而与过去状态无关。数学表示为： \[ P(X_ {t+1} = x_ {t+1} \mid X_ t = x_ t, X_ {t-1} = x_ {t-1}, \dots, X_ 0 = x_ 0) = P(X_ {t+1} = x_ {t+1} \mid X_ t = x_ t) \] 其中 \(X_ t\) 表示时刻 \(t\) 的状态，状态空间为离散有限集（如 \(\{s_ 1, s_ 2, \dots, s_ n\}\)）。 2. 转移概率与转移矩阵 转移概率 \(p_ {ij}\)：从状态 \(i\) 转移到状态 \(j\) 的概率，满足 \(\sum_ j p_ {ij} = 1\)。 转移矩阵 \(P\)：以 \(p_ {ij}\) 为元素的矩阵，例如： \[ P = \begin{bmatrix} p_ {11} & p_ {12} & \cdots \\ p_ {21} & p_ {22} & \cdots \\ \vdots & \vdots & \ddots \end{bmatrix} \] 该矩阵的每行之和为 1，称为 随机矩阵 。 3. 状态分类与性质 可达性 ：若存在 \(n\) 使 \(p_ {ij}^{(n)} > 0\)（\(n\) 步转移概率），则状态 \(j\) 从状态 \(i\) 可达。 连通性 ：若状态 \(i\) 与 \(j\) 互相可达，则它们属于同一 连通类 。 周期性 ：若返回状态 \(i\) 的时间步长最大公约数为 \(d\)，则 \(i\) 是周期为 \(d\) 的状态；若 \(d=1\)，则为 非周期 状态。 常返性与瞬变性 ：若从 \(i\) 出发最终返回 \(i\) 的概率为 1，则 \(i\) 为 常返态 ；否则为 瞬态 。 4. 稳态分布 若马尔可夫链是非周期且连通的（即 不可约 ），则存在唯一的 稳态分布 \(\pi\)，满足： \[ \pi P = \pi \quad \text{且} \quad \sum_ i \pi_ i = 1 \] 稳态分布表示长期下系统处于各状态的概率不再随时间变化。 5. 应用示例 网页排序 （PageRank）：将网页视为状态，链接视为转移，稳态分布对应网页重要性。 库存管理 ：用状态表示库存水平，转移概率反映需求与补货过程。 自然语言处理 ：隐马尔可夫模型用于词性标注或语音识别。 6. 扩展方向 连续时间马尔可夫链 ：状态转移发生在连续时间点上，由转移速率矩阵描述。 马尔可夫决策过程 ：在转移中引入决策与奖励，用于强化学习（已讲词条中涉及）。 隐马尔可夫模型 ：状态不可直接观测，需通过观测序列推断。 通过以上步骤，马尔可夫链从基本定义逐步深入到实际应用，为分析随机动态系统提供了核心工具。