马尔可夫链的转移概率矩阵 第一步：基本定义与背景 马尔可夫链的转移概率矩阵是描述马尔可夫链动态行为的核心工具。马尔可夫链是一种随机过程，其未来状态仅依赖于当前状态，而与过去状态无关（马尔可夫性）。若链的状态空间是离散的（如有限集 \(\{1, 2, ..., n\}\)），则转移概率矩阵 \(P\) 是一个方阵，其元素 \(P_ {ij}\) 表示从状态 \(i\) 一步转移到状态 \(j\) 的概率，即： \[ P_ {ij} = \mathbb{P}(X_ {t+1} = j \mid X_ t = i), \quad \forall i,j \in S \] 其中 \(S\) 是状态空间。矩阵 \(P\) 需满足两个性质： 非负性 ：\(P_ {ij} \geq 0\)； 行和为1 ：每行元素之和 \(\sum_ j P_ {ij} = 1\)（概率分布条件）。 第二步：矩阵的构造与示例 假设天气模型的状态为“晴”（状态1）、“雨”（状态2），转移概率如下： 若今天晴，明天晴的概率为0.8，雨的概率为0.2； 若今天雨，明天晴的概率为0.6，雨的概率为0.4。 则转移矩阵为： \[ P = \begin{pmatrix} 0.8 & 0.2 \\ 0.6 & 0.4 \end{pmatrix} \] 第一行对应从“晴”出发的转移，第二行对应从“雨”出发的转移。矩阵的列顺序与状态索引一致。 第三步：多步转移与矩阵幂 若想计算从状态 \(i\) 经过 \(n\) 步到达状态 \(j\) 的概率，需使用矩阵的 \(n\) 次幂 \(P^n\)。其元素 \(P^{(n)} {ij}\) 满足 查普曼-科尔莫戈罗夫方程 ： \[ P^{(n+m)} {ij} = \sum_ k P^{(n)} {ik} P^{(m)} {kj} \] 这等价于矩阵乘法 \(P^{n+m} = P^n \cdot P^m\)。例如，上述天气模型的二步转移矩阵为： \[ P^2 = \begin{pmatrix} 0.8 & 0.2 \\ 0.6 & 0.4 \end{pmatrix}^2 = \begin{pmatrix} 0.76 & 0.24 \\ 0.72 & 0.28 \end{pmatrix} \] 表示今天晴时，后天晴的概率为0.76。 第四步：矩阵与平稳分布的关系 若马尔可夫链不可约且非周期（见已讲词条），则存在唯一平稳分布 \(\pi\)，满足： \[ \pi P = \pi, \quad \sum_ i \pi_ i = 1 \] 即 \(\pi\) 是矩阵 \(P\) 的左特征向量（特征值为1）。例如，天气模型的平稳分布可通过解方程求得： \[ \begin{cases} 0.8\pi_ 1 + 0.6\pi_ 2 = \pi_ 1 \\ 0.2\pi_ 1 + 0.4\pi_ 2 = \pi_ 2 \\ \pi_ 1 + \pi_ 2 = 1 \end{cases} \Rightarrow \pi = (0.75, 0.25) \] 表明长期下，75%的时间为晴天。 第五步：矩阵的分解与谱性质 对于有限状态马尔可夫链，转移矩阵 \(P\) 可进行特征分解。特征值 \(\lambda\) 满足 \(|\lambda| \leq 1\)，且必有一个特征值1。若链可逆（满足细致平衡条件），则 \(P\) 可对角化，平稳分布对应特征值1。谱隙（1与第二特征值的距离）决定了链的混合速度，即收敛到平稳分布的快慢。 总结 ：转移概率矩阵通过代数运算完整刻画了马尔可夫链的短期与长期行为，是分析状态转移、平稳性及收敛性的基石。