马尔可夫链的强马尔可夫性 马尔可夫链的基本回顾 马尔可夫链是一类具有“无记忆性”的随机过程，其未来状态仅依赖于当前状态，而与过去状态无关。具体地，若记状态序列为 \(X_ 0, X_ 1, \dots\)，则对任意时刻 \(n\) 和状态 \(i, j, i_ 0, \dots, i_ {n-1}\)，满足： \[ P(X_ {n+1} = j \mid X_ n = i, X_ {n-1} = i_ {n-1}, \dots, X_ 0 = i_ 0) = P(X_ {n+1} = j \mid X_ n = i). \] 这一性质称为 马尔可夫性 （或弱马尔可夫性）。 停时的定义 停时是随机过程中一个重要的时间随机变量，其取值依赖于过程的历史，但判断“是否在时刻 \(t\) 停止”仅需用到 \(t\) 时刻及之前的信息。形式化地，随机变量 \(\tau\) 是停时，若对任意 \(t \geq 0\)，事件 \(\{\tau \leq t\}\) 仅由 \(X_ 0, X_ 1, \dots, X_ t\) 决定。 例子 ：马尔可夫链首次进入某状态集 \(A\) 的时间 \(\tau_ A = \inf\{n \geq 0: X_ n \in A\}\) 是一个停时。 强马尔可夫性的直观理解 强马尔可夫性将马尔可夫性推广到停时时刻：过程在停时 \(\tau\) 之后的行为，给定停时 \(\tau\) 和停时前的历史 \(X_ 0, \dots, X_ \tau\)，仅依赖于停时时刻的状态 \(X_ \tau\)，而与更早的历史无关。这意味着停时时刻后的过程重新开始一个独立的马尔可夫链。 强马尔可夫性的数学表述 设 \(\tau\) 是马尔可夫链的停时，且 \(P(\tau < \infty) = 1\)。则对任意状态 \(i, j\) 和未来状态序列 \(i_ 1, \dots, i_ k\)，有： \[ P(X_ {\tau+1} = i_ 1, \dots, X_ {\tau+k} = i_ k \mid X_ \tau = i, \text{停时前的历史}) = P_ i(X_ 1 = i_ 1, \dots, X_ k = i_ k). \] 这里 \(P_ i\) 表示从状态 \(i\) 出发的转移概率。 与弱马尔可夫性的区别 弱马尔可夫性仅对确定性时间点成立，而强马尔可夫性对随机停时也成立。例如，在首次返回某个状态的时刻，过程仍保持“重新开始”的特性，这使得强马尔可夫性在分析递归结构（如常返性）时至关重要。 应用示例：首达概率与常返性 利用强马尔可夫性，可以分析状态间的首达概率。设 \(\tau_ j\) 是首次到达状态 \(j\) 的时间，则从状态 \(i\) 出发，链在 \(\tau_ j\) 后继续演进的规律与从 \(j\) 出发的链相同。这一性质常用于证明状态分类（如常返态与瞬态）的判定定理。 强马尔可夫性的推广 强马尔可夫性可进一步推广到连续时间马尔可夫过程和更一般的随机过程（如布朗运动），此时需用σ代数严格描述“停时前的信息”，并借助右连续性等技术条件确保结论成立。