📚 章节导读
马尔可夫链是研究随机过程的重要工具，广泛应用于物理、生物、经济等领域。 本章通过矩阵运算揭示状态转移的数学本质，探索系统如何从任意初始状态收敛到稳态分布。
25.1 状态向量转换
转移矩阵与状态演化
马尔可夫链的核心是转移矩阵 T，它描述了系统在不同状态之间的转移概率。 对于二维系统，转移矩阵的形式为：
其中 Tij 表示从状态 i 转移到状态 j 的概率
📊 矩阵元素含义
- • T₁₁ = 0.7：状态1保持不变的概率
- • T₁₂ = 0.2：从状态1转移到状态2的概率
- • T₂₁ = 0.3：从状态2转移到状态1的概率
- • T₂₂ = 0.8：状态2保持不变的概率
✓ 概率守恒
每列的概率和必须为1：
- • 第1列：0.7 + 0.3 = 1.0
- • 第2列：0.2 + 0.8 = 1.0
这确保了概率分布的完备性
状态向量更新公式
下一时刻的状态分布 = 转移矩阵 × 当前状态分布
📐 计算示例
给定初始状态向量 πi = [0.6, 0.4]T，计算下一时刻的状态：
= [0.7×0.6 + 0.2×0.4, 0.3×0.6 + 0.8×0.4]T
= [0.50, 0.50]T
💡 关键性质
- • 迭代计算：通过反复应用转移矩阵，可以预测未来任意时刻的状态
- • 矩阵幂：πi+2 = T² · πi = T · T · πi
- • 概率保持：状态向量的元素和始终为1
- • 线性变换：转移过程本质上是线性空间中的变换
状态向量转移动画
观察转移矩阵如何将状态向量从 π0 转换到 π1
转移矩阵 T
当前状态 π0
下一状态 π1
⚙️ 控制面板
📊 状态演化历史
💡 关键观察
- • 状态向量的和始终保持为 1（概率守恒）
- • 每次转移都是线性变换：π' = T·π
- • 多步转移等价于矩阵幂：πn = Tn·π0
- • 观察状态如何逐渐接近稳态分布
🎬 矩阵乘法过程动画
深入理解转移矩阵与状态向量相乘的逐步计算过程
矩阵乘法动画：逐步计算过程
观察转移矩阵T与状态向量π的每个元素如何相乘并求和
转移矩阵 T
状态向量 π
结果向量 π'
⚙️ 控制面板
💡 矩阵乘法规则
- • 第i个元素：用矩阵T的第i行与向量π逐元素相乘再求和
- • 点积运算：π'₁ = T[0,0]×π[0] + T[0,1]×π[1]
- • 概率守恒：π'₁ + π'₂ = 1（转移矩阵每列和为1）
- • 物理意义：每次计算是从旧状态按概率"流向"新状态
🚶 离散状态跳转动画
观察粒子在状态之间的随机跳转，体验马尔可夫链的离散演化过程
马尔可夫链状态跳转动画
观察系统在状态空间中随机跳转，统计分布逐渐收敛到稳态
⚙️ 控制面板
📜 访问历史
📊 分布对比
💡 关键洞察
- • 每次跳转根据转移概率随机选择
- • 边的粗细表示转移概率大小
- • 红色数字显示每个状态被访问次数
- • 统计分布会逐渐收敛到稳态分布
- • 跳转次数越多，误差越小（大数定律）
25.2 稳态向量
收敛到稳态分布
无论初始状态如何，经过足够多次转移后，马尔可夫链通常会收敛到一个稳态向量（steady-state vector）， 此时系统的概率分布不再随时间变化。
🎯 稳态向量定义
稳态向量 π∞ 是转移矩阵 T 的特征值为1的特征向量
✅ 收敛条件
- • 不可约：任意两个状态之间可以相互到达
- • 非周期：系统不会陷入周期性循环
- • 正则：转移矩阵的某个幂次所有元素都大于0
⏱️ 收敛速度
收敛速度取决于转移矩阵的第二大特征值：
- • λ₂越接近0，收敛越快
- • λ₂越接近1，收敛越慢
多种初始状态的演化
通过观察从不同初始状态（如[1,0]、[0.8,0.2]、[0.5,0.5]、[0.2,0.8]、[0,1]）出发的演化轨迹， 可以验证它们最终都收敛到相同的稳态分布。
对于本章的转移矩阵 T = [[0.7, 0.2], [0.3, 0.8]]
🔍 实际应用
- • PageRank算法：Google搜索引擎的网页排名
- • 天气预测：晴天/雨天的长期概率分布
- • 基因演化：种群基因频率的稳定状态
- • 经济模型：市场份额的长期分布
稳态收敛动画：粒子追踪
观察粒子沿轨迹运动，从不同初始位置收敛到唯一的稳态点
选择初始状态
⚙️ 控制面板
💡 关键洞察
- • 唯一稳态：所有初始状态都收敛到同一点
- • 指数收敛：距离以几何级数递减
- • 特征值：收敛速度由第二大特征值决定
- • 物理意义：长期来看，系统忘记初始条件
- • 不可逆：不同起点到达同一终点，信息损失
📐 数学解释
稳态方程： T · π* = π*
π* = [0.40, 0.60]
收敛定理：
如果T不可约且非周期，则：
lim(n→∞) Tⁿ · π₀ = π*
25.3 状态向量连续变化
二维空间中的轨迹可视化
将状态向量视为二维平面上的点，可以直观地观察转移过程如何改变概率分布。 通过绘制向量的演化轨迹，我们能够理解系统的几何特性。
🎨 可视化要素
向量表示
- • 从原点出发的箭头
- • 长度代表概率幅度
- • 方向代表状态组合
参考线
- • 对角线 y = 1 - x（等概率线）
- • 单位圆（归一化向量）
- • 坐标轴（基向量方向）
初始向量
不同颜色表示不同初始状态，从11个等间隔分布开始
演化轨迹
彩虹色渐变表示时间进程，从初始状态到稳态
收敛点
所有轨迹最终指向同一个稳态向量位置
📊 几何解释
- • 向量归一化：除以模长后落在单位圆上
- • 线性变换：转移矩阵对向量进行旋转和缩放
- • 不动点：稳态向量是变换的不动点
- • 吸引子：所有轨迹都被稳态向量吸引
⚡ 动力学特性
- • 等距收缩：远离稳态的向量以几何级数接近
- • 方向保持：特征向量方向的向量保持不变
- • 混合时间：达到接近稳态所需的步数
- • 可逆性：满足详细平衡条件的特殊情况
二维空间向量变形动画
观察向量如何在连续变换中旋转和缩放，最终收敛到稳态方向
选择初始向量
⚙️ 控制面板
📊 当前向量信息
💡 关键洞察
- • 方向收敛：所有向量最终指向同一方向
- • 长度变化：未归一化时长度逐渐增大或减小
- • 旋转动画：观察向量如何平滑旋转到稳态
- • 缩放动画：向量长度连续变化过程
- • 几何意义：线性变换的几何本质是旋转+缩放
📐 数学解释
线性变换：
v' = T · v
特征向量：
稳态方向是最大特征值对应的特征向量
T · v_steady = λ_max · v_steady
几何意义：
• 旋转：向量方向变化
• 缩放：向量长度变化
• 收敛：多次迭代后锁定稳态方向
章节总结
🎯核心概念
- • 转移矩阵：描述状态间转移概率的随机矩阵
- • 状态向量：系统在各状态的概率分布
- • 稳态向量：特征值为1的特征向量
- • 马尔可夫性质：未来只依赖于现在，与过去无关
- • 遍历性：任意状态可相互到达
📐关键公式
🔬几何直观
- • 向量空间：状态向量位于概率单纯形中
- • 线性变换：转移矩阵作用是线性映射
- • 特征向量：稳态向量对应特征值1
- • 收敛轨迹：所有路径指向同一不动点
- • 吸引盆：整个状态空间都收敛到稳态
💼实际应用
- • 搜索引擎：PageRank网页排名算法
- • 推荐系统：用户行为预测
- • 生物学：种群遗传模型
- • 物理学：统计力学中的状态演化
- • 金融：信用评级转移矩阵
- • 自然语言：文本生成和语音识别
🔗与前章联系
第23章介绍了线性方程组和矩阵逆，为理解转移矩阵提供了基础；第24章讲解了最小二乘法和回归分析，这些都是线性变换的应用。 本章的马尔可夫链将这些概念推广到随机过程，展示了概率论与线性代数的深刻结合。 转移矩阵的迭代过程本质上是矩阵幂运算，而稳态向量的求解归结为特征值问题。