Visualize-ML

← 目录Ch12 向量空间

Ch12 Cholesky 分解

Cholesky Decomposition · 对称正定矩阵的专属分解

🎮 Cholesky：对称正定矩阵的专属分解

比 LU 快一倍，还更稳定！

正定矩阵

4.002.00

2.003.00

特征值检验（正定 ⟺ 全为正）

λ1

5.0

λ2

2.0

🤔 什么是正定矩阵？

1.对称：A = Aᵀ

2.对任意非零 x：xᵀAx > 0

3.等价：所有特征值为正

⚡ 为什么选 Cholesky？

🚀

速度快一倍

只算 L，Lᵀ 直接转置

💾

存储省一半

只存下三角 L

🎯

数值更稳定

无需选主元

📊 真实应用

协方差矩阵天然是对称半正定的！
机器学习中，Cholesky 用于：

• 高斯过程回归
• 卡尔曼滤波
• 多元正态分布采样

🔢 LU 分解

A = LU

任意方阵，需要存 L 和 U

✨ Cholesky

A = LLᵀ

对称正定，只需存 L！

开篇

对称正定矩阵是最友好的矩阵

🚀

快一倍

只算 L，Lᵀ 直接转置

💾

省一半存储

只存下三角 L

🎯

数值稳定

无需选主元

12.1 正定矩阵

🎯 目标：理解正定的三个等价定义——xᵀAx>0、特征值全正、顺序主子式全正

🎮 正定矩阵探索器

调整对称矩阵元素，观察正定性判断

对称矩阵 A

a11 = 4

a12 = 2

a22 = 5

4.0

2.0

5.0

正定判断条件

✓对称：A = AT

✓首主子式 a11 = 4.00 > 0

✓det(A) = 16.00 > 0

✓特征值 λ1=6.56, λ2=2.44 > 0

✓ 正定矩阵

可以进行 Cholesky 分解

xTAx = 1 定义的曲线

正定矩阵对应椭圆，半正定对应退化椭圆

正定矩阵：对任意非零向量 x，都有 xTAx 大于 0。等价条件：所有特征值为正、所有主子式为正、存在 Cholesky 分解。

12.2 Cholesky 分解

🎯 目标：理解 A = LLᵀ，L 是下三角矩阵，对角线元素为正

🎮 Cholesky 分解演示

A = LLT，下三角乘其转置

对称矩阵 A（可编辑）

对称矩阵：a21 = a12

预设矩阵

✓ 正定矩阵，可分解

det(A) = 16.00, a11 = 4.00

分解步骤

对称正定矩阵 A

检查是否满足 Cholesky 条件

4.00

2.00

5.00

Cholesky 优势：只需存储 L（节省一半空间），计算量是 LU 的一半，数值更稳定。常用于协方差矩阵、最小二乘正规方程。

12.3 Cholesky vs LU

🎯 目标：对比两种分解的效率、存储和稳定性

🎮 Cholesky vs LU 对比

同一个正定矩阵的两种分解

A = LU

0.5

LU：L 对角线为 1，U 存储消元结果

对比分析

分解形式

A = LU

A = LLT

存储需求

L + U (n² 元素)

仅 L (n²/2 元素)

计算量

O(n³/3)

O(n³/6)

适用条件

方阵，主元非零

对称正定

数值稳定性

一般

更好

L 对角线

全为 1

正数（开方结果）

LU 适用场景

一般方阵、非对称矩阵、多右端向量求解

Cholesky 适用场景

协方差矩阵、正规方程、能量最小化问题

12.4 Cholesky 求解

🎯 目标：理解 Ax=b → Ly=b（前代）→ Lᵀx=y（回代）

🎮 Cholesky 求解演示

Ax = b → Ly = b → Lᵀx = y

求解步骤

问题设置

Ax = b，A = LLᵀ

Lᵀ

8.00

9.00

Cholesky 求解：只需一个三角矩阵 L，两次代换即可。比 LU 节省存储和计算。

12.5 正定矩阵生成

🎯 目标：学习三种构造正定矩阵的方法——AᵀA、特征分解、对角占优

🎮 正定矩阵生成器

三种方法构造正定矩阵

生成方法

参数 = 1.0

方法说明

AᵀA 法：任意矩阵 A 的 AᵀA 一定半正定

a₁₁

1.00 ✓

det

1.00 ✓

正定?

是 ✓

生成的正定矩阵

1.00

0.50

1.25

可进行 Cholesky 分解

L₁₁ = √1.00 = 1.00

三种构造方法：AᵀA（最简单）、QΛQᵀ（指定特征值）、对角占优（保证正定）。

本章小结

Cholesky 是处理协方差矩阵的首选

正定矩阵判定

• 对称：A = Aᵀ

• xᵀAx > 0（对所有非零 x）

• 特征值全为正

• Cholesky 分解存在

应用场景

• 协方差矩阵求逆

• 高斯过程回归

• 卡尔曼滤波

• 多元正态采样

核心公式：A = LLᵀ（L 是下三角，对角线为正）

📚 下一章：Ch13 特征值分解