Visualize-ML

← 目录Ch11 线性方程组

Ch11 矩阵分解

Matrix Factorization · 复杂问题 = 简单因子的乘积

🎮 为什么要分解矩阵？

复杂问题 = 简单问题的组合

📝 场景：求解方程组

需要求解 Ax = b

211

433

879

x₁

x₂

x₃

b₁

b₂

b₃

如果需要求解 1 个不同的 b：

直接求解成本

O(n³) × 1

LU 分解成本

O(n³) + O(n²)×1

🤔 为什么要分解？

●复用：分解一次，求解多次（不同的 b）

●简化：三角矩阵求解超快（前代/回代）

●理解：揭示矩阵的内在结构

📊 分解方法对比

LU任意方阵

Cholesky对称正定（更快）

QR数值稳定

SVD任意矩阵

💡 核心思想

矩阵分解 = 把复杂问题拆成简单的积木
就像 12 = 2 × 2 × 3，矩阵也能分解成简单因子！

🔢

LU 分解

A = LU，高斯消元

⚡

复用效率

分解一次，求解多次

🧩

结构揭示

简单因子的乘积

开篇

分解是理解和计算矩阵的钥匙

🎯 为什么分解？

• 复用：分解一次，求解多次
• 简化：三角矩阵超好算
• 揭示结构：理解矩阵本质

🔧 类比

12 = 2 × 2 × 3（质因数分解）
A = L × U（矩阵分解）
复杂 = 简单的组合

11.1 分解方法概览

🎯 目标：认识 LU、QR、Cholesky、SVD 各自的适用场景和特点

🎮 矩阵分解一览

不同分解方法的对比

A = LU

下三角 × 上三角

应用场景

求解线性方程组、计算行列式

适用条件

方阵，主元非零

分解特点

• L 对角线为 1，存储消元乘数

• U 是高斯消元的结果

• det(A) = det(U) = 对角线乘积

a11

a12

a21

a22

l21

u11

u12

u22

选择指南：一般方程组用 LU；最小二乘用 QR；正定矩阵用 Cholesky（更快）；降维/压缩用 SVD。

11.2 LU 分解

🎯 目标：理解 A = LU，L 存储消元乘数，U 是上三角消元结果

🎮 LU 分解演示

A = LU，下三角 × 上三角

输入矩阵 A（可编辑）

演示步骤

原矩阵 A

要分解的矩阵

行列式 det(A)

-6.00

= u11 × u22

主元 a11

可以分解

4.00

3.00

6.00

3.00

LU 分解：将 A 分解为下三角 L 和上三角 U。L 的对角线为 1，消元因子存储在 L 的下方。 det(A) = det(L) × det(U) = 1 × (u11 × u22)。

11.3 高斯消元

🎯 目标：理解 LU 分解的计算过程——通过行变换将矩阵化为上三角

🎮 高斯消元法演示

逐步消元，化为上三角形式

演示控制

原增广矩阵

[A|b]

高斯消元原理

1. 选择主元（对角线元素）

2. 用行变换消去下方元素

3. 移动到下一列，重复

4. 最终得到上三角矩阵 U

LU 分解关系

消元过程记录在 L 中，结果是 U。每次行变换的乘数就是 L 的元素。

增广矩阵 [A|b]

2.0

1.0

-1.0

8.0

-3.0

-1.0

2.0

-11.0

-2.0

1.0

2.0

-3.0

主元

已消元

右端

核心思想：通过行变换将矩阵化为上三角形式。消元过程的乘数构成 L，最终结果是 U。这就是 LU 分解的本质。

11.4 前代与回代

🎯 目标：理解如何利用 LU 高效求解 Ax=b → Ly=b（前代）→ Ux=y（回代）

🎮 前代与回代求解

Ax = b 分两步：Ly = b（前代）→ Ux = y（回代）

求解步骤

问题设置

求解 Ax = b，其中 A = LU

1.0

0.0

2.0

1.0

4.0

3.0

0.0

-3.0

7.00

8.00

效率优势：一旦有 LU 分解，求解 Ax = b 只需 O(n 平方) 而非 O(n 立方)。对于多个右端向量 b，LU 只需算一次。

本章小结

矩阵分解是数值线性代数的基石

🔢

任意方阵

✨

Cholesky

对称正定

📐

数值稳定

🌟

SVD

任意矩阵

核心公式：

A = LU（下三角 × 上三角）
求解：Ly = b（前代）→ Ux = y（回代）
复杂度：分解 O(n³)，求解 O(n²)

📚 下一章：Ch12 Cholesky 分解