Visualize-ML

← 目录Ch15 正交矩阵

Ch15 奇异值分解

SVD · 最通用的矩阵分解，对任意矩阵都存在

🎮 SVD：矩阵分解的瑞士军刀

A = UΣVᵀ：旋转-缩放-旋转

🔄 SVD 的三步变换

💡 核心洞察

任意线性变换 = 旋转 → 缩放 → 旋转
单位圆 → 椭圆，椭圆的半轴就是奇异值！

🌟 SVD 应用

• 图像压缩：保留主奇异值
• 推荐系统：矩阵补全
• 降维：PCA 的计算方法
• 去噪：截断小奇异值

🔄

Vᵀ

输入空间旋转

📏

奇异值缩放

🔄

输出空间旋转

开篇

SVD 是矩阵分解的瑞士军刀

🔄

Vᵀ

输入空间旋转

📏

奇异值缩放

🔄

输出空间旋转

核心思想：任意线性变换 = 旋转 → 缩放 → 旋转，单位圆变椭圆！

15.1 SVD 几何

🎯 目标：理解 A = UΣVᵀ，单位圆经过变换后成为椭圆，半轴是奇异值

🎮 SVD 几何探索器

A = U Σ V^T，输入方向 → 缩放 → 输出方向

矩阵 A（可编辑）

奇异值

σ1

3.26

σ2

1.84

秩 rank(A) = 2

Frobenius = 3.74

条件数 = 1.8

能量比 = 76%

蓝色=输入方向V，红/绿=输出方向U（长度=奇异值）

SVD 几何：单位圆上的点经过 A 变换后成为椭圆。椭圆的主轴方向是 U，主轴长度是奇异值 σ，原单位圆上对应的方向是 V。

15.2 SVD 分步变换

🎯 目标：观察 Vᵀ → Σ → U 三步变换过程

🎮 SVD 分步变换

A = U · Σ · V^T 的三步几何过程

变换步骤

原始单位圆

变换前

3.00

1.00

3.00

0.71

-0.71

0.71

4.00

0.00

2.00

V^T

0.71

-0.71

0.71

SVD 三步理解

1. V^T：旋转到输入主轴坐标系

2. Σ：沿各主轴独立缩放

3. U：旋转到输出方向

核心理解：SVD 将任意线性变换分解为"旋转→缩放→旋转"三步。这解释了为什么单位圆总是变成椭圆（缩放）且可能旋转（两个正交矩阵）。

15.3 低秩近似

🎯 目标：理解截断 SVD 得到 Frobenius 范数下的最佳秩-r 近似

🎮 低秩近似演示

保留前 r 个奇异值，得到最佳秩-r 近似

保留秩 r = 2

奇异值分布

σ1=9

σ2=3

σ3=1

保留 σ1-σ2

能量保留

98.9%

Frobenius 误差

1.81

= sqrt(Σ σi² for i > r)

Eckart-Young 定理

截断 SVD 是 Frobenius 范数下的最佳低秩近似！没有其他秩-r 矩阵比它更接近原矩阵。

原矩阵 A

5.0

4.0

1.0

4.0

5.0

1.0

3.0

≈

秩-2 近似

5.0

4.0

0.9

4.0

5.0

0.9

1.2

误差矩阵

0.0

0.1

0.0

0.1

1.8

应用场景：图像压缩（保留主要奇异值）、降噪（去除小奇异值）、推荐系统（矩阵补全）、数据降维（PCA 等价于对中心化数据做 SVD）。

15.4 四个基本子空间

🎯 目标：理解 U、V 的列给出四个子空间的正交基

🎮 SVD 与四个基本子空间

SVD 揭示矩阵的完整结构

矩阵 A: 3×4，秩 r = 2

四个基本子空间

列空间

Col(A) = U的前r列

⊂ ℝ^3

行空间

Row(A) = V的前r列

⊂ ℝ^4

零空间

Null(A) = V的后n-r列

⊂ ℝ^4

左零空间

Null(Aᵀ) = U的后m-r列

⊂ ℝ^3

秩-零度定理

Col + LeftNull = 2 + 1 = 3

Row + Null = 2 + 2 = 4

子空间关系图

SVD 揭示：U 的列给出 Col(A) 和 Null(Aᵀ) 的正交基，V 的列给出 Row(A) 和 Null(A) 的正交基。

本章小结

SVD 是数据科学的基石

核心公式

A = UΣVᵀ（完整 SVD）

A ≈ U_kΣ_kV_kᵀ（截断 SVD）

‖A - A_k‖ = σ_(k+1)（误差）

应用场景

• 图像压缩：保留主奇异值

• 推荐系统：矩阵补全

• PCA：SVD 计算实现

• 去噪：截断小奇异值

📚 下一章：Ch16 深入奇异值分解