Visualize-ML

← 目录Ch16 对称矩阵

Ch16 深入奇异值分解

Advanced SVD · 谱分析、条件数与数值稳定性

🎮 SVD 的数值特性

奇异值谱揭示矩阵的秘密

截断位置保留 5 个

📊 奇异值谱分析

快速衰减：少数奇异值占主导，压缩效果好

缓慢衰减：信息分散，需要更多奇异值

100.0%

能量保留

📊

谱衰减

决定可压缩性

⚠️

条件数

决定稳定性

🔄

截断伪逆

平衡精度与稳定

开篇

奇异值谱揭示矩阵的数值特性

📊

谱衰减

决定可压缩性

⚠️

条件数

决定数值稳定性

🔄

截断伪逆

平衡精度与稳定

16.1 奇异值谱

🎯 目标：理解谱的衰减速度决定低秩近似效果，快速衰减 = 易压缩

🎮 奇异值谱分析

谱的形状揭示矩阵的内在结构

谱类型

信号为主

Frobenius 范数

12.16

= sqrt(Σσi²)

条件数 κ

33.3

= σ1/σn

累积能量

σ110.0

68%

σ26.0

92%

σ33.0

98%

σ41.5

100%

σ50.8

100%

σ60.3

100%

✓ 良态矩阵

条件数适中，数值稳定

奇异值谱

能量分布

68%

24%

谱分析：快速衰减的谱表示低秩结构（可压缩），平坦谱表示满秩/噪声（难压缩）。条件数 κ = σ1/σn 衡量数值稳定性，越大越病态。

16.2 截断误差

🎯 目标：理解 Eckart-Young 定理——截断 SVD 是 Frobenius 范数下的最佳低秩近似

🎮 截断误差分析

Eckart-Young 定理：截断 SVD 是最佳低秩近似

截断位置 k = 3

0 (零矩阵)6 (完整)

2-范数误差

1.50

= σ_4

Frobenius 误差

1.75

= sqrt(Σσi² for i > k)

能量保留

97.0%

压缩比

2.0x

Eckart-Young 定理

min ||A - B||_F = ||A - A_k||_F

其中 rank(B) = k

截断 SVD 给出最优解！

奇异值保留/截断

精度 vs 压缩权衡

压缩

精度

应用场景：图像压缩保留前 k 个奇异值，去噪舍弃小奇异值，推荐系统用低秩近似填补缺失值。选择 k 需要权衡精度和压缩/去噪效果。

16.3 伪逆与稳定性

🎯 目标：理解小奇异值的倒数如何放大噪声，以及截断伪逆的权衡

🎮 伪逆与数值稳定性

A+ = V Σ+ U^T，小奇异值的倒数会放大噪声

截断阈值 ε = 0.10

0.01 (激进)1.0 (保守)

有效秩

3 / 4

条件数

8.0

Σ vs Σ+

σ1

4.00

→

0.25

σ2

2.00

→

0.50

σ3

0.50

→

2.00

σ4

0.05

→

0.00

截断

✓ 阈值适中

截断小奇异值，提高数值稳定性

奇异值与其倒数

伪逆公式：A+ = V · Σ+ · U^T

Σ+ 对角线 = 1/σi（若 σi > ε）或 0（若 σi ≤ ε）

数值稳定性：小奇异值 σ 的倒数 1/σ 很大，会放大输入噪声。截断伪逆（设小于 ε 的奇异值倒数为 0）可以提高稳定性，代价是解不精确。

16.4 图像压缩

🎯 目标：体验 SVD 在图像压缩中的应用，观察不同秩的重构效果

🎮 SVD 图像压缩演示

保留前 k 个奇异值实现图像压缩

保留奇异值数 k = 5

1 (最压缩)10 (完整)

奇异值谱

保留 5/10 个

能量保留

99.0%

压缩比

10.0x

空间节省

存储公式

原始: m×n = 10000
压缩: k(m+n+1) = 1005
节省: 90%

重建图像（秩-5 近似）

亮

暗

k 越大，细节越多；k 越小，越模糊

实际应用：JPEG 2000、推荐系统矩阵补全、人脸识别特征提取都基于类似原理。

本章小结

理解 SVD 的数值特性是应用的关键

核心概念

• 条件数 κ = σ_max / σ_min

• 能量 = Σ σᵢ²

• 截断误差 = σ_(k+1)

• 伪逆 A⁺ = VΣ⁺Uᵀ

数值建议

• κ 大于 10⁶ 要警惕

• 截断小奇异值提高稳定性

• Tikhonov 正则化：σ/(σ²+λ)

📚 下一章：Ch17 多元函数微分