Chapter 15: 截断型奇异值分解

15.1节从几何视角回顾奇异值分解(SVD)的基本概念。图1展示了3×2矩阵A的完全型SVD分解结构：A = U @ S @ Vᵀ， 其中U是3×3正交方阵（左奇异向量），S是3×2对角矩阵（奇异值），V是2×2正交方阵（右奇异向量）。图2说明线性变换Ax = y的几何意义，将向量x从ℝ²映射到ℝ³。图3揭示SVD的核心几何直觉：任意矩阵变换可分解为旋转(Vᵀ)→缩放(S)→旋转(U)三步， 这是理解PCA、降维、图像压缩等应用的数学基础。

15.2节介绍奇异值分解的四种主要形式及其演化关系。 从完全型SVD（U和V都是正交方阵）开始， 逐步演化为经济型（去除U中的零列）， 再到紧缩型（只保留非零奇异值）， 最后得到截断型（只保留前p个最大奇异值用于降维）。

15.3节从几何角度理解截断型SVD分解。 原始数据矩阵X可以写成D个秩一矩阵的叠加：X = Σsⱼuⱼvⱼᵀ。 每叠加一个秩一矩阵，重建矩阵X̂的秩就增加1。 从投影视角看，X朝vⱼ投影的结果为sⱼuⱼ，即XV = US。 用前p个主成分重建数据，相当于只保留前p个最大奇异值对应的秩一矩阵。

15.4节从优化角度理解截断型SVD分解。 寻找第一主成分v₁等价于求解最大L2范数投影：arg max ||Xv||（约束||v||=1）。 这等价于求格拉姆矩阵G=XᵀX的最大特征值，也等价于求瑞利商的最大值。 从F-范数角度，截断SVD给出秩不超过p的最优近似：min ||X - X̂||_F。 最大奇异值s₁与最大特征值λ₁的关系为λ₁ = s₁²。

15.5节用截断SVD分析鸢尾花照片。 黑白化后的图像每个像素都是[0,1]范围内的数字，整幅图可看作数据矩阵。 用1个主成分重建时图像难以辨识，16个主成分已能看到鸢尾花样子，64个主成分图像清晰且数据压缩至2.5%。 这种方法在人脸识别的特征脸(Eigenface)技术中应用广泛： 将人脸图像转换为低维特征向量进行识别。