📖 本章学习目标
- 理解六条PCA技术路线的联系与区别
- 掌握SVD与EVD的等价性关系
- 对比协方差、格拉姆、相关性矩阵三种方法
- 可视化特征值分解、投影、双标图、椭圆演化
16.1 六条PCA技术路线对比
主成分分析有六条技术路线，它们看似不同，实际上可以归纳为三大类： 基于原始数据（X、G）、基于中心化数据（Xc、Σ）、基于标准化数据（ZX、P）。 每一类又分为对数据矩阵进行SVD分解，或对对应的对称矩阵（格拉姆/协方差/相关性）进行EVD分解。
核心洞察
• 六条路线，三大类：X/G（原始）、Xc/Σ（中心化）、ZX/P（标准化）
• SVD ↔ EVD等价：对数据矩阵SVD = 对对称矩阵EVD，右奇异向量 = 特征向量
• 关键关系：λj = sj² / (n-1)，特征值 = 奇异值平方除以样本数减1
六条PCA技术路线
区分联系 • SVD与EVD • 三大类路线
| 对象 | 方法 | 结果 |
|---|---|---|
原始数据矩阵 X | 奇异值分解 | X = U_X S_X V_X^T |
格拉姆矩阵 G = X^T X / (n-1) | 特征值分解 | G = V_X Λ_X V_X^T |
中心化数据矩阵 X_c = X - E(X) | 奇异值分解 | X_c = U_c S_c V_c^T |
协方差矩阵 Σ = (X-E(X))^T(X-E(X))/(n-1) | 特征值分解 | Σ = V_c Λ_c V_c^T |
标准化数据 Z_X = (X-E(X))/σ | 奇异值分解 | Z_X = U_Z S_Z V_Z^T |
相关性系数矩阵 P = Z_X^T Z_X / (n-1) | 特征值分解 | P = V_Z Λ_Z V_Z^T |
💡 为什么需要不同路线？协方差矩阵适合量纲一致的数据；格拉姆矩阵保留原点信息；相关性矩阵消除量纲和方差影响，适合多源异构数据。
16.2 协方差矩阵：基于中心化数据
将数据中心化后（Xc = X - E(X)），对协方差矩阵Σ进行特征值分解。 这是最常用的PCA方法，适合量纲一致的数据。 协方差矩阵的对角线元素为方差，非对角线元素为协方差。
方法特点
- • Xc = X - E(X)（中心化数据）
- • Σ = XcTXc / (n-1)
- • Λc：特征值（主成分方差）
- • Vc：特征向量（主成分方向）
16.3 格拉姆矩阵：基于原始数据
直接对原始数据X的格拉姆矩阵G = XTX / (n-1)进行特征值分解。未去均值，因此椭圆形状细长且朝向原点。 主对角线元素代表列向量模的平方，反映特征相对于原点的分散程度。
与协方差矩阵的区别
• 协方差Σ：去均值后的"分散度"，椭圆中心在原点
• 格拉姆G：未去均值的"分散度"，椭圆偏向数据质心
• 应用场景：图像处理、信号分析等需保留原点信息的场景
16.4 相关性系数矩阵：基于标准化数据
将数据标准化为Z分数（ZX = (X - E(X)) / σ）后，对相关性系数矩阵P进行特征值分解。消除量纲和方差影响，所有特征贡献率相同（各25%）， 适合多源异构数据（如：身高cm、体重kg、温度℃、价格￥等混合特征）。
为什么选择相关性矩阵？
• 问题：协方差矩阵受方差大小影响，方差大的特征主导PCA结果
• 解决：标准化后每个特征方差=1，主对角线全为1，消除偏见
• 代价：第一主成分贡献率下降（从92.5%降至73.0%），需要更多主成分
三种方法完整对比与可视化
下面的交互组件展示协方差、格拉姆、相关性三种方法的完整分析流程： 特征值分解、热图对比、方差分布、陡坡图、特征向量矩阵、投影过程、双标图、椭圆演化。 切换不同方法和子视图，观察它们的异同。
PCA三大方法详解
协方差 • 格拉姆 • 相关性 • 完整分析流程
🎓 本章核心要点
- 六条路线本质：三大类两种分解（SVD/EVD），结果完全等价
- 矩阵关系：X → Xc → ZX，G → Σ → P
- 等价关系：λj = sj² / (n-1)，特征值 ↔ 奇异值
- 方法选择：量纲一致用Σ，保留原点用G，多源数据用P
- 可视化工具：热图、陡坡图、双标图、椭圆演化揭示PCA过程