Chapter 14: 主成分分析

14.1节从几何视角理解PCA，通过16个不同方向的投影寻找最大方差方向。14.2节对鸢尾花原始数据进行统计分析，包括数据矩阵、均值、标准差、协方差矩阵和相关性系数矩阵。

14.3节对协方差矩阵Σ进行特征值分解，得到特征值矩阵Λ（对角矩阵）和特征向量矩阵V（正交矩阵）。14.4节解释主成分vᵢ是原始特征[x₁,x₂,x₃,x₄]的线性组合， 并通过动画展示权重如何从原始特征流向主成分。

14.5节展示原始数据X通过特征向量矩阵V投影到主成分空间，得到转换数据Z。 分析转换数据的统计量（均值、标准差、方差）、KDE分布、协方差矩阵和成对特征分析图。 关键发现：转换数据的协方差矩阵是对角矩阵，主成分之间线性无关。

14.6节展示如何通过降维后的主成分数据Z还原原始数据X̂。 公式18：E_ε = X - X̂ 计算重构误差。 通过选择保留不同数量的主成分（1-4个），观察重构质量和误差分布。 主成分越多，重构越精确，但降维效果越差。

14.7节的双标图将原始特征向量投影到主成分平面（图30-36）。 通过向量间的夹角判断特征相关性：夹角小表示正相关，夹角接近180°表示负相关，接近90°表示不相关。 可以选择任意PC对，对比原始数据PCA与标准化数据PCA的差异， 并叠加150个数据点的散点图观察分类效果。

14.8节的陡坡图展示各主成分的方差贡献百分比和累计解释方差。 第一个主成分通常贡献最大，后续主成分贡献递减。 根据陡坡图可以决定保留多少个主成分：通常保留累计解释80-90%方差的主成分即可。