Visualize-ML

← 目录Ch24 数据分解

Ch23 数据空间

Ch25 数据应用

全部书籍 Book4目录

Ch24 数据分解

Data Decomposition · PCA 与 NMF 的分解哲学

🎮 数据分解：找到隐藏的结构

PCA vs NMF：不同的分解哲学

🎛️ 分解参数

保留成分数2

PCA

• 正交基
• 最大方差
• 可负值
• 全局最优

NMF

• 非负基
• 部件分解
• 可解释性
• 局部最优

💡方差最大化

PCA 找到数据变化最大的方向（主成分）。第一主成分解释最多方差，各成分正交。适合降维和去相关。

🎯

PCA

X = UΣVᵀ（正交分解）

🧩

NMF

X ≈ WH（非负分解）

📉

降维

k < d 成分近似

开篇

矩阵分解揭示数据的隐藏结构

🎯

PCA

正交基，最大方差

🧩

NMF

非负基，部件组合

📉

降维

低维近似，去噪

24.1 PCA 原理

🎯 目标：理解 PCA 找到数据方差最大的正交方向

PCA 主方向 (2D)

协方差特征分解得到主轴，特征值表示方差/能量

λ₁ = 0.245, λ₂ = 0.215

v₁ ≈ (-0.96, 0.28)

v₂ ≈ (-0.28, -0.96)

24.2 PCA 步骤

🎯 目标：掌握 PCA 流程：中心化 → 协方差 → 特征分解 → 投影

🎮 PCA 步骤详解

从原始数据到主成分的完整流程

步骤 1/6

原始数据

2D 数据点，有相关性

原始数据

8 个样本，2 个特征，存在正相关

原始数据分布

PCA 核心：找到方差最大的正交方向，按重要性排序，保留前 k 个实现降维。

24.3 NMF 分解

🎯 目标：理解 NMF 将数据分解为非负基的非负组合 X ≈ WH

NMF 部件近似（生成式示意）

随机非负 W,H 生成 A≈W·H，展示部件组合与矩阵形状

行 m

列 n

rank r

形状：W 4×2 · H 2×4 → A 4×4

说明

此示例为生成式演示：随机非负 W,H 直接生成 A，以突出"部件+系数"的结构。真实 NMF 需迭代求解最小化 ||A-WH||，常用乘法更新或梯度法。

24.4 PCA vs 回归

🎯 目标：区分 PCA（垂直距离最小）和回归（预测误差最小）

🎮 回归 vs PCA

两种不同的"最佳直线"

选择方法

线性回归

最小化 y 方向（垂直）误差

直线参数

斜率 a = 1.095

截距 b = 0.563

y = 1.10x + 0.56

回归目标

min Σ(yᵢ - ŷᵢ)²

垂直距离²

PCA 目标

max 投影方差

= min 正交距离²

关键区别

• 回归：x 预测 y，有因果方向

• PCA：x 和 y 对称，找主变化方向

• 回归线斜率 ≤ PCA 斜率（通常）

• 相关性弱时差异更明显

垂直距离（橙色虚线）

应用场景：回归用于预测（y 依赖 x），PCA 用于降维和探索（无方向性）。

本章小结

分解方法揭示数据的不同侧面

PCA 核心

• 目标：最大化投影方差

• 分解：X = UΣVᵀ（SVD）

• 主成分：V 的列向量

• 降维：取前 k 个成分

NMF 核心

• 目标：非负因子分解

• 分解：X ≈ WH（W,H ≥ 0）

• W 列：基向量（部件）

• H 行：组合系数

📚 下一章：Ch25 数据应用