Visualize-ML

← 目录Ch23 数据空间

Ch23 数据空间

Data Space · 矩阵的四个基本子空间

🎮 数据的两种视角

行向量 vs 列向量：同一矩阵，不同故事

数据矩阵 X (3×2)

每行 = 一个样本（在特征空间中）

Gram 矩阵 XᵀX

[样本间相似度]

协方差结构

Gram 矩阵 XXᵀ

[特征间相似度]

内积矩阵

💡 核心洞察

**行向量视角**：每个样本是特征空间中的一个点。n个样本 = n个点在 ℝᵈ 中。协方差矩阵 XᵀX/(n-1) 描述特征间关系。

📊

行空间

Row(X)

📈

列空间

Col(X)

🔇

零空间

Null(X)

🔈

左零空间

Null(Xᵀ)

开篇

数据矩阵蕴含丰富的几何结构

📊

行空间

Row(X) ⊂ ℝᵈ

📈

列空间

Col(X) ⊂ ℝⁿ

🔇

零空间

Null(X) ⊥ Row

🔈

左零空间

Null(Xᵀ) ⊥ Col

23.1 Gram 矩阵

🎯 目标：理解 XᵀX 和 XXᵀ 分别编码特征/样本间的内积关系

🎮 格拉姆矩阵

G = XᵀX — 内积与相似度的矩阵表示

格拉姆矩阵类型

格拉姆矩阵 G = XᵀX

-1

Gᵢⱼ = xᵢᵀxⱼ（向量内积）

向量范数（对角线）

‖x1‖²

‖x1‖ = 2.24

‖x2‖²

‖x2‖ = 2.24

‖x3‖²

‖x3‖ = 1.41

内积解读

• 对角线 Gᵢᵢ = ‖xᵢ‖²（向量长度的平方）

• 非对角线 Gᵢⱼ = xᵢ·xⱼ（向量内积）

• 正值：夹角 < 90°

• 负值：夹角 > 90°

• 零：向量正交

性质

G = XᵀX 是对称半正定矩阵，特征值 ≥ 0

向量可视化

向量坐标

(2, 1)

(1, 2)

(-1, 1)

余弦相似度

cos(x₁, x₂) = 4 / (2.24 × 2.24) = 0.800

应用：核方法中的核矩阵就是格拉姆矩阵，PCA 可通过格拉姆矩阵的特征分解实现。

23.2 四个基本子空间

🎯 目标：理解 Row⊕Null = ℝᵈ，Col⊕Null(Xᵀ) = ℝⁿ 的正交分解

🎮 四个基本子空间

矩阵的空间结构：Col, Row, Null, Left Null

选择子空间

示例矩阵 A (2×3)

秩 r = 1，m = 2，n = 3

列空间 Col(A)

A 的列向量张成的空间

Col(A) = span{a₁, a₂, ...}

维数

基

基: [1, 2]ᵀ

正交补关系

列空间 Col(A) ⊥ 左零空间 Null(Aᵀ)

空间结构图

关键洞察：Row(A) 和 Null(A) 正交互补，Col(A) 和 Null(Aᵀ) 正交互补。SVD 给出这四个空间的正交基。

23.3 SVD 与子空间

🎯 目标：理解 SVD 如何同时揭示四个子空间及其基

🎮 SVD 与四个基本子空间

SVD 揭示矩阵的完整结构

矩阵 A: 3×4，秩 r = 2

四个基本子空间

列空间

Col(A) = U的前r列

⊂ ℝ^3

行空间

Row(A) = V的前r列

⊂ ℝ^4

零空间

Null(A) = V的后n-r列

⊂ ℝ^4

左零空间

Null(Aᵀ) = U的后m-r列

⊂ ℝ^3

秩-零度定理

Col + LeftNull = 2 + 1 = 3

Row + Null = 2 + 2 = 4

子空间关系图

SVD 揭示：U 的列给出 Col(A) 和 Null(Aᵀ) 的正交基，V 的列给出 Row(A) 和 Null(A) 的正交基。

本章小结

子空间结构是理解数据的关键

四个子空间

• Row(X)：行向量张成，dim = r

• Col(X)：列向量张成，dim = r

• Null(X)：Xv=0 的解，dim = d-r

• Null(Xᵀ)：Xᵀu=0 的解，dim = n-r

正交关系

• Row(X) ⊥ Null(X) 在 ℝᵈ 中

• Col(X) ⊥ Null(Xᵀ) 在 ℝⁿ 中

• SVD: U=[Col|Null(Xᵀ)], V=[Row|Null]

📚 下一章：Ch24 数据分解