Visualize-ML

🎯 本章导览

在前两章中，我们学习了一元高斯分布和二元高斯分布。本章将视野扩展到多元高斯分布（D维），探索如何用矩阵语言统一表达任意维度的高斯分布。你将看到，几何、代数、概率统计在这里完美结合。

核心主题

• 矩阵表示：统一的PDF公式
• 协方差矩阵的几何意义
• 马氏距离与椭球结构
• 特征值分解与PCA

关键概念

• 质心向量 μ ∈ ℝᴰ
• 协方差矩阵 Σ ∈ ℝᴰˣᴰ
• 正定矩阵与可逆性
• D维超椭球

11.1

矩阵角度：一元、二元、三元到多元

Matrix Perspective - From Univariate to Multivariate

当我们从一元高斯分布推广到二元、三元甚至更高维时，代数展开式变得极其复杂。本节展示为什么我们需要矩阵表示，以及如何用统一的矩阵公式表达任意维度的高斯分布。

📊 从一元到多元高斯分布

Progression from Univariate to Multivariate Gaussian

选择维度

📈 代数式复杂度增长

一元高斯分布 (D=1)

f(x) = (1/√(2πσ²)) · exp(-(x-μ)²/(2σ²))

• 参数数量：2个 (μ, σ)
• 代数式长度：简短清晰
• 几何形态：钟形曲线

二元高斯分布 (D=2)

f(x₁,x₂) = 1/(2πσ₁σ₂√(1-ρ²)) · exp(-G(x₁,x₂)/(2(1-ρ²)))
其中 G(x₁,x₂) = ((x₁-μ₁)/σ₁)² + ((x₂-μ₂)/σ₂)² - 2ρ((x₁-μ₁)/σ₁)((x₂-μ₂)/σ₂)

• 参数数量：5个 (μ₁, μ₂, σ₁, σ₂, ρ)
• 代数式长度：中等复杂
• 几何形态：椭圆等高线

三元高斯分布 (D=3)

代数展开式极其复杂，包含：
• x₁², x₂², x₃² 项
• x₁x₂, x₁x₃, x₂x₃ 交叉项
• 涉及 ρ₁,₂, ρ₁,₃, ρ₂,₃ 三个相关系数
• 分母包含复杂的行列式表达式

• 参数数量：9个 (3个μ + 3个σ + 3个ρ)
• 代数式长度：极其复杂
• 几何形态：椭球等值面

四元及更高维 (D≥4)

⚠️ 代数展开式已经完全不够用！
• D=4: 14个参数
• D=5: 20个参数
• D维: D + D(D+1)/2 个参数
• 手写展开式几乎不可能

• 几何形态：D维超椭球
• 解决方案：必须使用矩阵表示！

🔢统一的矩阵表示

幸运的是，矩阵语言为我们提供了统一简洁的表达方式，无论维度多高，公式形式都保持一致：

多元高斯分布 PDF

f(x) = 1/((2π)^(D/2)|Σ|^(1/2)) · exp(-½(x-μ)ᵀΣ⁻¹(x-μ))

或简记为：χ ~ N(μ, Σ)

质心向量 μ

μ = [μ₁, μ₂, ..., μᴰ]ᵀ

• D维列向量
• 每个μᵢ是第i维的期望值
• 决定分布中心位置

协方差矩阵 Σ

Σ = [σᵢⱼ]ᴰˣᴰ

• D×D对称正定矩阵
• 对角线：各维度方差
• 非对角线：协方差
• 决定分布形状

二次型

d² = (x-μ)ᵀΣ⁻¹(x-μ)

• 马氏距离的平方
• 标量值
• d=常数 → 等值面
• 椭球/超椭球

✨矩阵表示的优势

简洁统一

• 任意维度：公式形式完全相同
• 易于记忆：只需记住一个公式
• 推广自然：从2D到100D无缝过渡
• 数学优美：对称性和结构清晰

计算高效

• 矩阵运算：可用高效线性代数库
• 并行计算：矩阵操作易于并行化
• 数值稳定：成熟算法保证精度
• 工程实现：numpy, scipy等直接支持

理论深刻

• 几何意义：协方差矩阵刻画椭球形状和方向
• 特征值分解：揭示椭球主轴（PCA基础）
• 马氏距离：考虑相关性的距离度量
• 线性变换：易于理解和应用变换

🔍降维验证：多元 → 一元/二元

为了验证矩阵表示的正确性，我们可以将D维公式特化到D=1和D=2的情况：

多元 → 一元 (D=1)

质心：μ = [μ]

协方差：Σ = [σ²]

行列式：|Σ| = σ²

逆矩阵：Σ⁻¹ = [1/σ²]

二次型：(x-μ)ᵀΣ⁻¹(x-μ) = (x-μ)²/σ²

✓ 完全对应一元高斯分布！

多元 → 二元 (D=2)

质心：μ = [μ₁, μ₂]ᵀ

协方差：Σ = [[σ₁², ρσ₁σ₂], [ρσ₁σ₂, σ₂²]]

行列式：|Σ| = σ₁²σ₂²(1-ρ²)

展开二次型得到第10章的G(x₁,x₂)

✓ 完全对应二元高斯分布！

✓ 一致性验证

矩阵表示在D=1和D=2时完全退化为我们之前学过的公式，证明了矩阵表示的一致性和正确性。这增强了我们对高维情况的信心！

⚠️

协方差矩阵必须正定

正定矩阵的要求：

• 对称：Σ = Σᵀ（协方差矩阵天然对称）
• 正定：所有特征值 > 0
• 可逆：|Σ| ≠ 0，存在Σ⁻¹
• 非奇异：各维度之间无完全线性相关

如果Σ半正定（|Σ|=0）：
• PDF分母为0，无定义
• 说明存在线性相关（如二元时ρ=±1）
• 实际维度小于名义维度
• 需要降维或重新选择特征

📝 11.1 关键要点总结

维度递增

• 1D: 钟形曲线
• 2D: 椭圆
• 3D: 椭球
• D维: 超椭球
• 代数式爆炸增长

矩阵表示

• 统一简洁的公式
• 任意维度形式相同
• 质心向量 μ
• 协方差矩阵 Σ
• 二次型 dᵀΣ⁻¹d

正定性

• Σ必须正定
• |Σ| > 0
• 存在Σ⁻¹
• 无线性相关
• PDF才有定义

✦

11.2

高斯分布：椭圆、椭球、超椭球

Ellipse, Ellipsoid, and Hyper-ellipsoid

高斯分布是椭圆分布的一种特殊形式。本节深入探索高斯分布的几何结构：二元高斯的椭圆、三元高斯的椭球、以及高维高斯的超椭球。

🎯 椭圆、椭球、超椭球结构

Ellipse, Ellipsoid, and Hyper-ellipsoid Structures

可视化模式

协方差矩阵

说明：

• 每个子图：x₃固定值的切片

• 等高线：f(x₁,x₂,x₃=c)

• 单位矩阵→圆

• 对角矩阵→正椭圆

• 一般矩阵→旋转椭圆

三元高斯分布切片：f(x₁, x₂, x₃ = c)

x₃ = -2

x₃ = -1

x₃ = 0

x₃ = 1

x₃ = 2

协方差矩阵 Σ

Σ = [[1, 0, 0],
[0, 1, 0],
[0, 0, 1]]

单位矩阵→切片是圆

关键观察：

二元椭圆结构 — 椭圆与±σ矩形相切，对角线代表条件期望
长轴短轴 — 通过特征值分解协方差矩阵获得，是PCA的基础
三元椭球切片 — 固定x₃，观察f(x₁,x₂,x₃=c)的等高线
协方差类型 — 单位矩阵→圆，对角矩阵→正椭圆，一般矩阵→旋转椭圆
嵌套结构 — 不同马氏距离对应不同等高线，形成嵌套的椭圆/椭球

⭐ 椭圆分布家族

椭圆分布的一般形式

f_Ellipse(x) = k · g((x-μ)ᵀΣ⁻¹(x-μ))

• k：归一化常数
• g(·)：生成函数，决定分布的具体形式
• (x-μ)ᵀΣ⁻¹(x-μ)：马氏距离平方

高斯分布

生成函数：g(u) = exp(-u/2)

最常见的椭圆分布
具有最大熵性质
中心极限定理保证

其他椭圆分布

• 学生t-分布：重尾分布
• 逻辑分布：S形CDF
• 拉普拉斯分布：双指数分布

⭕二元高斯分布：椭圆结构详解

回顾第10章介绍的二元高斯分布椭圆结构，本节进一步揭示椭圆的几何要素及其统计意义：

椭圆中心 O

• 对应质心 μ = (μ₁, μ₂)

• 二维随机变量的期望值

• 决定椭圆在平面上的位置

±σ 标准差矩形

• 宽度：2σ₁（X₁的标准差）

• 高度：2σ₂（X₂的标准差）

• 椭圆与矩形相切于4点

切点 A, B, C, D

• 椭圆与±σ矩形的4个切点

• 对角线AC：在给定X₂条件下X₁的条件期望E[X₁|X₂]

• 对角线BD：在给定X₁条件下X₂的条件期望E[X₂|X₁]

• 这是第12章条件分布的几何体现

长轴 EG

• 通过椭圆中心O的最长线段

• 方向：第一特征向量方向

• 长度：与最大特征值相关

• 即第一主成分方向（PCA）

短轴 FH

• 通过椭圆中心O的最短线段

• 方向：第二特征向量方向

• 长度：与最小特征值相关

• 即第二主成分方向（PCA）

🔑 关键发现

长轴和短轴的长度、角度需要通过协方差矩阵的特征值分解获得！
这就是下一节（11.3）要讨论的内容，也是主成分分析（PCA）的理论基础。

🎾三元高斯分布：椭球与切片可视化

椭球嵌套结构

三元高斯分布的PDF几何图形是一层层"嵌套"的椭球。不同的马氏距离d对应不同的椭球等值面。

• d = 1：内层椭球，包含约68%的概率质量
• d = 2：中层椭球，包含约95%的概率质量
• d = 3：外层椭球，包含约99.7%的概率质量

"切片"可视化方案

为了在二维平面上观察三维椭球，我们采用"切片"方法：

固定 x₃ = c，观察 f(x₁, x₂, x₃=c) 在 x₁-x₂ 平面的等高线

• 单位矩阵Σ=I → 切片是正圆
• 对角矩阵 → 切片是正椭圆（轴对齐）
• 一般正定矩阵 → 切片是旋转椭圆

边缘分布可视化

三元高斯分布有3个二元边缘分布：

• f_X₁,X₂(x₁, x₂)：积掉X₃
• f_X₁,X₃(x₁, x₃)：积掉X₂
• f_X₂,X₃(x₂, x₃)：积掉X₁

这展示了协方差矩阵的分块结构，第12、13章将详细讨论。

🔢协方差矩阵类型与几何形态

单位矩阵 Σ = I

[[1, 0, 0],
[0, 1, 0],
[0, 0, 1]]

• 各维度独立
• 方差均为1
• 切片是正圆
• 椭球是球体

对角矩阵

[[σ₁², 0, 0],
[0, σ₂², 0],
[0, 0, σ₃²]]

• 各维度独立
• 方差不同
• 切片是正椭圆
• 轴对齐坐标轴

一般正定矩阵

[[σ₁², σ₁₂, σ₁₃],
[σ₁₂, σ₂², σ₂₃],
[σ₁₃, σ₂₃, σ₃²]]

• 维度间相关
• 非对角元≠0
• 切片是旋转椭圆
• 轴不对齐坐标轴

观察要点

• 对角元素（方差）：控制各方向的延展程度

• 非对角元素（协方差）：控制旋转和倾斜

• 特征值：决定椭球主轴长度

• 特征向量：决定椭球主轴方向

🚀

维度推广：超椭球

D维高斯分布的等值面

• D=1: 两个点（±σ）
• D=2: 椭圆
• D=3: 椭球
• D≥4: D维超椭球（无法直接可视化）

统一的数学描述

• 马氏距离 d = 常数
• (x-μ)ᵀΣ⁻¹(x-μ) = d²
• 无论维度多高，公式形式相同
• 矩阵表示的威力再次体现

📝 11.2 关键要点总结

椭圆分布

• 高斯是特殊椭圆分布
• 生成函数g(u)=exp(-u/2)
• t分布、逻辑分布也属于
• 统一的数学框架

椭圆结构

• 中心O：质心μ
• ±σ矩形：4个切点
• 对角线：条件期望
• 长短轴：特征值分解

椭球切片

• 三元：嵌套椭球
• 切片可视化方案
• 协方差类型→形状
• D维超椭球

✦

11.3

解剖多元高斯分布PDF

Decomposing Multivariate Gaussian PDF

本节深入解剖多元高斯分布PDF，通过"平移 → 旋转 → 缩放"三步变换，将任意旋转椭圆N(μ, Σ)转换为单位圆N(0, I)。这个过程揭示了协方差矩阵的几何意义，也是PCA的理论基础。

🔄 解剖多元高斯分布：平移 → 旋转 → 缩放

Decomposing Multivariate Gaussian: Translate → Rotate → Scale

变换步骤

协方差参数

σ₁ = 2.0

σ₂ = 1.0

ρ = 0.70

显示主轴

当前步骤：

原始旋转椭圆

N(μ, Σ) - 原始旋转椭圆

特征值分解结果

特征值：

λ₁ = 4.552 (最大)

λ₂ = 0.448 (最小)

主轴长度：
长轴 = √λ₁ = 2.13
短轴 = √λ₂ = 0.67

旋转角度：

θ = 21.5°

特征值关系：
λ₁ + λ₂ = 5.00
σ₁² + σ₂² = 5.00
✓ 迹相等

变换公式

原始分布：

x ~ N(μ, Σ)

Σ = VΛVᵀ (特征值分解)

关键观察：

平移 (x-μ) — 去均值，将中心移到原点，不改变形状
旋转 (Vᵀ) — 对齐坐标轴，将旋转椭圆变为正椭圆
缩放 (Λ^(-1/2)) — 标准化，将椭圆变为单位圆，实现IID
特征值λ — 决定主轴长度：长轴=√λ₁，短轴=√λ₂
特征向量v — 决定主轴方向，是PCA的第一、第二主成分
逆变换 — x = VΛ^(1/2)z + μ：缩放→旋转→平移，从N(0,I)生成N(μ,Σ)

⭐ 特征值分解协方差矩阵

谱分解（特征值分解）

协方差矩阵Σ为对称矩阵，对其谱分解得到：

Σ = VΛVᵀ

• V: 特征向量矩阵（正交矩阵，VᵀV = VVᵀ = I）
• Λ: 特征值矩阵（对角矩阵，对角元素为λ₁, λ₂, ..., λᴰ）
• V的列向量：特征向量v₁, v₂, ..., vᴰ

逆矩阵的特征值分解

如果Σ正定，利用特征值分解可以得到：

Σ⁻¹ = VΛ⁻¹Vᵀ

Σ^(-1/2) = VΛ^(-1/2)Vᵀ

这是后续变换的关键！

🔄三步变换：平移 → 旋转 → 缩放

通过特征值分解，我们可以将二次型(x-μ)ᵀΣ⁻¹(x-μ)拆解为三步几何变换：

步骤1: 平移（去均值）

x_c = x - μ

• 将中心从μ平移到原点
• N(μ, Σ) → N(0, Σ)
• 中心化过程
• 不改变形状

步骤2: 旋转（对齐）

y = Vᵀ(x - μ)

• 旋转使主轴对齐坐标轴
• N(0, Σ) → N(0, Λ)
• 旋转椭圆 → 正椭圆
• "拨开云雾"

步骤3: 缩放（标准化）

z = Λ^(-1/2)Vᵀ(x - μ)

• 缩放使半轴长度为1
• N(0, Λ) → N(0, I)
• 正椭圆 → 单位圆
• 独立同分布（IID）

完整变换公式

z = Λ^(-1/2)Vᵀ(x - μ)

其中 ||z|| 就是"整体Z分数"（马氏距离）

↩️逆变换：从单位圆生成旋转椭圆

生成高斯随机数

反向来看，我们可以通过"缩放 → 旋转 → 平移"把标准正态随机数转换为任意多元高斯随机数：

x = VΛ^(1/2)z + μ

• z ~ N(0, I): 从标准正态分布采样
• Λ^(1/2)z: 缩放（拉伸各方向）
• VΛ^(1/2)z: 旋转（调整角度）
• VΛ^(1/2)z + μ: 平移（移动中心）
• 最终得到 x ~ N(μ, Σ)

实际应用

• 随机数生成：从N(0,I)生成N(μ,Σ)的样本
• 数据增强：生成符合特定协方差的合成数据
• 蒙特卡洛模拟：模拟多元高斯过程
• 变分自编码器（VAE）：重参数化技巧的基础

📏马氏距离：考虑协方差的距离度量

通过上述变换，我们可以清楚地看到马氏距离的几何意义：

马氏距离公式

d = √((x-μ)ᵀΣ⁻¹(x-μ))

= ||Λ^(-1/2)Vᵀ(x-μ)||
= ||z||

马氏距离就是变换后的欧氏距离！

欧氏距离

• 不考虑数据分布

• 各维度权重相同

• 等高线是正圆

• 适用于独立同方差

马氏距离

• 考虑数据分布

• 引入协方差矩阵Σ

• 等高线是旋转椭圆

• 自动标准化，无量纲

独特之处

• 无量纲：自动标准化各维度，不受单位影响

• 考虑相关性：通过Σ⁻¹考虑各维度间的相关性

• 各向同性：变换后各方向"公平对待"

• 异常检测：马氏距离大的点是outlier

📈高斯函数：从距离到概率

距离 → 亲近度

将马氏距离d代入多元高斯分布PDF：

f(x) = 1/((2π)^(D/2)|Σ|^(1/2)) · exp(-d²/2)

exp(-d²/2) 把"距离度量"转化成"亲近度"：
• d = 0（质心处）: exp(0) = 1（最大）
• d 增大: exp(-d²/2) 快速衰减
• d → ∞: exp(-d²/2) → 0

分母：归一化

分母中的两个因子保证概率密度函数积分为1：

(2π)^(D/2)：标准正态分布的归一化常数

|Σ|^(1/2)：体积缩放因子
• |Σ|^(1/2) = |Λ|^(1/2) = √(λ₁λ₂...λᴰ)
• "缩放"步骤带来的体积变化
• 平移和旋转不影响体积

⚠️

椭圆等高线的双重含义

含义1: 马氏距离等高线

• 方程: (x-μ)ᵀΣ⁻¹(x-μ) = d²
• 表示所有到质心马氏距离为d的点
• 开口朝上的锥面

含义2: 概率密度等高线

• 方程: f(x) = c（某个概率密度值）
• 通过exp(-d²/2)将马氏距离转为概率密度
• 钟形曲面

请注意区分！两种等高线形状都是椭圆，但含义不同。

📝 11.3 关键要点总结

三步变换

• 平移: x-μ
• 旋转: Vᵀ
• 缩放: Λ^(-1/2)
• 旋转椭圆→单位圆
• N(μ,Σ)→N(0,I)

马氏距离

• d = ||z||
• 考虑协方差
• 无量纲量
• 变换后的欧氏距离
• 异常检测应用

高斯函数

• exp(-d²/2)
• 距离→亲近度
• 分母归一化
• 体积缩放|Σ|^(1/2)
• 概率密度值

✦

11.4

平移 → 旋转

Translate → Rotate

本节专注于二元高斯分布的特征值分解，深入探讨椭圆旋转角度、长轴短轴与特征值、特征向量的关系。通过"平移 → 旋转"两步变换，我们将旋转椭圆转换为正椭圆，为PCA提供几何直觉。

🔄 平移 → 旋转：椭圆的特征值分解

Translate → Rotate: Eigendecomposition of Ellipse

协方差参数

σ₁ = 2.0

σ₂ = 1.0

ρ = 0.70

显示投影

特征值：

λ₁ = 4.552

λ₂ = 0.448

旋转角度：

θ = 21.5°

验证关系：

λ₁+λ₂ = 5.000

σ₁²+σ₂² = 5.000

✓ 迹相等

λ₁·λ₂ = 2.040

|Σ| = 2.040

✓ 行列式相等

椭圆旋转角度 θ = 21.5°

旋转角度公式

θ = ½·arctan(2ρσ₁σ₂ / (σ₁²-σ₂²))

• σ₁=σ₂且ρ>0 → θ=45°
• σ₁=σ₂且ρ<0 → θ=-45°
• ρ=0 → θ=0°（正椭圆）

特征值公式

λ₁,₂ = (σ₁²+σ₂²)/2 ± √Δ

Δ = ((σ₁²-σ₂²)/2)² + (ρσ₁σ₂)²
• λ₁: 长轴方向的方差
• λ₂: 短轴方向的方差

关键观察：

特征向量v₁, v₂ — 分别指向椭圆的长轴和短轴方向（主成分方向）
特征值λ₁, λ₂ — 投影到v₁, v₂方向的方差，√λ₁和√λ₂是半轴长度
旋转角度θ — 由σ₁, σ₂和ρ共同决定，当σ₁=σ₂时简化为±45°
迹相等 — λ₁+λ₂ = σ₁²+σ₂²（特征值之和=方差之和）
行列式相等 — λ₁·λ₂ = |Σ| = σ₁²σ₂²(1-ρ²)（特征值之积=行列式）
投影最大方差 — 向v₁投影得到的随机变量方差最大（λ₁），这是PCA的核心思想

⭐ 二元协方差矩阵的特征值分解

2×2 协方差矩阵

Σ = [[σ₁², ρσ₁σ₂], [ρσ₁σ₂, σ₂²]]

特征值和特征向量关系：
• Σv₁ = λ₁v₁
• Σv₂ = λ₂v₂
• 可以写成矩阵形式：ΣV = VΛ 或 Σ = VΛVᵀ

特征值公式

λ₁,₂ = (σ₁²+σ₂²)/2 ± √Δ

其中判别式：
Δ = ((σ₁²-σ₂²)/2)² + (ρσ₁σ₂)²

• λ₁ ≥ λ₂（λ₁对应长轴）
• 当ρ=0且σ₁=σ₂时，λ₁=λ₂（正圆）

特征向量

特征向量给出椭圆主轴方向：

• v₁: 长轴方向（第一主成分）
• v₂: 短轴方向（第二主成分）
• v₁ ⊥ v₂（正交）

📏长轴、短轴与特征值的关系

二元高斯分布PDF的等高线是椭圆。椭圆的长轴和短轴长度直接由特征值决定：

长轴（半长轴）

半长轴长度 = √λ₁

• 对应最大特征值λ₁
• 方向：特征向量v₁
• 投影方差最大
• 第一主成分方向

短轴（半短轴）

半短轴长度 = √λ₂

• 对应最小特征值λ₂
• 方向：特征向量v₂
• 投影方差最小
• 第二主成分方向

投影到主轴方向

将(X₁, X₂)投影到特征向量方向：

• 投影到v₁：Y₁ = (X-μ)ᵀv₁，var(Y₁) = λ₁，std(Y₁) = √λ₁
• 投影到v₂：Y₂ = (X-μ)ᵀv₂，var(Y₂) = λ₂，std(Y₂) = √λ₂
• 向v₁投影得到的随机变量方差最大（PCA核心思想）

🔄椭圆旋转角度公式

旋转角度θ

椭圆的旋转角度由σ₁, σ₂和ρ共同决定：

θ = ½ · arctan(2ρσ₁σ₂ / (σ₁² - σ₂²))

这个角度描述了椭圆长轴相对于x₁轴的旋转角度

特例1: σ₁ = σ₂

当两个标准差相等时：

• ρ > 0: θ = 45°
• ρ < 0: θ = -45°
• ρ = 0: θ未定义（正圆）

特例2: ρ = 0

当不相关时：

• θ = 0°
• 椭圆轴对齐坐标轴
• 正椭圆
• X₁和X₂独立

一般情况

θ由三个参数共同影响：

• σ₁, σ₂: 形状
• ρ: 相关性
• θ ∈ (-90°, 90°)

🔢特征值的重要性质

特征值之和 = 迹

λ₁ + λ₂ = σ₁² + σ₂²

• 特征值之和 = 原矩阵的迹
• tr(Σ) = tr(Λ)
• 总方差守恒
• 《矩阵力量》特征值分解理论

特征值之积 = 行列式

λ₁ · λ₂ = |Σ| = σ₁²σ₂²(1-ρ²)

• 特征值之积 = 行列式值
• det(Σ) = det(Λ)
• 体积/面积缩放因子
• 当ρ→±1时，|Σ|→0（奇异）

谱分解

协方差矩阵可以写成特征值和特征向量的外积和：

Σ = VΛVᵀ = λ₁v₁v₁ᵀ + λ₂v₂v₂ᵀ

• 第一项λ₁v₁v₁ᵀ：长轴方向的贡献
• 第二项λ₂v₂v₂ᵀ：短轴方向的贡献
• 下一章（第12章）将继续这一话题

🔄平移 → 旋转：两步变换

变换公式

y = Vᵀ(x - μ)

• 步骤1：x - μ（平移到原点，去均值）
• 步骤2：Vᵀ（旋转，使主轴对齐坐标轴）
• 结果：旋转椭圆 → 正椭圆

二次型简化

经过平移和旋转后，二次型变为：

(x-μ)ᵀΣ⁻¹(x-μ) = yᵀΛ⁻¹y = y₁²/λ₁ + y₂²/λ₂

当上式=1时，这是一个中心在原点的正椭圆：
• 半长轴：√λ₁（沿y₁方向）
• 半短轴：√λ₂（沿y₂方向）
• 平移和旋转不改变椭圆的几何尺寸

逆变换

反过来，可以从y恢复x：

x = Vy + μ

• 先旋转：Vy（从正椭圆到旋转椭圆）
• 再平移：+μ（从原点移到质心）

✨

Y₁和Y₂独立！

旋转后的随机变量

经过y = Vᵀ(x-μ)变换后，得到的二元随机变量(Y₁, Y₂)：
• Y₁ ~ N(0, λ₁)
• Y₂ ~ N(0, λ₂)
• Y₁和Y₂独立！
• 协方差矩阵为对角矩阵Λ

几何意义：旋转消除了相关性，将旋转椭圆变为正椭圆，
对应的随机变量从相关变为独立。

📝 11.4 关键要点总结

特征值分解

• λ₁,₂ = (σ₁²+σ₂²)/2 ± √Δ
• √λ₁: 半长轴长度
• √λ₂: 半短轴长度
• v₁, v₂: 主轴方向
• 投影方差最大/最小

旋转角度

• θ=½arctan(2ρσ₁σ₂/(σ₁²-σ₂²))
• σ₁=σ₂且ρ>0 → θ=45°
• σ₁=σ₂且ρ<0 → θ=-45°
• ρ=0 → θ=0°（正椭圆）
• 由σ₁,σ₂,ρ共同决定

平移旋转

• y = Vᵀ(x-μ)
• 旋转椭圆→正椭圆
• Y₁, Y₂独立
• 协方差变对角
• 几何尺寸不变

✦

11.5

平移 → 旋转 → 缩放

Translate → Rotate → Scale: Complete Whitening

本节完成完整的三步变换，在11.4节"平移→旋转"的基础上，增加"缩放"步骤，最终将任意旋转椭圆N(μ, Σ)变换为单位圆N(0, I)。这个过程称为数据白化（Whitening），在机器学习中有广泛应用。

⚙️ 平移 → 旋转 → 缩放：数据白化变换

Translate → Rotate → Scale: Data Whitening Transformation

协方差参数

σ₁ = 2.0

σ₂ = 1.0

ρ = 0.70

显示模式

单步显示四步并排

选择步骤

特征值：

λ₁ = 4.552

λ₂ = 0.448

缩放因子：

1/√λ₁ = 0.469

1/√λ₂ = 1.494

(a) N(μ, Σ) - 原始旋转椭圆

完整变换公式

步骤1: 平移（去均值）

x_c = x - μ

• 中心化处理，均值变为0

步骤2: 旋转（对齐主轴）

y = Vᵀ(x - μ)

• V的列是特征向量v₁, v₂

步骤3: 缩放（标准化）

z = Λ^(-1/2)Vᵀ(x - μ)

• Λ^(-1/2) = diag(1/√λ₁, 1/√λ₂)

最终结果：

z ~ N(0, I)

• 各分量独立同分布（IID）
• 协方差矩阵为单位矩阵
• 这就是数据白化！

逆变换：生成随机数

x = VΛ^(1/2)z + μ

从标准正态随机数z ~ N(0, I)生成x ~ N(μ, Σ)：
1. 缩放：Λ^(1/2)z（拉伸各方向）
2. 旋转：VΛ^(1/2)z（调整角度）
3. 平移：VΛ^(1/2)z + μ（移动中心）

关键观察：

数据白化（Whitening） — z的协方差矩阵为单位矩阵I，各维度独立同分布
完整变换 — z = Λ^(-1/2)Vᵀ(x-μ) 将任意椭圆变为单位圆
逆变换 — x = VΛ^(1/2)z + μ 可用于生成高斯随机数
协方差变化 — Σ → Λ → I（从一般到对角到单位）
几何意义 — 旋转椭圆 → 正椭圆 → 单位圆
应用 — 机器学习预处理、PCA白化、ZCA白化

⭐ 完整三步变换：平移 → 旋转 → 缩放

变换公式（教材公式52）

z = Λ^(-1/2)Vᵀ(x - μ)

这个公式相当于x经过三步操作：
• 步骤1（平移）: x - μ
• 步骤2（旋转）: Vᵀ(x - μ)
• 步骤3（缩放）: Λ^(-1/2)Vᵀ(x - μ)

步骤1: 平移

x_c = x - μ

• 去均值（中心化）
• N(μ,Σ) → N(0,Σ)
• 质心移到原点
• 不改变形状

步骤2: 旋转

y = Vᵀ(x - μ)

• 对齐坐标轴
• N(0,Σ) → N(0,Λ)
• 旋转椭圆→正椭圆
• 消除相关性

步骤3: 缩放

z = Λ^(-1/2)y

• 标准化各维度
• N(0,Λ) → N(0,I)
• 正椭圆→单位圆
• 独立同分布IID

⚪单位球体：终极目标

将变换公式代入二次型，得到（教材公式53）：

二次型简化

(x-μ)ᵀΣ⁻¹(x-μ) = zᵀz = z₁² + z₂² + ... + zᴰ²

当上式等于1时，它代表D维空间的单位球体：
• D=1: 两点±1
• D=2: 单位圆（圆心在原点，半径为1）
• D=3: 单位球（球心在原点，半径为1）
• D≥4: D维单位超球

马氏距离的最终形式

马氏距离d可以写成：

d² = (x-μ)ᵀΣ⁻¹(x-μ) = ||z||²

• z的模||z||实际上代表"整体Z分数"
• 马氏距离 = 变换后的欧氏距离
• d=1的等值面是单位球

✨数据白化（Whitening）

什么是白化？

白化是一种数据预处理技术，目的是将数据变换为：

• 均值为0：E[Z] = 0
• 协方差为单位矩阵：Cov(Z) = I
• 各维度独立同分布：Z₁, Z₂, ..., Zᴰ ~ N(0,1) 且独立

数据角度的白化（教材公式55-56）

如果数据矩阵X服从N(E(X), Σ_X)，白化变换为：

Z = (X - E(X))Λ^(-1/2)Vᵀ

变换后，Z的协方差矩阵为I：
Cov(Z) = E[ZᵀZ] = I

关键结论：如果X服从多维高斯分布，Z服从IID标准正态分布！

白化的类型

PCA白化
• 使用Λ^(-1/2)Vᵀ
• 去相关+标准化
• 保留方差信息
• 本节讲的就是这种

ZCA白化
• 使用VΛ^(-1/2)Vᵀ
• 对称白化
• 保留原始结构
• 图像处理常用

↩️逆变换：生成高斯随机数

逆变换公式（教材公式54）

反过来，可以从z恢复x：

x = VΛ^(1/2)z + μ

这代表"缩放 → 旋转 → 平移"把单位圆转换成旋转椭圆：
• 缩放：Λ^(1/2)z（拉伸各方向，半径变为√λ₁和√λ₂）
• 旋转：VΛ^(1/2)z（调整角度）
• 平移：VΛ^(1/2)z + μ（移动中心到μ）

从N(0,I)生成N(μ,Σ)

这个逆变换非常重要，可用于：

1. 随机数生成

从标准正态分布采样z ~ N(0,I)，通过x=VΛ^(1/2)z+μ生成任意多元高斯随机数

2. 数据增强

生成符合特定协方差Σ的合成数据

3. 蒙特卡洛模拟

模拟多元高斯过程

4. 生成模型

VAE、GAN、扩散模型的理论基础

🤖机器学习中的应用

数据预处理

• 标准化：消除不同特征的量纲影响
• 去相关：消除特征间的线性相关
• 白化：使数据满足IID假设
• 加速训练：改善优化问题的条件数

降维与特征提取

• PCA：保留最大方差方向
• 投影：y=Vᵀ(x-μ)得到主成分
• 降维：只保留前k个主成分
• 压缩：减少存储和计算

异常检测

• 马氏距离：d=||z||
• 阈值判断：d过大为异常
• 多维度：考虑相关性
• 应用：欺诈检测、质量控制

生成模型

• VAE：重参数化技巧z~N(0,I)
• GAN：从噪声生成数据
• 扩散模型：逐步去噪
• 采样：x=VΛ^(1/2)z+μ

🎓

本章核心思想

从复杂到简单的变换

多元高斯分布通过特征值分解，利用"平移→旋转→缩放"三步几何变换，
可以将任意旋转椭圆N(μ,Σ)转换为单位圆N(0,I)。
这揭示了：

协方差矩阵Σ的几何意义：
描述椭圆的形状、大小和旋转

特征值分解的作用：
找到主轴方向和长度

马氏距离的本质：
变换后的欧氏距离

数据白化的目标：
实现独立同分布IID

📝 11.5 关键要点总结

完整变换

• z=Λ^(-1/2)Vᵀ(x-μ)
• 平移→旋转→缩放
• N(μ,Σ)→N(0,I)
• 旋转椭圆→单位圆
• 马氏距离=||z||

数据白化

• E[Z]=0, Cov(Z)=I
• 独立同分布IID
• PCA白化
• ZCA白化
• 机器学习预处理

逆变换

• x=VΛ^(1/2)z+μ
• 缩放→旋转→平移
• N(0,I)→N(μ,Σ)
• 随机数生成
• VAE/GAN基础

📝 本章小结（持续更新）

11.1 矩阵角度

代数式复杂度随维度爆炸增长
矩阵表示统一简洁
协方差矩阵必须正定

11.2 椭圆椭球

高斯分布是椭圆分布
二元椭圆、三元椭球结构
长短轴需特征值分解

11.3 解剖PDF

平移→旋转→缩放
马氏距离考虑协方差
高斯函数距离转概率

11.4 平移旋转

特征值决定长短轴
旋转角度公式
旋转后Y₁Y₂独立

11.5 完整变换

平移旋转缩放三步
数据白化IID
逆变换生成随机数

🎯 本章导览

核心主题

关键概念

矩阵角度：一元、二元、三元到多元

📊 从一元到多元高斯分布

选择维度

相关系数 ρ

📈 代数式复杂度增长

🔢统一的矩阵表示

✨矩阵表示的优势

🔍降维验证：多元 → 一元/二元

协方差矩阵必须正定

📝 11.1 关键要点总结

高斯分布：椭圆、椭球、超椭球

🎯 椭圆、椭球、超椭球结构

可视化模式

协方差矩阵

⭐ 椭圆分布家族

⭕二元高斯分布：椭圆结构详解

🎾三元高斯分布：椭球与切片可视化

🔢协方差矩阵类型与几何形态

维度推广：超椭球

📝 11.2 关键要点总结

解剖多元高斯分布PDF

🔄 解剖多元高斯分布：平移 → 旋转 → 缩放

变换步骤

协方差参数

⭐ 特征值分解协方差矩阵

🔄三步变换：平移 → 旋转 → 缩放

↩️逆变换：从单位圆生成旋转椭圆

📏马氏距离：考虑协方差的距离度量

📈高斯函数：从距离到概率

椭圆等高线的双重含义

📝 11.3 关键要点总结

平移 → 旋转

🔄 平移 → 旋转：椭圆的特征值分解

协方差参数

⭐ 二元协方差矩阵的特征值分解

📏长轴、短轴与特征值的关系

🔄椭圆旋转角度公式

🔢特征值的重要性质

🔄平移 → 旋转：两步变换

Y₁和Y₂独立！

📝 11.4 关键要点总结

平移 → 旋转 → 缩放

⚙️ 平移 → 旋转 → 缩放：数据白化变换

协方差参数

显示模式

选择步骤

⭐ 完整三步变换：平移 → 旋转 → 缩放

⚪单位球体：终极目标

✨数据白化（Whitening）

↩️逆变换：生成高斯随机数

🤖机器学习中的应用

本章核心思想

📝 11.5 关键要点总结

📝 本章小结（持续更新）

11.1 矩阵角度

11.2 椭圆椭球

11.3 解剖PDF

11.4 平移旋转

11.5 完整变换