← 返回目录

第13章 协方差矩阵

Dive into Covariance Matrix

很多数学科学、机器学习算法的起点

🎯

本章引言

协方差矩阵囊括多特征数据矩阵重要统计描述， 在多元高斯分布中扮演重要角色。不仅如此，数据科学和机器学习方法中随处可见， 比如多元高斯分布、随机数生成器、OLS线性回归、主成分分析、正交回归、 高斯过程、高斯朴素贝叶斯、高斯判别分析、高斯混合模型等。

本系列丛书介绍的很多数学概念在协方差矩阵处达到完美融合， 比如解析几何中的椭圆， 概率统计中的高斯分布， 线性代数中的线性变换、Cholesky分解、特征值分解、正定性等。 因此，本章也可以视作是对《矩阵力量》中重要的线性代数工具的梳理和应用。

"科学的目标是寻求对复杂事实的最简单的解释。我们很容易误以为事实很简单， 因为简单是我们追求的目标。每个自然哲学家生活中的指导格言都应该是—— 寻求简单而不相信它。"
—— 阿尔弗雷德·怀特海 (Alfred Whitehead)

13.1

计算协方差矩阵：描述数据分布

Computing Covariance Matrix

本节介绍协方差矩阵的形状、理论定义和样本计算方法。 我们将看到协方差矩阵如何描述数据分布， 以及不同形态的协方差矩阵对应的几何形状。

📊 协方差矩阵：描述数据分布

Covariance Matrix

显示内容

椭圆类型

公式4：
Σ = E[(χ-E(χ))(χ-E(χ))ᵀ]
• 方差在对角线
• 协方差在非对角线
• 对称矩阵：Σ = Σᵀ
四种椭圆类型与协方差矩阵形态
x₁x₂
协方差矩阵：
[
1.0
0.0
0.0
1.0
]
特点：
• IID：独立同分布 • 标准正态分布 • 正圆形状
关键观察：
  • 对角元素 — 方差，描述各特征的离散度
  • 非对角元素 — 协方差，蕴含成对特征的相关性
  • 对称矩阵 — Σ = Σᵀ，协方差矩阵总是对称的
  • 四种类型 — 从IID圆到一般旋转椭圆，形态各异
  • 格拉姆矩阵 — 协方差矩阵可视为特殊的格拉姆矩阵
  • 集中矩阵 — Σ⁻¹在多元高斯分布PDF中使用

📐 协方差矩阵的形状

方差 + 协方差

一般而言，协方差矩阵可视作方差和协方差两部分组成：

• 方差：协方差矩阵对角线上的元素，描述某个特征上数据的离散度
• 协方差：协方差矩阵非对角线上的元素，蕴含成对特征之间的相关性
对称矩阵（公式2）

显而易见，协方差矩阵为对称矩阵：

Σ = Σᵀ
这是因为cov(Xᵢ, Xⱼ) = cov(Xⱼ, Xᵢ)

📚理论定义（公式3-5）

随机变量列向量χ（公式3）
χ = [X₁, X₂, ..., X_D]ᵀ
D维列向量，每个元素是一个随机变量
协方差矩阵定义（公式4）
Σ = cov(χ, χ) = E[(χ - E(χ))(χ - E(χ))ᵀ]
也可以写成：
Σ = E[χχᵀ] - E[χ]E[χ]ᵀ
这与第4章计算方差和协方差的技巧类似（公式5）
类比：方差和协方差
方差：
var(X) = E[X²] - E[X]²
协方差：
cov(X₁,X₂) = E[X₁X₂] - E[X₁]E[X₂]

🔢样本数据计算（公式6-9）

数据矩阵X（n×D）

实践中，我们更常用的是样本数据的协方差矩阵。 对于形状为n×D的样本数据矩阵X：

• n：样本数量（行数）
• D：特征维度（列数）
• X的协方差矩阵Σ_X是D×D方阵
计算公式（公式6-7）
Σ = (X - 𝟙E(X))ᵀ(X - 𝟙E(X)) / (n-1)
其中：
• E(X)：数据X的质心（行向量）
• X - 𝟙E(X)：去均值数据矩阵X_c
• 分母为n-1（贝塞尔修正）
展开形式（公式8）
Σ = (X_c)ᵀ @ X_c / (n-1)
• 这是格拉姆矩阵（Gram matrix）的形式
• 协方差矩阵可视为一种特殊的格拉姆矩阵
• 如果n足够大，可用n替换n-1，影响微乎其微

🌸鸢尾花数据示例

四特征协方差矩阵Σ
0.686
-0.042
1.274
0.516
-0.042
0.190
-0.330
-0.122
1.274
-0.330
3.116
1.296
0.516
-0.122
1.296
0.581
集中矩阵Σ⁻¹

协方差矩阵的逆矩阵有自己的名字——集中矩阵（concentration matrix）。 在多元高斯分布PDF解析式中会用到。

🔷四种椭圆类型

本书中常用椭圆代表协方差矩阵。 若χ服从多元高斯分布，χ ~ N(μ, Σ)。 当协方差矩阵形态不同时，对应的椭圆有四种类型：

1. 单位矩阵（正圆）
Σ = I = [[1, 0], [0, 1]]
• 随机变量为IID（独立同分布）
• 每个变量服从标准正态分布
• 几何形状：正圆（多维空间的正球体）
2. 等对角元素（缩放圆）
Σ = kI，k为缩放系数
• 仍然是IID
• 各方向等比例缩放
• 几何形状：缩放的正圆
3. 不等对角元素（正椭圆）
Σ对角阵，对角线元素不同
• 独立但不同分布
• 各方向不同程度缩放
• 几何形状：正椭圆（轴对齐）
• 可写成边际概率密度函数的累乘
4. 非对角矩阵（旋转椭圆）
Σ非对角，有协方差项
• 变量之间相关
• 椭圆发生旋转
• 几何形状：旋转椭圆
• 最一般的情况

🏷️给定标签为条件

分类计算协方差

在计算协方差时，我们也可以考虑到数据标签。 对鸢尾花三个品种分别计算协方差矩阵Σ₁、Σ₂、Σ₃：

Σ₁: Setosa（山鸢尾）
Σ₂: Versicolor（变色鸢尾）
Σ₃: Virginica（维吉尼亚鸢尾）
不同品种有不同的协方差矩阵，这为分类算法（如高斯判别分析）提供了依据。
📍

质心位于原点（公式12-13）

特别地，当所有均值都是0时，数据质心位于原点， 协方差矩阵可以写成更简洁的形式：

Σ = XᵀX / (n-1) = G / (n-1)

其中G是格拉姆矩阵（Gram matrix）。 这是矩阵乘法的第一视角（列向量内积）。

也可以写成矩阵乘法的第二视角（矩阵叠加）， 将n个样本的外积矩阵累加。

📝 13.1 关键要点总结

形状与性质
• 对角线：方差
• 非对角线：协方差
• 对称矩阵：Σ=Σᵀ
• D×D方阵
计算公式
• 理论：E[(χ-E(χ))(χ-E(χ))ᵀ]
• 样本：X_cᵀX_c/(n-1)
• 格拉姆矩阵形式
• 贝塞尔修正
几何意义
• 单位矩阵→正圆
• 对角矩阵→正椭圆
• 非对角→旋转椭圆
• 描述数据分布
✦
13.2

相关性系数矩阵：描述Z分数分布

Correlation Matrix

本节介绍相关性系数矩阵P的定义、 与协方差矩阵Σ的关系，以及如何在它们之间进行转换。 相关性系数矩阵是标准化的协方差矩阵， 消除了量纲的影响，更适合比较不同量纲的变量。

🔗 相关性系数矩阵：描述Z分数分布

Correlation Matrix

显示内容

公式16：
P对角线为1
非对角线为ρᵢⱼ
• 标准化的协方差
• 无量纲
• -1 ≤ ρ ≤ 1
公式17-18：
Σ = DPD
P = D⁻¹ΣD⁻¹
D是对角矩阵
对角线为标准差
协方差矩阵Σ vs 相关性系数矩阵P
Σ (协方差矩阵)
0.69
-0.04
1.27
0.52
-0.04
0.19
-0.33
-0.12
1.27
-0.33
3.12
1.30
0.52
-0.12
1.30
0.58
P (相关性系数矩阵)
1.00
-0.12
0.87
0.82
-0.12
1.00
-0.43
-0.37
0.87
-0.43
1.00
0.96
0.82
-0.37
0.96
1.00
X₁: 花萼长度
σ = 0.828
X₂: 花萼宽度
σ = 0.436
X₃: 花瓣长度
σ = 1.765
X₄: 花瓣宽度
σ = 0.762
协方差矩阵Σ：
  • 对角线：方差σᵢ²
  • 非对角线：协方差cov(Xᵢ,Xⱼ)
  • 有量纲（单位）
  • 数值范围大
相关性系数矩阵P：
  • 对角线：全为1
  • 非对角线：相关系数ρᵢⱼ
  • 无量纲（标准化）
  • -1 ≤ ρ ≤ 1
关键观察：
  • 对角线为1 — 相关性系数矩阵的对角线元素都是1
  • 标准化 — P是Σ的标准化版本，消除了量纲影响
  • 范围限定 — 相关系数ρ的范围是[-1, 1]
  • D矩阵 — 对角矩阵D起到缩放作用，连接Σ和P
  • 可逆变换 — Σ = DPD 和 P = D⁻¹ΣD⁻¹ 互为逆变换
  • 无量纲 — P适合比较不同量纲的变量相关性

📊 相关性系数矩阵的定义

矩阵P（公式16）
P = [[1, ρ₁₂, ..., ρ₁D ],
    [ρ₂₁, 1, ..., ρ₂D ],
    [..., ..., ..., ... ],
    [ρD₁, ρD₂, ..., 1 ]]
其中：
• 对角线元素：全为1（自己与自己完全相关）
• 非对角线元素：相关系数ρᵢⱼ，-1 ≤ ρᵢⱼ ≤ 1
鸢尾花数据示例
1.00
-0.12
0.87
0.82
-0.12
1.00
-0.43
-0.37
0.87
-0.43
1.00
0.96
0.82
-0.37
0.96
1.00
观察：花瓣长度(X₃)与花瓣宽度(X₄)高度相关(ρ=0.96)
矩阵分块

类似协方差矩阵，相关性系数矩阵P当然也可以分块。 分块后的子矩阵代表不同特征组之间的相关性。

🔄协方差矩阵 vs 相关性系数矩阵

矩阵关系（公式17）
Σ = D @ P @ D
其中D是对角矩阵，对角线元素为标准差：
D = diag([σ₁, σ₂, ..., σD])
几何角度
对角方阵D起到缩放作用
• P描述标准化后的相关性
• D提供各特征的尺度信息
• 两次缩放（左右各一次）
• 将标准化相关性还原为协方差
矩阵结构
[[σ₁, 0, 0, 0 ],
 [0, σ₂, 0, 0 ],
 [0, 0, σ₃, 0 ],
 [0, 0, 0, σ₄]]
只有对角线非零
代表各特征的标准差

↩️从Σ反求P（公式18）

反向公式
P = D⁻¹ @ Σ @ D⁻¹
其中D⁻¹的对角线元素为标准差的倒数：
D⁻¹ = diag([1/σ₁, 1/σ₂, ..., 1/σD])
提取标准差

D矩阵的构造需要提取协方差矩阵的对角线元素（方差）：

D = diag(sqrt(diag(Σ)))
• 里层diag()：提取对角线元素（方差）为向量
• sqrt()：计算平方根得到标准差
• 外层diag()：将向量展成对角方阵

🏷️考虑标签：条件相关性系数矩阵

三个品种的相关性对比

在计算相关性系数时，我们也可以考虑数据标签， 得到条件相关性系数矩阵。

P₁ (Setosa)：
花萼长度和宽度强相关
P₂ (Versicolor)：
花瓣长度和宽度强相关
P₃ (Virginica)：
长度特征之间强相关
意义：既然协方差可以用椭圆代表， 这三个条件协方差矩阵也肯定有它们各自的椭圆！ 这是本章最后要介绍的内容。

⚖️协方差矩阵Σ vs 相关性系数矩阵P

协方差矩阵Σ
对角线：方差σᵢ²
非对角线：协方差cov(Xᵢ,Xⱼ)
✓ 有量纲（保留单位）
✓ 反映变量的实际尺度
✓ 数值范围不固定
✓ 受变量量纲影响大
✓ 适合描述具体分布
相关性系数矩阵P
对角线：全为1
非对角线：相关系数ρᵢⱼ
✓ 无量纲（标准化）
✓ 仅关注相关性强度
✓ 范围固定：-1 ≤ ρ ≤ 1
✓ 不受变量量纲影响
✓ 适合比较不同变量
选择建议
• 当需要保留变量的实际尺度信息时，使用Σ
• 当需要比较不同量纲的变量相关性时，使用P
• 在机器学习中，P常用于特征选择和降维
• 在统计推断中，Σ用于参数估计和假设检验

📝 13.2 关键要点总结

矩阵P定义
• 对角线全为1
• 非对角线为ρᵢⱼ
• -1 ≤ ρ ≤ 1
• 无量纲
矩阵变换
• Σ = DPD
• P = D⁻¹ΣD⁻¹
• D为对角缩放矩阵
• 可逆变换
应用场景
• 特征选择
• 变量比较
• 条件相关性
• 标准化分析
✦
13.3

特征值分解：找到旋转、缩放

Eigenvalue Decomposition

本节介绍协方差矩阵的特征值分解（谱分解）， 探讨特征向量的几何意义（旋转）和特征值的缩放作用。 特征值分解揭示了协方差矩阵的内在结构， 是主成分分析(PCA)和降维的理论基础。

🎯 特征值分解：找到旋转、缩放

Eigenvalue Decomposition of Covariance Matrix

显示内容

公式20-22：
Σ = VΛV^T
• V：正交矩阵
• Λ：特征值对角矩阵
• 谱分解
特征值：
λ1 = 4.228
λ2 = 0.242
λ3 = 0.078
λ4 = 0.024
总方差 = 4.572
协方差矩阵的谱分解：Σ = VΛV^T
Σ
0.686
-0.042
1.274
0.516
-0.042
0.190
-0.330
-0.122
1.274
-0.330
3.116
1.296
0.516
-0.122
1.296
0.581
=
V
0.361
-0.657
0.582
0.315
-0.085
-0.730
-0.598
-0.320
0.857
-0.173
-0.076
-0.479
0.358
-0.075
-0.547
0.750
@
Λ
4.228
0.000
0.000
0.000
0.000
0.242
0.000
0.000
0.000
0.000
0.078
0.000
0.000
0.000
0.000
0.024
@
V^T
正交矩阵V
VV^T = I（正交性）
• 列向量为特征向量
• 两两正交
• 单位长度
• 代表旋转
对角矩阵Λ
对角线为特征值
• λ₁ ≥ λ₂ ≥ λ₃ ≥ λ₄
• 从大到小排列
• 非对角线为0
• 代表缩放
谱分解的意义
Σ对称 → 谱分解
协方差矩阵是对称矩阵，因此其特征值分解就是谱分解。
特征向量构成的正交矩阵V代表旋转，
特征值对角矩阵Λ代表缩放。
关键观察：
  • 谱分解 — Σ对称矩阵，特征值分解即谱分解：Σ = VΛV^T
  • 外积展开 — 矩阵乘法第二视角，λ₁v₁⊗v₁贡献最大
  • 投影视角 — Y = X_c V，投影后数据的协方差矩阵是对角阵Λ
  • 迹不变 — trace(Σ) = λ₁+λ₂+λ₃+λ₄，旋转不改变总方差
  • 行列式 — det(Σ) = λ₁λ₂λ₃λ₄，几何意义是椭球体积
  • 主成分分析 — 第一主成分Y₁方差最大，是PCA的理论基础

🎯 特征值分解与谱分解

谱分解公式（公式20-22）
Σ = VΛV⁻¹ = VΛV^T
由于Σ为对称矩阵，所以对协方差矩阵特征值分解就是谱分解。
• V：正交矩阵，VV^T = I
• Λ：对角矩阵，对角线为特征值λ₁, λ₂, ..., λD
特征值矩阵Λ（公式21）
Λ = diag([λ₁, λ₂, ..., λD])
• 对角方阵
• 非对角线元素全为0
• 对角线元素为特征值
• 几何意义：缩放
正交矩阵V（公式23）
VV^T = I
• 列向量为特征向量
• 特征向量两两正交
• 特征向量为单位向量
• 几何意义：旋转

📐谱分解：外积展开（公式24-25）

外积展开公式
Σ = λ₁v₁v₁^T + λ₂v₂v₂^T + ... + λDvDvD^T = Σ(j=1 to D) λⱼvⱼ⊗vⱼ
这便是《矩阵力量》第5章介绍的矩阵乘法第二视角——外积展开，
将矩阵乘法展开写成加法。
用向量张量积来写：vⱼ⊗vⱼ表示外积。
秩1矩阵的叠加

虽然λ₁v₁v₁^T的秩为1， 但是λ₁v₁v₁^T已经几乎"还原"Σ。

几何视角：
λⱼvⱼvⱼ^T代表向量投影，即《矩阵力量》第10章中讲过的"二次投影"。
单位向量的作用

注意，vⱼ为单位向量，无量纲，即没有单位。

几何角度来看，vⱼ仅仅提供投影的方向，
而真正提供缩放大小的是特征值λⱼ。

∑迹（Trace）- 公式26

迹的性质
trace(Σ) = σ₁² + σ₂² + ... + σD² = λ₁ + λ₂ + ... + λD
一个值得注意的性质是，协方差矩阵Σ的迹——
方阵对角线元素之和——等于特征值之和。
几何意义

协方差矩阵Σ对角线元素之和，相当于所有特征的方差之和，
即数据整体的方差。

V相当于旋转，而旋转操作不改变数据整体方差。
本章后文将介绍理解上式的几何视角。

📊投影视角（公式27-28）

数据投影

利用我们已经学过的有关特征值分解的几何视角，
中心化数据矩阵X_c在V投影得到数据Y：

Y = X_c V = (X - E(X)) V
投影后的协方差矩阵

求数据矩阵Y的协方差矩阵：

Σ_Y = Y^T Y / (n-1) = V^T X_c^T X_c V / (n-1)
    = V^T Σ V = V^T (VΛV^T) V
    = Λ
观察上式，可以发现投影得到的数据列向量相互正交！
主成分分析的思路

特征值从大到小排列，即λ₁ ≥ λ₂ ≥ ... ≥ λD，
矩阵Y第一列y₁的方差最大。

以鸢尾花数据投影结果为例，
y₁的方差对整体方差贡献超过90%。

这便是主成分分析的思路，本书第25章将继续这一话题的探讨。
🎯

协方差的"投影"（公式29-32）

举个例子，数据矩阵X_c在v₁方向投影结果为y₁：

y₁ = X_c v₁

由于X_c的质心在原点，所以y₁的期望值为0。而y₁的方差为：

Σ_Y1 = v₁^T Σ v₁ = λ₁（公式31）

上式相当于Σ在v₁方向上"投影"的结果。

类似地，Σ在[v₁, v₂]"投影"的结果为：

[v₁ v₂]^T Σ [v₁ v₂] = [[λ₁, 0], [0, λ₂]]（公式32）

本书下一章将深入探讨这一话题。

🔑其他重要性质

开平方（公式33）
Σ = VΛ^(1/2) · (VΛ^(1/2))^T
用特征值分解结果，
可以对协方差矩阵Σ开平方。
行列式值（公式34）
det(Σ) = λ₁ × λ₂ × ... × λD
协方差矩阵Σ的行列式值
为其特征值乘积。
本章后文会探讨几何内涵。
行列式平方根（公式35）
Σ^(1/2) = √(λ₁ × λ₂ × ... × λD)
注意，只有在特征值均不为0时，
Σ^(1/2)才存在，
也就是说此时Σ为正定。
逆的特征值分解（公式36）
Σ⁻¹ = VΛ⁻¹V^T
如果协方差矩阵正定，
对协方差矩阵的逆矩阵
进行特征值分解。
特征向量不变，
特征值取倒数。

🔗相关性系数矩阵的特征值分解

P的谱分解

既然协方差矩阵可以特征值分解，
相关性系数矩阵当然也可以进行特征值分解！

对X的每一列求Z分数得到Z_X，
相关性系数矩阵是Z_X的协方差矩阵。
也就是说，Z_X的整体方差为D（维度数）。

比较Σ和P的特征值分解，容易发现两个正交矩阵不同。

📝 13.3 关键要点总结

谱分解
• Σ = VΛV^T
• V正交矩阵
• Λ对角矩阵
• 旋转+缩放
外积展开
• Σ = Σλⱼvⱼ⊗vⱼ
• 秩1矩阵叠加
• λ₁v₁⊗v₁贡献最大
• 降维理论基础
重要性质
• trace(Σ) = Σλⱼ
• det(Σ) = Πλⱼ
• 投影→PCA
• 迹不变性
✦
13.4

SVD分解：分解数据矩阵

Singular Value Decomposition

《矩阵力量》一册反复提过特征值分解EVD和奇异值分解SVD的关系。 本节探讨对中心化X_c矩阵SVD分解结果和本章前文介绍的特征值分解结果之间的关系。

🔄 SVD分解：分解数据矩阵

Singular Value Decomposition

显示内容

公式38：
X_c = USV^T
• U: n×D
• S: 对角矩阵
• V: D×D正交
公式45-46：
λⱼ = sⱼ²/(n-1)
特征值与奇异值关系
中心化数据矩阵X_c的经济型SVD分解
X_c = U @ S @ V^T
（公式38）
矩阵U（n×D）
• 形状：150×4
• 与X_c形状相同
• 列向量两两正交：U^T U = ID×D
• 但不满足：UU^T = In×n
完全型SVD：
U形状为n×n，满足U^T U = UU^T = In×n
矩阵S（D×D对角）
s1=25.09
s2=6.01
s3=3.42
s4=1.89
• 对角方阵（D×D）
• 对角元素为奇异值sᵢ
• 从大到小排列：s₁ ≥ s₂ ≥ s₃ ≥ s₄
矩阵V（D×D正交）
• 形状：4×4
• 正交矩阵：V^T V = VV^T = ID×D
• 规范正交基
• 注：后文写作V_c以区分不同规范正交基
投影视角（公式39-43）
将中心化矩阵X_c投影到V得到Y_c：
Y_c = X_c V
X_c质心：
E(X_c) = [0, 0, 0, 0]
Y_c质心：
E(Y_c) = [0, 0, 0, 0]
原数据X也可以投影：Y = XV
Y的协方差矩阵与Y_c完全相同
关键观察：
  • SVD分解数据 — X_c = USV^T，分解数据矩阵本身
  • 特征值分解协方差 — Σ = VΛV^T，分解协方差矩阵
  • 量化关系 — λⱼ = sⱼ²/(n-1)，特征值与奇异值平方成正比
  • 外积展开 — 两种展开方式，都是秩1矩阵的叠加
  • 投影一致 — X_c投影到V和X投影到V，协方差矩阵相同
  • V矩阵 — SVD和特征值分解得到的正交矩阵（可能有正负号差异）

🔄 回顾SVD分解

经济型SVD分解（公式38）

对中心化数据矩阵X_c进行经济型SVD分解得到：

X_c = USV^T
矩阵U
经济型：
• 形状：n×D
• 与X_c形状相同
• U^T U = ID×D
• UU^T ≠ In×n
完全型：
• 形状：n×n
• U^T U = UU^T = In×n
矩阵S
• 对角方阵（D×D）
• 对角元素为奇异值si
• 从大到小排列
• s₁ ≥ s₂ ≥ ... ≥ sD
矩阵V
• 形状：D×D
• 正交矩阵
• V^T V = VV^T = ID×D
• 规范正交基
• 后文写作V_c区分

📊X_c投影到V（公式39-43）

投影得到Y_c

将中心化矩阵X_c投影到V得到Y_c：

Y_c = X_c V（公式39）
Y_c的形状和X_c一致。
质心位置（公式40）

X_c的质心位于原点，Y_c的质心也位于原点：

E(Y_c) = E(X_c V) = E(X_c)V = [0, 0, 0, 0]V = [0, 0, 0, 0]
Y_c的协方差矩阵（公式41）

本章前文提过，Y_c的协方差为：

Σ_Y = Λ = diag([λ₁, λ₂, λ₃, λ₄])
对角矩阵，说明Y_c的各列向量相互正交。
几何理解

原数据矩阵X的质心位于E(X)。X_c和X的协方差矩阵完全相同。

几何视角来看，X到X_c是质心从E(X)平移到原点。
数据本身的分布"形状"相对于质心来说没有任何改变，
而协方差矩阵描述的就是分布形状。
🎯

X投影到V（公式42-43）

V = [v₁, v₂, v₃, v₄]是个规范正交基，
不但X_c可以投影到V中，原始数据X也可以投影到V中。

Y = XV（公式42）

Y的质心显然不在原点，E(Y)具体位置为：

E(Y) = E(XV) = [5.843, 3.057, 3.758, 1.199]V
     = [5.502, -5.326, 0.631, -0.033]（公式43）

Y的协方差矩阵则和Y_c完全相同。

🔗 奇异值 vs 特征值

推导（公式44）

将公式38代入公式6得到：

Σ = X_c^T X_c / (n-1)
  = (USV^T)^T (USV^T) / (n-1)
  = VS^T U^T USV^T / (n-1)
  = V(S^T S)V^T / (n-1)
  = V(S²)V^T / (n-1)
关系式（公式45-46）

对比公式44和公式20，可以建立对Σ特征值分解和对X_c进行SVD分解的关系：

VΛV^T = V(S²/(n-1))V^T
↓
Λ = S² / (n-1)
↓
λⱼ = sⱼ² / (n-1)
注意，等式左右两侧的V都是正交矩阵，
虽然代码计算得到的结果在正负号上会存在差别。
量化关系

从公式45中我们还可以看到Σ特征值和X_c奇异值之间的量化关系：

特征值矩阵：
Λ = diag([λ₁, λ₂, λ₃, λ₄])
奇异值平方：
S² = diag([s₁², s₂², s₃², s₄²])
λⱼ = sⱼ² / (n-1)

📐矩阵乘法第二视角（公式48-49）

外积展开

利用矩阵乘法第二视角，公式38可以展开写成：

X_c = USV^T = s₁u₁v₁^T + s₂u₂v₂^T + s₃u₃v₃^T + s₄u₄v₄^T
用张量积表示：
X_c = Σ(j=1 to D) sⱼuⱼ⊗vⱼ
同样，uⱼ、vⱼ仅仅提供投影方向，sⱼ决定重要性。
第二种展开方式（公式50-51）

《矩阵力量》第10章还介绍过"二次投影"的展开方式：

X_c = X_c I = X_c VV^T
    = X_c v₁v₁^T + X_c v₂v₂^T + X_c v₃v₃^T + X_c v₄v₄^T
用张量积表示：
X_c = Σ(j=1 to D) (X_c vⱼ)⊗vⱼ

📝 13.4 关键要点总结

SVD分解
• X_c = USV^T
• 经济型vs完全型
• U: n×D, S: D×D, V: D×D
• 分解数据矩阵
与EVD关系
• λⱼ = sⱼ²/(n-1)
• Σ = V(S²/(n-1))V^T
• V矩阵相同
• 量化关系明确
外积展开
• X_c = Σsⱼuⱼ⊗vⱼ
• 秩1矩阵叠加
• 两种展开方式
• 矩阵乘法视角
✦
13.5

Cholesky分解：列向量坐标

Cholesky Decomposition

对协方差矩阵Σ进行Cholesky分解， 得到的结果是下三角矩阵L和上三角矩阵L^T的乘积。 建议大家回顾《矩阵力量》第12、24章，从几何角度、数据角度理解Cholesky分解。

🔺 Cholesky分解：列向量坐标

Cholesky Decomposition

显示内容

公式52：
Σ = LL^T = R^T R
• L：下三角矩阵
• R = L^T：上三角
• 列向量坐标
公式54-55：
X = ZR + E(X)
从标准正态Z
生成特定协方差X
Cholesky分解：Σ = LL^T = R^T R
Σ
0.686
-0.042
1.274
0.516
-0.042
0.190
-0.330
-0.122
1.274
-0.330
3.116
1.296
0.516
-0.122
1.296
0.581
=
L (下三角)
0.828
0.000
0.000
0.000
-0.051
0.434
0.000
0.000
1.538
-0.703
0.989
0.000
0.623
-0.192
0.662
0.164
@
L^T = R (上三角)
0.828
-0.051
1.538
0.623
0.000
0.434
-0.703
-0.192
0.000
0.000
0.989
0.662
0.000
0.000
0.000
0.164
验证分解结果
L @ L^T
0.686
-0.042
1.273
0.516
-0.042
0.191
-0.384
-0.115
1.273
-0.384
3.838
1.748
0.516
-0.115
1.748
0.890
≈
Σ (原始)
0.686
-0.042
1.274
0.516
-0.042
0.190
-0.330
-0.122
1.274
-0.330
3.116
1.296
0.516
-0.122
1.296
0.581
下三角矩阵L
• 对角线及以下有值
• 对角线以上全为0
• 唯一分解（对角线元素为正）
几何意义：
列向量坐标系统
描述椭圆的方向和尺度
上三角矩阵R
• R = L^T
• 对角线及以上有值
• 对角线以下全为0
应用：
生成相关随机数
数值稳定性好
Cholesky分解的特点
• 只适用于正定矩阵（所有特征值 > 0）
• 分解唯一（规定对角线元素为正）
• 计算效率高，约为特征值分解的一半
• 数值稳定性好
• 《矩阵力量》第12、24章有详细几何解释
关键观察：
  • 三角分解 — Σ = LL^T = R^T R，L下三角，R上三角
  • 唯一分解 — 对角线元素为正时，分解唯一
  • 生成随机数 — X = ZR + E(X)，从标准正态生成特定协方差
  • 推导验证 — Σ = R^T(Z^T Z/(n-1))R = R^T R
  • 计算效率 — 约为特征值分解的一半
  • 列向量坐标 — L的列向量构成坐标系统

🔺 Cholesky分解定义

分解公式（公式52）
Σ = LL^T = R^T R
其中：
• L：下三角矩阵
• R = L^T：上三角矩阵
下三角矩阵L
• 对角线及以下元素非零
• 对角线以上元素全为0
• 对角线元素为正（唯一性）
• 列向量坐标系统
上三角矩阵R
• R = L^T（L的转置）
• 对角线及以上元素非零
• 对角线以下元素全为0
• 用于生成随机数
适用条件

Cholesky分解只适用于正定矩阵：

• 对称矩阵：Σ = Σ^T
• 所有特征值 > 0
• 协方差矩阵通常满足这些条件

🎲生成具有特定协方差的随机数

问题设定

给定数据矩阵Z，Z的每个随机变量均服从标准正态分布，且相互独立（IID）：

Z ~ N(0, I)
Σ_Z = I（单位矩阵）

目标：如何生成具有特定协方差矩阵Σ的数据X？

解决方案（公式54）

通过线性变换实现：

X = ZR + E(X)
其中：
• Z：标准正态数据（独立）
• R：Cholesky分解得到的上三角矩阵
• E(X)：目标均值向量（平移）
推导X的协方差矩阵（公式55）
Σ_X = (X - E(X))(X - E(X))^T / (n-1)
    = (ZR)(ZR)^T / (n-1)
    = R^T Z^T ZR / (n-1)
    = R^T (Z^T Z / (n-1)) R
    = R^T I R (因为Σ_Z = I)
    = R^T R = Σ ✓
推导关键：利用Z的协方差矩阵为单位矩阵I这一性质。
💡

重要应用

以上内容对于产生满足特定相关性随机数特别重要， 本书第15章将展开讲解。

蒙特卡洛模拟：
生成具有特定相关性的随机样本
多元高斯采样：
从多元正态分布中抽样
金融风险建模：
模拟相关资产的收益率
数据增强：
生成符合数据分布的新样本

⚖️Cholesky分解 vs 特征值分解

Cholesky分解
形式：Σ = LL^T = R^T R
矩阵：三角矩阵（非正交）
✓ 计算快（约EVD的一半）
✓ 数值稳定性好
✓ 适合生成随机数
✓ 列向量坐标系统
✗ 只适用于正定矩阵
✗ 不提供主成分方向
特征值分解（EVD）
形式：Σ = VΛV^T
矩阵：正交矩阵+对角矩阵
✓ 主成分方向
✓ 揭示数据内在结构
✓ 适用于PCA降维
✓ 几何意义清晰
✗ 计算相对较慢
✗ 对随机数生成不如Cholesky
选择建议
• 生成随机数：优先选择Cholesky分解
• PCA降维/特征提取：必须使用特征值分解
• 求解线性方程组：Cholesky分解更高效
• 理解数据结构：特征值分解提供更多信息
• 数值计算：两者都稳定，Cholesky略快

📐几何意义：列向量坐标

《矩阵力量》的视角

建议大家回顾《矩阵力量》第12章和第24章， 从几何角度、数据角度深入理解Cholesky分解：

第12章：
• 几何视角
• 线性变换
• 列向量坐标系统
• 椭圆的构造
第24章：
• 数据视角
• 格拉姆-施密特正交化
• QR分解关系
• 数值计算方法
核心思想：
L的列向量构成一组非正交但有序的坐标系统， 描述椭圆的方向和尺度。不同于特征向量的正交坐标系统。

📝 13.5 关键要点总结

Cholesky分解
• Σ = LL^T = R^T R
• L下三角，R上三角
• 正定矩阵专用
• 分解唯一
生成随机数
• X = ZR + E(X)
• Z标准正态独立
• R引入相关性
• 第15章详解
优势特点
• 计算速度快
• 数值稳定
• 列向量坐标
• 《矩阵力量》12、24章
✦
13.6

距离：欧氏距离 vs 马氏距离

Euclidean Distance vs Mahalanobis Distance

协方差矩阵还出现在距离度量运算中， 比如马氏距离。本节比较欧氏距离和马氏距离，并引出下一节内容。

📏 欧氏距离 vs 马氏距离

Euclidean Distance vs Mahalanobis Distance

显示内容

公式56：
d = ||(x-μ)||
欧氏距离
有单位
公式60-61：
d² = (x-μ)^T Σ^(-1) (x-μ)
马氏距离
无单位（标准差）
2D空间：圆 vs 椭圆（D=2）
欧氏距离
公式56-57：
d² = (x-μ)^T(x-μ) = ||x-μ||²
等距线：
d = 1 代表正圆
(x₁-μ₁)² + (x₂-μ₂)² = 1
圆心μ，半径1
马氏距离
公式60-61：
d² = (x-μ)^T Σ^(-1) (x-μ)
等距线：
d = 1 代表椭圆
考虑数据相关性和方差
椭圆，轴长由特征值决定
关键区别
• 欧氏距离：各方向等权重，不考虑相关性
• 马氏距离：考虑数据协方差结构，沿主方向拉伸
• 对角协方差时（独立变量），两者等价（仅差缩放）
关键观察：
  • 欧氏距离 — 二次型：d² = (x-μ)^T(x-μ)，等距线是圆/球
  • 马氏距离 — 二次型：d² = (x-μ)^T Σ^(-1) (x-μ)，等距线是椭圆/椭球
  • 单位差异 — 欧氏有单位，马氏无单位（或标准差）
  • 几何意义 — 马氏距离考虑数据协方差结构，更符合数据分布
  • 特征值作用 — 椭圆/椭球的半主轴由√λⱼ决定
  • 应用 — 马氏距离用于异常检测、分类、聚类等

📏 欧氏距离

二次型表达（公式56）

从矩阵运算角度来看，欧氏距离的平方就是《矩阵力量》第5章介绍的二次型(quadratic form)。

空间中任意一点x到质心μ的欧氏距离为：

d = ||(x-μ)|| = √[(x-μ)^T(x-μ)]
  = √[Σ(j=1 to D) (xⱼ-μⱼ)²]
D=2（公式57）
d = ||(x-μ)|| = 1
代表圆心位于质心μ、半径为1的正圆
(x₁-μ₁)² + (x₂-μ₂)² = 1
D=3（公式58）
d = ||(x-μ)|| = 1
代表圆心位于质心μ、半径为1的正球体
(x₁-μ₁)² + (x₂-μ₂)² + (x₃-μ₃)² = 1
等距线

当D>3时，d = ||(x-μ)|| = 1 代表空间中的超球体。

换个角度，D=2时，当d取不同值时，欧氏距离等距线则是一层层同心圆。
D=3时，当d取不同值时，欧氏距离等距线变成了一层层同心正球体。

鸢尾花数据示例（公式59）

鸢尾花数据的质心位于：

μ = [5.843, 3.057, 3.758, 1.199]^T

原点0和质心μ的欧氏距离为：

d = ||μ|| = √(5.843² + 3.057² + 3.758² + 1.199²)
  = √52.554 = 7.2492 cm
注意：欧氏距离的单位为厘米（有单位）。

🎯 马氏距离

二次型表达（公式60-61）

马氏距离的平方也是二次型：

d² = (x-μ)^T Σ^(-1) (x-μ)
   = (x-μ)^T V Λ^(-1/2) Λ^(-1/2) V^T (x-μ)
其中Σ^(-1)是协方差矩阵的逆，也称集中矩阵(concentration matrix)。
D=2时的椭圆
d = 1代表圆心位于质心μ的椭圆
特殊情况（公式62-63）：
如果Σ = diag([σ₁², σ₂²])，则椭圆解析式为：
(x₁-μ₁)²/σ₁² + (x₂-μ₂)²/σ₂² = 1
这是正椭圆，圆心(μ₁,μ₂)，
半长轴σ₁，半短轴σ₂
一般情况（公式64）
对于一般的协方差矩阵Σ₂ₓ₂，
需要利用特征值分解：
Σ = VΛV^T
Λ = diag([λ₁, λ₂])
旋转椭圆的圆心：(μ₁,μ₂)
半长轴：√λ₁
半短轴：√λ₂
轴方向：v₁, v₂
D=3时的椭球（公式65-66）

如果x有3个特征，d = 1代表圆心位于质心μ的椭球体。

对于对角协方差矩阵Σ = diag([σ₁², σ₂², σ₃²])，马氏距离d=1对应椭球解析式为：

(x₁-μ₁)²/σ₁² + (x₂-μ₂)²/σ₂² + (x₃-μ₃)²/σ₃² = 1
σ₁、σ₂、σ₃都是椭球的半主轴(principal semi-axis)长度，
分别叫第一、第二、第三半主轴长度。

对于更一般的协方差矩阵Σ₃ₓ₃，需要通过特征值分解找到半主轴长度√λ₁、√λ₂、√λ₃。
三个主轴的方向则分别对应三个特征向量v₁、v₂、v₃。

等距线

当D>3时，d = 1代表空间中的超椭球。

D=2时，当d取不同值时，马氏距离等距线则是一层层同心椭圆。

鸢尾花数据示例（公式67-68）

原点0和质心μ的马氏距离平方值为：

d² = (0-μ)^T Σ^(-1) (0-μ) = μ^T Σ^(-1) μ = 129.245

开平方得到马氏距离：

d = √129.245 = 11.3686
注意：马氏距离没有单位。
更准确地说，马氏距离的单位是标准差，
d = 11.3686代表马氏距离为"11.3686个均方差"。

⚖️欧氏距离 vs 马氏距离对比

欧氏距离
公式：
d² = (x-μ)^T(x-μ) = ||x-μ||²
✓ 简单直观
✓ 计算快速
✓ 等距线：圆/球
✓ 有单位（如cm）
✗ 不考虑数据相关性
✗ 不考虑方差差异
✗ 各方向等权重
马氏距离
公式：
d² = (x-μ)^T Σ^(-1) (x-μ)
✓ 考虑数据相关性
✓ 考虑方差差异
✓ 等距线：椭圆/椭球
✓ 无量纲（标准差）
✓ 符合数据分布
✗ 需要计算Σ^(-1)
✗ 计算较复杂
应用场景
• 欧氏距离：适用于各特征尺度相同、无相关性的场景
• 马氏距离：适用于需要考虑数据协方差结构的场景
• 异常检测：马氏距离能更好地识别异常值
• 分类算法：如高斯判别分析使用马氏距离
• 聚类分析：马氏距离考虑簇的形状
💡

承上启下

有了本节内容铺垫，下一节深入探讨协方差的几何内涵。

本书第23章还会继续探讨马氏距离的应用。

📝 13.6 关键要点总结

欧氏距离
• d² = (x-μ)^T(x-μ)
• 二次型
• 等距线：圆/球
• 有单位
马氏距离
• d² = (x-μ)^T Σ^(-1) (x-μ)
• 二次型
• 等距线：椭圆/椭球
• 无量纲（标准差）
几何意义
• 半主轴：√λⱼ
• 轴方向：特征向量
• 考虑协方差结构
• 异常检测、分类
✦
13.7

几何视角：超椭球、椭球、椭圆

Geometric Perspective: Hyperellipsoid, Ellipsoid, Ellipse

有了第13.6节的铺垫，本节深入探讨协方差的几何内涵。 通过投影的方法，我们可以将四维空间的超椭球可视化在三维空间和二维平面上。

🎨 几何视角：超椭球、椭球、椭圆

Geometric Perspective: Hyperellipsoid, Ellipsoid, Ellipse

显示内容

公式69-71：
4D超椭球
中心：μ
半主轴：√λⱼ
四维空间的"旋转"超椭球（D=4）
超椭球定义

根据第13.6节，如果D=4，马氏距离d=1的点集构成四维空间ℝ⁴中圆心位于μ的超椭球：

(x-μ)^T Σ^(-1) (x-μ) = 1
圆心位置（公式69）

对于鸢尾花样本数据X，超椭球的圆心位于E(X)：

μ = E(X) = [5.843, 3.057, 3.758, 1.199]^T
半主轴长度（公式70）

根据特征值分解Σ = VΛV^T，超椭球的四个半主轴长度为：

√λ1
2.056
√λ2
0.492
√λ3
0.279
√λ4
0.155
从大到小：2.056 > 0.492 > 0.279 > 0.155
主轴方向（公式71）

ℝ⁴中超椭球四个主轴方向对应V的四个列向量：

V = [v₁, v₂, v₃, v₄]
特征向量构成正交基
可视化挑战

在纸面上很难可视化一个四维空间的超椭球。
因此我们选择用投影的办法将超椭球投影在不同三维空间、二维平面上。

关键观察：
  • 超椭球（4D） — 半主轴√λⱼ，主轴方向vⱼ，中心μ
  • 投影到3D — 4种椭球投影，需对投影协方差Σ₁₂₃等做特征值分解
  • 投影到2D — 6种椭圆投影，对应C(4,2)=6种组合
  • 矩形面积 — 4σ₁σ₂（坐标轴）或4√(λ₁λ₂)（主轴）
  • 对角线长度 — √tr(Σ) = √(λ₁+λ₂)，旋转不变
  • 行列式 — √det(Σ) = √(λ₁λ₂)，面积/体积度量

🌐 "旋转"超椭球（4D）

超椭球定义

根据上一节所学，如果D=4，(x-μ)^T Σ^(-1) (x-μ) = 1 代表四维空间ℝ⁴中圆心位于μ的超椭球。

对于鸢尾花样本数据X，在ℝ⁴中代表数据的超椭球的圆心位于E(X)。

圆心位置（公式69）
E(X) = [5.843, 3.057, 3.758, 1.199]^T
半主轴长度（公式70）
根据特征值分解：
√λ₁ = 2.056
√λ₂ = 0.492
√λ₃ = 0.280
√λ₄ = 0.154
主轴方向（公式71）
V = [v₁, v₂, v₃, v₄]
四个列向量
构成正交基
可视化挑战

显然，在纸面上很难可视化一个四维空间的超椭球。
因此我们选择用投影的办法将超椭球投影在不同三维空间、二维平面上。

📦"旋转"超椭球投影到三维空间

投影到x₁x₂x₃空间（公式72-77）

四维空间超椭球在x₁x₂x₃这个三维空间的投影，结果是个圆心位于质心的椭球。

步骤1：协方差矩阵投影（公式72）

将4×4协方差矩阵Σ"投影"到x₁x₂x₃空间：

Σ₁₂₃ = [I₃ 0] Σ [I₃ 0]^T

相当于从Σ消去了第4行和第4列得到Σ₁₂₃。

步骤2：数据投影（公式73）

从数据角度来看，原始数据矩阵X₁₅₀ₓ₄先投影得到X₁₂₃：

X₁₂₃ = X [I₃ 0]^T = [x₁, x₂, x₃]

相当于保留了X的前三列数据。X₁₂₃再算协方差矩阵结果就是Σ₁₂₃。

步骤3：质心投影（公式75）

四维空间超椭球的圆心E(X)在x₁x₂x₃三维空间的位置：

E(X)[e₁ e₂ e₃] = [5.843, 3.057, 3.758]^T
步骤4：特征值分解Σ₁₂₃（公式77）

椭球的三个主轴方向需要特征值分解Σ₁₂₃：

Σ₁₂₃ = VΛV^T
Λ = diag([3.691, 0.241, 0.059])

椭球的三个半主轴长度为：√3.691 = 1.921, √0.241 = 0.491, √0.059 = 0.243

四种三维投影（图25）
(a) x₁x₂x₃空间：Σ₁₂₃
Σ的前3×3子矩阵
(b) x₁x₂x₄空间：Σ₁₂₄
去掉第3行和第3列
(c) x₁x₃x₄空间：Σ₁₃₄
去掉第2行和第2列
(d) x₂x₃x₄空间：Σ₂₃₄
去掉第1行和第1列
重要说明
• 图25中的蓝、红、绿箭头代表三维椭球的第一、第二、第三主轴方向
• 这些主轴方向不是原4维空间V在3维中的投影
• V在ℝ³中应该有四个"影子"，而不是三个
• 只有V沿着vⱼ方向投影，vⱼ的分量才会消失（如正午阳光下的柱子"没有"影子）

📐"旋转"椭球投影到二维平面

投影到x₁x₂平面（公式79-80）

以x₁x₂平面为例，先将4×4协方差矩阵Σ投影到x₁x₂平面：

Σ₁₂ = [[0.686, -0.042],
       [-0.042, 0.190]]

对Σ₁₂进行特征值分解：

Σ₁₂ = VΛV^T
Λ = diag([0.689, 0.186])

在x₁x₂平面上椭圆的半长轴、半短轴长度分别为√0.689 = 0.830、√0.186 = 0.431。
单位都是厘米cm。

六种二维投影（图27）

不考虑x_i、x_j顺序，ℝ⁴中超椭球朝x_ix_j面投影，一共可以获得C(4,2) = 6个不同平面上的椭圆投影结果：

x₁x₂平面
Σ₁₂: 2×2子矩阵
x₁x₃平面
Σ₁₃: 选第1,3行列
x₁x₄平面
Σ₁₄: 选第1,4行列
x₂x₃平面
Σ₂₃: 选第2,3行列
x₂x₄平面
Σ₂₄: 选第2,4行列
x₃x₄平面
Σ₃₄: 选第3,4行列
投影层次结构
4D → 3D：超椭球 → 椭球（4种三维投影）
4D → 2D：超椭球 → 椭圆（6种二维投影）
3D → 2D：椭球 → 椭圆（图26，3种二维投影）

📏矩形的面积、对角线长度（图28）

椭圆与相切矩形

椭圆相切于矩形的四条边。这个矩形的几何性质揭示了协方差矩阵的重要特征。

方法一：平行于坐标轴
图28(a) 完整矩形：
四个顶点：(μ₁±σ₁, μ₂±σ₂)
面积 = 4σ₁σ₂
图28(c) 1/4矩形：
面积 = σ₁σ₂
对角线 = √(σ₁² + σ₂²)
        = √tr(Σ₂ₓ₂) (公式81)
方法二：平行于主轴
图28(b) 完整矩形：
两组对边分别平行于v₁、v₂
面积 = 4√λ₁√λ₂
     = 4√det(Σ₂ₓ₂) (公式82)
图28(d) 1/4矩形：
面积 = √(λ₁λ₂) = √det(Σ₂ₓ₂)
对角线 = √(λ₁ + λ₂)
        = √tr(Λ₂ₓ₂) (公式83)
重要几何性质（公式81-83）
迹（Trace）：
√tr(Σ) = √(σ₁² + σ₂²) = √(λ₁ + λ₂)
• 对角线长度
• 旋转不变
行列式（Determinant）：
√det(Σ) = √(λ₁λ₂)
• 矩形面积
• 体积的度量
承上启下：这是本书下一章（第14章）要讨论协方差的重要几何性质之一。
⭐

"正"超椭球投影（公式84-86）

前文的"旋转"超椭球经过旋转之后得到"正"超椭球，
这个"正"超椭球对应的协方差矩阵为Λ（对角矩阵）：

Λ = diag([4.228, 0.242, 0.078, 0.023])

"正"超椭球的解析式为：

y₁²/4.228 + y₂²/0.242 + y₃²/0.078 + y₄²/0.023 = 1

图29所示为"正"超椭球在四个三维空间中投影得到的椭球。
图30所示为"正"超椭球在6个平面上的投影结果。

🔗

相关性系数矩阵的几何解释

相关性系数矩阵P也可以做特征值分解，
也就是说P也可以有类似协方差矩阵的几何解释。

根据图16，相关性系数矩阵P对应的超椭球的半主轴长度分别为：
√2.918 = 1.708、√0.914 = 0.956、√0.146 = 0.383、√0.021 = 0.143

注意：相关性系数矩阵可以视作Z分数的协方差矩阵。

图31所示为相关系数矩阵所代表的四维空间的"旋转"超椭球在三维空间中的四个投影。
图32所示为这个超椭球在六个平面的投影。

📝 13.7 关键要点总结

超椭球（4D）
• 圆心：μ = E(X)
• 半主轴：√λⱼ
• 主轴方向：vⱼ
• 难以直接可视化
投影可视化
• 4D→3D: 4种椭球
• 4D→2D: 6种椭圆
• 3D→2D: 3种椭圆
• 投影协方差需重新分解
矩形性质
• 面积：√det(Σ)
• 对角线：√tr(Σ)
• 迹旋转不变
• 连接第14章